Herramienta de apoyo para la aplicación de la metodología CaDQM, centrada en la evaluación de la calidad de datos

Abstract

La evaluación de la calidad de datos (CD) es una actividad esencial dentro de cualquier proceso de gestión de CD. Dicho proceso no es aislado, sino que se enmarca en una secuencia de actividades que incluye la definición de un modelo de CD, la ejecución de mediciones de CD, y la evaluación final a través de los valores de CD obtenidos. De acuerdo con la bibliografía, estas actividades están influenciadas por el contexto en el que se utilizan los datos, de modo tal que la calidad varía según distintos escenarios. Sin embargo, en la práctica, pocas metodologías abordan la gestión de la CD considerando explícitamente dicho contexto a lo largo de todas sus etapas. Para abordar dicha problemática, este proyecto se basa en la metodología Context-aware Data Quality Management (CaDQM), propuesta en la tesis de doctorado de Flavia Serra, para formalizar la integración del contexto en la gestión de la CD. Mas precisamente, el presente proyecto se enfoca en la Fase 2 - DQ Assessment de CaDQM, centrada en la evaluación de CD y su aplicación. Con tal propósito, se propone el desarrollo de una herramienta para dar soporte a expertos en CD en la ejecución de todas las actividades necesarias para la evaluación, partiendo de la definición de un modelo de CD basado en un modelo de contexto. Además, aborda la implementación de métodos de CD para la medición y obtención de metadatos de calidad. Dicha solución consiste en una aplicación web implementada con Angular para el cliente, y Python para la lógica de negocio y procesamiento de datos, y PostgreSQL como sistema de gestión de bases de datos. Adicionalmente, la herramienta incorpora funcionalidades de inteligencia artificial (IA), integradas para apoyar al experto en CD en el proceso de definición del modelo de CD. Finalmente, la solución propuesta se valida a través de dos casos de estudio donde se realiza la ejecución completa de la herramienta desarrollada. El primer caso utiliza un dataset sobre libros de Amazon y un contexto definido manualmente. El segundo caso emplea datos reales médicos, basándose en un modelo de contexto generado por la herramienta que implementa la Fase 1 de CaDQM, la cual fue desarrollada por otro proyecto de grado. Este segundo caso verifica la interoperabilidad entre las herramientas propuestas por dos proyectos de grado diferentes, como punto de partida para una herramienta unificada de gestión de CD sensible al contexto.