Herramienta de apoyo para la aplicación de la metodología CaDQM, centrada en la definición del contexto de datos

Abstract

La literatura demuestra que la mayoría de las actividades de gestión de calidad de datos (CD), están influenciadas por el contexto, sin embargo, muy pocas metodologías consideran el contexto de los datos evaluados. Este proyecto diseña e implementa una herramienta de software que apoya la ejecución de la metodología Context-aware Data Quality Management (CaDQM), definida en una tesis de doctorado, la cual guía este proyecto. CaDQM consta de 3 fases: Fase 1 - DQ Planning, Fase 2 - DQ Assessment y Fase 3 - DQ Improvement. En particular, esta herramienta ejecuta la fase 1 que consta de tres etapas: ST1 - Elicitation, ST2 - Data Analysis y ST3 - User Requirements Analysis. Al mismo tiempo, otro proyecto de grado se centró en el desarrollo de una herramienta que ejecuta la Fase 2 - DQ Assessment. Ambos proyectos trabajaron en una base de datos común, que considera todos sus requerimientos. La solución desarrollada utiliza una arquitectura con Django Framework como backend, integrando herramientas de data profiling, y un frontend desarrollado en React que permite interactuar con la herramienta de manera intuitiva. Adicionalmente, esta herramienta incorpora inteligencia artificial para el análisis de documentos, sugerencias de problemas de CD y componentes de contexto. La validación de la herramienta fue realizada mediante la ejecución de dos casos de estudio. En el primero se utiliza un dataset de libros y reseñas, y en el segundo un dataset de medicamentos. El objetivo del primer caso de estudio fue verificar el correcto funcionamiento de la herramienta, mientras que el segundo caso de estudio tiene dos objetivos. El primer objetivo es verificar la interoperabilidad entre las herramientas desarrolladas por los dos proyectos de grado y el segundo, es analizar, para un mismo dataset, las diferencias y similitudes entre el modelo de contexto obtenido con la herramienta y el modelo de contexto definido por un grupo de expertos de dominio y de CD. El análisis realizado demuestra la viabilidad de utilizar la herramienta que apoya la ejecución de la metodología CaDQM, reduciendo significativamente el tiempo y esfuerzo manual requerido para registrar los datos recabados mediante la aplicación de la metodología. Los resultados obtenidos muestran la efectividad de la herramienta propuesta. Además, dejan en evidencia que, a la hora de realizar tareas de gestión de CD, es importante trabajar con los expertos de dominios y con los usuarios de los datos. Esto último, totalmente alineado con las necesidades identificadas en la bibliografía de CD.