Calidad de datos basada en contexto en Data Lakes.

Abstract

En la actualidad, el uso de tecnologías de Big Data se ha vuelto cada vez más presente en diversos sectores, llevando a que las empresas deban basar sus estrategias en decisiones tomadas a partir de grandes volúmenes de datos. A medida que crece la dependencia en estos sistemas, también se vuelve fundamental contar con herramientas y estrategias que permitan evaluar la calidad de los datos utilizados, ya que una mala calidad puede generar análisis erróneos y afectar el valor obtenido de los datos. Sin embargo, el estudio sistemático de la calidad de los datos en entornos de Big Data sigue siendo limitado y representa un área de investigación en desarrollo. Este proyecto se basa en dos trabajos previos: el proyecto de grado de (Cortés, 2024), que propone una arquitectura genérica de Big Data con capacidades de gestión de la calidad de los datos, y la tesis de doctorado de (Serra, 2024), que propone el modelado del contexto de los datos y la definición de modelos de calidad de datos que consideran el modelo de contexto. En este trabajo se unifican ambas propuestas, brindando la capacidad de incorporar modelos de contexto al proceso de gestión de calidad de los datos, en la arquitectura genérica de Big Data. Para ello, se realiza un análisis sobre la incidencia de los componentes de contexto sobre los datos en las distintas zonas del Data Lake, a través del cual se identifica un nuevo componente de contexto, denominado “Data Lineage”. En base a este análisis, se proponen modificaciones al modelo de metadatos de la arquitectura, especificando las nuevas entidades y relaciones necesarias para poder representar modelos de contexto y modelos de calidad de datos basados en ellos. Para demostrar la viabilidad de nuestra propuesta, se diseñó e implementó una prueba de concepto, utilizando el DBMS de bases de datos de grafos Neo4j, para la implementación de los metadatos de calidad de datos y de contexto.