Gestión de calidad de datos en arquitecturas de Big Data.

Abstract

El término “Big Data” (BD) hace referencia a grandes colecciones de datos heterogéneos, que se generan a altas velocidades (Marotta y Serra, s.f.). Hoy en día, estas colecciones de datos son utilizadas por herramientas de Analítica Avanzada (AA) y Business Intelligence (BI) (B. Inmon, Levins, y Srivastava, 2021). A lo largo de los años han surgido distintos sistemas para soportar los diversos requisitos de análisis de los datos en BD, como Data Warehouses (DW) y Data Lakes (DL). Sin embargo, ninguno de estos sistemas logra brindar soporte para herramientas de AA y BI, a la vez (B. Inmon y cols., 2021; Marotta y Serra, s.f.). Es por esto que en la actualidad, la comunidad académica busca hacer una transición a una nueva arquitectura de análisis de BD, denominada “Data Lakehouse”, la cual logra integrar las capacidades de DW y DL en un mismo sistema unificado. Sin embargo, actualmente no existe una arquitectura establecida para este sistema, como sí existen para los DW y DL (Armbrust, Ghodsi, Xin, y Zaharia, 2021; B. Inmon y cols., 2021). Por otro lado, debido al volumen de datos de BD y los distintos requerimientos de análisis impuestos por diferentes usuarios, la gestión de la calidad de datos cobra un papel sumamente relevante en estas arquitecturas y su gestión debe adaptarse a toda la variabilidad que estas presentan. En la actualidad no existen técnicas o metodologías globalmente aceptadas, que sean específicas para la gestión de calidad de datos en arquitecturas de este tipo (Ravat y Zhao, 2019a; Armbrust y cols., 2021; Zouari, Kabachi, Boukadi, y Ghedira Guegan, 2021; Nargesian, Zhu, Miller, Pu, y Arocena, 2019). En respuesta a estas problemáticas, este trabajo propone una arquitectura genérica de BD que logre combinar las capacidades de DW y DL, incorporando la gestión de calidad de datos dentro de la misma. A su vez, para verificar la factibilidad técnica y tecnológica de la propuesta, se desarrolló un prototipo reducido de la arquitectura propuesta.