Extracción y análisis de información en bases de datos documentales

Abstract

Este trabajo responde a la necesidad de extraer información de bases de datos documentales con el fin de poder analizar dicha información. Las bases de datos documentales difieren de las conocidas bases de datos relaciones ya que disponen de un modelo de registro flexible, esto es porque permite a cada registro de datos estar compuesto por campos de longitud variable, campos con múltiples valores, cantidades de campos variables, etc. Esta flexibilidad agrega dificultad a la extracción y la estructuración de los datos requerida para su análisis. Por otro lado, un servicio requerido por las organizaciones es la gestión documental (Bedoya 2014) que se define como el conjunto de normas técnicas y practicas usadas para administrar el flujo de documentos de todo tipo en una organización, permitir la recuperación de información desde ellos, determinar el tiempo que los documentos deben guardarse, eliminar los que ya no sirven y asegurar la conservación indefinida de los documentos más valiosos. Es una actividad casi tan antigua como la escritura, que nació debido a la necesidad de "documentar" o fijar actos administrativos y transacciones legales y comerciales por escrito para dar fe de los hechos. Luego realizar una búsqueda acerca de herramientas disponibles en el mercado específicas para el análisis de información en bases de datos documentales, no encontramos ninguna que responda a la necesidad que da lugar a este proyecto. El proyecto se enmarca en la empresa ISA Ltda. (ISA Ltda. 2014) la cuál es propietaria de un sistema desarrollado sobre bases de datos documentales. Dicho sistema es utilizado por importantes organismos públicos y empresas, hace ya varios años, generando información útil que no está siendo aprovechada. La empresa desea analizar estos datos en una herramienta de análisis de información y un requerimiento es no comprometerse con herramientas propietarias, por lo cual todo el proyecto se basa en herramientas Open Source (Código Abierto 2014). De igual manera la solución aquí propuesta no se liga a ninguna herramienta de análisis de información en particular. Este proyecto tiene 2 objetivos principales, el primero consiste en realizar una investigación sobre herramientas Open Source existentes en cuanto a análisis de información, en particular se focalizó sobre herramientas Business Intelligence (BI) (Díaz 2012). Esta etapa tiene como resultado un documento con dicho estudio, comparando las mismas entre si y dejando como conclusión la elección de Pentaho (Pentaho 2014), debido a la facilidad de instalación y configuración, y opciones de trabajo que ofrece (ver sección 4). Para la segunda etapa se construyó una aplicación capaz de extraer datos de sistemas construidos sobre bases de datos documentales, para ser analizada mediante herramientas de análisis de información utilizando la herramienta seleccionada en la etapa anterior. La aplicación fue desarrollada en dos grandes módulos. Un módulo para la extracción, transformación y carga de los datos (ETL) (ETL 2014) el cuál cumple la función de recorrer los datos contenidos en las bases de datos, transformarlos y darle una estructura determinada para cargarlos en un Data Warehouse (DW) (Peralta 2001) el cuál sirve como entrada para la herramienta de análisis de datos como Pentaho. En el diseño de este módulo dedicamos especial atención e invertimos muchas horas de trabajo, ya que esta herramienta es el pilar fundamental de nuestro proyecto. Si podemos diseñar una herramienta que extraiga información de bases de datos no relacionales, transformarla e ingresarla a una base de datos relacional según un modelo recibido como parámetro, el resto del problema (hacer un modelo multidimensional para analizar información que reside en un DW) es un problema ya conocido y más fácil de resolver. El otro módulo es una aplicación web la cual hace posible la especificación de qué datos se extraerán y como se relacionaran entre sí para generar información útil. Ésta aplicación web presenta ventajas en cuánto a flexibilidad, reúso y mantenimiento de la especificación de la información a ser extraída. Como caso de estudio recurrimos al Banco de Seguros del Estado (BSE 2014), respondiendo a sus necesidades reales en base al uso del sistema, contando con su colaboración en interés en el proyecto. Realizamos pruebas con los datos brindados por el BSE, los cuales fueron procesados por la aplicación desarrollada obteniendo resultados muy positivos y una devolución alentadora de parte del BSE.