Extracción, transformación y carga (ETL) en plataformas de integración

Abstract

Las arquitecturas orientadas a servicios (Service Oriented Architecture, SOA) plantean un enfoque prometedor, que permite el desarrollo ágil y de bajo costo de los sistemas basados en servicios. La construcción de estos sistemas, se apoya en general en plataformas de integración, las cuales brindan un medio a través del cual se realizan invocaciones a los servicios. En este contexto puede resultar de interés analizar en tiempo real la información de los mensajes que circulan a través de una plataforma de integración, extrayendo información relevante sobre el uso del sistema que ayude a la toma de decisiones. Por otro lado, los sistemas de Data Warehousing (DWs) surgen como un mecanismo de apoyo para la toma de decisiones, en el que los datos de una organización se transforman en información estratégica, que además puede ser accedida de manera sencilla en cualquier momento. En este proyecto, se incorporaron mecanismos a una plataforma de integración, basada en un Enterprise Service Bus (ESB), que permiten capturar información de interés para el usuario de los mensajes que circulan a través del ESB, almacenando dicha información en un Data Warehouse. En primer lugar, se realizó un análisis de la problemática planteada, identificando una serie de requerimientos, y se hizo un relevamiento de soluciones existentes que resolvieran dicha problemática. En este relevamiento se encontraron dos enfoques relacionados a la carga de un Data Warehouse en tiempo real, de los cuales se pudieron aprovechar algunas ideas. En base a este análisis se propuso una solución que incorpora un conjunto de componentes a una plataforma de integración basada en un ESB, con el fin de alcanzar los objetivos planteados. Las principales características de la solución propuesta son la construcción de un Data Warehouse de forma automática a partir de configuraciones que puede realizar un usuario y la obtención de información tanto de los mensajes que circulan por el ESB, como aplicando técnicas de Complex Event Processing (CEP). A partir de esta propuesta se desarrolló un prototipo basado principalmente en la utilización de Switchyard como plataforma ESB y Esper como motor CEP. En la etapa final del proyecto, se definieron tres casos de estudio que fueron utilizados durante el período de pruebas, para comprobar el correcto funcionamiento del sistema y evaluar el rendimiento de la plataforma. Como conclusión general podemos decir que este tipo de solución puede ser de mucha utilidad para resolver la problemática planteada dentro de un ambiente controlado, por ejemplo dentro de una organización.