Sistema para la integración de información de crímenes

Abstract

Actualmente existe una gran variedad de canales para reportar crímenes, entre ellos se encuentran aplicaciones comunitarias, redes sociales o sistemas de denuncias del estado. Esto facilita que las personas puedan reportar crímenes de forma rápida. Como consecuencia de esta situación, aumenta de manera significativa la cantidad de información generada, por lo que es de interés lograr procesar todos estos datos heterogéneos y explotarlos en información de valor o alertas en tiempo real. Esto ayudaría en la lucha contra el crimen, la seguridad y la prevención. El presente proyecto surge como trabajo posterior a dos artículos de investigación publicados en el año 2015. Uno de ellos propone una arquitectura que integra la información generada por usuarios, con la capacidad de análisis de GeoBI y Big Data, poniendo foco en la espacialidad de los datos. El otro artículo se basa en la arquitectura definida para proponer una solución de analíticas en tiempo real. A partir de un análisis de la arquitectura teórica propuesta, nuestro objetivo principal es proponer una implementación concreta de la misma, por lo amplia de la propuesta original nos enfocamos en una parte, más concretamente en la ingestión, procesamiento y almacenamiento de los datos para su posterior análisis. Nos planteamos un problema de Big Data, donde se tiene en consideración la variedad de las fuentes de datos, la velocidad con la que se ingieren (necesitando una solución en tiempo real) y el volumen de los mismos. Para resolver este problema llevamos a cabo una investigación de herramientas de Big Data con capacidad de procesamiento en tiempo real, junto a un estudio comparativo. Luego diseñamos una arquitectura tecnológica basada en productos específicos, la cual se toma como base para la implementación. Desarrollamos un prototipo que toma datos de Twitter y aplicaciones externas a partir de web services, los cuales son procesados mediante la herramienta Apache Storm, elegida a partir del análisis comparativo realizado previamente. El procesamiento implica la normalización, validación, clasificación y cruzamientos de los datos. Para la implementación, además de Apache Storm como herramienta de procesamiento, utilizamos Apache Kafka como cola de mensajes. Decidimos usar la tecnología Java, y se emplean como motores de base de datos PostgreSQL y MongoDB. Para validarlo se crea una web de alertas que consiste en un mapa que muestra los crímenes que ingresan al sistema con sus datos relevantes. Asimismo se diseña e implementa una solución de Business Intelligence para visualizar reportes mediante la suite de Pentaho. Al finalizar el proyecto se logran cumplir los objetivos planteados, obteniendo luego de un estudio y comparativa de herramientas Big Data, un diseño e implementación de un sistema de integración, procesamiento y análisis de crímenes, con su validación correspondiente a través de un prototipo creado con productos específicos.