Analítica sobre Big Data

Abstract

El análisis de grandes datos ha sustituido a la recolección de datos como nuevo "cuello de botella" en el proceso de toma de decisiones. Para extraer conocimiento de utilidad de grandes, heterogéneos y fluctuantes conjuntos de datos, se necesita de poderosos recursos computacionales y abstracciones de programación, que sean efectivamente utilizados. Big Data surgió junto con la aparición en el mercado de computadoras con gran capacidad de cómputo las cuales actúan en forma distribuida, pero coordinadamente, aprovechando su potente capacidad de procesamiento. Para su tratamiento se debe tener en consideración las principales características en Big Data: volumen de los datos generados, su variabilidad y la velocidad con que ellos se originan. Su tratamiento implica tener que emplear algoritmos específicos que alternan el uso del disco y de la memoria, reducir las dimensiones de los modelos (para facilitar la interpretabilidad o para llegar a resultados válidos), adaptar algoritmos de propósito general (como el gradiente estocástico), generar nuevos algoritmos para el procesamiento de datos originados por streaming y distribuir los datos entre múltiples nodos, utilizando modelos computacionales que organizan los cálculos (el más popular es MapReduce). Tal diversidad de abordajes es debido a las diferencias entre el Data Mining tradicional y la analítica aplicada a Big Data. Incluso el análisis estadístico debe modificarse debido a que luego del procesamiento de los datos, el análisis predictivo en Big Data emplea muestras que representan a la mayor a de la población, por lo que la significación estadística no es tan apreciable como lo es en la analítica tradicional. Este hecho da lugar a nuevos métodos estadísticos para obtener conocimientos de los modelos predictivos. En el presente documento se describen generalidades del proceso de analítica sobre Big Data y se presentan técnicas que pueden ser aplicadas a este tipo de problemas. A lo largo de ellas se exploran y analizan distintos algoritmos y su viabilidad para enfrentarse con datos masivos, presentándose, en algunos casos, sugerencias para su adaptación. Por otro lado se presenta un ordenamiento que incluye una clasificación y una taxonomía de los términos de minería de datos y modelos computacionales adaptados a Big Data. Al estudiarse los algoritmos actuales, se identifican posibles modificaciones planteadas como casos de estudio cuya viabilidad podría ser analizada en el futuro. A su vez se presenta un caso de estudio donde algunas de las técnicas estudiadas son aplicadas al Plan Ceibal, basándose en los datos obtenidos de los usuarios, a través del análisis de una red modelada por un grafo, cuyos nodos son los centros de estudio y sus aristas están representadas por la hora en que esos centros están conectados.