Representación de palabras en espacios de vectores

Abstract

En el presente documento se describe el trabajo realizado en el marco del proyecto de grado “Representación de Palabras en Espacios de Vectores”. Dicho proyecto buscó realizar una evaluación y comparación de las principales técnicas para la generación de representaciones vectoriales de palabras aplicadas al idioma español, haciendo especial énfasis en la experimentación directa con las mismas. Dado que las técnicas estudiadas requieren grandes cantidades de texto para su buen funcionamiento, se investigaron y aplicaron técnicas para la extracción masiva de texto de Internet. A su vez, se construyó una herramienta web para simplificar las tareas de entrenamiento y evaluación de los vectores generados. Dicha herramienta permite también realizar consultas complejas sobre el corpus construido y centraliza todas las tareas de extracción de texto de Internet. Para la evaluación de las representaciones vectoriales se tradujeron al español los principales conjuntos de prueba de la literatura y se propusieron además una serie de casos de prueba novedosos como complemento a los ya existentes. Como resultado se presenta un corpus en idioma español de más de seis mil millones de palabras, junto con una herramienta de código abierto que permite generar y evaluar vectores de palabras utilizando diversos algoritmos del estado del arte del campo. La evaluación de las representaciones generadas arrojó, asimismo, resultados comparables a los obtenidos en la literatura para el idioma inglés.