Tratamiento de expresiones temporales con redes neuronales artificiales y representaciones distribuidas de las palabras

Abstract

En esta tesis se realiza el reconocimiento y la clasificación de expresiones temporales en español sin incluir otra información explícita del dominio que los datos de entrenamiento. El enfoque propuesto consiste en modelos de redes neuronales artificiales que toman como entrada representaciones vectoriales de las palabras. Estas representaciones están construidas en base a la distribución de los contextos en los que ocurren y los modelos son entrenados utilizando textos anotados con la información temporal que se pretende aprender. Por un lado, se estudia si las representaciones vectoriales, construidas de forma no supervisada, junto con los modelos neuronales, permiten realizar un buen uso de los datos supervisados, prescindiendo de la necesidad de considerar otros mecanismos de generalización, como son las clases de palabras, habitualmente utilizadas en esta problemática. Por otra parte, se observa que las representaciones de los términos temporales codifican conocimiento del dominio de la temporalidad, en particular información del orden y de la granularidad de las entidades. Por ejemplo, es posible reconstruir el orden de los días de la semana a partir de las representaciones. Debido a la falta de recursos para el español al momento de iniciar esta tesis, se entrenan y evalúan representaciones vectoriales de la Wikipedia en español usando el método GloVe. Se adaptan tests de validación existentes del inglés para evaluar las representaciones, obteniéndose resultados interesantes. Para el reconocimiento y la clasificación se consideran modelos feedforward y long-short term memories bidireccionales. Se evalúan los resultados en una partición del conjunto de entrenamiento de Tempeval 2013, obteniendo valores de 79.2% de medida F para la detección exacta y 86.1% en el caso donde se admiten corrimientos de hasta una palabra en la expresión detectada. Debido a la no disponibilidad de los datos de evaluación no es posible realizar una comparación adecuada con otros sistemas. Finalmente, se entrenan modelos para el inglés, cuyas definiciones están orientados por las lecciones aprendidas del trabajo realizado para el español. En estos experimentos, se obtuvieron resultados de 79.1% para la detección de expresiones, resultado que está 4 puntos por debajo del estado del arte para el inglés (Lee et al., 2014).