Lexical semantics on word embeddings through deep metric learning.

Abstract

In the last time, remarkable advances in natural language processing, such as translation and dialog systems, have been obtained. The technologies used include neural network models and distributed representations of word semantics, known as word embeddings. This thesis deepens in the field of word embeddings and the use of deep metric learning approaches for lexical semantics. Three main lexical relations are considered: synonymy, hypernymy, and antonymy. These relations, which are particularly related with paraphrasing and textual entailment, are aligned with three mathematical binary relations: equivalence, partial orders, and antitransitive relations, respectively. Equivalence and partial order relations are well-known in mathematics, differing in the relation symmetry property. Regarding antitransitive relations, they overcome the inadequacy of the two previous ones to model contrariness or opposition, which is present in antonymic terms. The approach of this thesis is to address the aforementioned semantic relations using techniques inspired by deep metric learning. Particularly, taking into consideration properties like relation symmetry and transitivity, in order to formulate well-suited approaches for each relation. The approach is to reencode a set of pretrained word embeddings on a supervised learning setup to generalize the relation to unseen cases. For synonymy, siamese neural networks are suitable, since equivalence relations fit well to be modeled by terms of distance functions. For hypernymy detection, order embeddings were used to learn ordered representations with successful results. For antonymy, the parasiamese and repelling parasiamese network models were developed, allowing us to distinguish antonyms from synonyms in the embedding space, through weakening the tendency of siamese and triplet networks to learn transitive relations. The main contributions from this thesis are: (1) the use of order embeddings to encode word embeddings for hypernymy detection, (2) the development of the parasiamese and repelling-parasiamese models to learn antitransitive relations, particularly antonymy, (3) experiments with benchmark and specially tailored datasets obtaining state-of-the-art results, and (4) two datasets in Spanish developed for hypernymy detection and antonymysynonymy discrimination tasks.

En los últimos tiempos se han obtenido notables avances en el procesamiento del lenguaje natural, como puede verse en los sistemas de traducción automática y agentes conversacionales. Las tecnologías utilizadas incluyen modelos de redes neuronales y representaciones vectoriales de la semántica de las palabras, conocidas en inglés como word embeddings. Esta tesis profundiza en el campo de las representaciones vectoriales de palabras y en enfoques de aprendizaje automático, aplicados a la semántica léxica. Se consideran tres relaciones principales de la semántica léxica: sinonimia, hiperonimia y antonimia. Estas relaciones, que están especialmente relacionadas con la paráfrasis y la vinculación textual, se alinean con tres relaciones matemáticas: equivalencia, órdenes parciales y relaciones antitransitivas, respectivamente. Las relaciones de equivalencia y de orden parcial son bien conocidas en matemáticas, y se diferencian por la propiedad de simetría. En cuanto a las relaciones antitransitivas, son utilizadas para modelar la contradicción u oposición presente en los términos antonímicos. El enfoque de esta tesis consiste en abordar las relaciones semánticas mencionadas utilizando técnicas inspiradas en el aprendizaje métrico profundo. En particular, teniendo en cuenta el cumplimiento o no de las propiedades de simetría y transitividad para formular modelos de redes neuronales para cada relación. El enfoque general consiste en recodificar un conjunto de vectores de palabras preentrenadas mediante ejemplos de la relación para generalizarla a casos no vistos. Para la sinonimia, son adecuadas las redes neuronales siamesas, ya que las relaciones de equivalencia se adaptan bien a ser modeladas en términos de funciones de distancia. Para la detección de la hiperonimia, se entrenaron morfismos de orden para aprender representaciones ordenadas con resultados positivos. Para la antonimia, se desarrollaron los modelos de redes parasiamesas y redes parasiamesas con rechazo, que permiten distinguir antónimos de sinónimos, mediante una simple modificación que altera la tendencia de las redes siamesas y de tripletas a aprender relaciones transitivas. Los principales aportes de esta tesis son: (1) el uso de morfismos de orden para recodificar vectores de palabras para la detección de hiperónimos, (2) el desarrollo de los modelos de redes parasiamesas y parasiamesas con rechazo para aprender relaciones antitransitivas, en particular la antonimia, (3) experimentos usando los modelos anteriores con conjuntos de datos de referencia y especialmente adaptados obteniendo resultados del estado del arte, y (4) dos conjuntos de datos en español desarrollados para tareas de detección de hiperónimos y discriminación entre antonimia y sinonimia.