Extracción de fuentes de opinión a partir de textos de prensa uruguaya

Abstract

En documentos de prensa escrita frecuentemente se incluyen opiniones emitidas por los principales involucrados, ya sean personas u organizaciones. Es por esto que resulta de utilidad poder realizar un procesamiento automático de documentos de prensa para detectar estas opiniones y sus fuentes. En este trabajo se tiene como foco una parte del proceso de extracción de esta información: la identificación de las fuentes de opinión. Se modela la tarea como una clasificación de secuencias, procesando cada oración y etiquetando las palabras conforme pertenecen o no a la(s) fuente(s) de opinión en caso de existir. Se hizo uso de la arquitectura Transformer y modelos existentes basados en lenguaje español, realizando un fine tuning con nuevos ejemplos para ajustar estos modelos a la tarea mencionada. Se realizó la comparación entre el uso del modelo de lenguaje para el español habitualmente utilizado, BETO, y un modelo generado específicamente a partir de documentos de prensa uruguaya, ROUBERTA. Como parte de la evaluación, además se consideraron varias alternativas cambiando algunos de sus hiperparámetros. Por otro lado, se utilizó un modelo de lenguaje generativo open source para realizar algunas pruebas con el fin de evaluar si es posible prescindir del entrenamiento con un conjunto anotado en forma manual, para en su lugar utilizar prompts con un conjunto muy limitado de ejemplos. Esto dio como resultado respuestas poco predecibles y dificultades por parte del modelo para cumplir con la tarea y formato establecidos. Se pudo comprobar que, de las opciones vistas con ambos modelos a los cuales se aplicó fine tuning, se obtienen resultados relativamente similares. Los resultados evaluados sobre el conjunto de testeo presentaron una medida F exacta de 81.1 % con los modelos basados en ROUBERTA y 75.4 % con los modelos basados en BETO. Esto demuestra que, a pesar de haber tenido un corpus de datos significativamente menor durante su preentrenamiento, el utilizar un modelo preentrenado con el mismo dominio específico de la tarea a realizar permite obtener muy buenos resultados.