Búsqueda de respuestas en documentos institucionales utilizando grandes modelos de lenguaje.

Abstract

Con la llegada de los grandes modelos de lenguaje (Large Language Model -LLM), los modelos conversacionales están convirtiéndose de manera progresiva en una alternativa interesante para interactuar con diferentes fuentes de información utilizando únicamente el lenguaje natural. Sin embargo, estos modelos enfrentan dificultades importantes, como las alucinaciones o razonamientos incorrectos, o la imposibilidad de presentar las fuentes de información utilizadas, lo que se hace más evidente en tareas acotadas a dominios específicos, como puede ser responder preguntas sobre un tema particular. Este proyecto se centra en la exploración e implementación de métodos que permiten acotar la generación de respuestas de los LLMs en contextos específicos. La motivación principal es construir una herramienta que asista al Espacio de Orientación y Consulta (EOC) de la Facultad de Ingeniería de la Universidad de la República en la tarea de responder consultas de estudiantes, utilizando una base de documentos institucionales como fuente de información. Se exploran varios métodos, como Retrieval-Augmented Generation (RAG), Fine-tuning de LLMs, y la utilización de Grandes ventanas de contexto. Se propone un nuevo método llamado Prompting de Derivaciones, basado en el concepto de derivaciones lógicas, que permite guiar la generación de respuestas de los LLMs. Se evalúan los métodos sobre un conjunto de preguntas y respuestas reales y se realiza un análisis de los resultados obtenidos. Finalmente, se desarrolla un prototipo de una herramienta web que permite realizar consultas sobre la Facultad de Ingeniería utilizando los diferentes métodos explorados. Este prototipo está siendo evaluado por el EOC para brindar retroalimentación y validar su utilidad en un contexto real.