Evaluación automática de la oralidad en aprendizaje de inglés.

Abstract

Este proyecto aborda el desafío de automatizar la evaluación del habla en inglés como segunda lengua, motivado por el interés del sistema educativo público en evaluar a una mayor cantidad de estudiantes de educación primaria y media en el país e impulsado por el programa educativo Ceibal en Inglés de Ceibal. El trabajo se centra en desarrollar y evaluar herramientas que permitan analizar tanto la forma de producción del habla como el contenido semántico de las respuestas orales. Para la evaluación de características acústicas, se implementaron dos enfoques : una línea base que compara secuencias fonéticas utilizando el modelo Wav2Vec2Phonemes para la extracción de fonemas, y la adaptación del sistema MultiPA (Multi-task Pronunciation Assessment), un modelo preentrenado que evalúa múltiples aspectos de pronunciación. Estos métodos se validaron utilizando dos conjuntos de datos : EpaDB (English Pronunciation by Argentinians Database) y datos reales de estudiantes de Ceibal. En el análisis del contenido semántico, se desarrolló un sistema basado en el modelo de lenguaje de gran escala Llama 3 de 8 mil millones de parámetros. Se diseñaron y evaluaron diversos métodos de instrucción (prompting) para analizar el cumplimiento de tareas en cuatro tipos diferentes de ejercicios de oralidad. Para la transcripción del habla se utilizó WhisperX, seleccionado tras una comparativa con otros sistemas de reconocimiento automático del habla. Los componentes desarrollados se integraron en una plataforma web unificada implementada con React en el frontend y Python FastAPI en el backend. La arquitectura modular del sistema permite la ejecución flexible de diferentes flujos de evaluación mediante un sistema configurable de pipelines, facilitando la incorporación de nuevas herramientas y métodos. Los resultados muestran que MultiPA logra buenas correlaciones con evaluaciones humanas en términos de inteligibilidad y fluidez. En la evaluación semántica, las técnicas de few-shot learning y chain of thought resultaron particularmente efectivas, aunque se identificaron desafíos en la categorización de respuestas intermedias dentro de un esquema de tres niveles de corrección. La plataforma desarrollada muestra la viabilidad de integrar estas herramientas de manera funcional, estableciendo una base para futuras mejoras en la evaluación automatizada del habla en la enseñanza de idiomas.