Experimentos sobre transcripción y traducción Español - Lengua de Señas Uruguaya

Abstract

En este proyecto se investiga la viabilidad de construir un sistema de traducción automática que convierta una señal acústica en español uruguayo en una secuencia de glosas correspondientes a la Lengua de Señas Uruguaya (LSU). Las lenguas de señas, al ser lenguajes naturales en modalidad visual-espacial, han recibido históricamente menos atención en el campo del procesamiento de lenguaje natural. En Uruguay, este vacío es aún más pronunciado debido a la escasez de recursos lingüísticos en LSU, lo que dificulta tanto el desarrollo de tecnologías accesibles como la investigación en esta área. El objetivo principal del trabajo es avanzar en la traducción automática entre el español uruguayo hablado y la LSU. Para ello, se diseñó un sistema dividido en dos componentes fundamentales: primero, un módulo de reconocimiento automático de habla, encargado de transcribir el audio en español uruguayo a texto; y segundo, un módulo de traducción automática que transforma ese texto en una secuencia de glosas, que representan una forma escrita intermedia para expresar LSU. El proyecto comienza con la recopilación y procesamiento de un corpus de audio local proveniente de emisiones televisivas, que fue transcrito y corregido manualmente para evaluar el rendimiento de distintos sistemas de ASR. Se compararon los resultados de dos herramientas: Google Speech Recognition y Whisper, concluyendo que Whisper ofrece un desempeño significativamente superior para el dominio específico del español uruguayo.

En la etapa de traducción, se utilizaron cuatro conjuntos de datos: dos en Lengua de Señas Española y dos en LSU. Para entrenar los modelos se empleó la herramienta OpenNMT, que implementa técnicas de aprendizaje automático para traducción de secuencia a secuencia. Los resultados se evaluaron utilizando métricas estándar como BLEU (Bilingual Evaluation Understudy) y CHRF (Character F-score). Como resultado tangible del trabajo, se desarrollaron prototipos funcionales de las dos etapas principales del pipeline: la transcripción automática de audio y la traducción a glosas LSU. Si bien no se implementó un sistema integrado que encadene ambas etapas de forma continua, los componentes desarrollados permiten validar cada parte del proceso de forma independiente y sientan las bases para una integración futura. La generación visual de señas a través de un avatar queda fuera del alcance de este proyecto.