Reconocimiento automático de glosas LSU en discurso continuo

Abstract

Los avances recientes en aprendizaje profundo han mejorado significativamente las soluciones a problemas de clasificación y traducción automática, impactando también en el desarrollo de sistemas de reconocimiento de lenguas de señas. Sin embargo, la investigación en este campo se ha visto limitada por la escasez de datos anotados, especialmente para lenguas poco documentadas como la Lengua de Señas Uruguaya (LSU). Recientemente, un equipo del CIBPsi ha generado el primer conjunto de datos de glosas de videos de intérpretes de LSU, habilitando por primera vez la investigación computacional sobre esta lengua. Este proyecto aborda el reconocimiento automático de señas LSU, tanto en su variante aislada como en la detección en video continuo (sign spotting). A partir de 27 videos anotados con glosas, se construye un dataset curado de 446 glosas y 17.793 instancias mediante un pipeline de normalización, filtrado y extracción de keypoints corporales con MediaPipe. Para el reconocimiento aislado se entrenan y comparan dos arquitecturas basadas en keypoints: SPOTER (Transformer) y MSG3D (red convolucional de grafos), obteniendo esta última los mejores resultados con una accuracy Top-1 de 32,7% sobre 446 clases. Para el reconocimiento continuo se implementan dos enfoques: un pipeline con segmentador temporal (MS-TCN) seguido de clasificación, y un enfoque de ventana deslizante. La evaluación se realiza mediante un sistema jerárquico de tres niveles que mide detección temporal, reconocimiento Top-5 y reconocimiento Top-1, utilizando métricas de F1 e IoU. Si bien el rendimiento obtenido no es suficiente para su aplicación directa en un entorno real, el trabajo constituye el primer antecedente de entrenamiento y evaluación de modelos de reconocimiento automático de LSU sobre el nuevo dataset, identificando fortalezas y limitaciones de cada enfoque y sentando bases para futuras investigaciones en el área.