Generación de poses de lengua de señas a partir de descripciones en lenguaje natural de símbolos HamNoSys

Abstract

Las lenguas de señas, utilizadas por millones de personas, son lenguajes naturales con una gramática y un léxico propios, independientes de los lenguajes orales. A pesar de los avances de los últimos años, la producción automática de lengua de señas sigue siendo un desafío. Esta tesis investiga inicialmente el uso de modelos generativos para mejorar la producción de lengua de señas, para luego centrarse específicamente en la generación de secuencias de poses a partir de la notación The Hamburg Sign Language Notation System (HamNoSys). El método propuesto consta de tres componentes: (1) un generador de descripciones que traduce símbolos HamNoSys a lenguaje natural, (2) un Large Language Model (LLM) ajustado con Instruction Tuning para convertir estas descripciones en secuencias discretas de poses y (3) una red Vector Quantized Variational Autoencoder (VQ-VAE) para codificar y decodificar las poses. Esta combinación transforma la traducción de HamNoSys a poses en una tarea de generación condicionada por texto. Los resultados experimentales muestran que este enfoque logra un desempeño comparable a trabajos previos, validando así la metodología propuesta. No obstante, persisten desafíos en la precisión de las poses, especialmente en las configuraciones de las manos. Se proponen futuras líneas de investigación, como la exploración de arquitecturas alternativas, y el ajuste de las técnicas de discretización de poses. Además, esta investigación contribuye a la creación de diccionarios en lenguaje natural de símbolos HamNoSys, mejorando la accesibilidad, y abre oportunidades para el desarrollo de aplicaciones multimodales en la generación de movimiento humano, como la síntesis de gestos.