Generación de shaders utilizando large language models.

Abstract

La generación automática de código a partir de descripciones en lenguaje natural es un área en rápida evolución, impulsada por los avances en modelos de lenguaje de gran escala (LLMs). Estudios previos han demostrado la eficacia de los LLMs en la generación de código en lenguajes tradicionales, pero la creación automática de shaders, programas especializados que se ejecutan en la GPU para calcular efectos visuales, sigue siendo un reto significativo debido a la necesidad de generar resultados que se correspondan visualmente con la descripción ingresada. Para abordar estas dificultades, el proyecto aplicó técnicas como Fine-Tuning y Retrieval-Augmented Generation (RAG), junto con el uso de bases de datos vectoriales, para mejorar la generación de shaders a partir de prompts en lenguaje natural. Los resultados muestran que, si bien el Fine-Tuning sobre un corpus reducido no fue suficiente para mejorar sustancialmente la generación de shaders, la integración de RAG permitió mejorar la precisión y coherencia del código generado. Este trabajo ofrece una plataforma interactiva y útil para la creación de visuales gráficos a partir de descripciones textuales, reduciendo la barrera técnica para usuarios sin experiencia en programación gráfica. Además, al incorporar retroalimentación de los usuarios sobre la calidad gráfica de los resultados, el sistema no solo mejora su rendimiento, sino que también contribuye a un corpus abierto, etiquetado y en constante expansión.