Interactive deep learning model for color restoration of artwork images

Abstract

Este trabajo aborda el desafío de restaurar digitalmente la apariencia cromática de imágenes de las obras del artista uruguayo Joaquín Torres García perdidas en el incendio del Museo de Arte Moderno de Río de Janeiro en 1978. Basándose en documentación monocromática heterogénea, el trabajo evalúa las limitaciones de los métodos de colorización totalmente automáticos y utiliza un enfoque híbrido con intervención humana-experta basado en la arquitectura iColoriT. Para adaptar el modelo al dominio del artista, se construyeron conjuntos de datos con diversas características, que abarcan desde un núcleo curado por expertos a partir de obras de Torres García hasta un corpus más amplio que integra diversas fuentes de archivo. Se implementó una estrategia de ajuste fino mediante Adaptación de Bajo Rango (LoRA) para optimizar el Vision Transformer (iColorit), capturando la paleta del artista y preservando las capacidades interactivas del modelo. Los resultados experimentales demuestran que los modelos adaptados con LoRA superan consistentemente al modelo base de iColoriT tanto en métricas cuantitativas (PSNR, LPIPS) como en la fidelidad cualitativa, especialmente en escenarios con escasa guía del usuario. Por último, para los curadores, este trabajo adapta una herramienta de software interactiva que permite a los usuarios tomar muestras de color de imágenes de referencia cromáticas y condicionadas por la luminancia. Esto garantiza restauraciones históricamente y estilísticamente plausibles.

This thesis addresses the challenge of digitally restoring the chromatic appearance of artworks by the Uruguayan artist Joaquín Torres García, lost in the 1978 fire at the Museum of Modern Art in Rio de Janeiro. Relying on heterogeneous monochromatic documentation, the work evaluates the limitations of fully automatic colorization methods in the artistic domain and uses a hybrid approach based on the iColoriT architecture. To adapt the model to the artist’s domain, a hierarchy of progressively inclusive datasets was constructed, expanding from a curated core of Torres García to a broader corpus incorporating diverse archival sources. A parameter-efficient fine-tuning strategy using Low-Rank Adaptation (LoRA) was implemented to optimize the Vision Transformer, capturing the artist’s palette while preserving the model’s interactive capabilities. Experimental results demonstrate that the LoRA-adapted models consistently outperform the iColoriT baseline in both quantitative metrics (PSNR, LPIPS) and qualitative fidelity, particularly in regimes with sparse user guidance. Finally, for curators, this work adapts an interactive software tool that allows users to take color samples from chromatic and luminance-conditioned reference images. This ensures historically and stylistically plausible restorations.