Single-image blind motion deblurring : Bridging blur formation models with data-driven learning.

Abstract

This thesis addresses the challenging, ill-posed problem of motion deblurring, a prevalent source of image degradation affecting numerous applications, such as photography, medical imaging, and robotics. Current state-of-the-art deep learning-based deblurring networks, while demonstrating impressive performance on specific datasets, often struggle with generalization to real-world scenarios due to their reliance on learning directly from blurry/sharp image pairs. Conversely, while often generalizing better under their assumed conditions, classical modelbased approaches frequently utilize overly simplified blur models (e.g. uniform blur), limiting their accuracy. This thesis proposes novel hybrid approaches that synergistically combine the strengths of model-based and data-driven methods. Our first contribution is a motion blur Kernel Prediction Network (KPN), which characterizes non-uniform motion blur using a set of image-adaptive basis kernels and their mixing coefficients.This efficient representation overcomes the limitations of simplistic blur models, enabling accurate modeling of complex, real-world blur patterns. The effectiveness of KPN is demonstrated in diverse datasets and settings. Specifically, the KPN is integrated into two distinct blind deblurring algorithms: one employing an adaptation of the Richardson-Lucy deconvolution algorithm and another leveraging a recent non-blind restoration network. The latter leads to the Joint Motion Kernel Prediction and Deblurring (J-MKPD) blind restoration method, a joint training approach that combines the motion blur KPN with an unrolled plug-and-play restoration network. Motivated by the high-quality results obtained with J-MKPD, this thesis further explores alternative degradation models that are better suited for specific scenarios. A camera trajectory prediction network is developed to estimate the motion blur kernel field resulting from camera shake. This network, when jointly trained with the same unrolled plug-and-play restoration network as J-MKPD, forms the Joint Motion Trajectory Prediction and Deblurring (J-MTPD) method, specifically designed for camera shake blur. A third method, Joint Motion Offsets Prediction and Deblurring (J-MOPD), utilizes a more expressive offset-based representation of the motion blur kernel field. While more challenging to train, this representation offers increased flexibility. A novel training strategy is introduced to constrain the solution space, enabling efficient integration with the unrolled plug-and-play network and resulting in a blind deblurring method assuming locally uniform blur. Recognizing the crucial role of training data in the generalization capabilities of end-to-end deblurring networks, this thesis comprehensively analyzes existing datasets, identifying their limitations and the underlying causes of poor generalization. Based on this analysis, a novel procedure is proposed to generate synthetic training data. This methodology focuses on simulating how blur manifests in realworld scenarios, allowing the generation of a virtually unlimited supply of diverse, high-quality training pairs. The resulting J-MKPD, J-MTPD, and J-MOPD methods constitute a suite of publicly available deblurring algorithms demonstrating excellent cross-dataset performance, especially on real-world image datasets. J-MKPD proves effective for motion blur up to 33 pixels, while J-MTPD excels in handling camera shake blur, and J-MOPD is well suited for locally uniform blur. Furthermore, the thesis explores the application of J-MKPD for super-resolution and demonstrates the video generation capabilities of J-MTPD and J-MOPD. This work bridges the gap between model-based and data-driven approaches, providing robust solutions while offering valuable insights into the limitations of existing techniques and the challenges in creating truly generalizable deblurring methods.

Esta tesis aborda el desafiante y mal condicionado problema de restauración de imágenes borrosas (deblurring) afectadas por blur de movimiento, una degradación común que afecta a numerosas aplicaciones, como la fotografía, las imágenes médicas o la robótica. Los métodos de eliminación de borrosidad que constituyen el estado del arte utilizan técnicas de aprendizaje profundo, y generan resultados espectaculares en determinados conjuntos de datos. Sin embargo, enfrentan dificultades para trasladar este desempeño a escenarios del mundo real, debido fundamentalmente a su confianza en el aprendizaje directo a partir de pares de imágenes borrosas/nítidas. Por el contrario, los enfoques clásicos basados en modelos, si bien tienden a generalizar mejor cuando se cumplen sus supuestos, suelen emplear modelos de degradación simplificados (por ejemplo, blur uniforme), lo que limita su aplicabilidad. En esta tesis se proponen métodos novedosos de restauración que combinan sinérgicamente las fortalezas de los enfoques basados en modelos con aquellos que aprenden a partir de datos. La primera contribución es una Red de Predicción de Kernels de movimiento (KPN, por sus siglas en inglés) que, para cada imagen borrosa, genera una base de kernels de movimiento junto con los coeficientes de mezcla, permitiendo expresar el mapa de blur por movimiento de la imagen. Esta representación eficiente supera las limitaciones de los modelos de blur simplificados, generando un mapa de blur espacialmente variante capaz de expresar kernels complejos, representativos de los que se encuentran en la realidad. La efectividad de la KPN se demuestra en diversos conjuntos de datos y entornos. Específicamente, la KPN se integra en dos algoritmos de eliminación de borrosidad ciegos (sin degradación conocida): uno que emplea una adaptación del algoritmo de deconvolución de Richardson-Lucy y otro que incorpora una red de restauración reciente no ciega (con degradación conocida). Este último da lugar al método de restauración ciega Joint Motion Kernel Prediction and Deblurring (J-MKPD), en el cual la KPN se entrena en forma conjunta con una red de restauración de tipo plug-and-play desenrollada, logrando excelentes restauraciones en bases de imágenes reales. Motivados por los resultados obtenidos con J-MKPD, esta tesis explora modelos alternativos de degradación que resulten más adecuados para escenarios específicos. Se desarrolla una red de predicción de trayectoria de cámara que permite estimar el mapa de kernels de movimiento inducido por el movimiento de la cámara durante la adquisición de la imagen. Cuando esta red se entrena conjuntamente con la misma red de restauración plug-and-play utilizada en J-MKPD, se obtiene el método Joint Motion Kernel Prediction and Deblurring (J-MTPD), diseñado específicamente para blur causado por el movimiento de la cámara. Un tercer método, Joint Motion Offsets Prediction and Deblurring (J-MTPD), estima para cada píxel, su desplazamiento durante la adquisición de la imagen. Esta representación del mapa de blur es más expresiva que las anteriores, aunque es más difícil de entrenar. Se introduce una nueva estrategia de entrenamiento que restringe el espacio de soluciones, lo que permite una integración eficiente con la red plug-and-play desenrollada, resultando en un método de restauración ciego que asume blur localmente uniforme. Reconociendo el papel crucial de los datos de entrenamiento en la capacidad de generalización de las redes de deblurring, esta tesis realiza un análisis exhaustivo de los conjuntos de datos existentes, identificando sus limitaciones y las causas subyacentes para la baja capacidad de generalización. Basándose en este análisis, se propone un nuevo procedimiento para generar datos sintéticos de entrenamiento. Esta metodología se enfoca en simular cómo se manifiesta el blur en escenarios reales, permitiendo generar un número ilimitado y diverso de pares borrosa/nítida para el entrenamiento. Los métodos J-MKPD, J-MTPD y J-MOPD constituyen un conjunto de algoritmos de eliminación de blur por movimiento disponibles públicamente, que demuestran un excelente rendimiento en distintos conjuntos de datos, particularmente en imágenes reales. J-MKPD es eficaz cuando el blur de movimiento es de hasta 33 píxeles, J-MTPD sobresale cuando el blur es debido al movimiento de cámara, y J-MOPD es particularmente adecuado cuando el blur puede considerarse localmente uniforme. Además, la tesis explora la aplicación de J-MKPD para superresolución y demuestra la capacidad de J-MTPD y J-MOPD para generar video a partir de una imagen borrosa. Este trabajo reduce la brecha entre los enfoques basados en modelos y los basados en datos, proporcionando soluciones robustas y un análisis crítico sobre las limitaciones de las técnicas existentes, así como los desafíos asociados al desarrollo de métodos de deblurring con alta capacidad de generalización.