One-shot three-dimensional scene analysis

Abstract

This thesis studies the problem of extracting three-dimensional information of a scene by means of projecting structured light over it. Instead of measuring the depth of the scene as most techniques do, we propose a novel and efcient approach to estimate depth's gradient map. This information is extremely useful if we want to recognize or automatically understand what we are looking at. For example we will show how gradient information obtained with the proposed technique can be used for face recognition. We also study the problem of how to integrate a retrieved gradient field; these techniques combined with the proposed projection approach allows us to estimate the height map of a scene. The main difficulty of dealing with empirically obtained gradient fields is that they are not-integrable (i.e. they are not irrotational fields); hence we must use robust techniques that overcome this issue. In addition, to study the two-dimensional integration problem, more general approaches are also considered; we will show that these approaches can integrate gradient fields of dynamic scenes exploiting the data's temporal correlations to regularize the space of solutions.

En esta tesis estudiaremos el problema de extracción de información tridimensional de una escena mediante la proyección de luz estructurada. En lugar de medir directamente la profundidad de la superficie, proponemos una técnica que nos permite de manera eficiente estimar el campo de gradientes de la profundidad. Esta información es extremadamente útil en distintas tareas de la visión por ordenador cuyo objetivo es detectar objetos o entender de manera automática una escena. A modo de ejemplo, mostraremos como la información obtenida mediante la técnica propuesta puede ser utilizada para el reconocimiento facial.También estudiaremos como es posible integrar el campo de gradientes calculado mediante la técnica propuesta. La mayor dificultad que debemos afrontar al integrar un campo de gradientes obtenido experimentalmente, radica en que debido al ruido, el campo que poseemos no es irrotacional, y por lo tanto no es integrable. Es necesario encontrar y definir métodos de integración robustos que puedan obtener una solución a este problema. En este trabajo en particular, extenderemos algunas de las técnicas de integración para problemas en los cuales los campos de gradientes poseen una dependencia temporal, que puede ser explotada para imponer distintos tipos de regularización.