Affinement d'images de profondeur par fusion sensorielle 2-D et 3-D

Le sujet de cette these se situe dans le domaine de la vision numerique. Le but vise consiste a augmenter la performance des capteurs de profondeur. L'approche choisie est celle de la fusion sensorielle qui consiste a combiner l'information de divers modules afin d'affiner la mesure de distance. La fusion sensorielle proposee est celle entre des informations provenant de differentes modalites de la vision: intensite et profondeur.

Le probleme entier de la fusion peut se diviser en plusieurs etapes. Cette these traite de la determination des proprietes de reflectivite de surface des objets, de l'estimation du degre de confiance des images d'entree et de l'application de la fusion sensorielle entre les donnees.

Les interets d'un tel projet se situent a plusieurs niveaux. Premierement, il s'agit d'une approche originale pour ameliorer la precision d'images de profondeur. L'idee de base est un principe general qui peut s'appliquer a des donnees provenant de n'importe quel systeme d'acquisition de profondeur. Enfin, on parvient a acquerir l'information de la nature desiree selon des sources de natures differentes.

La demarche suivie consiste a determiner d'abord un moyen d'acquerir l'information des proprietes de reflectivite des surfaces pour ensuite, proceder a la fusion. Celle-ci comporte deux etapes qui sont la determination des orientations de surface par la technique de forme par intensite (shape from shading) et la reconstruction de la surface finale par integration.

Dans la partie experimentale, l'algorithme de fusion developpe est teste sur deux systemes de vision 3-D: une technique par absorption de lumiere dans un milieu absorbant et la camera BIRIS (profondeur par defocalisation).

Les resultats obtenus sont tres encourageants. Sur des surfaces qui permettent de le mesurer, un facteur de reduction du bruit variant entre 8 et 30 a ete observe sur des images experimentales. Le gain correspondant sur la plage dynamique est donc de 3 a 5 bits pour ces examples.

Dans cette these, les contributions principales sont: (i) d'avoir etabli une nouvelle approche pour l'affinement des images de profondeur applicable dans des conditions reelles de prise de mesures, (ii) d'avoir etabli une solution qui tient compte de la nature des sources d'entree et des contraintes entre celles-ci et (iii) d'avoir choisi et montre une solution qui s'adapte a un traitement massivement parallele.

Alternate abstract:

The subject of this thesis is in the field of digital vision. The aim is to increase the performance of depth sensors. The chosen approach is that of sensory fusion, which consists of combining information from various modules in order to refine the distance measurement. The proposed sensory fusion is that between information coming from different modalities of vision: intensity and depth.

The whole fusion problem can be divided into several steps. This thesis deals with the determination of the surface reflectivity properties of objects, the estimation of the degree of confidence of the input images and the application of sensory fusion between the data.

The interests of such a project are at several levels. First, it is an original approach to improve the precision of depth images. The basic idea is a general principle that can be applied to data from any depth acquisition system. Finally, we manage to acquire the information of the desired nature according to sources of different natures.

The approach followed consists of first determining a means of acquiring information on the reflectivity properties of the surfaces and then proceeding with the fusion. This comprises two stages which are the determination of the surface orientations by the technique of shape by intensity (shape from shading) and the reconstruction of the final surface by integration.

In the experimental part, the developed fusion algorithm is tested on two 3-D vision systems: a technique by absorption of light in an absorbing medium and the BIRIS camera (depth by defocusing).

The results obtained are very encouraging. On surfaces that allow it to be measured, a noise reduction factor varying between 8 and 30 has been observed on experimental images. The corresponding gain on the dynamic range is therefore 3 to 5 bits for these examples.

In this thesis, the main contributions are: (i) to have established a new approach for the refinement of depth images applicable in real conditions of taking measurements, (ii) to have established a solution which takes into account the nature of the input sources and the constraints between them and (iii) to have chosen and show a solution that adapts to massively parallel processing.