Retour au site du LAAS-CNRS

Abstract

one of the more important tasks to be executed on a mobile robot, concerns the detection of obstacles during the robot motions. Many methods have been proposed for this function: nevertheless their performances are limited when applied in a structured environment made highly dynamic and cluttered due to humans. This document presents a visual and flexible system for obstacle detection in such an environment. The system is made of several micro-cameras fixed all around the robot body, and of a programmable electronic board. The camera number must be large enough (4 in the current version, 8 in the future one), so that real-time performances mandatory for such a function, cannot be reached from a standard multipurpose processor. It makes compulsory to design and to implement a hardware architecture devoted for image processing. The execution of parallel processes on FPGAs allows to reach real-time performances, while minimizing the required energy and the system cost. The system objective consists in building and updating a robot-centered occupancy grid while the robot is navigating. This function must be executed at 30Hz, in order to minimize the latency between image acquisition and obstacle detection. The detection of occupied ground areas is given by a classification algorithm, using an AdaBoost classifier on characteristic vectors. These vectors are built from color and texture attributes. For the color, the CIE-Lab space has been selected because it allows a better invariance according to the light variations. For the texture, an original method has been proposed adapting the Unser approach based on sum and difference histograms. This approach has been modified in order to reduce significantly the resources required to compute the texture attributes, while providing a fine model for every object detected on a scene acquired by each micro-camera. Each pixel in every image is classified as Ground or Obstacle, with respect to its color and texture attributes. Once a pixel is classified, it is projected on the ground plane in order to update the current occupancy grid built to represent the environment. Many parameters for our approach have been selected in order to develop a system with the better trade-off between performances and consumed resources. Every proposed architecture is evaluated using curves between classification performances and required resources. These architectures have been developed in VHDL using the Altera tool boxes; this classical approach has been compared with a method based on tools providing high level synthesis (Gaut, labview...). Finally all architectures avec been implemented and evaluated on a Stratix3 development kit connected to four cameras, and embedded on a mobile robot.

Résumé

l'une des tâches les plus importantes en robotique mobile est la détection d'obstacles pendant les déplacements du robot. Pour résoudre cette tâche, de nombreuses approches ont été proposées; cependant les propositions applicables dans un milieu structuré, dynamique et fortement encombré du fait de la présence humaine, sont limitées. Dans ce cadre, nous présentons dans ces travaux un système visuel reprogrammable dédié à la détection d'obstacles. Le système est composé de plusieurs micro-caméras disposées autour du robot mobile et d'un système reprogrammable. Le nombre de micro-caméras est grand (4 dans la version courante, 8 dans la version finale) et la performance en temps réel requis dans ce contexte, ne peut pas être satisfaite par un processeur standard. Cela rend obligatoire la conception et la mise en oeuvre d'une architecture dédiée pour le traitement des images. Le parallélisme fourni par les FPGAs permet de répondre aux contraintes de performance et de minimiser l'énergie et le coût unitaire du système. L'objectif est de construire et mettre à jour une grille d'occupation robot-centrée lors de la navigation du robot. Cette opération doit être exécutée à 30Hz, afin de réduire la latence entre l'acquisition des images et la détection des obstacles. La détection des zones du sol occupées est faite par l'algorithme de classification AdaBoost en utilisant un vecteur d'attributs. Les attributs utilisés sont la couleur et la texture. Pour la couleur, nous utilisons l'espace de couleur CIE-Lab, car cela permet d'avoir une plus grande immunité au changement de l'éclairage. Les attributs de texture sont obtenues par une méthode adaptée de la technique des histogrammes de sommes et différences. Cette adaptation réduit considérablement les ressources nécessaires pour calculer les attributs de texture, tout en fournissant un modèle riche de chacun des objets présents dans une scène acquise par une des micro-caméras. Chaque pixel dans l'image est classifié pour savoir s'il appartient ou pas au sol, en fonction de ces attributs couleur-texture. Une fois le pixel classé, il est projeté sur le plan du sol pour enrichir la grille d'occupation courante de l'environnement. Plusieurs paramètres de notre approche ont été sélectionnés afin de développer un système avec le meilleur compromis entre les performances et les ressources consommées. Les graphiques de performances de la classification ainsi que les ressources consommées par les architectures implantées sont présentés. Les architectures ont été développées en VHDL avec les outils Altera; des comparaisons sont présentées avec une approche fondée sur des outils de synthèse haut-niveau (Gaut, labview...). Finalement ces architectures ont été portées et évaluées sur un kit Stratix3 connecté à 4 caméras et embarqué sur un robot mobile.

Mots-Clés / Keywords

Adéquation architectures-algorithmes; Vision multi-caméras; Classification couleur; Texture; Détection obstacles; Adaptation between architectures and algorithms; Multi-cameras vision; Color classification; Obstacle detection;

Résumé

Les travaux présentés dans ce manuscrit d'Habilitation à Diriger des Recherches concernent essentiellement un ensemble de primitives du niveau fonctionnel de la Robotique, dont les fondements scientifiques sont ancrés dans l'Automatique et le Traitement du Signal. Bien plus qu'un domaine d'application de théories développées par ailleurs, la Robotique, par ses spécificités ou ses contraintes, " questionne " souvent l'état de l'art en Automatique et Signal, voire exige des extensions méthodologiques non triviales. C'est la richesse du dialogue entre ces trois disciplines qui a constitué le fil conducteur principal de nos recherches. Un premier volet de nos travaux vise à développer un cadre générique pour l'analyse et la synthèse "multicritères" de commandes référencées vision, i.e. qui prennent en compte l'ensemble des contraintes (visibilité, saturations d'actionneurs, contraintes 3D pendant le déplacement, etc.). Ces problèmes sont ramenés à l'analyse en stabilité / la stabilisation de systèmes non linéaires incertains rationnels sous contraintes rationnelles. Le support théorique est la théorie de Lyapunov et l'optimisation LMI. Par dualité, la localisation visuelle est abordée par des techniques de filtrage ensembliste robuste de systèmes rationnels. Une deuxième contribution s'inscrit dans la thématique relativement récente de l'Audition en Robotique. Nous proposons des fonctions auditives bas-niveau pour la détection de sources sonores, leur localisation et leur extraction. Un capteur auditif intégré original conçu au LAAS-CNRS permet leur implémentation. Le support théorique est le traitement d'antenne (formation de voie, méthodes à haute résolution) et l'optimisation LMI. Plus récemment, nous avons posé les fondements d'une nouvelle approche pour la détection d'activité vocale, sur la base du filtrage adapté stochastique. En parallèle à ces développements ciblés, un travail de fond dans les thématiques du filtrage stochastique et de la détection de ruptures s'est matérialisé par des collaborations scientifiques dans des domaines d'application ciblés : méthodes séquentielles de Monte Carlo et Quasi Monte Carlo pour le suivi visuel de personnes, de gestes, et la capture de mouvement par vision ; détection de ruptures et filtrage IMM entre modèles d'état d'ordres hétérogènes pour la surveillance de scènes dynamiques et la localisation ARGOS. Certaines des thématiques exposées ci-dessus se " rejoignent " au sein des axes structurants de nos développements futurs. Un effort particulier concernera la perception active (i.e. exploitant la proprioception et le mouvement), déclinée dans le cadre de l'audition binaurale, ainsi que la fusion de données auditives embarquées et déportées dans des lieux intelligents.

Mots-Clés / Keywords

Asservissement visuel multicritère; Théorie de Lyapunov; Audition en robotique; Traitement d'antenne; Optimisation LMI; Détection et estimation;

Abstract

In 2006 the Ecole des Mines d'Albi and the LAAS-CNRS initiated a collaboration with AIRBUS Toulouse and EADS-IW for the development of a computer-vision-based system for the inspection of aeronautic parts (fuselage parts, metallic or composite aeronautical panels, etc.) in order to detect shape defects (shape deviation with regard to the desired overall shape corresponding to the CAD model). The system is composed of several cameras (at least four) giving the capacity to inspect large parts. The cameras are fixed on a rigid structure and the parts to be inspected are positioned in front of the system. Several images are acquired synchronously and they are used to reconstruct the 3D model of the part. This thesis focuses on different strategies that can be developed to manage a multiple-camera system. The different steps of the digitization process are presented, namely: multiple-view digital image correlation (a multipleimage DIC criterion well suited to the multiple views context is addressed), 3D cloud stitching, calibration assistance unit. Using more than two cameras has brought multiple benefits. It allows digitizing large aeronautic parts (several m²), provides the whole shape of an object in a one-shot acquisition, improves the accuracy thanks to data redundancy, and permits to avoid specular reflections on non-lambertian surfaces. Our algorithms have been evaluated through synthetic images as well as through the comparison with measurements acquired by different commercial digitizing systems.

Résumé

L'École des Mines d'Albi et le LAAS-CNRS ont engagé en 2006 une collaboration avec AIRBUS Toulouse et EADS-IW pour le développement d'un système de vision artificielle destiné à l'inspection de pièces aéronautiques (panneaux de fuselage ou de voilure, métalliques ou composites) en vue de la détection de défauts de forme (écarts à la forme nominale souhaitée). Le système est constitué de plusieurs caméras (au moins quatre) afin de pouvoir inspecter des pièces de grande taille. Les caméras sont fixées sur une structure rigide statique et les pièces à inspecter sont positionnées devant cette structure. N images de la pièce à inspecter sont acquises de façon synchronisée et sont utilisées afin de reconstruire la pièce observée en 3D. Ce mémoire aborde les différentes stratégies envisagées pour l'exploitation d'un système multi-caméras. Les étapes nécessaires à la numérisation d'une pièce sont présentées, et plus particulièrement : l'appariement par corrélation multi-images (un critère de corrélation multi-images bien adapté au contexte multi-caméras est décrit), le recalage de nuages de points 3D par corrélation d'images, et l'aide au calibrage. L'utilisation de plusieurs caméras a montré de nombreux avantages. Elle permet la numérisation d'objets de grande taille (surface de plusieurs m²), fournit la forme complète d'un objet à partir d'une seule acquisition d'images (acquisition one-shot), améliore la précision de numérisation grâce à la redondance d'informations, permet de s'affranchir de problèmes de réflexion spéculaire dans le cas d'objets réfléchissants. Les algorithmes développés ont été évalués à la fois à partir d'images synthétiques et par comparaison aux mesures fournies par plusieurs systèmes commerciaux de numérisation 3D

Mots-Clés / Keywords

Multi-caméras; Corrélation multi-images; Stratégies multi-caméras; Mesure de formes;