RAP - Perception sur les Objets et l'Environnement

Modélisation 3D, Détection, Segmentation et Reconnaissance d'Objet par Vision

L'application principale est la manipulation référencée vision, e.g., pour la manipulation conjointe humain-robot dans un contexte domotique ou industriel.

Nous avons développé une approche hiéarchique pour la reconnaissance par apparence afin de permettre un focus efficace sur les classes les plus vraisemblables (thèse G. Manfredi).

Nous avons collaboré avec ICA-Albi sur la thématique du Contrôle Non Destructif.  Dans un premier temps, nous avons étudié l'inspection de pièces d'aéronef de grande taille sur la base d'un système statique constitué de 8 caméras et illuminateurs (afin de reconstruire des objets non texturés).  Un algorithme de stéréovision fine et dense a été étendu au traitement d'images multiples tout en préservant les arêtes, et a conduit à une erreur d'écart-type 0.05mm [Harvent_MVA2013] (thèse de J. Harvent).  Ensuite, une version dédiée a été intégrée par la start-up NOOMEO.  En collaboration avec NOOMEO, nous avons réalisé la modélisation 3D d'objets sur la base des images 3D denses acquises par leur capteur portatif constitué de deux caméras, un illuminateur et une IMU [Coudrin_Optics&Laser2011] (thèse B. Coudrin).  Plusieurs variantes de l'algorithme ICP ont été évaluées en vue d'obtenir une précision 3D de l'ordre de 0.1mm.  Enfin, nous avons contribué à la métrologie thermique sur tout objet 3D convexe.  Ceci requiert, pour chaque maillage de la forme, les orientations relatives de la caméra et les propriétés radiatives.  La reconstruction 3D a été extraite par un banc stéréro NIR non calibré monté sur un robot cartésien.  Nous avons proposé un algorithme de rectification non calibrée, ainsi qu'une approche d'auto-calibrage pour la transformation hand-eye (thèse B. Ducarouge).

Des développements en cours visent à segmenter et suivre des objets multiples, statiques ou mobiles, pour le contrôle de procédés biologiques ou l'analyse de la qualité de produits agro-alimentaires.  Des méthodes statistiques, de filtrage et variationnelles sont combinées afin de mettre en évidence les objets à reconnaître, à caractériser et à suivre (post-doc de S. Larnier & thèse de P. Dubosclard).  D'autres travaux actuels concernent le sujet transverse de la perception conjointe humains-objets.

Auto-localisation d'une Entité Mobile sur la base de Capteurs Embarqués

Une application peut être la robotique d'extérieur, e.g., la navigation ou l'inspection automatique par un robot mobile.  Dans le passé, des méthodes de SLAM monoculaire ou stéréoscopique basé sur des amers ponctuels et sur le filtrage de Kalman étendu (EKF) ont été conçues et validées.  En collaboration avec RIS et GEPETTO, une version temps réel (appelée RT-SLAM) a été développée et validée sur des robots munis de caméras, IMU et GPS naturel.  RT-SLAM est maintenant disponible en open-source et utilisé par d'autres laboratoires.  Au sein de RAP, RT-SLAM a été exploité pour apprendre et rejouer une trajectoire selon deux scenarii : soit la tâche de reproduction est postérieure à l'apprentissage, ce qui permet des changements dans l'environnement ; soit les tâches d'apprentissage-reproduction sont exécutées séparément par le véhicule de tête d'un convoi et les véhicules suiveurs (thèse de D. Marquez).

La méthode initiale a été étendue au traitement d'amers rectilignes, considérant l'initialisation non-retardée d'une ligne dès sa détection.  Plusieurs représentations pour des amers ponctuels ou visuels ont été comparées (post-docs Solà & Ila) [Solà_IJCV2012].

L'EKF-SLAM avec amers ponctuels a été recodé de façon à satisfaire les règles de codage des sous-systèmes avioniques embarqués.  Le C-SLAM résultant a été validé sur des séquences multispectrales, permettant ainsi l'auto-localisation de nuit ou par mauvais temps (thèse A. Gonzalez).  Afin de surmonter les limitations de l'EKF-SLAM, un travail financé par la SATT Toulouse Tech Transfer a concerné un SLAM basé optimisation.  Un prototype basé RGB-D est en cours d'évaluation.

Enfin, nous avons développé avec un partenaire industriel une localisation EKF de piétons malvoyants en environnements urbains, par fusion du GPS (sujet à l'effet canyon), d'un accéléromètre, d'un gyroscope et d'un magnétomètre 3D.  La dynamique a priori repose sur la relation entre la vitesse du piéton et la fréquence de ses pas, et capture les transitions marche-arrêt-transport.  La solution est commercialisée.  Une erreur inférieure à 5m est atteinte dans 95% des instants.

Mobilité en Environnements Dynamiques : Détection, Identification et Suivi d'Obstacles

L'auto-localisation visuelle est basée sur des amers statiques.  Les environnements dynamiques requièrent la détection d'objets mobiles (e.g., les obstacles).  Dans un contexte monoculaire, les obstacles ont été détectés par analyse du flot optique épars.  Des "tracklets" ont d'abord été extraites de séquences courtes.  Ensuite, des points statiques (rendus disponibles pour le SLAM) ont été discriminés des points dynamiques (associés aux obstacles) par un raisonnement a contrario.  Les points dynamiques ont été regroupés pour expliciter chaque modèle d'objet mobile.  Enfin, chaque objet détecté a été suivi par une stratégie active afin de rendre son modèle plus dense.  Le suivi d'objet a été réalisé soit par application du KLT sur des points, soit sur la base d'un snake initialisé à partir de ces points.

Comme la vision monoculaire ne permet pas d'estimer sans ambiguïté  la position et la vitesse des obstacles, une approche par stéréovision a été proposée, utilisant un MOT (Mobile Object Tracking) séparé pour chaque objet détecté.  Afin d'éviter des fausses détections et de robustifier le SLAMMOT, une détection par apparence reposant sur un apprentissage préalable a été proposée pour identifier les classes d'objets (piéton, véhicule,...) (thèse D. Marquez).

Détection et suivi actifs par vision d'objets mobiles (SLAMMOT)