Retour au site du LAAS-CNRS

Résumé

Ce travail traite la problématique de la Modélisation 3D d'un environnement intérieur supposé inconnu par un robot mobile. Notre principale contribution concerne la construction d'un modèle géométrique dense représenté par une carte hétérogène qui combine des amers plans texturés, des lignes 3D et des points d'intérêt. Afin de réaliser cette tâche, nous devons fusionner des données géométriques et photométriques. Pour cela, nous avons d'abord amélioré la stéréovision dense, en proposant une approche qui transforme le problème de la mise en correspondance stéréoscopique en un problème de minimisation d'une fonction d'énergie globale. Le minimum de cette fonction est trouvé par une coupure minimale dans un graphe. Notre contribution réside dans la construction d'un graphe réduit qui a permis d'accélérer considérablement cette méthode globale de l'appariement stéréoscopique et d'obtenir de meilleurs résultats que les méthodes locales. Néanmoins, cette méthode reste non applicable en robotique mobile. Aussi, pour percevoir l'environnement, le robot est équipé d'un télémètre laser pivotant autour d'un axe horizontal et d'une caméra. Nous proposons une chaîne algorithmique permettant de construire de manière incrémentale une carte hétérogène, par l'algorithme de Cartographie et Localisation Simultanées basé sur le filtre de Kalman étendu (EKF-SLAM). Le placage de la texture sur les facettes planes rend le modèle plus réaliste pour un opérateur ; il a permis aussi de solidifier l'étape d'association de données, une étape essentielle pour garantir la cohérence de la carte. Les différents mécanismes développés sont illustrés et validés par des résultats expérimentaux.

Abstract

This thesis examines the problem of 3D Modelling of indoor environment (supposed unknown) by a mobile robot. Our main contribution consists in constructing a dense geometrical model represented as a heterogeneous map containing textured planar landmarks, 3D lines and interest points. In order to achieve this mission, we must fuse geometrical and photometrical data. Hence, we began by improving the stereo vision algorithm. We proposed a new approach that transform the stereo matching into a problem of minimization of a global energy function. The minimum of this function is found by finding a minimum cut in a graph. The most significant contribution on stereovision is to propose, for the first time, the construction of a reduced graph that allows to accelerate the stereo correspondence using graph cuts and to provide better results than the local methods. Nevertheless, this method remains non applicable in mobile robotics. Also, to perceive the environment, the robot is equipped by a laser scanner rotating around a horizontal axis and by a camera. We proposed an algorithmic chain allowing to construct incrementally the heterogeneous map, using the algorithm of Simultaneous Localization and Mapping based on the extended Kalman filter (EKF-SLAM). Mapping the texture on the planar landmarks makes the model more realistic for a user, and makes more robust the phase of data association, which is essential to guarantee the map consistency. The different developed mechanisms were illustrated by experimental results.

Mots-Clés / Keywords

Fusion de données; Cartographie et localisation simultanée; Modélisation; 3D; Robot mobile; Stéréovision; Coupure de graphe; Data fusion; Simultaneous localization and mapping; Modelling; Mobile robot; Stereovision for omnidirectional cameras; Graph cut;

Abstract

A robot companion has to understand a domotic environment in order to execute requests like « Search a glass in the kitchen » with a high level of autonomy. So the robot must acquire several representations adapted to the tasks to be executed. This thesis proposes an on line learning method of an environment model expressed as a set of local structures described by appearance-based characteristics, and possibly named by a tutor. Such descriptions could be used in order to define a topological area (e.g. the kitchen) by a set of local structures or objects that could be found here (e.g. glasses, fridge, pans&). For the construction of such a representation, it is proposed a cognitive mehod, based on attentive and preattentive visual processes, acquiring images from a multifocal sensor. The preattentive process aims at detect interest regions, that could contain discriminant visual information ; based on the saliency concept proposed initially bu Itti and Koch, interest regions are extracted from a saliency map, built from images acquired by a short lens or panoramic camera (large view field). Such a region is then tracked on several successive images acquired while the robot is moving, so that the size and the 3D position of the corresponding local structure could be coarsely estimated. Then the attentive process exploits attentionam mechanisms in order to be focused successively on each interest region : it aims to characterize each local structure by an appearance-based model defined by an associative memort views-patches-aspects. Salient scaled patches or SIFT features are extracted from every image. After this exploration step is over, the robot tutor could annotated the model, segmenting local structures in objects, naming objects and grouping them in areas (kitchen&). Then, the robot exploits this environment model for the recognition and the coarse localization of objects and areas.

Résumé

Un robot compagnon doit comprendre le lieu de vie de l'homme pour satisfaire une requête telle que "Va chercher un verre dans la cuisine" avec un haut niveau d'autonomie. Pour cela, le robot doit acquérir un ensemble de représentations adaptées aux différentes tâches à effectuer. Dans cette thèse, nous proposons d'apprendre en ligne un modèle d'apparence de structures locales qui pourront être nommées par l'utilisateur. Cela permettra ensuite de caractériser un lieu topologique (ex: la cuisine) par un ensemble de structures locales ou d'objets s'y trouvant (réfrigérateur, cafetière, evier, ...). Pour découvrir ces structures locales, nous proposons une approche cognitive, exploitant des processus visuels pré-attentif et attentif, mis en oeuvre à partir d'un système sensoriel multi-focal. Le processus pré-attentif a pour rôle la détection de zones d'intérêt, supposées contenir des informations visuelles discriminantes: basé sur le modèle de saillance' de Itti et Koch, il détecte ces zones dans une carte de saillance, construite à partir d'images acquises avec une caméra large champ; une zone détectée est ensuite suivie sur quelques images afin d'estimer grossièrement la taille et la position 3D de la structure locale de l'environnement qui lui correspond. Le processus attentif se focalise sur la zone d'intérêt: le but est de caractériser chaque structure locale, par un modèle d'apparence sous la forme de mémoires associatives vues-patches-aspects. De chaque image sont extraits des points d'intérêt, caractérisés par un descripteur d'apparence local. Après cette phase d'exploration, l'homme peut annoter le modèle en segmentant les structures locales en objets, en nommant ces objets et en les regroupant dans des zones (cuisine&). Ce modèle d'apparence sera ensuite exploité pour la reconnaissance et la localisation grossière des objets et des lieux perçus par le robot.

Mots-Clés / Keywords

Reconnaissance; Apprentissage en ligne; Modèle d'apparence; Objet 3D; SIFT; Attention; On line learning; 3D object recognition; Appearance-based model; Interest points;

Abstract

The literature provides many techniques to design efficient control laws to realize robotic navigation tasks. In recent years, the sensors improvement gave rise to the sensor-based control which allows to define the robotic task in the sensor space rather than in the configuration space. In this context, as cameras provide high-rate meaningful data, visual servoing has been particularly investigated, and can be used to perform various and accurate navigation tasks. This method, which relies on the interaction between the camera and the visual features motions, consists in regulating an error in the image plane. Nonetheless, vision-based navigation tasks in cluttered environment cannot be expressed as a sole regulation of visual data. Indeed, in this case, it is necessary to preserve not only the robot safety (i.e. non-collision) but also the visual features visibility. This thesis addresses this issue and aims at developing sensor-based control laws allowing a mobile robot to perform vision-based tasks amidst possibly occluding obstacles. We have first proposed techniques able to fulfill simultaneously the two previously mentioned objectives. However, avoiding both collisions and occlusions often over-strained the robotic navigation task, reducing the range of realizable missions. This is the reason why we have developed a second approach which lets the visual features loss occurs if it is necessary for the task realization. Using the link between vision and motion, we have proposed different methods (analytical and numerical) to compute the visual signal as soon it becomes unavailable. We have then applied them to perform vision-based tasks in cluttered environments, before highlighting their interest to deal with a camera failure during the mission.

Résumé

La synthèse de lois de commande efficaces apparaît comme un enjeu important dans la réalisation autonome de tâches de navigation robotiques. Ce problème peut être abordé par différentes approches. L'une d'entre elles, la commande référencée capteur, permet de définir les boucles de commande directement à partir des mesures sensorielles au lieu de les exprimer en fonction de l'état du robot. Dans ce contexte, du fait de la richesse du signal vidéo, la vision apparaît comme un capteur privilégié pour la réalisation de tâches très variées de manière précise. Cependant, la commande référencée vision reposant sur la seule régulation des indices visuels dans l'image s'avère mal adaptée pour réaliser des tâches de navigation complexes dans des environnements encombrés d'obstacles. En effet, dans ce cas, il est nécessaire de garantir d'une part la sécurité du robot, et d'autre part la disponibilité permanente des indices visuels dans l'image. Ce sont précisément ces problèmes que nous avons voulu étudier dans le cadre de cette thèse. Notre contribution a consisté à définir des stratégies de commande référencées multi-capteurs pour un robot mobile réalisant une tâche référencée vision dans un environnement encombré d'obstacles susceptibles d'occulter le motif visuel. Nous avons tout d'abord proposé des lois de commandes permettant d'éviter à la fois les occultations et les collisions. Toutefois, les résultats obtenus ont montré que chercher à éviter simultanément ces deux phénomènes surcontraignait le mouvement du robot, limitant la gamme des missions réalisables. Nous avons alors développé une seconde approche consistant à tolérer temporairement la perte du signal visuel. Celle-ci repose sur l'exploitation de la réversibilité du lien vision/mouvement exprimé par le torseur d'interaction. Nous avons ainsi proposé dans un cadre général plusieurs méthodes (analytiques et numériques) de reconstruction du signal visuel lorsqu'il devient indisponible. Nous avons ensuite validé chacune de ces méthodes dans le cas de la réalisation d'une tâche de navigation référencée vision dans un milieu encombré d'obstacles. Nous avons également montré l'intérêt de nos approches lorsque la caméra présente un défaut de fonctionnement pendant l'exécution d'une mission.

Mots-Clés / Keywords

Asservissement visuel; Commande référencée capteurs; Évitement de collision et d'occultation; Estimation des indices visuels; Visual servoing; Sensor-based control; Collision and occlusion avoidance; Visual feature estimation;

Résumé

Cette thèse concerne l'élaboration d'un modèle dynamique pour des ballons dirigeables, la conception de lois de commande pour l'asservissement de la vitesse, de l'altitude et du cap dans le vol de croisière, et la planification de chemins optimaux ainsi que leur contrôle de leur exécution. Ce travail a été réalisé dans le cadre d'une convention de cotutelle entre l'INSA de Toulouse - France et l'Université de los Andes à Bogotá - Colombie. La première partie du travail concerne la détermination du modèle mathématique de la dynamique du dirigeable. Le modèle analytique a été obtenu à partir d'une étude mécanique et aérodynamique. Les paramètres du modèle ont été repris dans un première temps d'un travail précèdent, basé sur des expérimentations effectuées en soufflerie. Ensuite, l'identification des coefficients aérodynamiques du modèle complet et des modèles réduits (sous-modèles de commande), a été réalisée avec des techniques classiques et le filtre de Kalman comme estimateur paramétrique. Dans une deuxième partie, des stratégies de commandes ont été étudiés (principalement PID, GPC et commande non-linéaire de type premier ordre) basées sur un découplage de la vitesse de déplacement et des dynamiques relatives aux plans de navigation latéral et longitudinal. Ensuite, les asservissements de bas niveau ont été établis et une approche de la planification de chemins optimaux a été effectuée avec la théorie de la commande optimale et le géométrie. Deux extensions du modèle initial pour la planification ont aussi été proposées et résolues par des méthodes numériques. Une boucle de haut niveau assurant l'asservissement de la trajectoire planifiée a été développée. Ces différents résultats ont été validés par de nombreux tests en simulation, avec et sans vent, et les asservissements en vitesse, cap et altitude on été évalués sur les ballons UrAn à Bogotá et Karma à Toulouse.

Abstract

The aims of this thesis are the development of a dynamic model for the LAAS's Karma and los Andes University's UrAn airships, the elaboration of a set of base control laws of speed, altitude and heading in cruise flight, and optimal path planning and its pursuit. This work has been done within the framework of cooperation between the INSA of Toulouse and De los Andes University - Colombia. On the INSA side, this work has been made principally in the Robotic and Artificial Intelligent group of LAAS/CNRS, within the COMETS project. The LAAS robot was already equipped with sensors, an onboard CPU and radiofrequency links as FM and Ethernet whereas a radio-operated airship has been bought by De los Andes University to the Minizzep society. Then, instrumentation and on board CPU with Ethernet radio link have been installed. The first part of the document presents a mathematical model of the blimp dynamics. The analytic description of the model has been deduced from a dynamic and aerodynamic study. In a first time, the model parameters have been taken from precedent work based on wind tunnel experiments. Next to that, an identification of aerodynamic parameters of the grand model and also simplified models (called control model) were made with classical techniques and the Kalman filter as parametric estimator. A third part is devoted to the formulation of control strategies (PID, GPC and non-linear control by extended linearization principally), based on the decoupling of the velocity, the longitudinal and lateral dynamics. When this base controls are formulated, an approach to optimal planning based on the optimal control theory is presented. Two extensions to the initial model of path planning are proposed and their solutions are computed with numerical methods. A control for the following of the generated trajectory has been developed and is presented in the fourth chapter. These different control strategies have been validated by numerous simulation tests with and without wind. The speed and altitude controllers have been tested in the real airship structure (UrAn).

Mots-Clés / Keywords

Sub-actuated systems; Autonomous flight; Path planning; Following; Dirigeable; Modélisation; Estimation; Fusion; Identification; Contrôle; Systèmes non linéaires; Systèmes sous- actionnés; Vol autonome; Planification; Asservissement; Airship; Modelling; Control; Nonlinear systems;

Abstract

The auditory system provides the human with many informations on its acoustic environment. For instance, we are able to precisely localize the origin of a sound and interpret its meaning, so that it would be very difficult to do without these auditory cues in our dynamic and evolving world. Yet, mobile robotics has seldom integrated this auditory modality despite its compulsoriness in order to complete the informations delivered by other exteroceptive sensors such as cameras, laser range-finders or ultrasonic detectors. This doctoral thesis deals with the design of an artificial auditory system for sound source localization, composed of an array of 8 omnidirectional microphones and an aquisition/processing board. This problematics has already been studied in Signal Processing and Acoustics. However, the unusual embeddability and real-time constraints imposed by the robotics context limit the applicability of such methods to wideband signals such as human voice. After a thorough bibiliographical study of the approaches to localization proposed in Robotics, the synthesis of frequency-invariant beamformers is envisaged. An original solution is proposed, based on convex optimization and relying on the modal representation of antenna directivity patterns. Compared to classical methods, its resolution at low frequencies is enhanced, be the source in the farfield or in the nearfield, despite the small size of the array. These optimized beamformers are then exploited so as to compute an acoustic power map of the environment. The localization turns to be more precise than with conventional approaches, and can process wideband signals in the frequency range 400Hz-3kHz. Last, a recent beamspace extension of the high-resolution MUSIC method is assessed, which could cope with the robotics constraints.

Résumé

Le système auditif de l'homme fournit de nombreuses informations sur son environnement sonore. Nous sommes par exemple capables de localiser précisément l'origine d'un son et d'en interpréter sa signification, si bien qu'il parait aujourd'hui extrêmement difficile de se passer de ces informations sonores dans un monde dynamique et imprévisible. Pourtant, la robotique mobile n'a que très peu intégré cette modalité auditive, bien qu'elle apparaisse indispensable pour compléter les informations délivrées par les autres capteurs extéroceptifs tels que les caméras, les télémètres lasers ou les d´etecteurs ultra-sonores. Nous présentons dans cette thèse la conception d'un système auditif artificiel, composé de 8 microphones omnidirectionnels et d'une carte d'acquisition/traitement, pour la localisation de source sonore. Cette problématique a déjà été très largement traitée dans la littérature issue du Traitement du Signal et de l'Acoustique. Cependant, des contraintes inédites d'embarquabilité et de temps réel imposées par la robotique limitent l'applicabilité de ces méthodes pour des signaux large bande tels que la voix. Après une étude bibliographique approfondie sur les solutions de localisation déjà proposées en robotique, nous envisageons la définition de formations de voie invariantes en fréquence. Celles-ci sont synthétisées selon une nouvelle méthode d'optimisation convexe basée sur la représentation modale des diagrammes de directivité. Cette solution permet d'améliorer sensiblement la résolution des basses fréquences, aussi bien en champ proche qu'en champ lointain, malgré l'utilisation d'une antenne de microphones de petite taille. Nous exploitons ensuite ces nouvelles formations de voie optimisées pour le tracé d'une carte de puissance acoustique de l'environnement. Comparativement aux méthodes conventionnelles, la localisation s'avère plus précise et permet de traiter des signaux large bande sur la bande de fréquence 400Hz-3kHz. Nous évaluons enfin une extens ion récente de la méthode MUSIC dans l'espace des formations de voie pouvant être compatible avec les contraintes liées au contexte robotique.

Mots-Clés / Keywords

Formation de voie; Optimisation convexe; localisation de source; Robotique mobile; Beamforming; Convex optimisation; Sound source localization; Mobile robotics;