Retour au site du LAAS-CNRS

Abstract

In this manuscript, we consider the problem of mobile robots navigation using multisensor- based control. Our objective is to safely perform vision-based displacements through poorly known indoor environments which may be evolutive and cluttered. The missions to be realized consist in positioning the vehicle with respect to a landmark or a person of interest. To do so, different problems have to be addressed : the motion towards the goal, the obstacle avoidance, the occlusion management, the realization of long range vision-based displacements. If the first three mentioned points are typically local issues, the last one requires to give the robot global skills. Our works have dealt with each of these problems, but, in a first step, we have only considered local issues. We have thus developed an image based visual servoing (IBVS) allowing to make the robot converge towards either a landmark or a person of interest, thus performing the nominal vision-based task. However, although this kind of control is known for its nice robustness properties, it does not allow to efficiently treat the problems of collisions and occlusions. Therefore, our next contributions have consisted in designing multi-sensor-based control strategies guaranteeing non collision when the environment is cluttered with non occluding obstacles. Then, in the sequel of these results, we have addressed the problem of the image features loss. We have designed algorithms allowing to reconstruct the visual signals when an occlusion occurs. These algorithms have then been coupled to the above mentioned control strategies, allowing to safely perform the navigation task amidst both occluding and non occluding obstacles. At this step, the mission can be realized only if the goal can be perceived from the robot initial configuration, which is not the case for a long range navigation. Our last contributions have tried to answer this problem by giving the vehicle the required global skills. To do so, we have coupled a topological map representing the environment to a supervision algorithm managing the control strategy. In this way, the robot is able to perform vision-based long range displacements in an environment cluttered with both occluding and non occluding obstacles. These works have been validated in simulation and implemented on our robots. The obtained results have shown the efficiency of the proposed approach and have opened new interesting research axes.

Résumé

Dans ce manuscrit, nous nous intéressons au problème de la navigation d'un robot mobile par commande référencée multi-capteurs. Notre objectif est d'effectuer des tâches de navigation guidées par la vision dans des environnements d'intérieur structurés peu connus, possiblement évolutifs et où l'homme peut être présent. Les missions considérées pourront inclure de longs déplacements et consisteront à positionner le robot vis-à-vis d'un amer ou d'une personne d'intérêt. Leur position dans la scène étant inconnue, ils seront repérés par la vision. Afin de pouvoir réaliser de telles missions, différents problèmes doivent être traités : le mouvement vers le but, l'évitement d'obstacles, le traitement des occultations, la réalisation de longs déplacements. Si les trois premiers points ont un caractère intrinsèquement local, le dernier nécessite des compétences globales. Les travaux que nous avons menés cherchent à répondre à ces différents problèmes. Tout d'abord, nous nous sommes focalisés sur les aspects "locaux". Nous avons ainsi exploité l'asservissement visuel 2D pour réaliser la tâche de navigation nominale et permettre au robot de converger vers un amer ou une personne d'intérêt. Cependant, bien que cette technique présente de bonnes propriétés de robustesse, elle ne permet pas à elle seule de traiter efficacement les problèmes de collisions et d'occultations. Une de nos premières contributions a donc consisté en le développement de stratégies de commande garantissant la non collision en présence d'obstacles non occultants. Sur la base de ces résultats, nous nous sommes intéressés à la gestion des occultations et avons développé des algorithmes permettant de reconstruire les indices visuels lorsque ceux-ci sont indisponibles. Nous les avons ensuite couplés à nos stratégies de commande afin que le robot puisse évoluer à partir des indices visuels réels ou reconstruits selon le cas. L'association de ces différents techniques et algorithmes a permis de réaliser efficacement des tâches de navigation référencées vision en présence d'obstacles occultants et non occultants. Cependant, elle nécessite que l'amer ou la personne d'intérêt soit visible dès le début de la mission, ce qui n'est pas le cas lorsque l'on souhaite réaliser de longs déplacements. Nos dernières contributions sont donc focalisées sur ce problème. Afin de conférer au robot les compétences globales nécessaires, nous avons couplé une carte topologique représentant l'environnement à un algorithme de supervision gérant la stratégie de commande. Le robot est ainsi devenu capable d'effectuer de longs déplacements dans des scènes peu connues. L'ensemble de ces travaux a été validé en simulation et expérimentalement sur les différents robots à disposition. Les résultats obtenus montrent la pertinence de l'approche proposée et ouvrent des perspectives prometteuses dans et hors du contexte de la navigation.

Mots-Clés / Keywords

Résumé

Les travaux présentés dans ce manuscrit d'Habilitation à Diriger des Recherches concernent essentiellement un ensemble de primitives du niveau fonctionnel de la Robotique, dont les fondements scientifiques sont ancrés dans l'Automatique et le Traitement du Signal. Bien plus qu'un domaine d'application de théories développées par ailleurs, la Robotique, par ses spécificités ou ses contraintes, " questionne " souvent l'état de l'art en Automatique et Signal, voire exige des extensions méthodologiques non triviales. C'est la richesse du dialogue entre ces trois disciplines qui a constitué le fil conducteur principal de nos recherches. Un premier volet de nos travaux vise à développer un cadre générique pour l'analyse et la synthèse "multicritères" de commandes référencées vision, i.e. qui prennent en compte l'ensemble des contraintes (visibilité, saturations d'actionneurs, contraintes 3D pendant le déplacement, etc.). Ces problèmes sont ramenés à l'analyse en stabilité / la stabilisation de systèmes non linéaires incertains rationnels sous contraintes rationnelles. Le support théorique est la théorie de Lyapunov et l'optimisation LMI. Par dualité, la localisation visuelle est abordée par des techniques de filtrage ensembliste robuste de systèmes rationnels. Une deuxième contribution s'inscrit dans la thématique relativement récente de l'Audition en Robotique. Nous proposons des fonctions auditives bas-niveau pour la détection de sources sonores, leur localisation et leur extraction. Un capteur auditif intégré original conçu au LAAS-CNRS permet leur implémentation. Le support théorique est le traitement d'antenne (formation de voie, méthodes à haute résolution) et l'optimisation LMI. Plus récemment, nous avons posé les fondements d'une nouvelle approche pour la détection d'activité vocale, sur la base du filtrage adapté stochastique. En parallèle à ces développements ciblés, un travail de fond dans les thématiques du filtrage stochastique et de la détection de ruptures s'est matérialisé par des collaborations scientifiques dans des domaines d'application ciblés : méthodes séquentielles de Monte Carlo et Quasi Monte Carlo pour le suivi visuel de personnes, de gestes, et la capture de mouvement par vision ; détection de ruptures et filtrage IMM entre modèles d'état d'ordres hétérogènes pour la surveillance de scènes dynamiques et la localisation ARGOS. Certaines des thématiques exposées ci-dessus se " rejoignent " au sein des axes structurants de nos développements futurs. Un effort particulier concernera la perception active (i.e. exploitant la proprioception et le mouvement), déclinée dans le cadre de l'audition binaurale, ainsi que la fusion de données auditives embarquées et déportées dans des lieux intelligents.

Mots-Clés / Keywords

Résumé

Ce mémoire d'habilitation à diriger les recherches porte sur la perception et la compréhension conjointe de l'espace et du milieu par un robot cognitif autonome. Dans ce contexte, la démarche consiste ici à intégrer des percepts multiples et incertains à tous les niveaux de la perception à partir de capteurs visuels embarqués. Ces travaux se structurent en deux thèmes. Le premier thème se focalise sur la perception de l'espace pour la navigation autonome en milieu intérieur. Nos travaux antérieurs ont mis l'accent sur une méthodologie complète de détection, reconnaissance et localisation sur amers visuels validée par des expérimentations réelles sur le robot Diligent. Ces amers sont capturés automatiquement par le robot dans les différentes représentations métriques et topologiques de son environnement de travail. La navigation consiste alors à exploiter ces modèles pour se localiser métriquement ou qualitativement, sur la base de données visuelles, éventuellement télémétriques. À terme, ces représentations seront enrichies par des informations sémantiques capturées en interaction avec l'homme. Cet apprentissage supervisé, la perspective d'un robot sociable, nous ont amené à démarrer le second thème sur la perception par le robot de l'homme pour leur interaction. Nos travaux ont porté sur la détection, le suivi, la reconnaissance de l'homme par vision monoculaire couleur. Parmi ces fonctions, la problématique du suivi est centrale puisque la plupart des tâches robotiques coordonnées avec l'homme nécessite de caractériser la relation d'une plate-forme mobile aux agents humains a priori mobiles. Nous avons ainsi prototypé puis intégré plusieurs fonctions de suivi 2D ou 3D de tout ou partie des membres corporels de l'homme par le choix conjoint de stratégies de fusion de données visuelles et de filtrage particulaire répondant aux modalit és d'interaction envisagées pour le robot "guide" Rackham et le robot compagnon Jido. Les prospectives énoncées visent à l'interaction de percepts relative à la perception simultanée par le robot de l'espace et/ou de l'homme. La problé- matique de l'intelligence ambiante, par l'ajout de robots anthropomorphes type humanoïde dans ces environnements humains, devrait infléchir ces travaux tout en recoupant certaines investigations passées ou actuelles.