Retour au site du LAAS-CNRS

Laboratoire d’analyse et d’architecture des systèmes
Choisir la langue : FR | EN

56documents trouvés

17149
07/07/2017

Motion planning for digital actors

M.CAMPANA

GEPETTO

Doctorat : Université de Toulouse III - Paul Sabatier, 17 Juillet 2017, 115p., Président:, Rapporteurs: L.REVERET, K.YAMANE, Examinateurs: M.VENDITELLI, J.CORTES, Directeurs de thèse: J.P.LAUMOND , N° 17149

Diffusable

Plus d'informations

Résumé

Les algorithmes probabilistes offrent de puissantes possibilités quant à la résolution de problèmes de planification de mouvements pour des robots complexes dans des environnements quelconques. Cependant, la qualité des chemins solutions obtenus est discutable. Cette thèse propose un outil pour optimiser ces chemins et en améliorer la qualité. La méthode se base sur l’optimisation numérique contrainte et la détection de collision pour réduire la longueur du chemin tout en évitant les collisions. La modularité des méthodes probabilistes nous a aussi inspirés pour réaliser un algorithme de génération de sauts pour des personnages. Cet algorithme est décrit par trois étapes de planifications, de la trajectoire du centre du personnage jusqu’à son mouvement corps-complet. Chaque étape bénéficie de la rigueur de la planification pour éviter les collisions et pour contraindre le chemin. Nous avons proposé des contraintes inspirées de la physique pour améliorer la plausibilité des mouvements, telles que du non-glissement, de la limitation de vitesse et du maintien de contacts. Les travaux de cette thèse ont été intégrés dans le logiciel “Humanoid Path Planner” et les rendus visuels effectués avec Blender.

Abstract

Probabilistic algorithms offer powerful possibilities as for solving motion planning problems for complex robots in arbitrary environments. However, the quality of obtained solution paths is questionable. This thesis presents a tool to optimize these paths and improve their quality. The method is based on constrained numerical optimization and on collision checking to reduce the path length while avoiding collisions. The modularity of probabilistic methods also inspired us to design a motion generation algorithm for jumping characters. This algorithm is described by three steps of motion planning, from the trajectory of the character’s center to the wholebody motion. Each step benefits from the rigor of motion planning to avoid collisions and to constraint the path. We proposed physics-inspired constraints to increase the plausibility of motions, such as slipping avoidance, velocity limitation and contact maintaining. The thesis works have been implemented in the software ‘Humanoid Path Planner’ and the graphical renderings have been done with Blender.

Mots-Clés / Keywords
Motion planning; Computer animation; Ballistic motion; Path optimization; Simulation; Planification de mouvement; Animation graphique; Mouvement ballistique; Optimisation de chemin;

140133
17150
12/04/2017

Robotics-inspired methods to enhance protein design

L.DENARIE

RIS

Doctorat : INP de Toulouse, 12 Avril 2017, 142p., Président: R.ALAMI, Rapporteurs: C.ROBERT, M.VENDITELLI, Examinateurs: S.REDON, Directeurs de thèse: T.SIMEON, J.CORTES , N° 17150

Diffusable

Plus d'informations

Résumé

La conception de protéines ayant des propriétés spécifiques représente un enjeux majeur pour la pharmacologie et les bio-technologies. Malgré les progrès des méthodes de CAO développées pour la conception de protéines, une limitation majeure des techniques existantes vient de la difficulté à prendre en compte la mobilité du squelette protéique, afin de mieux capturer l’ensemble des propriétés des protéines candidates et garantir la bonne stabilité de la protéine choisie dans la conformation voulue. De plus, si des méthodes de conception multi-états ont été proposées, elles ne permettent pas de garantir l’existence d’une trajectoire réaliste entre ces états. De ce fait, la conception de protéines devant permettre la transition entre plusieurs états reste un problème hors de la portée des méthodes actuelles. Cette thèse explore comment des algorithmes inspirés de la robotique peuvent être utilisés pour explorer l’espace conformationnel de manière efficace afin d’améliorer les méthodes de conception de protéines en prenant en compte de manière plus poussée la flexibilité de leur squelette. Ce travail pose également un premier jalon vers une méthode de conception adaptée à la réalisation d’un mouvement de la protéine.

Abstract

The ability to design proteins with specific properties would yield great progress in pharmacology and bio-technologies. Methods to design proteins have been developed since a few decades and some relevant achievements have been made including de novo protein design. Yet, current approaches suffer some serious limitations. By not taking protein’s backbone motions into account, they fail at capturing some of the properties of the candidate design and cannot guarantee that the solution will in fact be stable for the goal conformation. Besides, although multi-states design methods have been proposed, they do not guarantee that a feasible trajectory between those states exists, which means that design problem involving state transitions are out of reach of the current methods. This thesis investigates how robotics-inspired algorithms can be used to efficiently explore the conformational landscape of a protein aiming to enhance protein design methods by introducing additional backbone flexibility. This work also provides first milestones towards protein motion design.

Mots-Clés / Keywords
Path planning; Protein design; Structural biology; Robotics; Sampling based algorithms; Computational biology;

140135
17101
20/03/2017

Représenter pour suivre : Exploitation de représentations parcimonieuses pour le suivi multi-objets

L.FAGOT-BOUQUET

RAP

Doctorat : Université de Toulouse III - Paul Sabatier, 20 Mars 2017, 196p., Président: A.CAPLIER, Rapporteurs: V.LEPETIT, A.CAVALLARO, Examinateurs: A.CAPLIER, Directeurs de thèse: F.LERASLE, R.AUDIGIER, Membre invité: Y.DHOME , N° 17101

Lien : https://hal.laas.fr/tel-01516921

Diffusable

Plus d'informations

Abstract

Visual object tracking is a subject of significant relevance in Computer Vision and its practical applications are numerous and exploited in various areas. For example, it is used in videosurveillance domain or by self-driving car technologies that require a full understanding of the vehicle surroundings. Multiple Object Tracking based on the tracking-by-detection paradigm has widely benefited from the recent developments in object detection. However, object detectors sometimes give erroneous responses, like missed detections, false positives, or imprecise detections. Maintaining target identities and handling occlusions are some other issues more specific to Multiple Object Tracking, which remains a challenging problem. Many recent approaches have exploited complex appearance models to distinguish more efficiently the targets and gain in robustness. In this thesis, we have followed the same idea by considering appearance models based on sparse representations that have been widely used in Single Object Tracking. We focus on people tracking since most practical applications are dealing with this object category. The first contribution of this thesis consists in designing an online, meaning frame by frame, tracking approach that takes advantage of collaborative sparse representations to define the affinity values between the estimated trajectories and the last detections. Furthermore, different possible descriptions of the targets, either holistic or local ones, have been considered. Contrary to offline approaches that consider several frames, online approaches are not able to correct possible association errors like identity switches or track fragmentations. Therefore, we proposed for our second contribution to develop a tracking system with a sliding window, based on a MCMCDA approach, able to correct association errors by exploiting sparse representations well-suited for this specific framework. Since the dictionaries used are composed solely of detections, the quality of the representations based on these dictionaries is highly dependent on the performance of the object detector. In order to rely less on the detector quality, we consider for the last contribution of this thesis to use dense dictionaries that are taking into account all possible locations of a target inside each frame. Many quantitative evaluations were performed using usual and public datasets, notably those of the MOTChallenge, in order to provide a consistent comparison with other recent approaches. These evaluations show the gain in performances of our proposed contributions and demonstrate the relevance of the choices that had been made.

Résumé

Le suivi visuel d’objets est un sujet d’importance en Vision par Ordinateur dont les applications pratiques sont multiples et exploitées dans des domaines assez diversifiés. On peut citer en particulier les problématiques de vidéo-surveillance ou encore celles liées aux voitures autonomes pour lesquelles il est crucial d’analyser correctement l’environnement. Cette thèse se focalise sur le problème de suivi multi-objets en considérant plus spécifiquement le suivi de personnes multiples, cette catégorie d’objets étant l’une des plus fréquentes dans les applications déployées en pratique. Le suivi multi-objets, en utilisant le paradigme de suivi par détection, a grandement profité des avancées récentes en détection d’objets. Néanmoins, le suivi multiobjets présente encore plusieurs problèmes spécifiques et reste ainsi une problématique difficile en Vision par Ordinateur. Les détecteurs donnent occasionnellement des réponses erronées, principalement des objets non détectés ou des fausses détections, face auxquelles un algorithme de suivi doit être le plus robuste possible. Pour aboutir à des systèmes plus robustes, de nombreuses approches récentes cherchent à exploiter des modèles d’apparence spécifiques afin de mieux différencier les cibles. Cette même approche a été suivie pour cette thèse, en nous inspirant de méthodes de suivi mono-objet à base de représentations parcimonieuses. Bien que l’emploi de telles représentations se soit révélé efficace dans plusieurs domaines en Vision par Ordinateur, cet outil restait peu utilisé pour le suivi multi-objets. La première contribution présentée dans ce manuscrit consiste à employer des représentations parcimonieuses collaboratives dans un système de suivi en ligne, image après image, pour définir les affinités en apparence entre les trajectoires estimées et les dernières détections. Des considérations sur les descriptions possibles des cibles, holistiques ou locales, ont de plus été examinées. Les approches en ligne ne peuvent cependant remettre en cause les choix d’appariement effectués à chaque image contrairement à des méthodes considérant simultanément plusieurs images consécutives. Notre seconde contribution a alors été de proposer une méthode de suivi à fenêtre glissante, ou multi-images, permettant de corriger d’éventuelles erreurs d’appariement en exploitant des représentations parcimonieuses adaptées à ce cadre spécifique. La dernière contribution développée dans ce manuscrit envisage l’emploi de dictionnaires denses pour définir les représentations parcimonieuses. Des dictionnaires denses, prenant en considération toutes les positions possibles dans une image, permettent de moins dépendre de la qualité du détecteur d’objets comparés à des dictionnaires définis à partir de détections. De nombreuses évaluations quantitatives ont été réalisées sur des base de données publiques usuelles afin de permettre une comparaison avec d’autres approches récentes. Ces évaluations attestent des gains en performances des contributions proposées et valident ainsi les choix effectués.

Mots-Clés / Keywords
Suivi multi-objets; Suivi par détection; Représentations parcimonieuses; Multi-object tracking; Tracking by detection; Sparse representations;

139555
17079
21/02/2017

Manipulation planning for documented objects

J.MIRABEL

GEPETTO

Doctorat : INP de Toulouse, 21 Février 2017, 131p., Président: J.P.LAUMOND, Rapporteurs: E.MAZER, F.VAN DER STAPPEN, Examinateurs: M.MICHELIN, Directeurs de thèse: F.LAMIRAUX , N° 17079

Lien : https://hal.laas.fr/tel-01516897

Diffusable

Plus d'informations

Résumé

Cette thèse traite du problème de planification de mouvement pour objets documentés. La difficulté du problème réside dans le couplage d’un problème symbolique et d’un problème géométrique. Les approches habituelles combinent la planification de tâche et la planification de mouvement. Elles sont complexes à implémenter et coûteuse en temps de calcul. Notre approche se différencie sur trois aspects. Le premier aspect est un cadre théorique modélisant les mouvements admissibles du robot et des objets. Ce modèle théorique utilise des contraintes pour lier tâche symbolique et chemins géométriques accomplissant cette tâche. Un graphe de contrainte permet de modéliser les règles de manipulation. Un algorithme de planification utilisant ce graphe est proposé. Le deuxième aspect est la gestion de chemin contraint. Dans le cadre de la manipulation, un définition abstraite sous forme de contrainte numérique est nécessaire. Un critère de continuité pour les méthodes de type Newton-Raphson est proposé pour assurer la continuité de trajectoire dans des sous-variétés. Le dernier aspect est la documentation des objets. Certaines informations, facile à définir pour l’être humain, accélère grandement la recherche d’une solution. Cette documentation, spécifique à chaque objet et préhenseur, est utilisée pour générer un graphe de contrainte, facilitant ainsi la spécification et la résolution du problème.

Abstract

This thesis tackles the manipulation planning for documented objects. The difficulty of the problem is the coupling of a symbolic and a geometrical problem. Classical approaches combine task and motion planning. They are hard to implement and time consuming. This approach is different on three aspects. The first aspect is a theoretical framework to model admissible motions of the robot and objects. This model uses constraints to link symbolic task and motions achieving such task. A graph of constraint models the manipulation rules. A planning algorithm using this graph is proposed. The second aspect is the handling of constrained motion. In manipulation planning, an abstract definition of numerical constraint is necessary. A continuity criterion for Newton-Raphson methods is proposed to ensure the continuity of trajectories in sub-manifolds. The last aspect is object documentation. Some information, easy to define for human beings, greatly speeds up the search. This documentation, specific to each object and end-effector, is used to generate a graph of constraint, easing the problem specification and resolution.

Mots-Clés / Keywords
Manipulation planning; Constrained planning; Continuous trajectory generation; Affordance; Documented objects; Planification de manipulation; Planification sous contraintes; Génération de trajectoire continue; Objets documentés;

139493
16479
22/12/2016

Design, modeling and control of inherently compliant actuators with a special consideration on agonist-antagonist anthropomorphic configuration

G.HARI SHANKAR LAL DAS

GEPETTO

Doctorat : INSA de Toulouse, 22 Décembre 2016, 140p., Président: P.FRAISSE, Rapporteurs: Y.AOUSTIN, B.VANDERBORGHT, Examinateurs: , Directeurs de thèse: B.TONDU, P.SOUERES, membre invité: O.STASSE , N° 16479

Lien : https://hal.laas.fr/tel-01482297

Diffusable

Plus d'informations

Abstract

Design, modeling and control of inherently compliant actuators with a special consideration on agonist- antagonist anthropomorphic configuration" The research aims at the design, modeling and control of inherently compliant actuators for anthropomorphic systems. The first part of the work focuses on the study of various existing designs and look for the possibility of alternative actuators other than the conventional electric motors. Special attention is given to elctroactive polymer based soft actuators which have good potential in future robotic applications. In parallel, a model of the actuator dynamics and the model-based controller (MPC and optimal control) have been synthesized for an anthropomorphic 7 Dofs arm actuated by antagonist-agonist pair of Pneumatic Artificial Muscles (PAMs) at each joint. Such model and controller is then integrated within the software environment developed by the team. Using the PAMs based anthropomorphic manipulator arm and the numerical simulator, tests are done in order to evaluate the potential of this actuator and compare with the human body capabilities.

Mots-Clés / Keywords
Pneumatic systems; Mckibben muscles; iLQR control; Nonlinear control; Agonist-antagonist actuation; Bio-inspired robots; Anthropomorphic systems;

138579
16536
05/12/2016

Co-design Hardware/Software of Real time Vision System on FPGA for Obstacle Detection

A.ALHAMWI

RAP

Doctorat : Université de Toulouse III - Paul Sabatier, Décembre 2016, 163p., Président: M.DEVY, Rapporteurs: H.SNOUSSI, J.DUBOIS, Examinateurs: J.F.NEZAN, B.VANDEPORTAELE, Directeurs de thèse: J.PIAT , N° 16536

Lien : https://hal.laas.fr/tel-01483746

Diffusable

Plus d'informations

Résumé

La Détection, localisation d’obstacles et la reconstruction de carte d’occupation 2D sont des fonctions de base pour un robot navigant dans un environnement intérieure lorsque l’intervention avec les objets se fait dans un environnement encombré. Les solutions fondées sur la vision artificielle et couramment utilisées comme SLAM ( Simultaneous Localization And Mapping) ou le flux optique ont tendance à être des calculs intensifs. Ces solutions nécessitent des ressources de calcul puissantes pour répondre à faible vitesse en temps réel aux contraintes. Nous présentons une architecture matérielle pour la détection, localisation d’obstacles et la reconstruction de cartes d’occupation 2D en temps réel. Le système proposé est réalisé en utilisant une architecture de vision sur FPGA (Field Programmable Gates Array) et des capteurs d’odométrie pour la détection, localisation des obstacles et la cartographie. De la fusion de ces deux sources d’information complémentaires résulte un modèle amélioré de l’environnement autour des robots. L’architecture proposé est un système à faible coût avec un temps de calcul réduit, un débit d’images élevé, et une faible consommation d’énergie.

Abstract

Obstacle detection, localization and occupancy map reconstruction are essential abilities for a mobile robot to navigate in an environment. Solutions based on passive monocular vision such as Simultaneous Localization And Mapping (SLAM) or Optical Flow (OF) require intensive computation. Systems based on these methods often rely on over-sized computation resources to meet real-time constraints. Inverse Perspective Mapping allows for obstacles detection at a low computational cost under the hypothesis of a flat ground observed during motion. It is thus possible to build an occupancy grid map by integrating obstacle detection over the course of the sensor. In this work we propose hardware/software system for obstacle detection, localization and 2D occupancy map reconstruction in real-time. The proposed system uses a FPGA-based design for vision and proprioceptive sensors for localization. Fusing this information allows for the construction of a simple environment model of the sensor surrounding. The resulting architecture is a low-cost, low-latency, high-throughput and low-power system.

Mots-Clés / Keywords
Implementation FPGA; Détection d’obstacles; Traitement d’images en temps réel; Accéleration hardware; Vision robotique;

139073
16504
02/12/2016

Co-design of architectures and algorithms for mobile robot localization and model-based detection of obstacles

D.TORTEI

RAP

Doctorat : Université de Toulouse III - Paul Sabatier, 2 Décembre 2016, 137p., Président: B.BOROVAC, Rapporteurs: M.AKIL, Examinateurs: J.PIAT, D.OBRADOVIC, Directeurs de thèse: M.DEVY, M.RAKOVIC , N° 16504

Lien : https://hal.laas.fr/tel-01477662

Diffusable

Plus d'informations

Résumé

Un véhicule autonome ou un robot mobile est équipé d’un système de navigation qui doit comporter plusieurs briques fonctionnelles pour traiter de perception, localisation, planification de trajectoires et locomotion. Dès que ce robot ou ce véhicule se déplace dans un environnement humain dense, il exécute en boucle et en temps réel plusieurs fonctions pour envoyer des consignes aux moteurs, pour calculer sa position vis-à-vis d’un repère de référence connu, et pour détecter de potentiels obstacles sur sa trajectoire; du fait de la richesse sémantique des images et du faible coût des caméras, ces fonctions exploitent souvent la vision. Les systèmes embarqués sur ces machines doivent alors intégrer des cartes assez puissantes pour traiter des données visuelles en temps réel. Par ailleurs, les contraintes d’autonomie de ces plateformes imposent de très faibles consommations énergétiques. Cette thèse proposent des architectures de type SOPC (System on Programmable Chip) con¸cues par une méthodologie de co-design matériel/logiciel pour exécuter de manière efficace les fonctions de localisation et de détection des obstacles à partir de la vision. Les résultats obtenus sont équivalents ou meilleurs que l’état de l’art, concernant la gestion de la carte locale d’amers pour l’odométrie-visuelle par une approche EKF-SLAM, et le rapport vitesse d’exécution sur précision pour ce qui est de la détection d’obstacles par identification dans les images d’objets (piétons, voitures...) sur la base de modèles appris au préalable.

Abstract

An autonomous mobile platform is endowed with a navigational system which must contain multiple functional bricks: perception, localization, path planning and motion control. As soon as such a robot or vehicle moves in a crowded environment, it continously loops several tasks in real time: sending reference values to motors’ actuators, calculating its position in respect to a known reference frame and detection of potential obstacles on its path. Thanks to semantic richness provided by images and to low cost of visual sensors, these tasks often exploit visual cues. Other embedded systems running on these mobile platforms thus demand for an additional integration of high-speed embeddable processing systems capable of treating abundant visual sensorial input in real-time. Moreover, constraints influencing the autonomy of the mobile platform impose low power consumption. This thesis proposes SOPC (System on a Programmable Chip) architectures for efficient embedding of vison-based localization and obstacle detection tasks in a navigational pipeline by making use of the software/hardware co-design methodology. The obtained results are equivalent or better in comparison to state-of-the-art for both EKF-SLAM based visual odometry: regarding the local map size management containing seven-dimensional landmarks and model-based detection-by-identification obstacle detection: algorithmic precision over execution speed metric.

138833
16444
02/12/2016

Temporal and hierarchical models for planning and acting in robotics

A.BIT-MONNOT

RIS

Doctorat : INP de Toulouse, 2 Décembre 2016, 199p., Président: R.ALAMI, Rapporteurs: J.HERTZBERG, F.PECORA, Examinateurs: A.CESTA, C.PRALET, D.E.SMITH, Directeurs de thèse: M.GHALLAB, F.INGRAND , N° 16444

Lien : https://hal.laas.fr/tel-01444926

Diffusable

Plus d'informations

Abstract

The field of AI planning has seen rapid progress over the last decade and planners are now able to find plans with hundreds of actions in a matter of seconds. Despite those important progresses, robotic systems still tend to have a reactive architecture with very little deliberation on the course of the plan they might follow. In this thesis, we argue that a successful integration with a robotic system requires the planner to have capacities for both temporal and hierarchical reasoning. The former is indeed a universal resource central in many robot activities while the latter is a critical component for the integration of reasoning capabilities at different abstraction levels, typically starting with a high level view of an activity that is iteratively refined down to motion primitives. As a first step to carry out this vision, we present a model for temporal planning unifying the generative and hierarchical approaches. At the center of the model are temporal action templates complemented with a specification of the initial state as well as the expected evolution of the environment over time. In addition, our model allows for the specification of hierarchical knowledge possibly with a partial coverage. Consequently, our model generalizes the existing generative and hierarchical approaches together with an explicit time representation. In the subsequent chapter, we introduce a planning procedure suitable for our planning model. In order to support hierarchical features, we extend the existing Partial-Order Causal Link approach used in many constraint-based planners, with the notions of task and decomposition. We implement it in FAPE (Flexible Acting and Planning Environment) together with automated problem analysis techniques used for search guidance. We show FAPE to have performance similar to state of the art temporal planners when used in a generative setting, and the addition of hierarchical information to lead to further performance gain. Next, we study the usual methods used to reason on temporal uncertainty while planning. We relax the usual assumption of total observability and instead provide techniques to reason on the observations needed to maintain a plan dispatchable. We show how such needed observations can be detected at planning time and incrementally dealt with by considering the appropriate sensing actions. In a final chapter, we discuss the place of the proposed planning system as a central component for the control of a robotic actor. We demonstrate how the explicit time representation facilitates plan monitoring and action dispatching when dealing with contingent events that require observation. We take advantage of the constraint-based and hierarchical representation to facilitate both plan-repair procedures as well opportunistic plan refinement at acting time.

138414
16585
25/11/2016

Application d’une méthodologie de co-design à la définition et à l’implémentation d’une chaîne SLAM opérationnelle

F.BRENOT

RAP

Doctorat : INP de Toulouse, 25 Novembre 2016, 159p., Président: M.DEVY, Rapporteurs: F.BERRY, A.IZAGUIRRE, Examinateurs: D.GINHAC, Directeurs de thèse: P.FILLATREAU, J.PIAT , N° 16585

Lien : https://hal.laas.fr/tel-01560812

Diffusable

Plus d'informations

Abstract

In the field of obstacle detection and tracking for vision-based ADAS (Advanced Driver Assistance System), it is necessary to perform short-term vehicle localisation. Vision based SLAM (Simultaneous Localization and Mapping) solves this problem by combining the vehicle state estimation (local pose and speeds) and an incremental modelling of the environment. The environment is perceived by extracting features (interest points) in a sequence of images and tracking them over time to allow an incremental landmarks map construction. The perception step leads to an important computational load which affects very significantly the system latency and throughput. Co-design methodologies allow to design a mixed processing architecture optimized for a specific application In this type of architecture, the use of hardware accelerators allows for great performance increase (throughput, memory size, power consumption). The ZynQ (Xilinx) provides a prototyping mixed-architecture including a dual-core microprocessor combined with configurable hardware resources. The goal of this thesis is to propose a co-design implementation of a vision-based SLAM processing chain involving hardware accelerators for image processing in order to meet the constraints of an embedded ADAS system. The first contribution is the design of a complete 3D EKF-SLAM processing chain thanks to a co-design approach. We defined and validated, according to the followed co-design approach, the choice of a Hardware-in-the-loop (HIL) architecture to validate the different design iterations. The second contribution is the integration of dedicated hardware modules to accelerate the visual perception computations of this processing chain (features detection, description and matching).

Résumé

Dans le domaine de la détection et du suivi d’obstacles pour les systèmes ADAS (Advanced Driver Assistance System) basés vision, il est nécessaire d’assurer la localisation à court terme du véhicule. Le SLAM (Simultaneous Localization and Mapping) basé vision propose de résoudre ce problème en combinant l’estimation de l’état du véhicule (pose dans un repère local et vitesses) et une modélisation incrémentale de l’environnement. Ce dernier est perçu par l’extraction de caractéristiques locales (points d’intérêt) dans une séquence d’images et leur suivi au cours du temps pour permettre la construction incrémentale d’une carte d’amers. Cette tâche de perception engendre une importante charge de calcul qui affecte très significativement la latence et la cadence du système. Les méthodologies de co-design permettent de concevoir une architecture mixte de calcul pour l“exécution d’une application particulière. Dans ce type d’architecture, l’utilisation d’accélérateurs matériels permet d’améliorer significativement les performances (temps d’exécution, encombrement, consommation). Le ZynQ (Xilinx) propose une architecture de prototypage mixte comprenant un processeur dual-core associé à des ressources matérielles configurables. L’objectif de cette thèse est donc de proposer une implémentation co-design d’un SLAM basé vision par la conception d’accélérateurs pour les opérations de vision afin de satisfaire les contraintes en performances des systèmes ADAS embarqués. La première contribution des travaux est la conception de cette chaîne complète 3D EKFSLAM à l’aide une approche co-design. Nous avons défini et validé, selon notre méthodologie de conception, le choix d’une architecture Hardware-in-the-loop (HIL) afin de valider les différentes itérations de conception. La seconde contribution est l’intégration de modules matériels dédiés pour accélérer les traitements de perception visuelle de cette chaîne (détection, description et mise en correspondance de points d’intérêt).

Mots-Clés / Keywords
Ingénierie dirigée par les modèles; Caméra intelligente; Embedded systems; FPGA; SLAM; Smart sensing; Vision architecture; Vision monoculaire; Visual navigation;

139992
16587
18/10/2016

Raisonnement sur le contexte et les croyances pour l’interaction homme-robot

G.MILLIEZ

RIS

Doctorat : INP de Toulouse, 18 Octobre 2016, 199p., Président: P.DOMINEY, Rapporteurs: R.CHATILA, D.DUHAUT, Examinateurs: D.SIDOBRE, Directeurs de thèse: R.ALAMI , N° 16587

Diffusable

Plus d'informations

Abstract

The first robots appeared in factories, in the form of programmable controllers. These first robotic forms usually had a very limited number of sensors and simply repeated a small set of sequences of motions and actions. Nowadays, more and more robots have to interact or cooperate with humans, whether at the workplace with teammate robots or at home with assistance robots. Introducing a robot in a human environment raises many challenges. Indeed, to evolve in the same environment as humans, and to understand this environment, the robot must be equipped with appropriate cognitive abilities. Beyond understanding the physical environment, the robot must be able to reason about human partners in order to work with them or serve them best. When the robot interacts with humans, the fulfillment of the task is not a sufficient criterion to quantify the quality of the interaction. Indeed, as the human is a social being, it is important that the robot can have reasoning mechanisms allowing it to assess the mental state of the human to improve his understanding and efficiency, but also to exhibit social behaviors in order to be accepted and to ensure the comfort of the human. In this manuscript, we first present a generic framework (independent of the robotic platform and sensors used) to build and maintain a representation of the state of the world by using the aggregation of data entry and hypotheses on the environment. This infrastructure is also in charge of assessing the situation. Using the state of the world it maintains, the system is able to utilize various spatiotemporal reasoning to assess the situation of the environment and the situation of the present agents (humans and robots). This allows the creation and maintenance of a symbolic representation of the state of the world and to keep awareness of each agent status. Second, to go further in understanding the situation of the humans, we will explain how we designed our robot with the capacity known in developmental and cognitive psychology as "theory of mind", embodied here by mechanisms allowing the system to reason by putting itself in the human situation, that is to be equipped with "perspective-taking" ability. Later we will explain how the assessment of the situation enables a situated dialogue with the human, and how the ability to explicitly manage conflicting beliefs can improve the quality of interaction and understanding of the human by the robot. We will also show how knowledge of the situation and the perspective taking ability allows proper recognition of human intentions and how we enhanced the robot with proactive behaviors to help the human. Finally, we present a study where a system maintains a human model of knowledge on various tasks to improve the management of the interaction during the interactive development and fulfillment of a shared plan.

Résumé

Les premiers robots sont apparus dans les usines, sous la forme d’automates programmables. Ces premières formes robotiques ont le plus souvent un nombre très limité de capteurs et se contentent de répéter une séquence de mouvements et d’actions. De nos jours, de plus en plus de robots ont à interagir ou coopérer avec l’homme, que se soit sur le lieu de travail avec les robots coéquipiers ou dans les foyers avec les robots d’assistance. Mettre un robot dans un environnement humain soulève de nombreuses problématiques. En effet, pour évoluer dans le même environnement que l’homme et comprendre cet environnement, le robot doit être doté de capacités cognitives appropriées. Au delà de la compréhension de l’environnement matériel, le robot doit être capable de raisonner sur ses partenaires humains afin de pouvoir collaborer avec eux ou les servir au mieux. Lorsque le robot interagit avec des humains, l’accomplissement de la tâche n’est pas un critère suffisant pour quantifier la qualité de l’interaction. En effet, l’homme étant un être social, il est important que le robot puisse avoir des mécanismes de raisonnement lui permettant d’estimer également l’état mental de l’homme pour améliorer sa compréhension et son efficacité, mais aussi pour exhiber des comportements sociaux afin de se faire accepter et d’assurer le confort de l’humain. Dans ce manuscrit, nous présentons tout d’abord une infrastructure logicielle générique (indépendante de la plateforme robotique et des capteurs utilisés) qui permet de construire et maintenir une représentation de l’état du monde à l’aide de l’agrégation des données d’entrée et d’hypothèses sur l’environnement. Cette infrastructure est également en charge de l’évaluation de la situation. En utilisant l’état du monde qu’il maintient à jour, le système est capable de mettre en oeuvre divers raisonnements spatio-temporels afin d’évaluer la situation de l’environnement et des agents (humains et robots) présents. Cela permet ainsi d’élaborer et de maintenir une représentation symbolique de l’état du monde et d’avoir une connaissance en permanence de la situation des agents. Dans un second temps, pour aller plus loin dans la compréhension de la situation des humains, nous expliquerons comment nous avons doté notre robot de la capacité connue en psychologie développementale et cognitive sous le nom de “théorie de l’esprit” concrétisée ici par des mécanismes permettant de raisonner en se mettant à la place de l’humain, c’est à dire d’être doté de “prise de perspective”. Par la suite nous expliquerons comment l’évaluation de la situation permet d’établir un dialogue situé avec l’homme, et en quoi la capacité de gérer explicitement des croyances divergentes permet d’améliorer la qualité de l’interaction et la compréhension de l’homme par le robot. Nous montrerons également comment la connaissance de la situation et la possibilité de raisonner en se mettant à la place de l’homme permet une reconnaissance d’intentions appropriée de celui-ci et comment nous avons pu grâce à cela doter notre robot de comportements proactifs pour venir en aide à l’homme . Pour finir, nous présenterons une étude présentant un système de maintien d’un modèle des connaissances de l’homme sur diverses tâches et qui permet une gestion adaptée de l’interaction lors de l’élaboration interactive et l’accomplissement d’un plan partagé.

Mots-Clés / Keywords
Contexte d'interaction; Interaction homme-robot; Prise de décisions; Prise de perspective; Raisonnement spatial; Théorie de l'esprit;

140137
Les informations recueillies font l’objet d’un traitement informatique destiné à des statistiques d'utilisation du formulaire de recherche dans la base de données des publications scientifiques. Les destinataires des données sont : le service de documentation du LAAS.Conformément à la loi « informatique et libertés » du 6 janvier 1978 modifiée en 2004, vous bénéficiez d’un droit d’accès et de rectification aux informations qui vous concernent, que vous pouvez exercer en vous adressant à
Pour recevoir une copie des documents, contacter doc@laas.fr en mentionnant le n° de rapport LAAS et votre adresse postale. Signalez tout problème de dysfonctionnement à sysadmin@laas.fr. http://www.laas.fr/pulman/pulman-isens/web/app.php/