Retour au site du LAAS-CNRS

Mots-Clés / Keywords

Mots-Clés / Keywords

Abstract

This paper presents a Markov Chain Monte Carlo (MCMC) based particle filter to track multiple persons dedicated to video surveillance applications. This hybrid tracker, devoted to networked intelligent cameras, takes benefit from the best properties of both MCMC and joint particle filter. A saliency map-based proposal distribution is shown to limit the well-known burst in terms of particles and MCMC iterations. Qualitative and quantitative results for real-world video data are presented.

Abstract

In this article we present a two ambiance video camera system dedicated to markerless human motion capture. We introduce a new particle filter algorithm which entails an importance function enabling auto-(re)initialisation, and takes account of the global curvature of the likelihood so as to guide the search along poorly observable directions of the state space. The system robustness is improved by fusing different visual cues. Performances are nearly real time.

Mots-Clés / Keywords

Abstract

Among the cognitive abilities a robot companion must be endowed with, human perception and speech understanding are both fundamental in the context of multimodal human-robot interaction. First, we propose a multiple object visual tracker which is interactively distributed and dedicated to two-handed gestures and head location in 3D. An on-board speech understanding system is also developed in order to process deictic and anaphoric utterances. Characteristics and performances for each of the two components are presented. Finally, integration and experiments on a robot companion highlight the relevance and complementarity of our multimodal interface. Outlook to future work is finally discussed.

Mots-Clés / Keywords

Abstract

Among the cognitive abilities a robot companion must be endowed with, human perception and speech understanding are both fundamental in the context of multimodal human-robot interaction. The two components we have developed and integrated on a mobile robot are presented in this paper. First, we detail an interactively distributed multiple object tracker dedicated to two-handed gestures and head location in 3D. The on-board speech understanding system is then depicted. For both components, associated in- and off-line evaluations from data acquired by the robot highlight their relevance. Implementation and preliminary experiments on a household robot companion are then demonstrated. The latter illustrate how vision can assist speech by specifying location references, object/person IDs in verbal statements in order to interpret natural deictic commands given by human beings. Extensions of our work are finally discussed.

Mots-Clés / Keywords

Résumé

Ce mémoire d'habilitation à diriger les recherches porte sur la perception et la compréhension conjointe de l'espace et du milieu par un robot cognitif autonome. Dans ce contexte, la démarche consiste ici à intégrer des percepts multiples et incertains à tous les niveaux de la perception à partir de capteurs visuels embarqués. Ces travaux se structurent en deux thèmes. Le premier thème se focalise sur la perception de l'espace pour la navigation autonome en milieu intérieur. Nos travaux antérieurs ont mis l'accent sur une méthodologie complète de détection, reconnaissance et localisation sur amers visuels validée par des expérimentations réelles sur le robot Diligent. Ces amers sont capturés automatiquement par le robot dans les différentes représentations métriques et topologiques de son environnement de travail. La navigation consiste alors à exploiter ces modèles pour se localiser métriquement ou qualitativement, sur la base de données visuelles, éventuellement télémétriques. À terme, ces représentations seront enrichies par des informations sémantiques capturées en interaction avec l'homme. Cet apprentissage supervisé, la perspective d'un robot sociable, nous ont amené à démarrer le second thème sur la perception par le robot de l'homme pour leur interaction. Nos travaux ont porté sur la détection, le suivi, la reconnaissance de l'homme par vision monoculaire couleur. Parmi ces fonctions, la problématique du suivi est centrale puisque la plupart des tâches robotiques coordonnées avec l'homme nécessite de caractériser la relation d'une plate-forme mobile aux agents humains a priori mobiles. Nous avons ainsi prototypé puis intégré plusieurs fonctions de suivi 2D ou 3D de tout ou partie des membres corporels de l'homme par le choix conjoint de stratégies de fusion de données visuelles et de filtrage particulaire répondant aux modalit és d'interaction envisagées pour le robot "guide" Rackham et le robot compagnon Jido. Les prospectives énoncées visent à l'interaction de percepts relative à la perception simultanée par le robot de l'espace et/ou de l'homme. La problé- matique de l'intelligence ambiante, par l'ajout de robots anthropomorphes type humanoïde dans ces environnements humains, devrait infléchir ces travaux tout en recoupant certaines investigations passées ou actuelles.

Mots-Clés / Keywords

Abstract

This paper presents a new algorithm for human motion three-dimensional tracking based on a stereo camera system embedded on a mobile robot. The approach mixes advantages of the well-known ICONDENSATION and Annealed particle filters into a more reliable "I-Annealed" particle filter based tracker. Data fusion is also studied to show that a wide variety of visual cues must be used so that the system can adapt to various backgrounds. A complete implementation of the proposed tracker is described as well as some results on indoor sequences. Finally, evolutions and future work are discussed.