L'objectif est de développer des fonctions robustes en temps réel, sur la base des modalités visuelle (monoculaire, 3D, polydioptrique, PTZ active, RGB-D, IR, multispectrale), auditive (réseau de microphones, tête binaurale) et RFID.  Les capteurs peuvent être statiques ou en mouvement, à bord d'un robot, déportés dans l'environnement, ou portés par les humains.  Plusieurs résultats reposent sur la fusion ​​probabiliste de données : suivi et identification de plusieurs personnes basé vision et RFID ; localisation multimodale de piétons en milieu urbain ; localisation audio-motrice de sons ; cartographie et localisation simultanées, et suivi d'objets en mouvement (SLAMMOT).  D'autres contributions concernent : la détection, la segmentation, le suivi et la reconnaissance d'objets multiples par vision ; la modélisation par vision 3D ; la détection de sources sonores et l'estimation de leurs azimuts.