Thèse: Développement d'un système de supervision d'interactions multipartites entre des humains et un robot.

Résumé

Pour collaborer efficacement avec des humains dans des environnements réalistes tels que des restaurants ou des cuisines, un robot doit comprendre ce que font les agents autour de lui, estimer leurs intentions et objectifs, et adapter son comportement en respectant les conventions sociales implicites. Ces environnements présentent des défis majeurs : le robot ne peut observer continuellement tous les agents (occlusions visuelles, tâches simultanées), il doit reconnaître des actions et tâches malgré des observations partielles, et coordonner ses décisions en tenant compte du contexte social et des rôles de chacun. Les architectures cognitives existantes ne modélisent pas explicitement les pratiques sociales ni les plans partagés, et ne supportent pas nativement la gestion simultanée de plusieurs personnes avec des rôles différents. Cette thèse développe une reconnaissance d'actions robuste aux observations partielles. Les humains effectuent rarement des actions isolées sans but : une personne qui prend un objet puis se déplace poursuit un objectif (servir un client, préparer un plat). Le système intègre une reconnaissance de tâches hiérarchiques qui utilise les actions reconnues pour générer des hypothèses sur les objectifs poursuivis, même lorsque certaines étapes ne sont pas observées. Ces reconnaissances prennent sens dans un contexte social donné : dans un restaurant, comprendre qu'une personne est serveur et une autre client change radicalement l'interprétation de leurs actions. Les Practice Frames modélisent ces pratiques sociales en définissant explicitement les rôles avec leurs capacités et attentes mutuelles, permettant une attribution dynamique selon le contexte. Le système détecte ces attentes et déclenche les actions appropriées en fonction des capacités disponibles et des besoins identifiés. Pour coordonner la collaboration, les plans partagés représentent qui fait quoi avec une séparation entre ce qui est connu et ce qui reste à faire, permettant de suivre l'exécution collaborative. L'ensemble repose sur une représentation unifiée des connaissances assurant l'intégration cohérente de ces composants. L'architecture supporte la gestion simultanée de plusieurs personnes : le système reconnaît les actions et tâches de plusieurs individus, attribue dynamiquement des rôles sociaux (serveur, client, cuisinier, assistant) selon le contexte, et maintient un contexte individuel pour chaque personne (rôle actuel, actions en cours, localisation). La gestion du contexte s'opère à deux niveaux : contexte social (rôles, attentes mutuelles, pratiques sociales, normes) et contexte situationnel (positions des agents, état de l'environnement, objets disponibles, tâches en cours). Le système s'appuie sur une base de connaissances combinant informations conceptuelles (objets, rôles, relations) et temporelles (événements, séquences d'actions, historiques par personne), maintenues à jour en temps réel. Ces reconnaissances alimentent une supervision qui détecte les changements de contexte, gère les priorités selon les rôles et pratiques actives, coordonne l'exécution de missions, et adapte dynamiquement le comportement du robot aux situations sociales. Cette thèse propose un cadre intégrant reconnaissance hiérarchique actions-tâches, modélisation des pratiques sociales avec rôles et attentes, plans partagés pour la collaboration, et gestion de plusieurs personnes avec des contextes différents. La reconnaissance robuste aux observations partielles, associée à la gestion du contexte social et situationnel, permet de gérer simultanément plusieurs personnes avec des rôles différents dans des environnements réalistes. Ce travail fournit un cadre pour la robotique sociale collaborative applicable aux environnements de service (restaurants, hôtels) et assistants domestiques, permettant au robot d'expliquer ses décisions et de savoir quand communiquer.