L’objectif est de développer des “back-ends” qui, sur la base de “front-ends” réalisant des fonctions perceptuelles bas-niveau (détection, segmentation, suivi temporel, reconnaissance…), permettent des inférences d’un niveau plus élevé : reconnaissance d’actions, apprentissage et prédiction de comportements, localisation et SLAM, etc. Les techniques sous-jacentes ont trait aux modèles génératifs profonds, aux modèles graphiques et à l’inférence probabilistes, aux modèles graphiques causaux, etc.

Reconnaissance d’actions humaines par vision

En environnement intérieur “quotidien”, un humain et des objets avec lesquels il/elle interagit sont perçus au moyen d’un capteur 3D. Un premier détecteur Bayésien d'actions combine la perception 3D avec des connaissances a priori (affordances, probabilités de transition d’actions, modélisation d’interactions…) de façon à inférer les probabilités postérieures de séquences d’action. En parallèle, des relations spatio-temporelles sont capturées dans un réseau de neurones récurrent de type C3D-GRU. Ces prédictions probabilistes et “data-driven” sont fusionnées dans une couche neuronale dense. L’ensemble est évalué sur plusieurs datasets : CAD-120, Watch-n-Patch…

Thèse de Doctorat de Camille Maurice (Financement LAAS-CNRS/RAP). Contact : Frédéric Lerasle.

Modélisation et prédiction à court-terme de trajectoires d’agents en interaction

Une flotte de véhicules en environnement autoroutier est connectée à un système centralisé dans le Cloud. Chaque véhicule diffuse son identifiant, sa position absolue ainsi que les statistiques de l’incertitude associée. La prédiction centralisée des trajectoires des agents à court-terme (typiquement 3-5 secondes) est effectuée afin de caractériser le risque de collision. L’enjeu est de capturer les interactions à court et long terme, et d’obtenir un schéma explicable, doté de bonnes propriétés calculatoires et permettant la gestion de fausses mesures. La solution consiste en : l'apprentissage hors ligne (supervisé ou non-supervisé) de la loi de dynamique a priori de l’ego-véhicule (conditionnée sur son état passé et de l’état de ses voisins) ; l'inférence en ligne par des techniques de filtrage Bayésien approchées, adaptées à des modèles profonds de dynamiques et à des espaces d’état de très grande dimension.

Thèse de Doctorat de Tristan Klempka (CIFRE avec Continental Digital Services France). Contact : Patrick Danès.

Consécutivement à cette action, l'analyse et la prédiction des déplacements d'agents hétérogènes (voitures, vélos, piétons...) vont être adressées dans des images aériennes capturées dans des scénarios urbains.

Thèse de Doctorat débutant en Décembre 2024 (Financement conjoint du Défi-Clé Mobilité Intelligente et Durable en Occitanie (MIDOC, La Région Occitanie via l'Université de Toulouse), le CEREMA et LAAS-CNRS/RAP. Co-encadrement avec le CEREMA Toulouse). Contact : Patrick Danès.

SLAM

En utilisant des outils modernes d'inférence causale, en particulier les graphes causaux et le modèle causal structurel (SCM) promus par Pearl et ses co-auteurs, une vision alternative du problème de Localisation et Cartographie Simultanées (Simultaneous Localization and Mapping — SLAM) est développée afin de répondre à certains problèmes connus de longue date. Le système CARLIT (Causal Approach to Represent Locomotion and Internalize Topography) articule les hypothèses causales et exploite de manière appropriée les indépendances conditionnelles pour le traitement des fermetures de boucle et l'incorporation d’amers. Le problème d'ajustement se réduit à un problème d'optimisation de moindres carrés contraints. Une connexion est établie avec les travaux des pionniers de la théorie des probabilités tels que Laplace qui traitaient l'incertitude dans un cadre “quasi-déterministe”. Leur application emblématique au problème d'ajustement géodésique (triangulations pour la cartographie) partage de nombreux points communs structurels avec SLAM.

Thèse de Doctorat de Joël Tari (CIFRE avec l’entreprise AKKODIS). Remerciements à la plateforme autOCampus de l’Université Toulouse III Paul Sabatier pour constituer le cadre des expérimentations, à l’entreprise Soben/TwinswHeel pour le prêt de l’un de leurs robots, à l’entreprise GUIDE-GNSS pour leur fourniture des données GNSS-RTK avec vérité terrain (via un système hybridé de très haute qualité).

Dans le cadre du projet NINSAR financé par le PEPR Agroécologie et Numérique, la thèse de Doctorat de Mathieu Fons a débuté en Septembre 2024 sur la problématique du SLAM coopératif et actif (Co-encadrement avec IP Clermont-Ferrand et XLIM Limoges).

Apprentissage de dynamiques a priori d'erreurs d'algorithmes de localisation pour leur émulation virtuelle

L'objectif est de synthétiser, sur la base de “datasets”, des modèles génératifs profonds d’erreurs de localisation relativement à une vérité terrain dans divers contextes relevant de la robotique agricole (e.g., pour le GNSS, environnement ouvert, canopée, proximité de structures métalliques, passage ponctuels sous des bâtiments…). Des méthodes non supervisées ou semi-supervisées sont recherchées. Ces modèles génératifs seront exploités dans un environnement virtuel pour le test et la certification de systèmes de géopositionnement multicapteur.

Projet France 2030 BPI GEOSUR. Collaboration avec AgreenCulture (porteur), INRAE, GUIDE-GNSS, M3 Systems, TORUS ACTIONS et l’équipe TRUST du LAAS-CNRS.