Thèse

Fiabilisation des réseaux de neurones par la surveillance à l’exécution: Application à la détection de pistes d'atterrissage

Équipes / Services concernés

Responsables

Joris Guerin / Jérémie Guiochet

Date de publication

05.06.24

Prise de poste souhaitée

01.10.24

Thèse CIFRE au LAAS-CNRS, Toulouse

Encadrants: Joris Guérin (IRD), Kevin Delmas (ONERA), Jérémie Guiochet (LAAS-CNRS)

Lieu de recherche : LAAS CNRS, Toulouse, FR / Entreprise Toulouse
Profil étudiant : Master 2 informatique
Durée : 36 mois

Date : À partir d ́Octobre 2024
Keywords: Machine Learning, Neural Network, Dependability, Fault Tolerance, Computer Vision

Contexte de la thèse

La détection automatisée de pistes d'atterrissage est un domaine de recherche en pleine expansion dans l'avionique. Les avancées récentes en apprentissage machine ont permis le développement de réseaux de neurones performants pour cette tâche spécifique. Toutefois, compte tenu du caractère critique de l'automatisation du pilotage, il est impératif de garantir la fiabilité de ces systèmes. Les approches de surveillance en ligne (monitoring) des réseaux de neurones offrent une solution pour améliorer la sûreté. Ces méthodes analysent les entrées, les activations et les sorties du réseau pour détecter les prédictions incertaines, renforçant ainsi la sécurité du système global.

Les approches de monitoring de réseaux de neurones se divisent en deux grandes catégories : les moniteurs basés sur les données [1] et les moniteurs basés sur des règles [2]. Les premiers sont conçus pour estimer la fiabilité des prédictions futures en apprenant des erreurs observées antérieurement. Les seconds, en revanche, utilisent des règles prédéfinies, issues d'une compréhension approfondie du problème, pour vérifier que les prédictions respectent certaines propriétés de sûreté.

Notre équipe dispose d’une grande expertise dans ce domaine, notamment en ce qui concerne l’évaluation de moniteurs. En effet, nous avons démontré l’intérêt d’évaluer de telles approches au niveau système [3] et nous avons proposé un nouveau cadre d’évaluation théorique dans ce sens [4]. L’utilité de cette méthodologie a été démontrée dans le contexte de la classification d’images [5], où nous avons proposé une bibliothèque d’évaluation complète permettant de rapidement développer et tester de nouvelles approches de monitoring basées sur les données1.

Problématique

Jusqu’à présent, nos travaux sur la surveillance des réseaux de neurones ont principalement exploré le domaine de la classification d'images. L'élargissement de notre cadre d'évaluation et de notre bibliothèque au domaine de la détection d'objets constitue un défi majeur à résoudre durant cette thèse.

Par ailleurs, nos études expérimentales récentes révèlent que les moniteurs basés sur les données ne fournissent pas les garanties de sécurité nécessaires pour leur intégration dans des applications critiques. Il est donc impératif de développer de nouvelles stratégies adaptées à ce contexte. Nous envisageons d'introduire des méthodes hybrides qui combinent la flexibilité des moniteurs basés sur les données avec la robustesse des moniteurs basés sur des règles. Une telle approche hybride pourrait offrir de meilleures performances tout en assurant les niveaux d'intégrité requis pour des applications de haute criticité.

Objectifs de la thèse

Ainsi, nous proposerons d’utiliser le formalisme développé précédemment pour définir une procédure d’évaluation systémique des moniteurs pour la détection d’objets. En parallèle, nous étendrons la bibliothèque d’évaluation à ce nouveau contexte applicatif en ajoutant un cas d’étude lié à la détection de pistes d’atterrissage.

Dans cette thèse, nous exploiterons un ensemble de données supervisées pour la détection de pistes d'atterrissage, en utilisant une architecture de réseau de neurones spécifiquement entraînée pour cette tâche. L'objectif principal est d’étudier et de développer différentes méthodes de surveillance à l'exécution afin de renforcer notre confiance dans les performances de ce réseau.

En cas de détection de prédictions incertaines, le système pourra rediriger le processus vers un module moins performant mais plus sûr, et les données problématiques pourront être sauvegardées pour une annotation ultérieure et utilisées dans le cadre d'un processus d'amélioration continue. Ce travail sera réalisé dans le cadre d’une collaboration entre laboratoires de recherche et une entreprise du domaine.

Déroulement de la thèse

Cette thèse se déroulera en plusieurs phases clés:

  • Recherche Bibliographique : Exploration approfondie des méthodes de monitoring de
    réseaux de neurones récentes, en se focalisant spécifiquement sur celles qui sont applicables
    au cas d'étude de la détection de pistes d'atterrissage.
  • Adaptation du Formalisme d'Évaluation : Modification et extension du cadre d'évaluation
    systémique, tel que proposé dans [4], pour l'adapter spécifiquement au contexte de la
    détection de pistes d'atterrissage.
  • Développement d'un Framework d'Évaluation : Construction d'un cadre d'évaluation
    exhaustif pour notre cas d'étude, incluant l'implémentation et la comparaison des méthodes
    existantes pour monitorer un modèle dédié à la détection de pistes d'atterrissage.
  • Innovation en Monitoring : Conception et développement de nouvelles approches de monitoring pour le cas d'étude, intégrant des moniteurs basés sur les données et des
    moniteurs basés sur des règles, afin d'améliorer la fiabilité et la précision du système.
  • Évaluation de l'Apprentissage Continu : Analyse de l'impact de l'apprentissage continu sur les performances des systèmes de monitoring, en évaluant leur capacité à s'adapter et à évoluer suite à de nouvelles campagnes d’annotations de données.

Comment candidater : déposez CV + relevés de notes des 3 dernières années universitaires + lettre de motivation

  • Références
    [1] Ferreira, R. S., Guerin, J., Guiochet, J., & Waeselynck, H. (2023). SENA: Similarity-based Error-checking of Neural Activations. In ECAI 2023 (pp. 724-731). IOS Press.
    [2] Harper, C., Chance, G., Ghobrial, A., Alam, S., Pipe, T., & Eder, K. (2021). Safety Validation of Autonomous Vehicles using Assertion Checking. arXiv preprint arXiv:2111.04611.
    [3] Guerin, J., Delmas, K., & Guiochet, J. (2022, May). Evaluation of runtime monitoring for UAV emergency landing. In 2022 International Conference on Robotics and Automation (ICRA) (pp. 9703-9709). IEEE.
    [4] Guerin, J., Ferreira, R. S., Delmas, K., & Guiochet, J. (2022, October). Unifying evaluation of machine learning safety monitors. In 2022 IEEE 33rd International Symposium on Software Reliability Engineering (ISSRE) (pp. 414-422). IEEE.
    [5] Guérin, J., Delmas, K., Ferreira, R., & Guiochet, J. (2023, June). Out-of-distribution detection is not all you need. In Proceedings of the AAAI conference on artificial intelligence (Vol. 37, No. 12, pp. 14829-14837).