IA digne de confiance
Les modèles d’apprentissage basés sur des données sont de plus en plus utilisés dans différents types de systèmes, par exemple pour réaliser une fonction de perception dans un système autonome, ou pour émettre des recommandations personnalisées au sein d’un réseau social. Ces exemples illustrent des notions différentes de la confiance, étudiées au sein de l'équipe.
Différentes notions de confiance sont nécessaires, selon que l'on considère l'utilisation de modèles d'apprentissage automatique dans des systèmes autonomes ou dans des réseaux sociaux.
Dans le premier cas, la confiance est relative à la satisfaction de propriétés de sûreté traditionnelles. Nos travaux mettent l’accent sur la détection d’erreurs du modèle d’apprentissage (ex : un piéton est non perçu) [1, 2], sur la conception de mécanismes de protection contre ces erreurs et sur l’évaluation du gain en sûreté [3].
Dans le deuxième cas, la confiance relève d’attentes plus sociétales, telles que la transparence et le caractère non discriminatoire des décisions [4, 5]. Mais cette confiance est problématique car le modèle d’apprentissage est typiquement inaccessible et subi comme une boîte noire. Nous développons des méthodes d’audits permettant d’inférer des propriétés sur la nature et/ou le comportement du modèle, à partir d’observations partielles de ce comportement. Certains de ces travaux sur l’audit sont menés en collaboration avec des juristes [6] et des services de l’état (PEReN : Pôle d’Expertise de la Régulation Numérique).
Références
[1] Raul Sena Ferreira, Joris Guérin, Jérémie Guiochet, Hélène Waeselynck, "SENA : Similarity-Based Error-Checking of Neural Activations", Proc. 26th European Conference on Artificial Intelligence (ECAI 2023), pp. 724-731, 2023.
[2] Joris Guérin, Kevin Delmas, Raul Sena Ferreira, Jérémie Guiochet, "Out-of-Distribution Detection Is Not All You Need", Proc. 37th AAAI Conference on Artificial Intelligence (AAAI 2023), pp. 14829-14837, 2023.
[3] Joris Guérin, Raul Sena Ferreira, Kevin Delmas, Jérémie Guiochet, "Unifying Evaluation of Machine Learning Safety Monitors", Proc. IEEE 33rd International Symposium on Software Reliability Engineering (ISSRE 2022), pp. 414-422, 2022.
[4] Erwan Le Merrer, Gilles Trédan, "Remote explainability faces the bouncer problem", Nature Machine Intelligence, vol. 2, no.9, pp. 529-539, 2020.
[5] Erwan Le Merrer, Benoît Morgan, Gilles Trédan, "Setting the Record Straighter on Shadow Banning", Proc. 40th IEEE Conference on Computer Communications (INFOCOM 2021), 2021.
[6] Erwan Le Merrer, Ronan Pons, Gilles Trédan, "Algorithmic audits of algorithms, and the law", AI and Ethics, vol. 4, no. 4, pp. 1365-1375, 2024.
