Thèse : Prise de décision et adaptation automatique au contexte d’une maison intelligente basée sur des LLMs

Résumé

Cette thèse s’inscrit dans le domaine de la maison intelligente et aborde les défis liés à la conception de systèmes domotiques proactifs, basés sur le contexte de l’utilisateur et de l’habitat. Après une revue systématique de la littérature sur la prise de décision dans la maison intelligente, ce travail met en évidence les différentes approches étudiées et leurs limitations générales, telles que le manque de flexibilité de l’IA symbolique ou les difficultés d’apprentissage inhérentes aux méthodes de Machine Learning et de Reinforcement Learning. Pour dépasser ces limites, la thèse opére un changement de paradigme avec l’utilisation des Large Language Models (LLM) au cœur du système pour la prise de décision. Elle illustre le potentiel des LLM pour améliorer la compréhension contextuelle et l’adaptation personnalisée. Dans cette perspective, le système HomeAI est proposé, composé d’un système principal et de deux sous-systèmes :
- Un système utilisant le LLM comme moteur de décision pour interpréter les besoins via une représentation en langage naturel de la maison, de l’utilisateur, de ses actions et de ses préférences.
- Un sous-système dédié à la gestion explicite des préférences via des retours vocaux en langage naturel.
- Un sous-système visant la détection des retours implicites, en inférant l’évolution des préférences à long terme à partir de l’historique des interventions
.Le système a été validé par des simulations et un déploiement réel dans un espace expérimental, la Maison Intelligente de Blagnac. Les simulations montrent que l’intégration des préférences dans le prompting améliore les performances, avec un gain moyen de 23% sur les modèles sélectionnés. De plus, l’approche LLM fournit dès l’initialisation des performances équivalentes à celles nécessitant une semaine de collecte de données pour des modèles de ML classiques. Enfin, l’évaluation en Living Lab a abouti à un score SUS (System Usability Scale) de 71.8, validant l’utilisabilité et la faisabilité de l’approche. Mots clés : Habitat intelligent, Intelligence Artificielle, prise de décision, adaptativité, Internet des objets, Interaction Humain Machine.

Abstract

This thesis lies within the field of smart homes and addresses the challenges associated with designing proactive home automation systems based on the context of the user and the home. Following a systematic literature review on smart home decision-making, this work highlights the different approaches studied and their general limitations, such as the lack of flexibility of symbolic AI or the learning challenges inherent in machine learning and reinforcement learning methods. To overcome these limitations, this thesis proposes a paradigm shift leveraging
Large Language Models (LLMs) at the core of the decision-making system. It demonstrates the potential of LLMs to enhance contextual understanding and personalized adaptation. In this context, the HomeAI system is proposed, consisting of a main system and two sub-systems:
-A system leveraging the LLM as a decisionmaking engine to interpret needs via a natural language representation of the home, the user, their available actions, and their preferences.
-A sub-system dedicated to the explicit feedback management via natur l language voice feedback.
-A subsystem aimed at detecting implicit feedback, inferring long-term preference changes
from intervention history.
The system has been validated using simulations and real-world deployment in the Blagnac smart home Living Lab. Simulations show that integrating references into prompting strategies improves performance, with an average gain of 23% on the selected models. Furthermore, the LLM approach provides, from initialization, performance equivalent to that requiring a week of data collection for conventional ML models. Finally, the Living Lab evaluation resulted in a System Usability Scale (SUS) score of 71.8, validating the usability and feasibility of the approach