Le développement des systèmes IoT (internet des objets) tend vers une complexité accrue, en effet l’IoT connaît une augmentation impressionnante du nombre des objets connectés que ce soit dans le domaine de la santé, du transport public ou dans l’industrie 4.0... Les architectures et les algorithmes développés aujourd’hui pour piloter ces systèmes reposent sur l’utilisation des technologies innovantes comme l’intelligence artificielle. Cependant le paradigme actuel reste le développement d’une intelligence alimentée par l’humain pour résoudre des problèmes certes complexes mais qui n’évoluent pas. Or dans les nouveaux contextes, comme les villes intelligentes, l’intervention humaine peut devenir un goulot d’étranglement voire un point de défaillance et l’environnement change sans cesse nécessitant une adaptation des algorithmes développés en permanence.

Afin d’assurer le bon fonctionnement des nouveaux systèmes IoT un changement de paradigme des systèmes IoT intelligents vers des systèmes IoT autonomes [1] est indispensable. Les systèmes IoT de demain n’existeront que s’ils sont autonomes pilotés par des algorithmes qui ne nécessitent aucune intervention humaine et sont capables de s’adapter à tout changement dans leur environnement de façon autonome. Afin de réaliser cette autonomie, les algorithmes que nous développons reposent sur la technique d’apprentissage profond par renforcement (DRL) capable de s’adapter automatiquement aux nouveaux contextes. Ainsi un agent interagit continuellement avec l’environnement en utilisant des observations sur l’environnement afin de prendre des actions que ce dernier doit mettre en place. Les bonnes actions renforcent l’apprentissage de l’agent par des récompenses attribuées par l’environnement. A la différence des techniques classiques de l’intelligence artificielle, l’agent n’a besoin d’aucune donnée préparée par un superviseur (un humain), il utilise uniquement ses propres expériences pour améliorer ses connaissances sur les bonnes actions à prendre. Mais plus important, l’agent ne résout pas un problème figé qui n’évolue pas. L’apprentissage de l’agent est perpétuel, permettant à son algorithme de s’adapter aux nouvelles configurations et continuer à devenir plus performant.

Plusieurs défis restent à lever afin d’arriver aux systèmes IoT autonomes, deux en particuliers sont à considérer :

- D’abord les architectures classiques du DRL sont majoritairement centralisées, à cause des besoins de calcul important de l’agent. Or de telles architectures sont peu fiables dans un environnement réel. Les architectures doivent être distribuées au plus proche des zones d’action.

- Ensuite, le développement d’un agent intelligent de zéro à chaque fois risque de poser de sérieux problèmes de passage à l’échelle. Le transfert de l’intelligence d’un domaine à l’autre doit être possible.

Les travaux que nous envisageons ont pour objectif d’adresser ces défis afin de réaliser des systèmes IoT autonomes. Des résultats préliminaires obtenus dans le domaine de la délocalisation des tâches de calcul (task offloading) [2] ainsi que dans le gestion de QoS dans les zones rurales [3], montrent la voie de cette réalisation.

[1] L. Lei, Y. Tan, K. Zheng, S. Liu, K. Zhang and X. Shen, "Deep Reinforcement Learning for Autonomous Internet of Things: Model, Applications and Challenges," in IEEE Communications Surveys & Tutorials, vol. 22, no. 3, pp. 1722-1760, thirdquarter 2020, doi: 10.1109/COMST.2020.2988367.

[2] Abdel Kader Chabi Sika Boni, Hassan Hassan, Khalil Drira, « Task Offloading in Autonomous IoT Systems using Deep Reinforcement Learning and ns3-gym » , 11th International Conference on the Internet of Things (IoT 2021), Nov 2021, St Gallen, Switzerland

[3] Juan Chafla Altamirano, Mohamd Amine Slimane, Hassan Hassan and Khalil Drira, « QoS-aware Network Self-management Architecture based on DRL and SDN for remote areas », submitted