Thèse : Modélisation différentiable et co-conception d'imageurs hyperspectraux codés

Résumé

L'imagerie hyperspectrale est devenue indispensable pour de nombreuses activités et permet d'acquérir des scènes hyperspectrales tri-dimensionnelles, contenant deux dimensions spatiales et une dimension spectrale. L'échantillonnage spectral de ces scènes permet d'analyser et de discriminer précisément les composés présents dans la scène.
Cependant, ces scènes contiennent énormément de données, le plus souvent redondantes.
L'imagerie hyperspectrale codée (CASSI -- Coded Acqusition for Snapshot Spectal Imaging) propose ainsi d'encoder cette information tri-dimensionnelle en une acquisition bi-dimensionnelle grâce à un système optique à ouverture codée.
Cette acquisition peut contenir toute l'information pertinente dans un faible volume de données qu'un algorithme adapté permet d'exploiter.

Nous présentons ici la simulation de systèmes CASSI à travers un simulateur optique par tracé de rayons, à la fois réaliste et différentiable : FROMAGE (Fast Ray-tracing-renderer for Optimization of Modern Architectures with Gradient Evaluation).
Ce simulateur exploite les récentes avancées en sciences des données et est entièrement différentiable, ce qui permet de co-optimiser tous les paramètres du système optique, du masque de l'ouverture codée, mais également de l'algorithme de traitement par descente de gradient.

Ce simulateur nous a permis d'évaluer l'impact sur le traitement des acquisitions dû aux distorsions optiques et aux erreurs d'alignement pour les imageurs de type CASSI.
En particulier, nous avons montré qu'avec des algorithmes de reconstruction, à l'état de l'art et adaptés pour l'occasion, l'information reconstruite est extrêmement robuste aux distortions et désalignements.

Nous avons également employé le simulateur pour mettre au point un prototype, de la conception des éléments disperseurs du système à la mise au point d'un jumeau numérique.
Nous avons ainsi développé un modèle proxy pour des éléments optiques dont les détails de conception ne sont pas connus.
Ce modèle proxy, constitué d'un réseau de neurones, est conçu pour vérifier certaines propriétés physiques telles que l'invariance rotationnelle des lentilles ou le retour inverse de la lumière.

Nous avons aussi mis au point un algorithme de traitement adaptatif, qui permet de reconstruire des scènes hyperspectrales à partir d'un nombre adaptatif de paires acquisition-masque.
Dans une vision de critique de l'apprentissage supervisé -- qui requiert énormément de données étiquetées -- nous avons de plus développé un algorithme de reconstruction auto-supervisé qui se base sur deux systèmes : un prototype et son jumeau numérique, modélisé dans le simulateur.

Ce travail ouvre la voie à des simulations CASSI plus réalistes, avec un simulateur capable de modéliser précisément, optimiser, et co-concevoir des imageurs hyperspectraux codée.
Nous cherchons également à approfondir les méthodes établies de traitement des données hyperspectrales, par la mise au point de nouveaux algorithmes adaptatifs employant plusieurs acquisitions.

Abstract

Hyperspectral imaging has become essential for many applications, enabling the acquisition of three-dimensional hyperspectral scenes that include two spatial dimensions and one spectral dimension. The spectral sampling of these scenes allows for precise analysis and discrimination of the compounds present in the scene.
However, these scenes contain vast amounts of data, often redundant.
Coded hyperspectral imaging (CASSI -- Coded Aperture Snapshot Spectral Imaging) addresses this by encoding this three-dimensional information into a two-dimensional acquisition using a coded aperture optical system.
This acquisition can contain all relevant information in a compact data volume, which a suitable algorithm can then exploit.

Here, we present the simulation of CASSI systems through an optical ray-tracing simulator that is both realistic and differentiable: FROMAGE (Fast Ray-tracing-renderer for Optimization of Modern Architectures with Gradient Evaluation).
This simulator leverages recent advances in data science and is fully differentiable, enabling the joint optimization of all system parameters, of the coded aperture mask and also of the processing algorithm by using gradient-descent-based schemes.

Using this simulator, we evaluated the impact of optical distortions and alignment errors on the processing of CASSI-type imagers.
Specifically, we demonstrated that, with state-of-the-art and custom reconstruction algorithms, the reconstructed information is highly robust to distortions and misalignments.

We also used the simulator to develop a prototype, from designing the system's dispersive elements to creating a digital twin.
We developed a proxy model for optical components whose design details are unknown.
This proxy model, based on a neural network, is designed to verify physical properties such as the rotational invariance of lenses or the reversibility of light.

Additionally, we developed an adaptive processing algorithm capable of reconstructing hyperspectral scenes from an adaptive number of acquisition-mask pairs.
In a critique of supervised learning -- which requires vast amounts of labeled data -- we further developed a self-supervised reconstruction algorithm based on two systems: a prototype and its digital twin, modeled in the simulator.

This work paves the way for more realistic CASSI simulations, with a simulator capable of precisely modeling, optimizing, and co-designing coded hyperspectral imagers.
We also aim to deepen established methods for hyperspectral data processing by developing new adaptive algorithms that use several acquisitions.