Monte Carlo sampling and deep generative models for Bayesian inference
Echantillonnage Monte Carlo et modèles génératifs profonds pour inférence Bayésienne
Résumé
The generation of realistic data with complex patterns often relies on the use of expressive probabilistic models. These models aim to characterize and approximate data distributions in high- dimensional spaces. However, even with the current power of deep neural networks, constructing robust probabilistic models remains a significant challenge. While obtaining high-quality samples is a difficult task, many scientific applications additionally require the ability to explicitly estimate the probability density learned by the model. This added requirement calls for the adoption of constrained model architectures, a limitation that quickly becomes restrictive in complex and high- dimensional spaces. This thesis aims to address these challenges by adapting the training protocols or sampling strategies of generative model architectures. It also explores various applications of deep generative models to solve practical problems. In the first part, this work initially proposes a hybrid training strategy that strikes a balance between generating realistic samples and the ability to estimate the learned probability density of the model. This strategy involves enriching the usual training function with an approximate transport distance. This distance is also utilized in a second contribution that aims to solve the optimal transport problem between empirical distributions through the specific training of invertible generative models. Next, a sampling technique that explores the latent space is proposed. Based on Langevin diffusion, it overcomes the limitations observed when using deep generative models to generate data with a multimodal distribution defined on disconnected spaces. Finally, the last part of this thesis work is dedicated to using these deep generative models to learn a priori laws. These can then be easily employed within a Bayesian inversion framework in computational imaging, ensuring efficient sampling of the underlying posterior laws. Overall, deep generative models offer a flexible, powerful, and versatile solution for data generation and density estimation, encompassing not only the field of machine learning but also finding applications in various scientific and engineering disciplines.
La génération de données réalistes aux motifs complexes repose fréquemment sur l'utilisation de modèles probabilistes expressifs. Ces modèles ont pour objectif de caractériser et d'approcher les distributions de données dans des espaces en grandes dimensions. Cependant, même avec la puissance actuelle des réseaux de neurones profonds, la construction de modèles probabilistes robustes demeure un défi de taille. Alors que l'obtention d'échantillons de qualité est donc une tâche ardue, de nombreuses applications scientifiques exigent de surcroit la capacité à estimer explicitement la densité de probabilité apprise par le modèle. Cette exigence supplémentaire nécessite l'adoption d'architectures de modèles restreintes, contrainte qui devient rapidement très limitante dans un espace complexe et de grande dimension. Cette thèse propose de relever ces défis en adaptant les protocoles d'entraînement ou les stratégies d'échantillonnage des architectures de modèles génératifs. Par ailleurs, elle explore plusieurs applications des modèles génératifs profonds dans le but de résoudre des problèmes pratiques. Dans une première partie, ce travail propose tout d'abord une stratégie d'entraînement hybride qui établit un compromis entre la génération d'échantillons réalistes et la capacité à estimer la densité de probabilité apprise par le modèle. Cette stratégie consiste à enrichir la fonction d'entraînement usuelle par une distance de transport approchée. Cette distance est également mise à profit dans une deuxième contribution qui vise à résoudre le problème de transport optimal entre distributions empiriques grâce à l'entraînement spécifique de modèles génératifs inversibles. Ensuite, une technique d'échantillonnage explorant l'espace latent est proposée. S'appuyant sur une diffusion de Langevin, elle permet de s'affranchir des limitations observées lors de l'utilisation de modèles génératifs profonds pour générer des données dont la distribution est multimodale et définie sur des espaces déconnectés. Enfin, une dernière partie de ce travail de thèse est consacrée à l'utilisation de ces modèles génératifs profonds pour apprendre des lois a priori. Ces dernières peuvent alors être facilement utilisées dans un cadre d'inversion bayésienne en imagerie computationnelle, assurant un échantillonnage efficace des lois a posteriori sous-jacentes. Dans leur ensemble, les modèles génératifs profonds offrent une solution souple, puissante et polyvalente pour la génération de données et l'estimation de densité, englobant non seulement le domaine de l'apprentissage automatique, mais trouvant également des applications dans diverses disciplines scientifiques et techniques de l'ingénierie.
Origine : Version validée par le jury (STAR)