Les modèles d'IA génératifs ont réalisé des progrès significatifs en s'inspirant des principes de la physique. Deux exemples notables sont les modèles génératifs de pixels (PGM) et les modèles de diffusion.

Modèles génératifs de pixels (PGM) : Les PGM traitent les points de données comme des électrons et exploitent le champ électrique généré par ces "charges" pour mapper la distribution de données complexe à une distribution plus simple et circulaire. En apprenant l'approximateur du champ électrique, les PGM peuvent générer de nouvelles données en échantillonnant à partir de la distribution simple et en se déplaçant à rebours le long des lignes de champ électrique.

Modèles de diffusion : Les modèles de diffusion s'inspirent du concept de thermodynamique et du mouvement aléatoire des atomes. Ils considèrent les pixels d'une image comme des atomes et simulent leur processus de diffusion. En apprenant comment les atomes (pixels) se diffusent, les modèles de diffusion peuvent générer de nouvelles images en partant du bruit gaussien et en inversant le processus de diffusion pour obtenir de nouveaux échantillons de la distribution de données.

Les PGM traitent les points de données comme des électrons et exploitent le champ électrique généré par ces points de données. Considérons une distribution de données bidimensionnelle, comme la taille et le poids des humains. Imaginez cette distribution de données comme une distribution de charges, où les points avec une probabilité plus élevée ont plus de charge électrique.

Le champ électrique de cette distribution de charges serait compliqué et aurait une forte courbure autour de la distribution elle-même. Cependant, en s'éloignant, le champ électrique devient plus régulier. À très grande distance, la distribution de charges ressemblerait à une charge ponctuelle, et le champ électrique serait simple, pointant radialement vers l'extérieur dans toutes les directions.

L'idée clé est que le champ électrique compliqué autour de la distribution de charges doit se connecter en douceur à cette distribution radiale à grande distance. Cela fournit un mappage de la distribution de données complexe à une distribution simple et circulaire.

Pour générer des données, nous pouvons simplement générer des données sphériques simples, puis nous déplacer à rebours le long des lignes de champ électrique pour obtenir de nouveaux points de données à partir de la distribution de données d'origine. Dans la pratique, nous apprenons un champ électrique approximatif en utilisant un U-Net qui prend un vecteur d'entrée pour un point dans l'espace et renvoie le vecteur de champ électrique à ce point.

Cette approche, connue sous le nom de PGM, a été introduite à la fin de l'année dernière, et un successeur, PGM++, a été publié plus récemment. Les auteurs affirment que les PGM offrent des avantages par rapport aux modèles de diffusion, qui alimentent Stable Diffusion et Dolly.

Les modèles de diffusion, qui alimentent des modèles comme Stable Diffusion, s'inspirent des principes de la thermodynamique. L'idée clé est que le mouvement aléatoire des atomes, tel que décrit par la thermodynamique, peut être mappé à la diffusion aléatoire des valeurs de pixels dans une image.

La thermodynamique considère les atomes comme des pièces de monnaie, où le comportement macroscopique d'un grand ensemble de pièces (atomes) peut être très différent du comportement microscopique de pièces individuelles. Par exemple, la probabilité que toutes les pièces atterrissent sur pile est beaucoup plus faible que la probabilité que 50% des pièces atterrissent sur pile, même si chaque pièce a individuellement 50% de chances.

De même, dans les modèles de diffusion, les valeurs de pixels dans une image sont considérées comme des atomes subissant des marches aléatoires. Tout comme le mouvement aléatoire d'un colorant alimentaire dans l'eau conduit à une distribution uniforme, le mouvement aléatoire des pixels conduit à un bruit gaussien, qui peut être considéré comme l'équivalent d'une couleur uniforme pour l'image.

En apprenant comment ce processus de diffusion fonctionne pour un jeu de données d'images particulier, les modèles de diffusion peuvent ensuite inverser le processus. Ils peuvent partir d'un bruit gaussien et "défaire" progressivement la diffusion pour générer de nouvelles images réalistes. C'est analogue à prendre une image aléatoirement colorée et à remonter le processus de diffusion pour récupérer l'image d'origine.

Les détails mathématiques de ce fonctionnement peuvent être explorés plus en détail dans l'introduction aux modèles de diffusion sur le blog. Mais l'idée clé est que les principes de la thermodynamique et des marches aléatoires fournissent un cadre puissant pour construire des modèles d'IA génératifs à la pointe de la technologie.

Les domaines distincts de la physique et de l'IA se sont souvent croisés, avec des concepts importants des mathématiques et de la physique stimulant les progrès de l'IA. Dans cette vidéo, nous avons exploré comment l'IA s'est inspirée des domaines de l'électrostatique et de la thermodynamique pour créer des modèles d'IA génératifs à la pointe de la technologie.

Les modèles d'IA génératifs fonctionnent en échantillonnant à partir d'une distribution de données, ce qui peut être une tâche complexe pour des données de haute dimension comme les images. Pour relever ce défi, les chercheurs en IA se sont tournés vers les principes physiques pour mapper la distribution de données complexe à une distribution plus simple.

Dans le cas des modèles génératifs Plug-and-Play (PGM), le champ électrique généré par les points de données, traités comme des particules chargées, fournit un mappage de la distribution de données complexe à une distribution plus simple et circulaire. En apprenant ce champ électrique, les PGM peuvent générer de nouvelles données en échantillonnant à partir de la distribution simple et en se déplaçant le long des lignes de champ électrique.

De même, les modèles de diffusion, qui alimentent des modèles comme Stable Diffusion, exploitent le concept de diffusion de la thermodynamique. Tout comme le mouvement aléatoire des atomes conduit à une distribution gaussienne, les modèles de diffusion considèrent les pixels d'une image comme des "atomes" subissant des marches aléatoires, leur permettant de générer de nouvelles images en partant d'un bruit gaussien et en inversant le processus de diffusion.

Ces exemples démontrent comment la fertilisation croisée de la physique et de l'IA peut conduire à des modèles génératifs puissants et innovants. En comprenant et en exploitant les principes de l'électrostatique et de la thermodynamique, les chercheurs ont trouvé de nouvelles façons de relever les défis de la génération de données de haute dimension, ouvrant la voie à de nouvelles avancées dans le domaine de l'IA.