Generatieve AI-modellen hebben aanzienlijke vooruitgang geboekt door inspiratie te putten uit de beginselen van de natuurkunde. Twee prominente voorbeelden zijn Pixel Generative Models (PGMs) en Diffusion Models.

Pixel Generative Models (PGMs): PGMs behandelen datapunten als elektronen en benutten het elektrische veld dat door deze "ladingen" wordt opgewekt om de ingewikkelde dataverdeling naar een eenvoudiger, cirkelvormige verdeling te mappen. Door de approximator van het elektrische veld te leren, kunnen PGMs nieuwe datamonsters genereren door te bemonsteren uit de eenvoudige verdeling en achterwaarts langs de elektrische veldlijnen te reizen.

Diffusion Models: Diffusiemodellen putten inspiratie uit het concept van thermodynamica en de willekeurige beweging van atomen. Ze beschouwen pixels in een afbeelding als atomen en simuleren hun diffusieproces. Door te leren hoe de atomen (pixels) diffunderen, kunnen diffusiemodellen nieuwe afbeeldingen genereren door te beginnen met Gaussische ruis en het diffusieproces omgekeerd uit te voeren om nieuwe monsters uit de dataverdeling te verkrijgen.

Zowel PGMs als Diffusion Models maken gebruik van de beginselen van de natuurkunde, zoals elektrostatica en thermodynamica, om de uitdaging van het direct leren en bemonsteren van de complexe dataverdelingen te overwinnen. Door de ingewikkelde verdelingen naar eenvoudigere te mappen, kunnen deze modellen effectief nieuwe datamonsters genereren die de onderliggende patronen in de trainingsgegevens vastleggen.

PGMs behandelen datapunten als elektronen en benutten het elektrische veld dat deze datapunten opwekken. Beschouw een tweedimensionale dataverdeling, zoals de lengte en het gewicht van mensen. Stel je deze dataverdeling voor als een ladingsverdeling, waarbij punten met een hogere waarschijnlijkheid meer elektrische lading hebben.

Het elektrische veld van deze ladingsverdeling zou ingewikkeld zijn en een hoge kromming rond de verdeling zelf hebben. Maar als we uitzoomen, wordt het elektrische veld regelmatiger. Op zeer grote afstanden zou de ladingsverdeling eruitzien als een puntlading, en het elektrische veld zou eenvoudig zijn, radiaal naar buiten gericht in elke richting.

Het sleutelinzicht is dat het ingewikkelde elektrische veld rond de ladingsverdeling naadloos moet aansluiten op deze radiale verdeling op grote afstanden. Dit biedt een mapping van de ingewikkelde dataverdeling naar een eenvoudige, cirkelvormige verdeling.

Om gegevens te genereren, kunnen we eenvoudig, bolvormige gegevens genereren en vervolgens achterwaarts langs de elektrische veldlijnen reizen om nieuwe datapunten uit de oorspronkelijke dataverdeling te verkrijgen. In de praktijk leren we een benaderd elektrisch veld door een U-Net te gebruiken die een ingangsvector voor een punt in de ruimte neemt en de elektrische veldvector op dat punt retourneert.

Deze aanpak, bekend als PGMs, werd aan het einde van vorig jaar geïntroduceerd, en een opvolger, PGM++, werd onlangs gepubliceerd. De auteurs betogen dat PGMs voordelen bieden ten opzichte van diffusiemodellen, die stabiele diffusie en Dolly aandrijven.

Diffusiemodellen, die modellen als Stable Diffusion aandrijven, putten inspiratie uit de beginselen van de thermodynamica. Het sleutelinzicht is dat de willekeurige beweging van atomen, zoals beschreven door de thermodynamica, kan worden gekoppeld aan de willekeurige diffusie van pixelwaarden in een afbeelding.

De thermodynamica beschouwt atomen als munten, waarbij het macroscopische gedrag van een grote verzameling munten (atomen) zeer verschillend kan zijn van het microscopische gedrag van individuele munten. Bijvoorbeeld, de kans dat alle munten met de kop naar boven landen, is veel lager dan de kans dat 50% van de munten met de kop naar boven landen, ook al heeft elke munt individueel een kans van 50%.

Evenzo worden in diffusiemodellen pixelwaarden in een afbeelding behandeld als atomen die willekeurige wandelingen ondergaan. Net zoals de willekeurige beweging van voedingskleurstof in water leidt tot een uniforme verdeling, leidt de willekeurige beweging van pixels tot Gaussische ruis, die kan worden beschouwd als het beeldequivalent van uniforme kleur.

Door te leren hoe dit diffusieproces werkt voor een bepaalde dataset van afbeeldingen, kunnen diffusiemodellen vervolgens het proces omdraaien. Ze kunnen beginnen met Gaussische ruis en geleidelijk de diffusie "ongedaan" maken om nieuwe, realistisch ogende afbeeldingen te genereren. Dit is vergelijkbaar met het nemen van een willekeurig gekleurd beeld en het diffusieproces terug te volgen om het oorspronkelijke beeld te herstellen.

De wiskundige details van hoe dit werkt, kunnen verder worden onderzocht in de introductie tot diffusiemodellen op de blog. Maar de belangrijkste les is dat de beginselen van de thermodynamica en willekeurige wandelingen een krachtig raamwerk bieden voor het bouwen van state-of-the-art generatieve AI-modellen.

De verschillende gebieden van natuurkunde en AI hebben vaak kruisbestuiving gekend, waarbij belangrijke concepten uit de wiskunde en natuurkunde vooruitgang in AI hebben aangedreven. In deze video hebben we onderzocht hoe AI inspiratie heeft geput uit de gebieden van elektrostatica en thermodynamica om state-of-the-art generatieve AI-modellen te creëren.

Generatieve AI-modellen werken door te bemonsteren uit een dataverdeling, wat een complexe taak kan zijn voor hoogdimensionale gegevens zoals afbeeldingen. Om deze uitdaging te overwinnen, hebben AI-onderzoekers zich gewend tot fysische principes om de ingewikkelde dataverdeling naar een eenvoudigere te mappen.

In het geval van Plug-and-Play Generative Models (PGMs) biedt het elektrische veld dat door datapunten, behandeld als geladen deeltjes, wordt opgewekt, een mapping van de complexe dataverdeling naar een eenvoudigere, cirkelvormige verdeling. Door dit elektrische veld te leren, kunnen PGMs nieuwe gegevens genereren door te bemonsteren uit de eenvoudige verdeling en langs de elektrische veldlijnen te reizen.

Evenzo maken diffusiemodellen, die modellen als Stable Diffusion aandrijven, gebruik van het concept van diffusie uit de thermodynamica. Net zoals de willekeurige beweging van atomen leidt tot een Gaussische verdeling, beschouwen diffusiemodellen pixels in een afbeelding als "atomen" die willekeurige wandelingen ondergaan, waardoor ze nieuwe afbeeldingen kunnen genereren door te beginnen met Gaussische ruis en het diffusieproces omgekeerd uit te voeren.

Deze voorbeelden laten zien hoe de kruisbestuiving van natuurkunde en AI kan leiden tot krachtige en innovatieve generatieve modellen. Door de beginselen van elektrostatica en thermodynamica te begrijpen en te benutten, hebben onderzoekers nieuwe manieren gevonden om de uitdagingen van hoogdimensionale datageneratie aan te pakken, wat de weg baant voor verdere vooruitgang op het gebied van AI.