Generative-KI-Modelle haben durch die Inspiration aus den Prinzipien der Physik erhebliche Fortschritte gemacht. Zwei prominente Beispiele sind Pixel-Generative-Modelle (PGMs) und Diffusions-Modelle.

Pixel-Generative-Modelle (PGMs): PGMs behandeln Datenpunkte als Elektronen und nutzen das von diesen "Ladungen" erzeugte elektrische Feld, um die komplizierte Datenverteilung auf eine einfachere, kreisförmige Verteilung abzubilden. Durch das Erlernen des elektrischen Feldapproximators können PGMs neue Datenproben erzeugen, indem sie aus der einfachen Verteilung stichproben und entlang der elektrischen Feldlinien rückwärts wandern.

Diffusions-Modelle: Diffusions-Modelle orientieren sich am Konzept der Thermodynamik und der zufälligen Bewegung von Atomen. Sie betrachten Pixel in einem Bild als Atome und simulieren deren Diffusionsprozess. Indem sie lernen, wie sich die Atome (Pixel) diffundieren, können Diffusions-Modelle neue Bilder erzeugen, indem sie mit Gauß'schem Rauschen beginnen und den Diffusionsprozess rückwärts durchlaufen, um neuartige Proben aus der Datenverteilung zu erhalten.

Sowohl PGMs als auch Diffusions-Modelle nutzen die Prinzipien der Physik, wie Elektrostatik und Thermodynamik, um die Herausforderung des direkten Lernens und Samplings aus den komplexen Datenverteilungen zu überwinden. Indem sie die komplizierten Verteilungen auf einfachere abbilden, können diese Modelle effektiv neue Datenproben erzeugen, die die zugrunde liegenden Muster in den Trainingsdaten erfassen.

PGMs behandeln Datenpunkte als Elektronen und nutzen das von diesen Datenpunkten erzeugte elektrische Feld. Betrachten Sie eine zweidimensionale Datenverteilung, wie etwa die Größe und das Gewicht von Menschen. Stellen Sie sich diese Datenverteilung als Ladungsverteilung vor, bei der Punkte mit höherer Wahrscheinlichkeit mehr elektrische Ladung haben.

Das elektrische Feld dieser Ladungsverteilung wäre kompliziert und hätte eine hohe Krümmung um die Verteilung selbst. Je weiter wir jedoch hinauszoomen, desto regelmäßiger wird das elektrische Feld. In sehr großen Entfernungen würde die Ladungsverteilung wie eine Punktladung aussehen, und das elektrische Feld wäre einfach, in jede Richtung radial nach außen zeigend.

Der Schlüsseleinblick ist, dass das komplizierte elektrische Feld um die Ladungsverteilung herum nahtlos an diese radiale Verteilung in großen Entfernungen anschließen muss. Dies bietet eine Abbildung von der komplizierten Datenverteilung auf eine einfache, kreisförmige Verteilung.

Um Daten zu erzeugen, können wir einfach einfache, sphärische Daten erzeugen und dann entlang der elektrischen Feldlinien rückwärts wandern, um neue Datenpunkte aus der ursprünglichen Datenverteilung zu erhalten. In der Praxis lernen wir ein approximatives elektrisches Feld, indem wir ein U-Net verwenden, das einen Eingabevektor für einen Punkt im Raum nimmt und den elektrischen Feldvektor an diesem Punkt zurückgibt.

Dieser Ansatz, bekannt als PGMs, wurde Ende letzten Jahres eingeführt, und ein Nachfolger, PGM++, wurde kürzlich veröffentlicht. Die Autoren argumentieren, dass PGMs Vorteile gegenüber Diffusions-Modellen bieten, die Stable Diffusion und Dolly antreiben.

Diffusions-Modelle, die Modelle wie Stable Diffusion antreiben, orientieren sich an den Prinzipien der Thermodynamik. Der Schlüsseleinblick ist, dass die zufällige Bewegung von Atomen, wie sie von der Thermodynamik beschrieben wird, auf die zufällige Diffusion von Pixelwerten in einem Bild abgebildet werden kann.

Die Thermodynamik betrachtet Atome als Münzen, wobei sich das makroskopische Verhalten einer großen Anzahl von Münzen (Atomen) sehr vom mikroskopischen Verhalten einzelner Münzen unterscheiden kann. Zum Beispiel ist die Wahrscheinlichkeit, dass alle Münzen Kopf zeigen, viel geringer als die Wahrscheinlichkeit, dass 50% der Münzen Kopf zeigen, obwohl jede Münze einzeln eine 50%ige Chance hat.

Ähnlich werden in Diffusions-Modellen Pixelwerte in einem Bild als Atome behandelt, die zufällige Bewegungen ausführen. Genau wie die zufällige Bewegung von Lebensmittelfarbe in Wasser zu einer gleichmäßigen Verteilung führt, führt die zufällige Bewegung von Pixeln zu Gauß'schem Rauschen, das als das Bildäquivalent einer gleichmäßigen Farbe betrachtet werden kann.

Indem sie lernen, wie dieser Diffusionsprozess für einen bestimmten Datensatz von Bildern funktioniert, können Diffusions-Modelle den Prozess dann rückwärts durchlaufen. Sie können mit Gauß'schem Rauschen beginnen und die Diffusion schrittweise "rückgängig machen", um neuartige, realistisch aussehende Bilder zu erzeugen. Dies ist vergleichbar damit, ein zufällig eingefärbtes Bild zu nehmen und den Diffusionsprozess zurückzuverfolgen, um das Originalbild wiederherzustellen.

Die mathematischen Details, wie dies funktioniert, können im Einführungsartikel zu Diffusions-Modellen auf dem Blog weiter vertieft werden. Der Schlüsselaspekt ist jedoch, dass die Prinzipien der Thermodynamik und der zufälligen Bewegungen einen leistungsfähigen Rahmen für den Aufbau von State-of-the-Art-Generative-KI-Modellen bieten.

Die unterschiedlichen Bereiche der Physik und der KI haben sich oft gegenseitig befruchtet, wobei wichtige Konzepte aus Mathematik und Physik den Fortschritt in der KI vorangetrieben haben. In diesem Video haben wir untersucht, wie KI Inspiration aus den Bereichen der Elektrostatik und Thermodynamik geschöpft hat, um state-of-the-art-Generative-KI-Modelle zu schaffen.

Generative-KI-Modelle funktionieren, indem sie aus einer Datenverteilung stichproben, was bei hochdimensionalen Daten wie Bildern eine komplexe Aufgabe sein kann. Um diese Herausforderung zu bewältigen, haben KI-Forscher auf physikalische Prinzipien zurückgegriffen, um die komplizierte Datenverteilung auf eine einfachere abzubilden.

Im Falle der Plug-and-Play-Generative-Modelle (PGMs) bietet das von den Datenpunkten, die als geladene Teilchen behandelt werden, erzeugte elektrische Feld eine Abbildung von der komplexen Datenverteilung auf eine einfachere, kreisförmige Verteilung. Indem sie dieses elektrische Feld erlernen, können PGMs neue Daten erzeugen, indem sie aus der einfachen Verteilung stichproben und entlang der elektrischen Feldlinien wandern.

Ähnlich nutzen Diffusions-Modelle, die Modelle wie Stable Diffusion antreiben, das Konzept der Diffusion aus der Thermodynamik. Genau wie die zufällige Bewegung von Atomen zu einer Gauß'schen Verteilung führt, betrachten Diffusions-Modelle Pixel in einem Bild als "Atome", die zufällige Bewegungen ausführen, was es ihnen ermöglicht, neue Bilder zu erzeugen, indem sie mit Gauß'schem Rauschen beginnen und den Diffusionsprozess rückwärts durchlaufen.

Diese Beispiele zeigen, wie die Verflechtung von Physik und KI zu leistungsfähigen und innovativen Generative-Modellen führen kann. Durch das Verständnis und die Nutzung der Prinzipien der Elektrostatik und Thermodynamik haben Forscher neue Wege gefunden, die Herausforderungen der hochdimensionalen Datenerzeugung anzugehen und den Weg für weitere Fortschritte in der KI zu ebnen.