I modelli di intelligenza artificiale generativa hanno fatto progressi significativi traendo ispirazione dai principi della fisica. Due esempi prominenti sono i Modelli Generativi di Pixel (PGM) e i Modelli di Diffusione.

Modelli Generativi di Pixel (PGM): I PGM trattano i punti dati come elettroni e sfruttano il campo elettrico generato da questi "carichi" per mappare la complicata distribuzione dei dati in una distribuzione più semplice e circolare. Imparando l'approssimatore del campo elettrico, i PGM possono generare nuovi campioni di dati campionando dalla distribuzione semplice e viaggiando all'indietro lungo le linee del campo elettrico.

Modelli di Diffusione: I modelli di diffusione traggono ispirazione dal concetto di termodinamica e dal moto casuale degli atomi. Essi considerano i pixel in un'immagine come atomi e simulano il loro processo di diffusione. Imparando come gli atomi (pixel) si diffondono, i modelli di diffusione possono generare nuove immagini partendo dal rumore gaussiano e invertendo il processo di diffusione per ottenere nuovi campioni dalla distribuzione dei dati.

I PGM trattano i punti dati come elettroni e sfruttano il campo elettrico generato da questi punti dati. Consideriamo una distribuzione di dati bidimensionale, come l'altezza e il peso degli esseri umani. Immaginiamo questa distribuzione di dati come una distribuzione di carica, dove i punti con probabilità più alta hanno più carica elettrica.

Il campo elettrico di questa distribuzione di carica sarebbe complicato e avrebbe un'alta curvatura intorno alla distribuzione stessa. Tuttavia, allontanandoci, il campo elettrico diventa più regolare. A distanze molto lontane, la distribuzione di carica sembrerebbe un carica puntiforme, e il campo elettrico sarebbe semplice, che punta radialmente verso l'esterno in tutte le direzioni.

L'intuizione chiave è che il complicato campo elettrico intorno alla distribuzione di carica deve connettersi in modo uniforme a questa distribuzione radiale a grandi distanze. Questo fornisce una mappatura dalla complicata distribuzione dei dati a una distribuzione semplice e circolare.

Per generare dati, possiamo semplicemente generare dati sferici semplici e poi viaggiare all'indietro lungo le linee del campo elettrico per ottenere nuovi punti dati dalla distribuzione dei dati originale. Nella pratica, impariamo un campo elettrico approssimativo utilizzando un U-Net che prende in input un vettore per un punto nello spazio e restituisce il vettore del campo elettrico in quel punto.

Questo approccio, noto come PGM, è stato introdotto alla fine dello scorso anno, e un successore, PGM++, è stato pubblicato più di recente. Gli autori sostengono che i PGM offrono vantaggi rispetto ai modelli di diffusione, che alimentano Stable Diffusion e Dolly.

I modelli di diffusione, che alimentano modelli come Stable Diffusion, traggono ispirazione dai principi della termodinamica. L'intuizione chiave è che il moto casuale degli atomi, come descritto dalla termodinamica, può essere mappato alla diffusione casuale dei valori dei pixel in un'immagine.

La termodinamica considera gli atomi come monete, dove il comportamento macroscopico di un grande insieme di monete (atomi) può essere molto diverso dal comportamento microscopico delle singole monete. Ad esempio, la probabilità che tutte le monete cadano con il lato testa in su è molto più bassa della probabilità che il 50% delle monete cada con il lato testa in su, anche se ogni moneta ha individualmente il 50% di probabilità.

Analoghente, nei modelli di diffusione, i valori dei pixel in un'immagine sono trattati come atomi che subiscono cammini casuali. Così come il moto casuale del colorante alimentare nell'acqua porta a una distribuzione uniforme, il moto casuale dei pixel porta al rumore gaussiano, che può essere considerato l'equivalente dell'immagine di un colore uniforme.

Imparando come funziona questo processo di diffusione per un particolare set di dati di immagini, i modelli di diffusione possono quindi invertire il processo. Possono partire dal rumore gaussiano e gradualmente "annullare" la diffusione per generare immagini nuove e realistiche. Questo è analogo al prendere un'immagine con colori casuali e tracciare all'indietro il processo di diffusione per recuperare l'immagine originale.

I dettagli matematici di come ciò funzioni possono essere esplorati ulteriormente nell'introduzione ai modelli di diffusione sul blog. Ma il concetto chiave è che i principi della termodinamica e dei cammini casuali forniscono un potente quadro di riferimento per costruire modelli di intelligenza artificiale generativa all'avanguardia.

I distinti campi della fisica e dell'intelligenza artificiale si sono spesso incrociati, con importanti concetti dalla matematica e dalla fisica che guidano i progressi nell'intelligenza artificiale. In questo video, abbiamo esplorato come l'intelligenza artificiale ha attinto ispirazione dai campi dell'elettrostatica e della termodinamica per creare modelli di intelligenza artificiale generativa all'avanguardia.

I modelli di intelligenza artificiale generativa funzionano campionando da una distribuzione di dati, il che può essere un compito complesso per dati ad alta dimensionalità come le immagini. Per superare questa sfida, i ricercatori di intelligenza artificiale si sono rivolti ai principi fisici per mappare la complicata distribuzione dei dati in una più semplice.

Nel caso dei Modelli Generativi Plug-and-Play (PGM), il campo elettrico generato dai punti dati, trattati come particelle cariche, fornisce una mappatura dalla complessa distribuzione dei dati a una distribuzione più semplice e circolare. Imparando questo campo elettrico, i PGM possono generare nuovi dati campionando dalla distribuzione semplice e viaggiando lungo le linee del campo elettrico.

Analoghente, i modelli di diffusione, che alimentano modelli come Stable Diffusion, sfruttano il concetto di diffusione dalla termodinamica. Così come il moto casuale degli atomi porta a una distribuzione gaussiana, i modelli di diffusione considerano i pixel in un'immagine come "atomi" che subiscono cammini casuali, permettendo loro di generare nuove immagini partendo dal rumore gaussiano e invertendo il processo di diffusione.

Questi esempi dimostrano come l'incrocio tra fisica e intelligenza artificiale possa portare a modelli generativi potenti e innovativi. Comprendendo e sfruttando i principi dell'elettrostatica e della termodinamica, i ricercatori hanno trovato nuovi modi per affrontare le sfide della generazione di dati ad alta dimensionalità, aprendo la strada a ulteriori progressi nel campo dell'intelligenza artificiale.