生成式 AI 模型通過借鑒物理學原理取得了重大進步。兩個突出的例子是像素生成模型 (PGMs) 和擴散模型。

像素生成模型 (PGMs): PGMs 將數據點視為電子,並利用這些"電荷"產生的電場將複雜的數據分佈映射到更簡單的圓形分佈。通過學習電場近似器,PGMs 可以通過從簡單分佈中採樣並沿著電場線逆向行進來生成新的數據樣本。

擴散模型: 擴散模型借鑒了熱力學概念和原子的隨機運動。它們將圖像中的像素視為原子,並模擬它們的擴散過程。通過學習原子(像素)如何擴散,擴散模型可以通過從高斯噪聲開始並逆轉擴散過程來生成新的圖像。

PGMs 和擴散模型都利用了如靜電學和熱力學等物理原理,以克服直接學習和採樣複雜數據分佈的挑戰。通過將複雜的分佈映射到更簡單的分佈,這些模型可以有效地生成捕捉訓練數據中潛在模式的新數據樣本。

PGMs 將數據點視為電子,並利用這些數據點產生的電場。考慮一個二維數據分佈,如人類的身高和體重。將這個數據分佈想像為一個電荷分佈,其中概率較高的點具有更多的電荷。

這個電荷分佈的電場將是複雜的,在分佈本身周圍有很高的曲率。但是,當我們放大時,電場變得更加規則。在非常遠的距離,電荷分佈看起來像一個點電荷,電場會很簡單,在每個方向上都呈放射狀。

關鍵的洞見是,圍繞電荷分佈的複雜電場必須平滑地連接到遠處的這種徑向分佈。這提供了從複雜數據分佈到簡單圓形分佈的映射。

為了生成數據,我們可以簡單地生成簡單的球形數據,然後沿著電場線逆向行進,從而獲得原始數據分佈的新數據點。在實踐中,我們通過使用一個接受空間點輸入向量並返回該點處電場向量的 U-Net 來學習近似電場。

這種方法被稱為 PGMs,在去年年底被引入,最近發表了一個後續版本 PGM++。作者認為 PGMs 相比擴散模型(如 Stable Diffusion 和 Dolly)具有優勢。

擴散模型(如 Stable Diffusion)的靈感來自熱力學原理。關鍵洞見是,熱力學描述的原子隨機運動可以映射到圖像中像素值的隨機擴散。

熱力學將原子視為硬幣,其中大量硬幣(原子)的宏觀行為可能與個別硬幣的微觀行為大不相同。例如,所有硬幣正面朝上的概率要遠低於50%的硬幣正面朝上的概率,即使每個硬幣單獨有50%的機會。

同樣地,在擴散模型中,圖像中的像素值被視為正在進行隨機漫步的原子。就像食用色素在水中的隨機運動導致均勻分佈一樣,像素的隨機運動會導致高斯噪聲,這可以被視為圖像中均勻顏色的等價物。

通過學習這種擴散過程如何適用於特定的圖像數據集,擴散模型可以逆轉這個過程。它們可以從高斯噪聲開始,並逐步"撤消"擴散來生成新的、逼真的圖像。這相當於採取一個隨機著色的圖像,並追溯擴散過程以恢復原始圖像。

這是如何工作的數學細節可以在博客上的擴散模型介紹中進一步探討。但關鍵的啟示是,熱力學和隨機漫步的原理為構建最先進的生成式 AI 模型提供了一個強大的框架。

物理學和 AI 這兩個不同領域經常相互滲透,數學和物理學中的重要概念推動了 AI 的進步。在這個視頻中,我們探討了 AI 如何從靜電學和熱力學領域汲取靈感,創造出最先進的生成式 AI 模型。

生成式 AI 模型通過從數據分佈中採樣來工作,這對於像圖像這樣的高維數據來說是一個複雜的任務。為了克服這一挑戰,AI 研究人員轉向物理原理,將複雜的數據分佈映射到一個更簡單的分佈。

在即插即用生成模型(PGMs)的情況下,被視為帶電粒子的數據點產生的電場提供了從複雜數據分佈到簡單圓形分佈的映射。通過學習這個電場,PGMs 可以通過從簡單分佈中採樣並沿著電場線行進來生成新數據。

同樣地,擴散模型(如 Stable Diffusion)利用了熱力學中擴散的概念。就像原子的隨機運動導致高斯分佈一樣,擴散模型將圖像中的像素視為正在進行隨機漫步的"原子

允許它們通過從高斯噪聲開始並逆轉擴散過程來生成新圖像。\n\n這些例子展示了物理學和 AI 的交叉融合如何導致強大和創新的生成模型。通過理解和利用靜電學和熱力學的原理

研究人員找到了新的方法來解決高維數據生成的挑戰

為 AI 領域的進一步發展鋪平了道路。