生成式 AI 模型通过借鉴物理学原理取得了重大进步。两个突出的例子是像素生成模型(PGMs)和扩散模型。

像素生成模型(PGMs): PGMs 将数据点视为电子,利用这些"电荷"产生的电场将复杂的数据分布映射到更简单的圆形分布。通过学习电场近似器,PGMs 可以通过从简单分布采样并沿电场线逆向行进来生成新的数据样本。

扩散模型: 扩散模型借鉴了热力学概念和原子的随机运动。它们将图像中的像素视为原子,模拟它们的扩散过程。通过学习原子(像素)如何扩散,扩散模型可以通过从高斯噪声开始并逆转扩散过程来生成新图像,从而获得来自数据分布的新样本。

PGMs 和扩散模型都利用了诸如静电学和热力学等物理原理,以克服直接学习和从复杂数据分布中采样的挑战。通过将复杂的分布映射到更简单的分布,这些模型可以有效地生成新的数据样本,捕捉训练数据中的潜在模式。

PGMs 将数据点视为电子,利用这些数据点产生的电场。考虑一个二维数据分布,如人类的身高和体重。将此数据分布想象为电荷分布,其中概率较高的点具有更多的电荷。

这种电荷分布的电场将很复杂,在分布本身周围有很高的曲率。但是,当我们放大时,电场变得更加规则。在非常远的距离,电荷分布看起来像一个点电荷,电场会很简单,在各个方向上径向向外。

关键洞见是,围绕电荷分布的复杂电场必须平滑地连接到远处的这种径向分布。这提供了从复杂数据分布到简单圆形分布的映射。

为了生成数据,我们可以简单地生成简单的球形数据,然后沿电场线逆向行进,从而获得原始数据分布的新数据点。在实践中,我们通过使用输入向量表示空间中的一个点并返回该点的电场向量来学习近似电场。

这种方法被称为 PGMs,在去年年底被引入,最近发表了一个后续版本 PGM++。作者认为 PGMs 比推动稳定扩散和 Dolly 的扩散模型具有优势。

扩散模型(如稳定扩散)受热力学原理的启发。关键洞见是,热力学描述的原子的随机运动可以映射到图像中像素值的随机扩散。

热力学将原子视为硬币,其中大量硬币(原子)的宏观行为可能与个别硬币的微观行为大不相同。例如,所有硬币正面朝上的概率要远低于50%的硬币正面朝上的概率,尽管每个硬币单独有50%的机会。

同样,在扩散模型中,图像中的像素值被视为正在进行随机游走的原子。就像食用色素在水中的随机运动导致均匀分布一样,像素的随机运动会导致高斯噪声,这可以被视为图像中均匀颜色的等价物。

通过学习这种扩散过程如何适用于特定的图像数据集,扩散模型可以逆转这个过程。它们可以从高斯噪声开始,并逐步"撤消"扩散来生成新的、逼真的图像。这类似于采取一个随机着色的图像,并追溯扩散过程以恢复原始图像。

这是如何工作的数学细节可以在博客上的扩散模型介绍中进一步探讨。但关键的启示是,热力学和随机游走的原理为构建最先进的生成式 AI 模型提供了一个强大的框架。

物理学和 AI 这两个不同领域经常相互交叉,数学和物理学中的重要概念推动了 AI 的进步。在这个视频中,我们探讨了 AI 如何从静电学和热力学领域汲取灵感,创造出最先进的生成式 AI 模型。

生成式 AI 模型通过从数据分布中采样来工作,这对于像图像这样的高维数据来说是一个复杂的任务。为了克服这一挑战,AI 研究人员转向了物理原理,将复杂的数据分布映射到一个更简单的分布。

在即插即用生成模型(PGMs)的情况下,被视为带电粒子的数据点产生的电场提供了从复杂数据分布到更简单圆形分布的映射。通过学习这个电场,PGMs 可以通过从简单分布采样并沿电场线行进来生成新数据。

类似地,推动稳定扩散等模型的扩散模型利用了热力学中扩散的概念。就像原子的随机运动导致高斯分布一样,扩散模型将图像中的像素视为正在进行随机游走的"原子",允许它们通过从高斯噪声开始并逆转扩散过程来生成新图像。

这些例子展示了物理学和 AI 的交叉融合如何导致强大和创新的生成模型。通过理解和利用静电学和热力学的原理,研究人员找到了新的方法来解决高维数据生成的挑战,为 AI 领域的进一步发展铺平了道路。