Генеративные модели ИИ добились значительного прогресса, черпая вдохновение из принципов физики. Два ярких примера - это Модели генерации пикселей (PGM) и Диффузионные модели.

Модели генерации пикселей (PGM): PGM рассматривают точки данных как электроны и используют электрическое поле, генерируемое этими "зарядами", для отображения сложного распределения данных на более простое, круговое распределение. Обучившись приближать электрическое поле, PGM могут генерировать новые образцы данных, выбирая из простого распределения и двигаясь назад вдоль линий электрического поля.

Диффузионные модели: Диффузионные модели черпают вдохновение из концепции термодинамики и случайного движения атомов. Они рассматривают пиксели в изображении как атомы и моделируют процесс их диффузии. Обучившись тому, как диффундируют атомы (пиксели), диффузионные модели могут генерировать новые изображения, начиная с гауссовского шума и обращая процесс диффузии, чтобы получить новые образцы из распределения данных.

Как PGM, так и диффузионные модели используют принципы физики, такие как электростатика и термодинамика, чтобы преодолеть проблему прямого обучения и выборки из сложных распределений данных. Отображая сложные распределения на более простые, эти модели могут эффективно генерировать новые образцы данных, отражающие лежащие в основе закономерности в обучающих данных.

PGM рассматривают точки данных как электроны и используют электрическое поле, генерируемое этими точками данных. Представьте двумерное распределение данных, например, рост и вес людей. Представьте это распределение данных как распределение заряда, где точки с более высокой вероятностью имеют больше электрического заряда.

Электрическое поле этого распределения заряда было бы сложным и имело бы высокую кривизну вокруг самого распределения. Однако, если мы отдалимся, электрическое поле становится более регулярным. На очень больших расстояниях распределение заряда выглядело бы как точечный заряд, и электрическое поле было бы простым, радиально направленным во всех направлениях.

Ключевая идея заключается в том, что сложное электрическое поле вокруг распределения заряда должно плавно переходить в это радиальное распределение на больших расстояниях. Это обеспечивает отображение сложного распределения данных на простое, круговое распределение.

Для генерации данных мы можем просто генерировать простые, сферические данные, а затем двигаться назад вдоль линий электрического поля, чтобы получить новые точки данных из исходного распределения данных. На практике мы обучаем приближенное электрическое поле, используя U-Net, который принимает на вход вектор точки в пространстве и возвращает вектор электрического поля в этой точке.

Этот подход, известный как PGM, был представлен в конце прошлого года, а его преемник, PGM++, был опубликован совсем недавно. Авторы утверждают, что PGM имеют преимущества перед диффузионными моделями, которые лежат в основе Stable Diffusion и Dolly.

Диффузионные модели, которые лежат в основе моделей, таких как Stable Diffusion, черпают вдохновение из принципов термодинамики. Ключевая идея заключается в том, что случайное движение атомов, описываемое термодинамикой, можно отобразить на случайную диффузию значений пикселей в изображении.

Термодинамика рассматривает атомы как монеты, где макроскопическое поведение большого ансамбля монет (атомов) может быть очень отличным от микроскопического поведения отдельных монет. Например, вероятность того, что все монеты упадут вверх, гораздо ниже, чем вероятность того, что 50% монет упадут вверх, хотя у каждой монеты есть 50% шанс.

Аналогично, в диффузионных моделях значения пикселей в изображении рассматриваются как атомы, совершающие случайные блуждания. Так же, как случайное движение пищевого красителя в воде приводит к равномерному распределению, случайное движение пикселей приводит к гауссовскому шуму, который можно рассматривать как эквивалент изображения равномерного цвета.

Обучившись тому, как работает этот процесс диффузии для конкретного набора данных изображений, диффузионные модели могут затем обратить этот процесс. Они могут начать с гауссовского шума и постепенно "отменить" диффузию, чтобы генерировать новые, реалистичные изображения. Это аналогично взятию случайно окрашенного изображения и прослеживанию процесса диффузии назад, чтобы восстановить исходное изображение.

Математические детали того, как это работает, можно изучить подробнее в введении в диффузионные модели в блоге. Но основной вывод заключается в том, что принципы термодинамики и случайных блужданий предоставляют мощную основу для построения передовых генеративных моделей ИИ.

Различные области физики и ИИ часто взаимно обогащали друг друга, причем важные концепции из математики и физики двигали прогресс в ИИ. В этом видео мы исследовали, как ИИ черпал вдохновение из областей электростатики и термодинамики, чтобы создавать передовые генеративные модели ИИ.

Генеративные модели ИИ работают путем выборки из распределения данных, что может быть сложной задачей для высокоразмерных данных, таких как изображения. Чтобы преодолеть это испытание, исследователи ИИ обратились к физическим принципам, чтобы отобразить сложное распределение данных на более простое.

В случае Моделей генерации пикселей (PGM) электрическое поле, генерируемое точками данных, рассматриваемыми как заряженные частицы, обеспечивает отображение сложного распределения данных на более простое, круговое распределение. Обучившись этому электрическому полю, PGM могут генерировать новые данные, выбирая из простого распределения и двигаясь вдоль линий электрического поля.

Аналогично, диффузионные модели, которые лежат в основе моделей, таких как Stable Diffusion, используют концепцию диффузии из термодинамики. Так же, как случайное движение атомов приводит к гауссовскому распределению, диффузионные модели рассматривают пиксели в изображении как "атомы", совершающие случайные блуждания, позволяя им генерировать новые изображения, начиная с гауссовского шума и обращая процесс диффузии.

Эти примеры демонстрируют, как взаимное обогащение физики и ИИ может приводить к мощным и инновационным генеративным моделям. Понимая и используя принципы электростатики и термодинамики, исследователи нашли новые способы решения проблем генерации высокоразмерных данных, открывая путь для дальнейших достижений в области ИИ.