Các mô hình AI sinh tạo đã có những tiến bộ đáng kể bằng cách lấy cảm hứng từ các nguyên lý của vật lý. Hai ví dụ nổi bật là Mô hình Sinh tạo Điểm ảnh (PGMs) và Mô hình Khuếch tán.

Mô hình Sinh tạo Điểm ảnh (PGMs): PGMs coi các điểm dữ liệu như điện tử và khai thác trường điện được tạo ra bởi những "điện tích" này để ánh xạ phân phối dữ liệu phức tạp thành phân phối đơn giản, hình tròn. Bằng cách học bộ xấp xỉ trường điện, PGMs có thể tạo ra các mẫu dữ liệu mới bằng cách lấy mẫu từ phân phối đơn giản và di chuyển ngược lại dọc theo các đường sức điện.

Mô hình Khuếch tán: Mô hình khuếch tán lấy cảm hứng từ khái niệm nhiệt động học và chuyển động ngẫu nhiên của nguyên tử. Chúng coi các điểm ảnh trong một bức ảnh như các nguyên tử và mô phỏng quá trình khuếch tán của chúng. Bằng cách học cách các nguyên tử (điểm ảnh) khuếch tán, các mô hình khuếch tán có thể tạo ra các bức ảnh mới bằng cách bắt đầu với nhiễu Gaussian và đảo ngược quá trình khuếch tán để thu được các mẫu mới từ phân phối dữ liệu.

PGMs coi các điểm dữ liệu như điện tử và khai thác trường điện mà những điểm dữ liệu này tạo ra. Hãy xem xét một phân phối dữ liệu hai chiều, chẳng hạn như chiều cao và cân nặng của con người. Hãy tưởng tượng phân phối dữ liệu này như một phân phối điện tích, nơi các điểm có xác suất cao hơn có nhiều điện tích hơn.

Trường điện của phân phối điện tích này sẽ phức tạp và có độ cong cao xung quanh phân phối chính nó. Tuy nhiên, khi chúng ta phóng to ra, trường điện trở nên thông thường hơn. Ở khoảng cách rất xa, phân phối điện tích sẽ trông giống như một điện tích điểm, và trường điện sẽ đơn giản, chỉ ra theo hướng bức xạ ở mọi hướng.

Thông điệp then chốt là trường điện phức tạp xung quanh phân phối điện tích phải kết nối một cách liền mạch với phân phối bức xạ này ở khoảng cách xa. Điều này cung cấp một ánh xạ từ phân phối dữ liệu phức tạp sang một phân phối đơn giản, hình tròn.

Để tạo dữ liệu, chúng ta có thể chỉ đơn giản tạo ra dữ liệu hình cầu đơn giản và sau đó di chuyển ngược lại dọc theo các đường sức điện để thu được các điểm dữ liệu mới từ phân phối dữ liệu gốc. Trong thực tế, chúng ta học một trường điện xấp xỉ bằng cách sử dụng một U-Net nhận một vector đầu vào cho một điểm trong không gian và trả về vector trường điện tại điểm đó.

Phương pháp này, được gọi là PGMs, đã được giới thiệu vào cuối năm ngoái, và một phiên bản kế nhiệm, PGM++, đã được công bố gần đây hơn. Các tác giả cho rằng PGMs mang lại những lợi ích so với các mô hình khuếch tán, là những mô hình nền tảng cho Stable Diffusion và Dolly.

Mô hình khuếch tán, là những mô hình nền tảng cho Stable Diffusion, lấy cảm hứng từ các nguyên lý của nhiệt động học. Thông điệp then chốt là chuyển động ngẫu nhiên của nguyên tử, như được mô tả bởi nhiệt động học, có thể được ánh xạ vào chuyển động khuếch tán ngẫu nhiên của các giá trị điểm ảnh trong một bức ảnh.

Nhiệt động học coi nguyên tử như những đồng xu, nơi hành vi vĩ mô của một tập hợp lớn các đồng xu (nguyên tử) có thể rất khác với hành vi vi mô của từng đồng xu riêng lẻ. Ví dụ, xác suất tất cả các đồng xu rơi mặt ngửa lên là thấp hơn nhiều so với xác suất 50% các đồng xu rơi mặt ngửa lên, mặc dù mỗi đồng xu có 50% cơ hội rơi mặt ngửa.

Tương tự, trong các mô hình khuếch tán, các giá trị điểm ảnh trong một bức ảnh được coi như các nguyên tử trải qua các bước đi ngẫu nhiên. Cũng giống như chuyển động ngẫu nhiên của thuốc nhuộm thực phẩm trong nước dẫn đến một phân phối đều, chuyển động ngẫu nhiên của các điểm ảnh dẫn đến nhiễu Gaussian, có thể được coi là tương đương với màu đều trong ảnh.

Bằng cách học cách quá trình khuếch tán này hoạt động đối với một tập dữ liệu ảnh cụ thể, các mô hình khuếch tán có thể sau đó đảo ngược quá trình. Chúng có thể bắt đầu với nhiễu Gaussian và từ từ "hoàn nguyên" quá trình khuếch tán để tạo ra các bức ảnh mới, có vẻ thực tế. Điều này tương tự như việc lấy một bức ảnh có màu ngẫu nhiên và truy ngược lại quá trình khuếch tán để khôi phục lại bức ảnh gốc.

Các chi tiết toán học về cách điều này hoạt động có thể được khám phá thêm trong bài giới thiệu về các mô hình khuếch tán trên blog. Nhưng thông điệp then chốt là các nguyên lý của nhiệt động học và các bước đi ngẫu nhiên cung cấp một khuôn khổ mạnh mẽ để xây dựng các mô hình AI sinh tạo tiên tiến.

Các lĩnh vực khác nhau của vật lý và AI thường có sự trao đổi chéo, với các khái niệm quan trọng từ toán học và vật lý thúc đẩy sự tiến bộ trong AI. Trong video này, chúng tôi đã khám phá cách AI đã lấy cảm hứng từ các lĩnh vực điện tĩnh học và nhiệt động học để tạo ra các mô hình AI sinh tạo tiên tiến.

Các mô hình AI sinh tạo hoạt động bằng cách lấy mẫu từ một phân phối dữ liệu, điều này có thể là một nhiệm vụ phức tạp đối với dữ liệu có chiều cao như ảnh. Để vượt qua thách thức này, các nhà nghiên cứu AI đã quay sang các nguyên lý vật lý để ánh xạ phân phối dữ liệu phức tạp thành một phân phối đơn giản hơn.

Trong trường hợp của Mô hình Sinh tạo Cắm và Chơi (PGMs), trường điện được tạo ra bởi các điểm dữ liệu, được coi như các hạt điện tích, cung cấp một ánh xạ từ phân phối dữ liệu phức tạp sang một phân phối đơn giản, hình tròn. Bằng cách học trường điện này, PGMs có thể tạo ra dữ liệu mới bằng cách lấy mẫu từ phân phối đơn giản và di chuyển dọc theo các đường sức điện.

Tương tự, các mô hình khuếch tán, là những mô hình nền tảng cho Stable Diffusion, khai thác khái niệm khuếch tán từ nhiệt động học. Cũng giống như chuyển động ngẫu nhiên của nguyên tử dẫn đến một phân phối Gaussian, các mô hình khuếch tán coi các điểm ảnh trong một bức ảnh như "nguyên tử" trải qua các bước đi ngẫu nhiên, cho phép chúng tạo ra các bức ảnh mới bằng cách bắt đầu với nhiễu Gaussian và đảo ngược quá trình khuếch tán.

Những ví dụ này cho thấy cách trao đổi chéo giữa vật lý và AI có thể dẫn đến các mô hình sinh tạo mạnh mẽ và sáng tạo. Bằng cách hiểu và khai thác các nguyên lý của điện tĩnh học và nhiệt động học, các nhà nghiên cứu đã tìm ra những cách mới để giải quyết các thách thức của việc tạo ra dữ liệu có chiều cao, mở đường cho những tiến bộ tiếp theo trong lĩnh vực AI.