Xét ở mức độ cao, mô hình tạo nhạc tương tự như mô hình tạo hình ảnh, cả hai đều sử dụng mô hình khuếch tán. Quá trình khuếch tán bắt đầu với một đoạn âm thanh rất nhiễu và dần giảm tiếng ồn cho đến khi tạo ra một đầu ra âm thanh có độ trung thực cao.

Thách thức chính trong việc tạo nhạc là sự kết hợp giữa lời nhắc đầu vào (văn bản, hình ảnh hoặc âm thanh khác) và dữ liệu âm thanh cuối cùng. Điều này là do nhạc có nhiều thuộc tính phức tạp như nhịp điệu, giai điệu, tần số, cảm xúc và biên độ, những thứ khó mô tả bằng văn bản một cách đơn thuần. Mà không có một mô tả toàn diện về nhạc, cùng một lời nhắc văn bản có thể dẫn đến kết quả hoàn toàn khác nhau.

Một số ví dụ công khai giải quyết thách thức này bao gồm MusicLM của Google, sử dụng ba mô hình khác nhau để tạo ra các mã thông báo đại diện cho các tính năng âm thanh-văn bản, ngữ nghĩa và âm học. Bằng cách kết hợp ba loại mã thông báo này, mô hình có thể nắm bắt nhiều chi tiết hơn về nhạc mong muốn.

Từ góc độ công nghệ hiện tại, các nền tảng như Sono và Udio đã đạt được những tiến bộ đáng kể trong việc tạo nhạc. Những nền tảng này cho phép người dùng cung cấp các lời nhắc chi tiết, bao gồm lời bài hát, phong cách nhạc và tiêu đề, để tạo ra các bài hát cá nhân hóa. Mặc dù không có API chính thức, nhưng có một số dự án nguồn mở cung cấp quyền truy cập không chính thức vào các nền tảng này.

Để xây dựng một ứng dụng tạo nhạc, người ta có thể sử dụng các mô hình như Gemini của Google, những mô hình có khả năng hiểu đa phương tiện mạnh mẽ. Bằng cách cung cấp cho mô hình một tệp video hoặc phương tiện khác, nó có thể tạo ra một lời nhắc nhạc bao gồm lời bài hát, phong cách và tiêu đề. Sau đó, lời nhắc này có thể được sử dụng để tạo ra nhạc thực tế bằng cách sử dụng các nền tảng như Sono.

Nói chung, những tiến bộ trong công nghệ tạo nhạc đã làm cho việc tạo ra nhạc cá nhân hóa và liên kết dựa trên các lời nhắc đầu vào khác nhau trở nên khả thi. Mặc dù vẫn còn những thách thức cần phải vượt qua, nhưng trạng thái hiện tại của công nghệ cho phép phát triển các ứng dụng thú vị trong lĩnh vực này.

Công nghệ tạo nhạc đã có những bước tiến đáng kể trong những tháng gần đây, với những tiến bộ trong các nền tảng tạo nhạc dựa trên trí tuệ nhân tạo. Trong phần này, chúng ta sẽ khám phá cách xây dựng một ứng dụng tạo nhạc có thể lấy một tệp video hoặc phương tiện khác và tạo ra một bài hát cá nhân hóa để kèm theo nó.

Xét ở mức độ cao, quá trình bao gồm các bước sau:

1. Tải lên tệp video: Chúng ta sẽ tạo một hàm để tải lên tệp video lên một dịch vụ lưu trữ đám mây, chẳng hạn như Google Cloud, để nó có thể được xử lý bởi mô hình AI.

2. Tạo lời nhắc nhạc: Chúng ta sẽ sử dụng mô hình Google Gemini, một mô hình AI đa phương tiện mạnh mẽ, để phân tích tệp video và tạo ra một lời nhắc nhạc. Lời nhắc này sẽ bao gồm tiêu đề, phong cách và lời bài hát của nhạc.

3. Tạo ra nhạc: Chúng ta sẽ sử dụng nền tảng AI Sono để tạo ra nhạc thực tế dựa trên lời nhắc được tạo ra trong bước trước. Điều này bao gồm việc tạo một nhiệm vụ tạo nhạc và sau đó truy vấn kết quả cho đến khi nhạc sẵn sàng.

4. Накладывание nhạc lên video: Cuối cùng, chúng ta sẽ sử dụng một thư viện chỉnh sửa video, chẳng hạn như OpenCV, để накладывание nhạc đã tạo ra lên video gốc, tạo ra một video nhạc cá nhân hóa.

Để triển khai ứng dụng này, chúng tôi sẽ sử dụng Python và một số thư viện nguồn mở, bao gồm Google Generative AI, Instructor và OpenCV. Mã được tổ chức thành ba tệp chính:

1. file_processing.py: Tệp này chứa các hàm để tải lên tệp video và tạo lời nhắc nhạc bằng cách sử dụng mô hình Google Gemini.
2. generate_music.py: Tệp này chứa các hàm để tạo ra nhạc bằng cách sử dụng nền tảng AI Sono.
3. remix_video.py: Tệp này chứa hàm để накладывание nhạc đã tạo ra lên video gốc.

Cuối cùng, chúng tôi sẽ tạo một giao diện người dùng đơn giản dựa trên Streamlit cho phép người dùng tải lên tệp video và tạo ra một video nhạc cá nhân hóa.

Bằng cách làm theo cách tiếp cận này, bạn có thể xây dựng một ứng dụng tạo nhạc mạnh mẽ có thể tạo ra nội dung cá nhân hóa cho người dùng của bạn. Công nghệ này có nhiều ứng dụng, từ việc tạo video nhạc cá nhân hóa đến tạo nhạc nền cho các phương tiện truyền thông khác nhau.

Sự tiến bộ trong nhạc do AI tạo ra đã đáng kể trong những năm gần đây. Khả năng tạo ra các bản nhạc cá nhân hóa và liên kết dựa trên các đầu vào khác nhau, chẳng hạn như lời nhắc văn bản, hình ảnh hoặc thậm chí nội dung video, là minh chứng cho sự tiến bộ trong lĩnh vực này.

Những thách thức chính trong việc tạo nhạc, chẳng hạn như nắm bắt các mối quan hệ phức tạp giữa các yếu tố âm nhạc khác nhau và tạo ra sự liên kết dài hạn, đã được giải quyết thông qua các phương pháp tiếp cận sáng tạo như những gì được minh họa bởi mô hình Music LM của Google. Bằng cách sử dụng các mô hình kết hợp đa phương tiện và các mô hình tạo mã thông báo chuyên biệt, những hệ thống này bây giờ có thể tạo ra các đầu ra âm nhạc chất lượng cao phù hợp với các lời nhắc được cung cấp.

Sự sẵn có của các nền tảng như Sono và Udio, những nền tảng cung cấp giao diện thân thiện với người dùng để tạo nhạc, càng làm nổi bật tính khả dụng và các ứng dụng thực tế của công nghệ này. Khả năng tạo ra các bài hát, nhạc nền hoặc video nhạc tùy chỉnh chỉ bằng cách cung cấp một vài lời nhắc mô tả là một công cụ mạnh mẽ cho các nhà sáng tạo nội dung, nghệ sĩ âm nhạc và thậm chí là người dùng bình thường.

Không chỉ như vậy, việc tích hợp các khả năng tạo nhạc dựa trên AI này vào các ứng dụng tùy chỉnh cũng trở nên khả thi hơn, như được minh họa trong thử nghiệm của tác giả và việc tạo ra một ứng dụng demo. Bằng cách sử dụng các khung công tác như Gemini của Google và các API không chính thức, các nhà phát triển bây giờ có thể xây dựng các giải pháp sáng tạo kết hợp việc tạo nhạc cá nhân hóa vào các sản phẩm của họ.

Tương lai của nhạc do AI tạo ra rất đầy hứa hẹn, với tiềm năng cách mạng hóa cách chúng ta tạo, tiêu thụ và trải nghiệm âm nhạc. Khi công nghệ này tiếp tục phát triển, chúng ta có thể mong đợi thấy nhiều đầu ra âm nhạc tinh vi và biểu cảm hơn, tiếp tục làm mờ ranh giới giữa các sáng tác do con người và do AI tạo ra.