音楽生成モデルは、拡散モデルを使用するイメージ生成モデルと似ています。拡散プロセスは、非常にノイズの多いオーディオクリップから始まり、高品質のオーディオ出力を生成するまでノイズを徐々に減らします。

音楽生成の主な課題は、入力プロンプト(テキスト、画像、または他のオーディオ)と最終的なオーディオデータの間の共同埋め込みです。これは、リズム、メロディー、周波数、感情、振幅など、音楽には複雑な多くの属性があり、それらをテキストだけで十分に記述することが困難だからです。音楽の包括的な説明がなければ、同じテキストプロンプトが大きく異なる結果につながる可能性があります。

この課題に取り組む公開例には、Google の MusicLM があります。これは、オーディオテキスト、意味、音響特徴を表すトークンを生成する3つの異なるモデルを使用しています。これらの3種類のトークンを組み合わせることで、モデルは望ましい音楽の詳細をより多く捉えることができます。

現在の技術の状況としては、Sono や Udio などのプラットフォームが音楽生成で大きな進歩を遂げています。これらのプラットフォームでは、歌詞、音楽スタイル、タイトルなどの詳細なプロンプトを提供して、個別のオリジナル曲を生成することができます。公式のAPIはありませんが、これらのプラットフォームへの非公式アクセスを提供するオープンソースプロジェクトもあります。

音楽生成アプリケーションを構築するには、Google の Gemini のようなマルチモーダルな理解能力の高いモデルを活用できます。モデルにビデオやその他のメディアファイルを入力すると、歌詞、スタイル、タイトルを含む音楽プロンプトを生成できます。このプロンプトを使って、Sono などのプラットフォームで実際の音楽を生成することができます。

全体として、音楽生成技術の進歩により、さまざまな入力プロンプトに基づいて個性的で一貫性のある音楽を作成することが可能になってきています。まだ克服すべき課題はありますが、現在の技術水準では、この分野での興味深いアプリケーションの開発が可能です。