從高層次來看,音樂生成模型與圖像生成模型類似,都使用擴散模型。擴散過程從非常嘈雜的音頻片段開始,逐步減少噪音,直到生成高保真的音頻輸出。

音樂生成的關鍵挑戰是輸入提示(文本、圖像或其他音頻)和最終音頻數據之間的聯合嵌入。這是因為音樂有許多複雜的屬性,如節奏、旋律、頻率、情感和振幅,很難單單用文本來描述。如果沒有對音樂的全面描述,同樣的文本提示可能會產生完全不同的結果。

一些公開的例子,如Google的MusicLM,使用三種不同的模型來生成代表音頻-文本、語義和聲學特徵的令牌。通過結合這三種類型的令牌,該模型可以捕捉更多所需音樂的細節。

就目前的技術水平而言,Sono和Udio等平台在音樂生成方面取得了重大進展。這些平台允許用戶提供詳細的提示,包括歌詞、音樂風格和標題,以生成個性化的歌曲。雖然沒有官方API可用,但有一些開源項目提供了非官方的訪問方式。

要構建音樂生成應用程序,可以利用像Google的Gemini這樣具有強大多模態理解能力的模型。通過向模型輸入視頻或其他媒體文件,它可以生成包含歌詞、風格和標題的音樂提示。然後可以使用像Sono這樣的平台來生成實際的音樂。

總的來說,音樂生成技術的進步使得根據各種輸入提示創造個性化和連貫的音樂成為可能。雖然仍然存在一些挑戰,但目前的技術水平允許在這個領域開發有趣的應用程序。