På en övergripande nivå liknar musikgenereringsmodellen bildgenereringsmodellen, där båda använder diffusionsmodellen. Diffusionsprocessen börjar med ett mycket brusigt ljudklipp och minskar gradvis bruset tills den genererar en högkvalitativ ljudutgång.

Den största utmaningen i musikgenerering är den gemensamma inbäddningen mellan inmatningsprompt (text, bild eller annat ljud) och det slutliga ljuddata. Detta beror på att musik har många komplexa attribut som rytm, melodi, frekvens, känsla och amplitud, som är svåra att beskriva med text ensam. Utan en omfattande beskrivning av musiken kan samma textprompt leda till väldigt olika resultat.

Några offentliga exempel som hanterar denna utmaning är Googles MusicLM, som använder tre olika modeller för att generera tokens som representerar ljud-text, semantik och akustiska funktioner. Genom att kombinera dessa tre typer av tokens kan modellen fånga mer detaljer i den önskade musiken.

Musikgenereringsteknik har kommit en lång väg de senaste åren, med betydande framsteg inom AI-driven musikskapande. Här är en koncis översikt över den aktuella statusen för denna teknik:

1. Diffusionsmodeller: På en övergripande nivå använder musikgenereringsmodeller diffusionsmodeller, liknande bildgenerering. Dessa modeller startar med ett brusigt ljudklipp och tar gradvis bort bruset för att producera högkvalitativt ljud.

2. Gemensam inbäddning: Den största utmaningen i musikgenerering är att skapa en gemensam inbäddning mellan inmatningen (t.ex. text, bild eller annat ljud) och den slutliga ljudutgången. Detta kräver förståelse för de komplexa relationerna mellan olika musikaliska element som rytm, melodi, frekvens, känsla och amplitud.

3. Multimodala metoder: Framträdande exempel som Googles MusicLM visar användningen av flera modeller för att fånga olika aspekter av musik, som språkmodeller för ljud, semantiska modeller och akustiska modeller. Denna multimodala metod hjälper till att generera mer sammanhängande och detaljerad musik.

Musikgenerering har kommit en lång väg de senaste månaderna, med framsteg inom AI-drivna musikgenereringsplattformar. I det här avsnittet kommer vi att utforska hur man bygger en musikgenereringsapplikation som kan ta en video eller annan mediefil och generera en personlig sång för att ackompanjera den.

På en övergripande nivå involverar processen följande steg:

1. Ladda upp videofilen: Vi kommer att skapa en funktion för att ladda upp videofilen till en molnlagringstjänst, som Google Cloud, så att den kan bearbetas av AI-modellen.

2. Generera musikprompt: Vi kommer att använda Google Gemini-modellen, en kraftfull multimodal AI-modell, för att analysera videofilen och generera en musikprompt. Denna prompt kommer att innehålla musiktitel, stil och texter.

3. Generera musiken: Vi kommer att använda Sono AI-plattformen för att generera den faktiska musiken baserat på prompten som skapades i föregående steg. Detta innebär att skapa en musikgenereringsuppgift och sedan fråga efter resultatet tills musiken är klar.

4. Överlägga musiken med videon: Slutligen kommer vi att använda ett videoredigeringsprogram, som OpenCV, för att överlägga den genererade musiken med den ursprungliga videon och skapa en personlig musikvideo.

Framstegen inom AI-genererad musik har varit anmärkningsvärda de senaste åren. Förmågan att skapa personliga och sammanhängande musikkompositioner baserade på olika indata, som textprompts, bilder eller till och med videomaterial, är ett bevis på de framsteg som gjorts inom detta område.

De nyckelutmaningar som finns i musikgenerering, som att fånga de komplexa relationerna mellan olika musikaliska element och generera långsiktig sammanhållning, har adresserats genom innovativa metoder som de som demonstreras av Googles Music LM-modell. Genom att utnyttja multimodala gemensamma inbäddningar och specialiserade tokengenereringsmodeller kan dessa system nu producera högkvalitativa musikaliska utdata som nära överensstämmer med de angivna promptsen.