Het genereren van het lied met Suno

1. Ga naar de webversie van Suno en voer het gewenste genre en onderwerp in in het promptvak.
2. Suno zal twee liedopties genereren. Luister ernaar en selecteer de optie die je het beste vindt.
3. Indien nodig, ga verder met het lied door meer lyrics toe te voegen, zoals een gitaarsolo, en genereer extra variaties totdat je een volledig lied hebt waar je tevreden mee bent.

Het creëren van de muziekvideo-visuals

1. Gebruik Playground AI om beelden voor de muziekvideo te genereren, zoals een kikker die gitaar speelt. Experimenteer met verschillende stijlen zoals "neon mecha" om de gewenste look te bereiken.
2. Animeer de beelden met behulp van Pika Labs. Pas de prompts aan en rol de animaties opnieuw tot je de beste resultaten krijgt.
3. Voor een realistischer aanpak, gebruik Midjourney om beelden van een zanger en andere elementen te genereren. Experimenteer met verschillende prompts en vergroot de beelden op.
4. Animeer de Midjourney-beelden met behulp van HeyGen om gesynchrone zang te creëren.
5. Gebruik RunwayML's Gen 2-tool om andere elementen zoals de gitaarspeler te animeren.

Het monteren van de muziekvideo

1. In je video-bewerkingssoftware (bijv. Premiere Pro), pak eventuele problemen met lipsynchronisatie aan door creatief verschillende clips met mondbeweging te combineren.
2. Leg de geanimeerde elementen over elkaar en pas de timing aan om bij het lied te passen.
3. Gebruik tools zoals Ultimate Vocal Remover om vocale harmonieën uit het door Suno gegenereerde lied te extraheren.
4. Voor het uiteindelijke lied, gebruik Kaiber om een dromerige, psychedelische animatie te creëren die door het hele nummer transformeert.

Het afwerken van de muziekvideo

1. Exporteer de video in hoge kwaliteit, zoals 720p.
2. Gebruik een gratis upscaling-tool zoals CapCut om de resolutie te verhogen.
3. Maak een albumhoes met behulp van ChatGPT en voeg de laatste finishing touches toe.

De sleutel is om te experimenteren met de verschillende AI-tools, ze op creatieve manieren te combineren en te blijven itereren tot je het gewenste resultaat bereikt. Wees niet bang om verschillende benaderingen uit te proberen en te leren van het proces.

Het belangrijkste hulpmiddel dat bij deze muziekvideo-projecten is gebruikt, is Suno, dat de muziek en vocalen genereert. Suno is een krachtig AI-hulpmiddel dat op basis van gebruikersprompten songs van scratch kan creëren.

Om Suno te gebruiken, voer je gewoon een genre en onderwerp in het promptvak in, en binnen enkele seconden genereert het twee liedopties. De liedjes kunnen tot 80 seconden lang zijn, dus ik zal fragmenten afspelen om het proces te demonstreren.

Voor het "Frog Rock"-concept ben ik begonnen met een meer experimentele generatie, maar dat paste niet helemaal bij de sfeer die ik voor ogen had. Ik heb toen een tweede optie geprobeerd, die wel de sound had die ik zocht.

Om het lied verder te verfijnen, heb ik een verzoek voor een gitaarsolo in de lyrics toegevoegd. Hoewel de gegenereerde solo niet precies als een gitaar klonk, waren de drums en de baslijn geweldig.

De sleutel is om door te blijven rollen en verschillende variaties te genereren tot je een volledig lied hebt waar je tevreden mee bent. Suno maakt het gemakkelijk om het lied voort te zetten, meer lyrics toe te voegen en verschillende muzikale richtingen te verkennen.

Voor de muziekvideo-visuals ben ik begonnen met Playground AI om de eerste beelden te genereren. Ik gebruikte de prompt "kikker die gitaar speelt" en selecteerde de "neon mecha"-stijl om een futuristisch uiterlijk te krijgen. Ik genereerde vier opties en koos de beste eruit om te gebruiken.

Vervolgens heb ik Pika Labs gebruikt om de beelden te animeren. Ik heb de beelden geüpload en een eenvoudige prompt toegevoegd: "kikker die gitaar speelt". Pika Labs heeft opties voor beeldverhouding, frames per seconde en camerabediening, evenals negatieve prompting om de resultaten te verfijnen. Ik heb de animatie meerdere keren opnieuw gerold om het beste resultaat te krijgen.

De grootste uitdaging was het monteren van de visuals. De belangrijkste problemen die ik tegenkwam, waren lipsynchronisatie en ervoor zorgen dat de volledige band er goed uitzag in hetzelfde frame. Voor lipsynchronisatie moest ik creatief te werk gaan door de mondbeweging van de zanger vooruit en achteruit af te spelen met verschillende snelheden om het te synchroniseren. Om het bandprobleem op te lossen, heb ik een beeld van de volledige band genomen, elke personage apart bijgeknipt en geanimeerd, en ze vervolgens met maskers over elkaar gelegd.

Na het monteren heb ik de video geëxporteerd in 720p en CapCut's gratis 2x video-upscaler gebruikt om de kwaliteit te verbeteren.

Voor de zangeresoptredens heb ik een combinatie van twee tools gebruikt - HeyGen en RunwayML.

HeyGen is een betaald hulpmiddel waarmee het eenvoudig is om een zangoptreden te animeren. Ik heb gewoon het beeld van de zanger en de audio geüpload, en HeyGen heeft automatisch de gesynchrone animatie gegenereerd.

Om HeyGen te gebruiken, heb ik de volgende stappen gevolgd:

1. Klikte op "Maak video" en selecteerde "Avatar".
2. Uploade het beeld van de zanger.
3. Uploade de audioclip.
4. Klikte op "Indienen" en wachtte tot de animatie was gegenereerd.

Dit proces was snel en eenvoudig, en de resultaten zagen er goed uit.

Voor de achtergrondanimaties heb ik RunwayML's Gen 2-tool gebruikt. Hiermee kon ik beweging en camerabeweging toevoegen aan de beelden die ik eerder had gegenereerd.

De stappen die ik heb gevolgd, waren:

1. Selecteerde een beeld dat ik wilde animeren.
2. Voegde een eenvoudige prompt toe zoals "kikker die gitaar speelt".
3. Paste de bewegingsschuif aan om de hoeveelheid animatie te regelen.
4. Genereerde een hoop variaties en koos de beste eruit.

Sommige animaties, zoals de handgebaren, waren wat moeilijker om goed te krijgen. Maar over het algemeen was het proces vrij eenvoudig, en de resultaten waren visueel interessant.

Door de zangeresanimaties van HeyGen te combineren met de achtergrondanimaties van RunwayML, kon ik een coherente en boeiende muziekvideo creëren.

Om een harmonie aan de muziek toe te voegen, heb ik de gratis en open-source software Ultimate Vocal Remover gebruikt. Zo heb ik dat gedaan:

1. Ik heb de vocalen geïsoleerd uit een van de liedgeneraties die ik uiteindelijk niet heb gebruikt.
2. In Ultimate Vocal Remover heb ik het lied als invoer toegevoegd.
3. Ik heb de "MDX-net"-verwerkingsmethode geselecteerd en het "Kim Vocal 2"-model gekozen.
4. Ik heb de optie "Output Instrumental" uitgeschakeld, omdat ik alleen de geïsoleerde vocalen nodig had.
5. Ik ben met de verwerking begonnen, wat snel ging omdat het een kort fragment was.
6. Dit gaf me de geïsoleerde vocalen die ik vervolgens kon stapelen en mengen met het originele lied om een geharmoniseerd effect te creëren.

Het resultaat is een meer gelaagde en dynamische vocalenprestatie die diepte en rijkdom toevoegt aan de muziek. Deze eenvoudige techniek stelde me in staat om het door AI gegenereerde lied op een subtiele maar impactvolle manier te verbeteren.

Om de uiteindelijke muziekvideo te animeren, zal ik Kaiber gebruiken, een krachtig hulpmiddel dat geweldig is voor het creëren van dromerige en psychedelische visuals. Kaiber is vooral goed geschikt voor het werken met muziek en is gebruikt door grote artiesten als Linkin Park en Kid Cudi.

Ik zal beginnen met het gebruik van de "Flip Book"-functie in Kaiber, die elke frame onafhankelijk genereert, waardoor het een flikkerende, psychedelische effect krijgt. Ik heb een beeld van een cybernetische vrouw dat ik als invoer zal gebruiken.

Eerst zal ik het beeld en de audio toevoegen, en dan overgaan naar de prompt. Ik zal "cybernetische vrouw transformeert in stadsgezicht" als prompt gebruiken. Kaiber heeft een verscheidenheid aan gecureerde stijlen om uit te kiezen, en ik zal voor "fotorealistisch" gaan om de look te krijgen die ik voor ogen heb.

Vervolgens zal ik de video-instellingen aanpassen. Ik wil dat de camera de hele tijd inzoomt, dus ik zal de camerabeweegrichtingen periodiek wijzigen om het interessant te houden. Ik zal ook de audio-reactiviteit op maximum zetten, waardoor de visuals synchroon lopen met de beat van de muziek.

Na het genereren van de eerste preview, zal ik extra scènes toevoegen om de visuals door het hele nummer heen te laten transformeren. Ik zal de robots laten samensmelten met het stadsgezicht, dan transformeren in de cybernetische vrouw, en uiteindelijk in een cybernetische singulariteit laten zwieren. Ik zal de camerabeweging voor elke nieuwe scène aanpassen om de visuals dynamisch te houden.

Sobra ik alle scènes heb ingesteld, zal ik Kaiber de uiteindelijke video laten genereren, wat 10-20 minuten kan duren vanwege de lengte van het lied. Ik zal de video afspelen zoals hij eruit komt, zonder extra bewerking.

Het eindresultaat zou een boeiende, psychedelische muziekvideo moeten zijn die perfect past bij het groovy neo-soul-lied dat door Suno is gegenereerd.