最新のAI技術を使ってインパクトのあるミュージックビデオを作ります。今回は、Sudorで曲を生成し、Midjourneyで画像を作成し、Luma Dream Machineでそれらの画像をビデオに変換するといった具合に、様々なツールを活用します。

このプロセスには以下の主要なステップが含まれます:

1. 曲の生成: Sudorを使って、初期のコンピューターからジェネレーティブAIの台頭までの技術の進歩を物語る、キャッチーでアップテンポな曲を作ります。

2. ビジュアルの生成: 曲のリリックスを元に、Midjourneyで各行を視覚的に表現する画像を作成します。そしてそれらの画像をLuma Dream Machineに入力して、短いビデオクリップを生成します。

3. 編集: 最後に、DaVinci Resolveを使って曲とビデオクリップを編集し、シーンチェンジのタイミングを音楽のビートに合わせます。これにより、AIによる創造性の力を示す、ハイペースでビジュアルに訴求力のあるミュージックビデオが完成します。

前回の試みとは違い、今回の仕上がりはずっと洗練されたプロ級のものになると確信しています。この9ヶ月間のAIツールの進化は目覚ましく、可能性の限界を押し広げられると期待しています。

さあ、始めましょう!

AIによる音楽生成には、Mubert(ミューバート)とSonm(ソーナム)の2つの人気オプションがあります。それぞれ独自の機能と能力を持っているので、ニーズに合ったものを選ぶことが重要です。

Mubert

Mubertは、AIによって生成された独自の著作権フリーの音楽を、オンデマンドで提供するプラットフォームです。高度なアルゴリズムを使って、様々なジャンル、スタイル、ムードの音楽バリエーションを無限に生み出します。Mubertの強みは、動画、ポッドキャスト、アンビエントサウンドスケープなど、幅広い用途に使えるハイクオリティで滑らかな音楽を生成できることです。

Sonm

Sonmは、より高度なAI音楽生成ツールで、出力の細かな調整が可能です。テンポ、キー、楽器などの幅広いパラメーターを調整して、求める正確なサウンドを作り出すことができます。また、歌詞とメロディーの生成も可能で、完全な楽曲制作に向いています。

比較

使いやすさでは、Mubertがやや優位です。インターフェイスがより簡単直感的です。一方Sonmは、より高度な機能と調整オプションを提供するため、創造プロセスをより細かくコントロールしたいユーザーに適しています。

出力クオリティに関しては、両者ともに高品質で専門的な音楽を生成できます。ただし、Sonmの方が、よりリアルで複雑な楽曲を生み出せる可能性があります。

結局のところ、Mubertとsonmのどちらを選ぶかは、ユーザーのニーズと好みによって異なります。簡単にバックグラウンド音楽を生成したい場合はMubertがよいでしょう。一方、カスタマイズ性の高い楽曲制作を行いたい場合はSonmがより適しています。

ミュージックビデオのビジュアル生成には、Mid JourneyとLeonardoの2つの人気なAI画像生成モデルを使っています。その結果は以下の通りです:

Mid Journey:

• Mid Journeyは、Leonardoに比べてより現実的な画像を生成できると感じた。
• 一部のMid Journey生成画像には、歪んだ身体パーツや不自然なポーズの問題があったが、使えるものも多数見つかった。
• 曲のリリックスに基づいて画像を生成したところ、歌詞の内容に合ったビジュアルが得られた。

Leonardo:

• Leonardoを使えば、よりカートゥーン調やイラスト調のスタイルが得られると考えられる。
• Leonardoは、Mid Journeyの無料代替案として十分に活用できた。

結果として、Mid JourneyとLeonardoの両方を活用し、ミュージックビデオの土台となる様々な画像を生成することができた。これらのAIモデルによるカスタムビジュアルの生成は、ビデオ制作の重要な一部となった。

最終的に全てを組み上げることができました。タイムラインを見渡すと、ほとんど1秒ごとにカットしていることがわかります。ただし、曲のテンポが落ちる部分では、1秒ではなく2秒ごとにカットしています。

ビデオ自体はかなりのハイペースで、1秒ごとにシーンが切り替わります。でも、曲のテンポにもよく合っていると思います。編集の際、冒頭にみんなが踊るシーンを入れていたのですが、他のフッテージ(古いコンピューター画面、マトリックス風のバイナリー、人々がコンピューターに向かっている、データの波を表現したもの等)がランダムに飛び回っているので、20~30秒ごとにこの踊りのクリップを挿入して、全体の一貫性を持たせることにしました。

ここではカットを1秒ごとに入れていますが、途中から面倒くさくなって、しばらくそうしなくなりました。

最後は、曲が3分以上あったのですが、1分半過ぎたあたりから同じパートが繰り返されるので、最後にフェードアウトさせ、冒頭と同じように踊りのクリップを1秒ごとに入れ直しました。

ビデオを見ると、曲のビートに合わせて踊りが動いているのがわかります。そして最後のシーンは、Lumaが生成してくれた気に入りのショットで、画面を見つめる女の子が最後に横を向くというものです。

これで完成です。さあ、「Binary Dreams」と題した曲のワールドプレミアをお楽しみください。

ミュージックビデオの編集では、ビートに合わせるのがコツです。タイムラインを拡大すると、ベースのヒットがスパイクとして表示されています。

ビデオクリップのカットタイミングをこれらのビートマーカーに合わせるのがポイントです。例えば、この踊りのクリップは、ジャンプのタイミングをビートに完璧に合わせるよう調整しました。

歌詞に合ったビデオクリップを見つけ出し、ビートに合わせてカットしていきます。「最初のマシン」や「バイナリーの夢」といった序盤の歌詞には、レトロなコンピューターやバイナリーコードのビジュアルを使っています。

曲が進むにつれ、この要領で続けていきます。テンポが落ちる部分では、1秒ではなく2秒ごとにカットするようにしました。

また、全体の一貫性を持たせるため、踊りのクリップを随所に挿入しました。最終的に、曲のエネルギーに合ったハイペースで、ビートに完全に同期したミュージックビデオが完成しました。

このミュージックビデオは、AIの高度な創造性を存分に発揮したものです。様々なAIツールを活用することで、楽曲、歌詞、ビジュアルを一貫して生成することができました。

Sunnoによる音楽生成、Midjourneyによる画像生成、Luma Dream Machineによるビデオ合成の活用は、創造プロセスのAI自動化を示しています。さらに、曲のビートに合わせた編集も行われており、全体としての体験が向上しています。

一部のツールには有料プランが必要ですが、無料の代替案も紹介されており、幅広い層にアクセシブルです。このプロジェクトは、AIテクノロジーの急速な進歩と、コンテンツ制作における可能性を示す良い例といえます。

制作者が述べているように、これはまだ始まりに過ぎません。今後さらに驚くべきAIツールや手法が登場することでしょう。これらの技術の探求と実験が、音楽やビデオ制作の分野でさらなる革新を生み出していくことでしょう。