Я собираюсь использовать последние достижения в области технологий искусственного интеллекта, чтобы создать впечатляющий музыкальный клип. На этот раз я буду использовать такие инструменты, как Sudor для создания песни, Midjourney для создания изображений и Luma Dream Machine для превращения этих изображений в видео.

Процесс будет включать в себя несколько ключевых шагов:

1. Создание песни: Я буду использовать Sudor, чтобы создать запоминающуюся, бодрую песню с текстом, который расскажет историю технологического прогресса от первых компьютеров до появления генеративного ИИ.

2. Создание визуальных эффектов: Я возьму тексты песни и использую Midjourney, чтобы создать изображения, которые визуально представляют каждую строчку. Эти изображения затем будут переданы в Luma Dream Machine для создания коротких видеороликов.

3. Редактирование всего вместе: Наконец, я буду использовать DaVinci Resolve, чтобы отредактировать песню и видеоклипы вместе, синхронизируя смену сцен с ритмом музыки. Это создаст быстрый, визуально захватывающий музыкальный клип, демонстрирующий силу творчества, основанного на ИИ.

В отличие от моей предыдущей попытки, я уверен, что конечный результат будет гораздо более качественным и профессиональным. Достижения в области инструментов ИИ за последние 9 месяцев были поразительными, и я с нетерпением жду возможности расширить границы того, что возможно.

Когда речь заходит о создании музыки с помощью ИИ, два популярных варианта - это Mubert и Sonm. Обе платформы предлагают уникальные функции и возможности, поэтому важно понять различия, чтобы выбрать тот, который лучше всего соответствует вашим потребностям.

Mubert

Mubert - это платформа для генерации музыки на основе ИИ, которая создает уникальную, не требующую авторских отчислений музыку по запросу. Она использует передовые алгоритмы для генерации бесконечных вариаций музыки в различных жанрах, стилях и настроениях. Сила Mubert заключается в ее способности производить высококачественную, бесшовную музыку, которая может использоваться для широкого спектра приложений, таких как фоновая музыка для видео, подкастов или звуковых ландшафтов.

Sonm

Sonm, с другой стороны, является более продвинутым инструментом для генерации музыки на основе ИИ, который позволяет более широкую настройку и контроль над результатом. Он предлагает широкий спектр параметров, таких как темп, тональность и инструментовка, которые можно настраивать для создания точного звука, который вы ищете. Sonm также имеет возможность генерировать тексты и мелодии, что делает его более комплексным решением для тех, кто хочет создавать полные музыкальные композиции.

Сравнение

Когда речь идет о простоте использования, у Mubert может быть небольшое преимущество, так как его интерфейс более простой и интуитивный. Sonm, однако, предлагает более продвинутые функции и возможности настройки, что может быть более привлекательным для пользователей, которые хотят иметь больший контроль над творческим процессом.

С точки зрения качества вывода, как Mubert, так и Sonm способны генерировать высококачественную, профессионально звучащую музыку. Однако Sonm может иметь небольшое преимущество в плане реалистичности и сложности своих сгенерированных композиций.

В конечном итоге, выбор между Mubert и Sonm будет зависеть от ваших конкретных потребностей и предпочтений. Если вы ищете простой, безхлопотный способ создания фоновой музыки, Mubert может быть лучшим вариантом. Если вы больше заинтересованы в создании пользовательских, полноценных музыкальных композиций, Sonm может быть более подходящим выбором.

Когда дело доходит до создания визуальных эффектов для музыкального клипа, создатель исследовал два популярных модели генерации изображений на основе ИИ - Mid Journey и Leonardo. Вот краткое изложение их выводов:

Mid Journey:

• Создатель обнаружил, что Mid Journey немного лучше справляется с созданием более реалистичных изображений по сравнению с Leonardo.
• Некоторые из сгенерированных изображений Mid Journey имели проблемы, такие как искаженные части тела или неестественные позы, но создатель все же смог найти пригодные изображения.
• Создатель использовал Mid Journey для генерации изображений, основанных непосредственно на текстах песен, что хорошо работало для создания визуальных эффектов, соответствующих содержанию песни.

Leonardo:

• Создатель отметил, что если бы он стремился к более мультяшному или иллюстративному стилю, он, вероятно, выбрал бы Leonardo вместо Mid Journey.
• Leonardo был жизнеспособной бесплатной альтернативой Mid Journey для генерации изображений, используемых в видео.

В целом, создатель смог успешно использовать как Mid Journey, так и Leonardo для создания разнообразных изображений, которые затем были использованы в качестве визуальной основы для музыкального клипа. Возможность генерировать пользовательские визуальные эффекты с помощью этих моделей ИИ была ключевой частью процесса создания видео.

Я наконец закончил все собирать вместе. Если я немного отдалюсь от моей временной шкалы, вы можете увидеть, что у меня есть мои вырезы - мои вырезы примерно каждую 1 секунду. А в некоторых местах, где темп песни замедляется, я фактически делаю вырезы каждые две секунды, а не каждую 1 секунду.

Сам видеоряд довольно быстрый - он меняет сцены каждую секунду. Но я думаю, что это хорошо сочетается с темпом песни. Одно, что я сделал при монтаже, - это добавил вступление, где все танцуют. Поскольку большая часть этого другого видеоматериала просто кажется случайным (у нас есть старые экраны компьютеров, а затем что-то в стиле Матрицы с бинарным кодом на экране, люди за компьютерами, что-то, что должно представлять волны данных, и все это прыгает вокруг случайным образом), я решил добавить эти танцевальные клипы каждые 20-30 секунд, чтобы придать ему некоторую целостность и связать все воедино.

Вы можете увидеть множество нарезок здесь - это было моей попыткой нарезать каждую секунду, чтобы мне было легче привязать мои клипы к точному временному маркеру. Но потом я стал ленивым и перестал это делать на некоторое время.

А в конце я сделал так, что эта песня длилась более 3 минут, но после примерно полутора минут песня просто повторяется. Поэтому я сделал затухание звука в конце, а затем начал снова вводить танцевальные клипы в конце, чтобы как-то обрамить его так же, как и в начале, но я возвращаю их каждую секунду.

Когда вы увидите видео, вы заметите, что оно двигается в такт песне, когда они танцуют. А затем видео наконец заканчивается. Этот последний кадр был одним из моих любимых кадров, которые Luma сгенерировал для меня, где есть девушка, смотрящая на экран с цветами, а затем она поворачивает голову к камере в конце. А потом я заканчиваю видео тем, что она смотрит в сторону - мне просто показалось, что это крутой способ закончить видео.

И вот и все - вот и все видео. Я просто отрендерил видео, и теперь вот вам мировая премьера песни, которую я выбрал, под названием "Binary Dreams".

Когда дело доходит до монтажа музыкального клипа, секрет в том, чтобы монтировать в такт. Если я приближу временную шкалу, мы можем увидеть, где находятся биты - каждый всплеск представляет собой удар в основе.

Чтобы синхронизировать видеоклипы с битом, я буду хотеть, чтобы разрезы происходили прямо на этих маркерах битов. Например, с этим танцевальным клипом я могу отрегулировать скорость, чтобы прыжки идеально совпадали с битами.

Я пройдусь и найду соответствующие видеоклипы для текстов песен, обрезая их в такт. Для вступительных текстов о "первой машине" и "бинарных мечтах" я использую клипы с ретро-компьютерами и визуальными эффектами бинарного кода, обрезая каждый из них в такт.

По мере развития песни я буду продолжать эту модель - находить подходящие визуальные эффекты для текстов и синхронизировать разрезы с музыкой. В тех разделах, где темп песни замедляется, я буду делать разрезы каждые 2 секунды, а не каждую 1 секунду, чтобы соответствовать более медленному темпу.

Я также перемежал некоторые танцевальные клипы, чтобы придать ощущение целостности и связать все видео воедино. Конечный результат - это быстрый, синхронизированный с битом музыкальный клип, который визуально соответствует энергии песни.

Окончательный музыкальный клип демонстрирует впечатляющие возможности ИИ в создании высококачественного контента. Используя различные инструменты ИИ, создатель смог сгенерировать целую песню, тексты и визуальные эффекты, которые органично сочетаются друг с другом.

Использование Sunno для генерации музыки, Midjourney для создания изображений и Luma Dream Machine для синтеза видео демонстрирует силу ИИ в автоматизации творческого процесса. Внимание к деталям при монтаже видео в такт песни еще больше усиливает общее впечатление.

Хотя некоторые инструменты требуют платной подписки, создатель отмечает наличие бесплатных альтернатив, что делает этот подход доступным для более широкой аудитории. Видео служит свидетельством быстрого прогресса в области технологий ИИ и его потенциала для революционизации способов создания и потребления контента.

Как упоминает создатель, это только начало, и мы можем ожидать появления еще более впечатляющих инструментов и методик, основанных на ИИ, в ближайшем будущем. Исследование и экспериментирование с этими технологиями, несомненно, будут продолжать расширять границы того, что возможно в области музыкального и видеопроизводства.