Компания Luma AI недавно выпустила свой новый инструмент для создания видео, Dream Machine, который призван конкурировать с другими платформами для создания видео с использованием ИИ, такими как Soar, Veo, Cling, Pika и Runway. Хотя этот инструмент показывает перспективы в определенных сценариях, у него все еще есть некоторые ограничения, о которых пользователям следует знать.

Одной из основных проблем Dream Machine являются длительные сроки ожидания при генерации видео, особенно в периоды высокого спроса. В первые дни некоторые запросы занимали до 7 часов на начало обработки, что может быть довольно разочаровывающим для пользователей. Luma с тех пор расширила свою инфраструктуру, но время ожидания все еще может быть значительным.

Что касается качества сгенерированных видео, Dream Machine испытывает трудности с генерацией видео из текста. Примеры, приведенные в расшифровке, показывают, что инструмент испытывает трудности с точным отображением элементов, таких как волк, воющий на луну, или обезьяна на роликах. Сгенерированные видео часто имеют несоответствия, такие как отсутствующие конечности или неправильное расположение объектов.

Однако там, где Dream Machine, кажется, преуспевает, - это в функции преобразования изображения в видео. Расшифровка демонстрирует несколько примеров этого, включая красочный футуристический город, пиксельный видеоигровой дом-волк и хижину в лесу. Эти преобразования изображения в видео кажутся более реалистичными и согласованными, чем попытки преобразования текста в видео.

Стоит отметить, что Dream Machine в настоящее время находится на стадии исследовательского предварительного просмотра, и пользователи могут генерировать до 30 видео в месяц бесплатно. После этого ценовая модель составляет около 0,25 доллара за видео. По мере развития этого инструмента будет интересно посмотреть, сможет ли Luma решить текущие ограничения и улучшить общее качество и согласованность сгенерированных видео.

В целом, Dream Machine показывает перспективы, но пользователям следует подходить к нему с реалистичными ожиданиями, особенно когда речь идет о генерации видео из текста. Функция преобразования изображения в видео, похоже, является более сильной стороной этого инструмента в настоящее время.

Stable Diffusion 3, последняя итерация популярной открытой модели генерации изображений с использованием ИИ, наконец, стала доступна для широкой публики. Давайте более подробно рассмотрим, что предлагает эта новая версия.

Улучшенные возможности преобразования текста в изображение

Одним из ключевых улучшений в Stable Diffusion 3 является его усиленная способность включать текст в сгенерированные изображения. Модель теперь, кажется, лучше справляется с переводом текстовых подсказок в согласованные и детализированные визуальные представления. Это можно увидеть в предоставленных примерах, где текстовые подсказки приводят к более точным и визуально привлекательным изображениям.

Все еще требуется инженерия подсказок

Однако стоит отметить, что Stable Diffusion 3 все еще требует определенного уровня инженерии подсказок, чтобы добиться наилучших результатов. Хотя модель улучшилась, пользователям могут потребоваться более подробные и конкретные подсказки, чтобы получить желаемые результаты, особенно для сложных или детализированных изображений. Это контрастирует с некоторыми другими моделями генерации изображений с использованием ИИ, которые могут производить высококачественные результаты с более простыми подсказками.

Непоследовательное качество

Качество сгенерированных изображений также может быть несколько непоследовательным. Хотя модель способна производить впечатляющие результаты в определенных сценариях, таких как пример "астронавт в джунглях", она все еще испытывает трудности с более простыми подсказками, такими как "обезьяна на роликах". Это свидетельствует о том, что Stable Diffusion 3 еще не достигла уровня некоторых своих конкурентов в плане общего качества и согласованности изображений.

Необходимы дальнейшие усовершенствования

В целом, Stable Diffusion 3 представляет собой шаг вперед в генерации изображений с использованием ИИ, но есть еще место для улучшений. По мере развития технологии мы можем ожидать дальнейших усовершенствований в способности модели переводить текст в высококачественные, согласованные изображения без необходимости в обширной инженерии подсказок. Усилия сообщества по совершенствованию и улучшению Stable Diffusion будут иметь решающее значение для достижения этих улучшений.

Для полной ясности, я являюсь советником Leonardo, но они не имеют никакого контроля над тем, что я говорю. Если что-то в этом странно, я об этом скажу. Мое положение советника у них не влияет на то, что я фактически говорю о них.

Тем не менее, Leonardo только что выпустила новую пользовательскую модель под названием Leonardo Phoenix. Это их собственная базовая модель, а не версия Stable Diffusion. Основные особенности этой новой модели:

• Улучшенное следование подсказкам - она лучше понимает и следует подсказкам, которые вы предоставляете.
• Связный текст в изображениях - она может включать текст в изображения более естественным и связным образом.
• Улучшенное качество изображений - сгенерированные изображения имеют более высокое качество по сравнению с предыдущими моделями.
• Больше творческого контроля - у вас больше контроля над творческим направлением изображений.

Однако некоторые функции, такие как направление изображений, элементы и фотореалистичные версии, пока еще недоступны. Они все еще работают над реализацией этих дополнительных функций.

Давайте более внимательно рассмотрим модель в действии. Я перейду на веб-сайт Leonardo, выберу предустановку Leonardo Phoenix и попробую простую подсказку - "волк, воющий на луну".

Вот изображения, которые она сгенерировала:

[Изображение 1] [Изображение 2] [Изображение 3] [Изображение 4]

Не знаю, как вы, но это гораздо более впечатляюще, чем то, что я только что видел из Stable Diffusion 3. Модель, похоже, отлично справилась с пониманием подсказки и созданием связных, высококачественных изображений.

Давайте попробуем другой пример - "пингвин, держащий табличку с надписью Mr eow".

[Изображение 1] [Изображение 2] [Изображение 3] [Изображение 4]

Текст правильно написан на каждом изображении, и пингвин, держащий табличку, выглядит довольно хорошо. Модель очень хорошо справилась с интеграцией текста.

В целом, модель Leonardo Phoenix кажется шагом вперед по сравнению со Stable Diffusion 3. Я настоятельно рекомендую поэкспериментировать с обеими и посмотреть, какая из них лучше подходит для ваших потребностей. Улучшенные возможности следования подсказкам и интеграции текста в модели Leonardo Phoenix особенно впечатляют.

Sonno, платформа для создания музыки с использованием ИИ, недавно представила прорывную функцию, которая позволяет пользователям превращать их собственные аудиозаписи в полноценные песни. Эта инновационная возможность, доступная подписчикам Sonno Premium, наделяет создателей силой ИИ для повышения качества их музыкальных идей.

Вот как это работает:

1. Запись или загрузка аудио: Пользователи могут либо записывать аудио непосредственно на платформе Sonno, либо загружать существующий аудиофайл. Это может быть простой гитарный риф, вокальная мелодия или любой другой музыкальный фрагмент.

2. Расширение и улучшение: После загрузки аудио пользователи могут выбрать опцию "Расширить". Алгоритмы ИИ Sonno затем анализируют входные данные и автоматически генерируют расширенную, полностью произведенную песню, включая дополнительные инструменты, гармонии и тексты.

3. Возможности настройки: Пользователи могут дополнительно доработать сгенерированную песню, настраивая параметры, такие как жанр (например, акустический поп, электронный и т.д.), включение бита и генерация случайных текстов.

Результаты часто бывают удивительно впечатляющими, при этом ИИ Sonno органично сочетает исходный аудиоматериал пользователя со своими собственными музыкальными композициями. Сгенерированные песни сохраняют суть исходного материала пользователя, одновременно повышая его до профессионального уровня.

Эта функция открывает новые творческие возможности для музыкантов, авторов песен и любителей. Пользователи могут экспериментировать с различными идеями, быстро превращать наброски в готовые композиции и даже сотрудничать с ИИ, чтобы воплощать свои музыкальные видения в жизнь.

По мере совершенствования и расширения возможностей Sonno, эта функция расширения аудио, вероятно, станет незаменимым инструментом в арсенале современных создателей музыки. Наделяя пользователей возможностью превращать свои сырые идеи в полностью реализованные песни, Sonno переопределяет подход к музыкальному производству и композиции.

Apple сделала огромный рывок в области ИИ на своем недавнем мероприятии WWDC, интегрируя возможности ИИ во всю свою экосистему устройств и сервисов. Вот основные моменты:

ИИ в iOS, iPadOS и macOS

• Apple создает собственный ИИ и глубоко интегрирует его в iOS, iPadOS и macOS. Это включает в себя такие функции, как:
  • Корректировка, переписывание и резюмирование текста в приложениях, таких как Notes, Mail и другие
  • Возможности ИИ-видения в приложениях, таких как Notes и Calculator, для анализа изображений и рукописного текста
  • Приоритизация и резюмирование электронной почты и уведомлений с использованием ИИ

Image Playground

• Новая функция генерации изображений Apple, называемая "Image Playground", позволяет создавать иллюстрации, анимации и эскизы с использованием ИИ.
• Она имеет уникальный интерфейс, в котором можно увидеть различные контексты, которые ИИ будет сочетать.
• ИИ ограничен нереалистичными стилями, чтобы избежать глубоких подделок.

GenEmoji

• Пользователи могут создавать свои собственные пользовательские эмодзи с помощью ИИ, которые затем можно использовать в качестве реакций и стикеров.

Улучшения Siri

• Siri теперь можно использовать, набирая текст, а не только голосом.
• Siri будет использовать ИИ на устройстве и на основе iCloud, обращаясь к ChatGPT от OpenAI только когда это может дать лучшие ответы.

Apple Cloud и партнерство с OpenAI

• Apple строит безопасное "Apple Cloud" для обработки чувствительных ИИ-данных.
• Они также сотрудничают с OpenAI, чтобы позволить Siri использовать ChatGPT, когда это уместно, с разрешения пользователя.

В целом, Apple глубоко интегрирует ИИ во всю свою продуктовую линейку, используя как собственные технологии, так и стратегические партнерства. Это представляет собой серьезный шаг в направлении сделать ИИ ключевой частью пользовательского опыта Apple.