Видео, созданные с помощью ИИ, опережают Sora? Последние разработки исследованы

Исследуйте новейшие инструменты для генерации видео на основе ИИ, такие как Cling, Toncraftey, Domo AI и Stable Audio, а также объявления от Nvidia, AMD, Intel, Qualcomm и Cisco о развитии возможностей ИИ. Откройте для себя короткометражные фильмы, созданные с помощью ИИ, на Трайбекском кинофестивале и игровой помощник на основе ИИ от Microsoft.

14 февраля 2025 г.

party-gif

Откройте для себя последние достижения в области генерации видео с использованием ИИ, анимации и звуковых эффектов, которые расширяют границы возможного. Исследуйте захватывающие разработки ведущих технологических компаний и то, как эти инструменты могут революционизировать создание контента.

Взлет Cling: впечатляющий генератор видео на основе ИИ

Этот новый генератор видео на основе ИИ под названием Cling, который появился в Китае, стал темой обсуждения в мире ИИ на этой неделе. Если у вас есть китайский номер телефона, вы можете, как сообщается, зарегистрироваться в приложении и использовать его прямо сейчас.

Видео, созданные Cling, обычно длятся около 5 секунд, но есть примеры и более длинных видео. Одно видео показывает мальчика, едущего на велосипеде, при этом окружение меняется от пустыни до снежных пейзажей по мере развития видео. Хотя видео явно созданы с помощью ИИ, они впечатляюще реалистичны.

Cling также имеет функцию, которая позволяет вам загружать изображение и шаблон действия, и он будет анимировать изображение, чтобы оно соответствовало действию. Это привело к созданию некоторых творческих и развлекательных примеров, таких как танцующий на пляже мужчина или люди, поедающие различные продукты.

В целом, генератор видео на основе ИИ Cling, похоже, производит результаты, которые лучше, чем у многих других видеогенераторов, которые мы видели в последнее время, хотя они все еще не достигают качества Sora. Будет интересно посмотреть, как этот инструмент будет развиваться и станет ли он более широко доступным за пределами Китая.

Ton Crafter: анимация между кадрами

Ton Crafter - это крутой инструмент ИИ, который может анимировать между двумя кадрами. Вы предоставляете ему начальное изображение и конечное изображение, и он сгенерирует анимацию между ними.

Инструмент лучше всего работает с изображениями в стиле мультфильмов или аниме, а не с реальными фотографиями. Он может взять простой поворот головы или шаг персонажа и плавно анимировать переход.

Вы можете использовать Ton Crafter прямо сейчас бесплатно на Hugging Face. Просто загрузите свои начальное и конечное изображения, и инструмент сгенерирует анимацию. Это открытый проект, поэтому вы также можете скачать код и запустить его локально на своем компьютере.

Примеры использования Ton Crafter включают:

  • Человек, идущий по улице с зонтиком
  • Пульсирующий и меняющийся светящийся шар или драгоценный камень
  • Слегка поворачивающаяся и моргающая голова мультипликационного персонажа

В целом, Ton Crafter предоставляет простой, но эффективный способ анимировать между двумя кадрами, что делает его удобным инструментом для создания коротких, зацикленных анимаций без необходимости вручную рисовать каждый кадр.

Domo AI: превращение видео в мультфильмы

Domo AI - это инструмент, который позволяет пользователям превращать обычные видеоролики в мультипликационные анимации. Вот как это работает:

  • Пользователи могут загружать видеофайл на платформу Domo AI.
  • Затем инструмент обрабатывает видео, применяя мультипликационные фильтры и эффекты, чтобы создать анимированную версию исходного материала.
  • Это можно делать с различными источниками видео, включая фрагменты из фильмов, телепередач и пользовательского контента.
  • Результирующие анимированные видео сохраняют оригинальное движение и действия, но с причудливым, нарисованным от руки эстетическим видом.
  • Domo AI даже справляется с задачами, такими как синхронизация губ, обеспечивая, чтобы рты мультипликационных персонажей двигались в такт с аудио.

Этот инструмент предоставляет простой способ придать стандартным видео уникальный, анимированный вид и ощущение. Его можно использовать для творческих проектов, видеоэссе или просто для добавления визуальной привлекательности к существующим материалам. Domo AI делает процесс мультипликационной трансформации доступным для широкого круга пользователей.

Волшебная кисть Verse: выборочная анимация

Проприетор Proper недавно поделился новым инструментом под названием Verse, который включает в себя функцию под названием Magic Brush. Эта функция позволяет выбрать определенную часть изображения и анимировать только эту выбранную область.

Вот несколько примеров того, что может делать функция Magic Brush:

  • Анимация волшебной палочки Гарри Поттера, с движением руки и палочки.
  • Анимация лица Илона Маска, заставляя его кивать.
  • Анимация ракеты, взлетающей с выходящим паром.
  • Анимация поезда Хогвартс-экспресс, с паром и движением поезда.

Функция Magic Brush, похоже, обеспечивает лучшие результаты, чем аналогичные инструменты, такие как Runway, позволяя более естественно и плавно анимировать выбранные области. Пользователи могут загружать изображение, выбирать часть, которую они хотят анимировать, и ИИ Verse оживит это выбранное место.

Этот инструмент предоставляет еще один мощный способ для создателей добавлять анимацию и движение к своим изображениям, без необходимости анимировать всю сцену. Избирательный характер Magic Brush делает его универсальным инструментом для различных вариантов использования, от визуальных эффектов до творческих проектов.

Генерация аудио: звуковые эффекты следующего уровня

На этой неделе произошли некоторые захватывающие события в мире ИИ-генерируемого аудио. Две примечательные новости выделились:

  1. Звуковые эффекты, сгенерированные ИИ от 11 Labs: 11 Labs продемонстрировали новую функцию, которая позволяет пользователям запрашивать любой звуковой эффект, который ИИ затем генерирует. Примеры включали "огра, говорящего 'держись подальше, жалкий человек'" и уникальный звуковой эффект, напоминающий существо в стиле Warcraft.

  2. Модель Stable Audio от Stability AI: Stability AI выпустила открытую модель под названием Stable Audio, которая может генерировать до 47 секунд аудиосэмплов и звуковых эффектов, включая барабанные ритмы, риффы инструментов, фоновые звуки и элементы продакшна. Качество аудио, продемонстрированное в примерах, было весьма впечатляющим.

Эти достижения в области ИИ-генерируемого аудио подчеркивают быстрый прогресс, происходящий в этой области. Пользователи теперь могут запрашивать конкретные звуковые эффекты или аудиосэмплы, и модели ИИ способны производить высококачественные, реалистичные результаты. Это открывает новые возможности для создания аудио, звукового дизайна и даже пост-продакшна аудио в различных отраслях.

По мере дальнейшего развития этих инструментов мы можем ожидать еще более впечатляющих и универсальных возможностей генерации аудио на основе ИИ в ближайшем будущем.

Nvidia на Computex: прорывные объявления

Дженсен Хуан, генеральный директор Nvidia, сделал несколько значительных объявлений во время мероприятия Computex. Вот основные моменты:

  1. Earth 2: Nvidia представила Earth 2, цифровую копию всей Земли, предназначенную для лучшего прогнозирования изменения климата и погоды. Она может делать гиперлокальные прогнозы до десятков метров, обученная на огромных объемах данных о погоде.

  2. Nvidia Aces: Nvidia продемонстрировала свой набор технологий цифровых людей, позволяющих в реальном времени трассировать подповерхностное рассеивание, чтобы имитировать взаимодействие света с кожей, придавая ей мягкий и полупрозрачный вид.

  3. Производительность и эффективность GPU: Nvidia продемонстрировала, что вычислительная мощность ее GPU значительно превышает закон Мура, в то время как потребление энергии значительно снижается, что позволяет более эффективно обрабатывать ИИ.

  4. Дорожная карта GPU: Nvidia обрисовала свою дорожную карту GPU, с предстоящими Blackwell, Reuben и будущими поколениями, планируя выпускать новый GPU каждый год, чтобы обеспечивать непрерывный прогресс.

  5. Project G Assist: Nvidia представила Project G Assist, ассистента на основе ИИ, который может помогать геймерам, отвечая на вопросы и предоставляя руководство во время игры.

  6. Рыночная позиция Nvidia: Nvidia ненадолго обогнала Apple, став второй по величине компанией в мире, что подчеркивает растущую важность ее технологии GPU в эпоху ИИ.

Эти объявления демонстрируют непрерывное лидерство Nvidia в области ИИ, от достижений в области цифровых двойников и цифровых людей до ее дорожной карты для еще более мощного и эффективного оборудования GPU. Акцент компании на развитии инноваций в области ИИ очевиден во всем ее портфеле продуктов и планах на будущее.

AMD и Intel на Computex: фокус на ИИ

AMD сделала ряд важных объявлений на Computex, включая свой процессор следующего поколения для ноутбуков - Ryzen AI 300 series. Этот чип оснащен NPU XDNA 2 AMD, который, по их утверждениям, имеет в 5 раз больше вычислительной мощности и в 2 раза более высокую энергоэффективность по сравнению с предыдущим поколением. Ryzen AI 300 будет устанавливаться на некоторые ноутбуки-компаньоны, начиная с июля 2024 года.

Intel также представила свою архитектуру процессоров Lunar Lake для клиентов, продолжая развивать категорию ПК с поддержкой ИИ. Они продемонстрировали свою "Игровую площадку ИИ", которая включает в себя генератор изображений на основе стабильных моделей диффузии, а также раздел "Ответ", который предоставляет локально работающую на компьютере пользователя модель больших языковых моделей, аналогичную ChatGPT.

Основной вывод заключается в том, что все основные производители чипов - Nvidia, AMD, Intel и Qualcomm - сосредоточены на разработке оборудования, специально оптимизированного для обработки ИИ. Это отражает растущую важность возможностей ИИ в потребительских и корпоративных вычислениях. Новые чипы и технологии, анонсированные на Computex, направлены на обеспечение более эффективных и мощных приложений ИИ на широком спектре устройств.

Cisco Live: повышение цифровой устойчивости

Основное внимание Cisco на их недавнем мероприятии Cisco Live было сосредоточено на улучшении "цифровой устойчивости" - способности компаний справляться с проблемами, которые могут возникнуть в цифровом мире, такими как взломы, угрозы кибербезопасности и проблемы с целостностью данных.

Cisco использует ИИ, чтобы помочь предприятиям лучше контролировать и управлять своей цифровой инфраструктурой. Они разработали инструмент под названием ThousandEyes, который использует ИИ для наблюдения за всей цифровой средой компании, предупреждая их о проблемах и помогая быстро определять их источник.

Хотя потребители могут не использовать напрямую технологии Cisco, компании, предоставляющие услуги и инструменты, которыми мы пользуемся, вероятно, полагаются на инфраструктуру Cisco. Повышая цифровую устойчивость с помощью ИИ, Cisco стремится улучшить общую безопасность и надежность цифровых систем, от которых мы все зависим.

Помимо разработки собственных инструментов на основе ИИ, Cisco объявила о создании глобального инвестиционного фонда ИИ в размере 1 миллиарда долларов для поддержки роста инновационных решений ИИ в этой области. Компания признает жизненно важную роль ИИ в обеспечении безопасности и стабильности нашего цифрового мира в будущем.

Apple WWDC: ожидания от достижений ИИ

Ожидается, что предстоящая Всемирная конференция разработчиков Apple (WWDC) станет

Часто задаваемые вопросы