Компания Google DeepMind сделала захватывающий прорыв в технологии генерации видео-аудио. Их новая модель может добавлять беззвучные клипы, соответствующие акустике сцены, сопровождать действие на экране и многое другое.

Примеры, которыми они поделились, демонстрируют впечатляющие возможности модели. Она может генерировать реалистичные звуковые эффекты, такие как вой волка, игра на губной гармонике на фоне заката солнца и выступление барабанщика на сцене с мигающими огнями и ликующей толпой. Аудио синхронизируется с визуальными подсказками, создавая высоко убедительный и погружающий опыт.

То, что делает эту технологию особенно примечательной, - это ее способность выходить за рамки простых звуковых эффектов. Модель использует пиксели видео и текстовые подсказки для генерации богатых, динамичных саундтреков, которые действительно дополняют визуальные эффекты на экране. Это значительный прогресс по сравнению с существующими системами, которые полагаются исключительно на текстовые подсказки для генерации аудио.

Подход Google позволяет создавать более интегрированный и цельный аудиовизуальный опыт, где звуковое оформление усиливает и возвышает общее содержание. Это может иметь далеко идущие последствия для различных приложений, от кинопроизводства и видеопроизводства до интерактивных впечатлений и виртуальных сред.

Google совершил значительный сдвиг от исследовательской лаборатории к фабрике AI-продуктов. Этот сдвиг был сложным для компании, поскольку она пытается сбалансировать свое внимание к безопасности и неспешному выпуску продуктов, одновременно необходимости поспевать за быстрым темпом развития AI в отрасли.

Компания последовательно теряет исследователей, поскольку люди, желающие видеть свою работу доставленной массам, уходят, чтобы присоединиться к компаниям, таким как Anthropic, или начать собственные AI-ориентированные стартапы. Этот "отток мозгов" стал значительной проблемой для Google, поскольку она борется за сохранение своих позиций в качестве лидера в области исследований и разработок AI.

Несмотря на эти трудности, Google работает над объединением своих двух лабораторий AI для разработки коммерческих услуг. Этот шаг может подорвать ее давнюю силу в фундаментальных исследованиях, поскольку компания смещает свое внимание на разработку продуктов. Недовольство внутри компании этим движением к коммерциализации отражает внутреннюю критику, с которой компания сталкивалась в последние два года, поскольку она боролась с выводом генеративного AI на рынок для потребителей.

В стремлении повысить возможности создания контента TikTok представил Symphony, свой новый творческий AI-набор. Symphony предназначен для сочетания человеческого воображения с эффективностью, управляемой AI, и служит эволюцией существующего творческого помощника TikTok.

Этот AI-powered виртуальный помощник помогает пользователям создавать лучшие видео, анализируя тенденции и лучшие практики, а затем генерируя контент, соответствующий этим инсайтам. Пользователи могут импортировать свою информацию о продукте и медиа-активы, и Symphony быстро создаст контент, оптимизированный для TikTok.

Хотя Symphony не генерирует полностью созданный AI-контент, он синтезирует ввод пользователя с AI, чтобы производить контент в больших масштабах. Этот подход направлен на экономию времени для создателей, избегая при этом ловушек чисто AI-генерируемого контента в лентах социальных сетей.

Кроме того, Symphony предлагает функции, такие как глобальный охват за счет автоматического перевода и дубляжа, а также библиотеку готовых AI-аватаров для коммерческого использования. Эти инструменты помогают преодолевать языковые барьеры и предоставляют экономичные решения для брендов, чтобы оживить их продукты.

Meta выпустила значительное количество открытых моделей, что, как ожидается, окажет большое влияние на сообщество AI. Эти модели не являются революционными, но, несомненно, будут способствовать дальнейшим инновациям и достижениям.

Подход Meta к распространению своих последних исследовательских моделей и наборов данных является частью их давней приверженности открытой науке и публичному распространению их работы. Этот шаг направлен на то, чтобы позволить сообществу инновировать быстрее и разрабатывать новые исследования.

Некоторые из ключевых моделей и методик, выпущенных Meta, включают:

1. Модель прогнозирования нескольких токенов: Модель, которая может рассуждать о нескольких выходных данных одновременно, обеспечивая более быстрый вывод.
2. Meta Chameleon: Модель, которая может рассуждать об изображениях и тексте, используя архитектуру раннего слияния, что позволяет более унифицированный подход.
3. Meta Audio Seal: Новая методика для водяных знаков аудиосегментов, позволяющая локализовать и обнаруживать речь, сгенерированную с помощью AI.
4. Meta Jukebox: Методика для генерации музыки, которая позволяет лучше обусловливать аккорды и темп.
5. Набор данных Prism: Набор данных, который позволяет лучше учитывать географическое и культурное разнообразие.

Runway представил Gen 3 Alpha, первую в предстоящей серии моделей, обученных на новой крупномасштабной мультимодальной инфраструктуре. Выдающейся особенностью этой модели является ее способность генерировать фотореалистичных человеческих персонажей из текстовых подсказок.

Выходы текст-в-видео от Gen 3 Alpha действительно впечатляют, при этом человеческие персонажи выглядят очень реалистично и естественно. По сравнению с другими моделями, такими как DALL-E и Stable Diffusion, фотореалистичные люди, сгенерированные Runway, кажутся менее несовершенными, что затрудняет их отличие от реальных кадров.

Это достижение знаменует собой важную веху в области AI-генерируемого контента, размывая границы между реальностью и фантазией. Высокое качество выходных данных поднимает вопросы о потенциальном влиянии на создание и проверку контента, поскольку становится все труднее отличить, что является реальным, а что сгенерировано с помощью AI.

Runway пока не сделал Gen 3 Alpha общедоступным, но представленный обзор свидетельствует о том, что компания находится на переднем крае технологии генерации текст-в-видео. По мере того, как конкуренция в этой области усиливается, будет интересно посмотреть, как модель Runway сравнится с другими предстоящими релизами и как будет развиваться эта отрасль.

Hedra Labs представила прорывную исследовательскую модель под названием "Character One", которая решает ключевую проблему в генерации AI-видео - надежную генерацию крупных планов и эмоционально реактивных персонажей.

Модель, доступная сегодня на Hedra.com, может генерировать высокореалистичные и эмоционально выразительные крупные планы, позволяя создателям рассказывать более убедительные истории с помощью AI-управляемых персонажей. Это значительный прогресс, поскольку AI-системы исторически испытывали трудности с этой задачей.

Один из примеров демонстрирует возможности модели. В видео AI-сгенерированный персонаж по имени "Дэйв" произносит трогательное сообщение о своем покойном отце, при этом выражение лица и эмоциональная подача выглядят на удивление естественными и жизненными. Плавная интеграция голоса, мимики и эмоциональных нюансов является свидетельством изощренности модели.

Эта технология имеет потенциал для революционизации создания контента, позволяя разрабатывать более увлекательные и правдоподобные AI-управляемые повествования. По мере того, как грань между фантазией и реальностью продолжает размываться, прорыв Hedra Labs поднимает важные вопросы о будущем взаимодействия человека и AI и этических последствиях таких достижений.

Илон Маск, генеральный директор Tesla, сделал смелые заявления о прогрессе компании в разработке передовых искусственных интеллектов (AGI) и своего гуманоидного робота Optimus.

Маск заявил, что владельцы Tesla смогут получить доступ к AGI через свои автомобили Tesla, позволяя им поручать системе выполнение различных задач, таких как покупка продуктов или подвоз друзей. Он подчеркнул, что Optimus, гуманоидный робот Tesla, будет способен к широкому спектру действий, включая возможность "забирать ваших детей из школы" и "учить детей чему угодно".

Маск также предположил, что Optimus будет высоко настраиваемым, позволяя пользователям "обернуть" робота в различные внешние виды, включая превращение его в "кошачью девушку". Он выразил оптимизм в отношении сроков достижения AGI, заявив, что это, вероятно, произойдет в течение следующих 24 месяцев или, самое позднее, к 2026 году.

Однако Маск предостерег, что крайне важно, чтобы AI-система была "добра к нам", поскольку она становится все более продвинутой и способной. Внедрение гуманоидных роботов и систем, управляемых AGI, может ознаменовать новую эру изобилия, при которой не будет недостатка в товарах и услугах, по словам Маска.