Meta стремится разработать самую передовую модель искусственного интеллекта в отрасли к 2025 году. Они планируют обучить свою предстоящую модель Llama 4 на данных в 10 раз больше, чем Llama 3, которая, по их утверждениям, уже конкурентоспособна с самыми передовыми моделями.

Зукерберг заявил, что Meta предпочтет построить слишком много вычислительных мощностей, а не недостаточно, поскольку они планируют вычислительные и данные, необходимые на ближайшие несколько лет. Объем вычислений, необходимых для обучения Llama 4, вероятно, будет почти в 10 раз больше, чем то, что использовалось для Llama 3, и будущие модели будут продолжать расти за этим пределом.

Эта амбициозная цель означает, что Llama 4 должна превзойти последние модели от Google, Anthropic, OpenAI и других. Остается увидеть, сможет ли Meta достичь этого, поскольку гонка за искусственным интеллектом продолжает набирать обороты с быстрыми достижениями по всей отрасли. Тем не менее, готовность Meta инвестировать значительные средства в вычислительные мощности и данные свидетельствует о том, что они серьезно настроены на сохранение своих позиций в качестве лидера в области больших языковых моделей.

По словам Адама Д'Анджело, генерального директора Quora и члена совета директоров OpenAI, искусственный общий интеллект (AGI) может быть достигнут в течение следующих 5-15 лет. Д'Анджело сделал это предсказание во время недавнего мероприятия, заявив, что наступление AGI станет очень важным изменением для мира.

OpenAI, компания, стоящая за популярной языковой моделью GPT, разработала внутри себя новую пятиуровневую классификационную систему для отслеживания своего прогресса в построении AGI. Первые три уровня включают:

1. Чат-боты с разговорными языковыми способностями.
2. Рассуждающие системы с навыками решения проблем на уровне человека.
3. Агенты и системы, способные предпринимать действия.

Прогноз Д'Анджело предполагает, что даже до достижения полного этапа AGI, достижение навыков решения проблем и способности к действиям на уровне человека будут "игроменяющими" событиями, которые могут значительно преобразовать мир.

Учитывая быстрые достижения в области искусственного интеллекта, наблюдаемые в последние годы, прогноз о достижении AGI в течение следующих 5-15 лет, хотя и амбициозный, считается возможным экспертами отрасли. В частности, ожидается, что следующие 5 лет станут периодом ускорения развития искусственного интеллекта, поскольку все больше ведущих исследовательских лабораторий и компаний сосредоточат свои усилия на этой задаче.

Однако остается неясным, возникнут ли какие-либо серьезные препятствия или технические трудности на пути к AGI. Гонка за достижение этого рубежа усиливается, и влияние его реализации может быть глубоким, что делает его критически важной областью для наблюдения в ближайшие годы.

Новая экспериментальная модель Google, Gemini Pro 0801, была протестирована в чат-ботовой арене на протяжении прошлой недели, собрав более 20 000 голосов сообщества. Впервые Gemini занял первое место, обойдя GPT-4 и CLAUDE 3.5 с впечатляющим счетом 1 300 и также заняв первое место в рейтинге видения.

Gemini Pro превосходит в многоязычных задачах и демонстрирует надежные результаты в технических областях, сложных подсказках и кодировании. Это значительное достижение, поскольку Gemini 1.5 Pro смог превзойти высокоспособные модели GPT-4 и CLAUDE 3.5.

Интересно, что Google не обозначил эту модель как Gemini 2, что может свидетельствовать о том, что они могли внедрить некоторые дополнительные методы рассуждения или пост-тренировочные техники для улучшения возможностей модели. Этот подход аналогичен тому, что Anthropic сделал с CLAUDE 3.5, где модель демонстрирует улучшенные способности к рассуждению по сравнению с предыдущими версиями.

Производительность Gemini Pro 0801 подчеркивает непрерывный прогресс в чат-ботовой арене, при этом модели постоянно расширяют границы возможного. Будет интересно посмотреть, как долго Gemini Pro 0801 сможет удерживать свое лидирующее положение и ответят ли OpenAI или другие компании по искусственному интеллекту еще более способными моделями в ближайшем будущем.

Nvidia работает над упрощением и ускорением разработки гуманоидных роботов с помощью своей инициативы Project Roo. Компания представляет набор инструментов для разработчиков в экосистеме гуманоидных роботов, чтобы они могли более эффективно строить свои модели искусственного интеллекта.

Ключевые компоненты подхода Nvidia включают:

1. Конвейер синтетической генерации данных: Nvidia начинает с собранных человеком демонстраций с использованием устройств смешанной реальности, таких как Apple Vision Pro. Затем они умножают эти данные в тысячу раз и более с помощью инструментов моделирования Nvidia, таких как Omniverse, RoboSuite и MimicGen.

2. Распределенная вычислительная инфраструктура: Nvidia использует свои вычислительные платформы DGX, OVX и Jetson Thor для обеспечения рабочего процесса разработки. DGX обрабатывает видео и текст для обучения мультимодальной базовой модели, OVX запускает стек моделирования, а Jetson Thor используется для тестирования модели на реальных роботах.

3. Моделирование на базе Omniverse: Фреймворк моделирования Nvidia Omniverse, интегрированный в Isaac Lab, позволяет разработчикам генерировать огромное количество сред и макетов для увеличения разнообразия тренировочных данных.

4. Инструменты на основе генеративного ИИ: Инструмент Nvidia MimicGen помогает генерировать крупномасштабные синтетические наборы данных движений на основе небольшого количества исходных захватов, дополнительно расширяя тренировочные данные.

Цель состоит в том, чтобы позволить разработчикам по всему миру создавать лучшие модели искусственного интеллекта для аппаратных платформ гуманоидных роботов. Nvidia считает, что наступила эра "физического ИИ", когда роботы могут понимать и взаимодействовать с физическим миром.

Упрощая рабочий процесс разработки и предоставляя мощную вычислительную инфраструктуру, Nvidia стремится ускорить прогресс в области гуманоидной робототехники и приблизить нас к эре ИИ-управляемых гуманоидных роботов.

Исследователи на ICML 2024 представили новую технику инженерии подсказок, называемую "Планируйте как граф", которая может значительно улучшить производительность языковых моделей на сложных многошаговых задачах.

Ключевая идея за этой техникой заключается в том, что современные языковые модели испытывают трудности с асинхронным планированием - способностью параллельно выполнять некоторые подзадачи, одновременно последовательно выполняя другие. Чтобы решить эту проблему, метод "Планируйте как граф" побуждает модель сначала генерировать графовое представление задачи, фиксируя зависимости между подзадачами. Модель затем может использовать этот граф для разработки оптимального плана выполнения общей задачи.

Исследователи обнаружили, что этот подход превосходит базовые методы во всех языковых моделях. Например, при выполнении задачи приготовления завтрака (например, заваривание кофе, жарка яйца, приготовление тоста) метод "Планируйте как граф" сократил общее время выполнения задачи более чем на 20% по сравнению с последовательным планированием.

Эта работа показывает, что в языковых моделях все еще есть значительный нераскрытый потенциал, и что новые техники инженерии подсказок могут разблокировать новые возможности. Как отмечают исследователи, это "готовый к использованию метод инженерии подсказок", который не требует дополнительного обучения, что делает его доступным способом повышения производительности модели.

В целом, техника "Планируйте как граф" представляет важный прогресс в возможностях языковых моделей, особенно когда речь идет о сложных многошаговых рассуждениях. По мере развития языковых моделей мы можем ожидать появления все более инновационных подходов к инженерии подсказок, которые будут расширять границы того, что эти системы могут достичь.