Metabot, передовой агент кодирования, родной для GitHub, достиг впечатляющего результата в 38% на эталонном тесте по программной инженерии, превзойдя предыдущий передовой уровень в 33%. Этот прорыв был достигнут благодаря новой когнитивной архитектуре Metabot, которая решает проблемы в структурированном рабочем процессе.

Архитектура включает в себя многошаговый процесс:

1. Сбор контекста
2. Планирование и редактирование
3. Декомпозиция плана на отдельные правки
4. Применение правок
5. Тестирование и проверка плана
6. Сбор дополнительного контекста при необходимости
7. Представление окончательного решения

Этот итеративный и структурированный подход позволил Metabot превзойти отраслевых лидеров, таких как Alibaba's Factory AI и IBM Research. Быстрый прогресс в области агентов кодирования, управляемых ИИ, является свидетельством ускоряющегося темпа развития ИИ, с улучшениями, наблюдаемыми каждые несколько недель.

Последствия этого достижения значительны, поскольку это свидетельствует о том, что темпы улучшения разработки программного обеспечения могут быть экспоненциальными в ближайшие годы. По мере дальнейшей эволюции моделей ИИ потенциал ИИ-ассистированного кодирования для революционизации индустрии программной инженерии становится все более очевидным.

Google недавно выпустил две новые языковые модели, Gemini 2, с 27 миллиардами и 9 миллиардами параметров соответственно. Эти модели смогли превзойти более крупные модели, такие как LLaMA 3 (70 миллиардов параметров), Chinchilla (70 миллиардов параметров) и ChatGPT в субъективных оценках, несмотря на их меньший размер.

Модель Gemini 2 с 27 миллиардами параметров показала впечатляющую производительность, превзойдя эти более крупные модели в области чат-ботов. Хотя она, возможно, не превзойдет их по объективным эталонным показателям, тот факт, что пользователи могут даже не осознавать, что они взаимодействуют с моделью такого размера, является весьма примечательным.

Кроме того, Google добился значительного прогресса в своих языковых моделях, включая увеличение длины контекстного окна до 2 миллионов токенов в Gemini 1.5 Pro. Это значительное улучшение по сравнению с предыдущими моделями и ставит Google впереди других ведущих лабораторий ИИ в этой области.

Открытый характер моделей Gemini 2, наряду с их впечатляющей производительностью и эффективностью, делают их многообещающим достижением в области обработки естественного языка. По мере того, как Google продолжает выпускать новые модели и добиваться прорывов, мы можем ожидать еще более впечатляющих достижений в ближайшие годы.

Пейзаж ИИ быстро развивается, с несколькими ключевыми прорывами и прогнозами, которые формируют будущее этой технологии. Вот некоторые из примечательных разработок:

1. Metabot: Прорывной агент кодирования

   • Metabot, передовой агент кодирования, родной для GitHub, достиг впечатляющего результата в 38% на эталонном тесте по программной инженерии, превзойдя предыдущий передовой уровень в 33%.
   • Это достижение демонстрирует впечатляющий прогресс в области ИИ-управляемой разработки программного обеспечения, при этом Metabot превзошел ведущих отраслевых игроков, таких как Alibaba, Factory и IBM Research.
   • Когнитивная архитектура, стоящая за Metabot, включающая сбор контекста, планирование, редактирование и тестирование, доказала свою высокую эффективность в решении сложных задач кодирования.

2. Gemini 2 от Google: превосходство над более крупными моделями

   • Google выпустил Gemini 2, модель с 27 миллиардами параметров и модель с 9 миллиардами параметров, которые продемонстрировали выдающуюся производительность в области чат-ботов.
   • Эти модели Gemini 2 превзошли более крупные модели, такие как LLaMA 3 (70 миллиардов параметров), Cohere (72 миллиарда параметров) и ChatGPT, демонстрируя потенциал эффективных и высокопроизводительных систем ИИ.
   • Открытый характер Gemini 2 и его широкая совместимость с платформами делают его привлекательным вариантом для разработчиков и исследователей.

3. Расширение длины контекста: расширение границ

   • Google объявил о доступности Gemini 1.5 Pro с контекстным окном в 2 миллиона токенов, значительно расширив входную емкость своих языковых моделей.
   • Это развитие соответствует исследованиям GPT-4 от OpenAI, которая продемонстрировала способность обрабатывать входные данные длительностью 45 минут, вероятно, в диапазоне 1 миллиона токенов.
   • Гонка за увеличение длины контекста подчеркивает непрерывные усилия по повышению возможностей моделей ИИ в обработке более длинных и сложных входных данных.

4. Прогнозы Anthropic: Обучение моделей стоимостью в миллиард долларов

   • Генеральный директор Anthropic Дарио Амодеи прогнозирует, что к 2027 году обучение моделей ИИ будет стоить до 100 миллиардов долларов, и они превзойдут человеческие возможности в большинстве задач.
   • Эта ошеломляющая прогнозируемая стоимость подчеркивает значительные инвестиции, необходимые для расширения границ развития ИИ, при этом следующие циклы обучения могут стоить 1 миллиард долларов.
   • Последствия этих дорогостоящих циклов обучения указывают на необходимость значительного финансирования и ресурсов для дальнейшего развития технологии ИИ.

5. Ускорение научных открытий

   • Амодеи также предполагает, что модели ИИ могут ускорить научные открытия и прорывы, особенно в таких областях, как биология и разработка лекарств.
   • Потенциал систем, управляемых ИИ, для работы на уровне ученых, удостоенных Нобелевской премии, или ведущих экспертов в различных областях, может привести к распространению прорывных открытий.
   • Это видение согласуется с достижениями в таких проектах, как AlphaFold, которые продемонстрировали способность ускорять предсказание структуры белков.

По мере дальнейшего развития ландшафта ИИ эти вехи и прогнозы подчеркивают быстрый темп прогресса и преобразующий потенциал этой технологии в различных областях, от разработки программного обеспечения до научных исследований и за их пределами.

Дарио Амодеи, генеральный директор Anthropic, сделал несколько захватывающих прогнозов относительно будущего ИИ. Он считает, что к 2027 году обучение моделей ИИ будет стоить до 100 миллиардов долларов, и они будут лучше большинства людей в большинстве задач. Это предполагает, что следующие циклы обучения, потенциально стоимостью 1 миллиард долларов, будут расширять границы того, что может достичь ИИ.

Одной из областей, в которой, по мнению Амодея, ИИ окажет значительное влияние, является ускорение научных открытий и излечение болезней. Он представляет себе специализированные модели ИИ, которые обладают такими же знаниями и творческими способностями, как ученые, удостоенные Нобелевской премии, или руководители отделов разработки лекарств в крупных фармацевтических компаниях. Эти модели могли бы экспериментировать и исследовать способами, недоступными для человеческих исследователей, что потенциально могло бы привести к прорывам в таких областях, как биология и разработка лекарств.

Мы уже видели примеры моделей ИИ, таких как AlphaFold от Google, которые смогли значительно ускорить открытие структур белков. Амодей считает, что если бы у нас было "миллион копий системы ИИ, которые обладают такими же знаниями и творческими способностями, как все те ученые, которые изобрели эти вещи", то темпы научных открытий могли бы увеличиться, и даже давно существующие болезни могли бы быть решены или излечены.

Хотя это может показаться футуристической и сложной целью, фундаментальные возможности моделей ИИ свидетельствуют о том, что такие достижения возможны. По мере улучшения масштаба, алгоритмов и оборудования потенциал ИИ для революционизации научных исследований и медицинских открытий становится все более осязаемым.

OpenAI работает над разработкой моделей "критиков" для повышения точности и согласованности своих систем ИИ, особенно ChatGPT. Ключевые моменты:

• OpenAI обучил модель, называемую "Critic GPT", на основе GPT-4, чтобы выявлять ошибки в выводах ChatGPT.
• Когда люди используют Critic GPT для проверки ответов ChatGPT, они превосходят тех, кто не использует модель критика, в 60% случаев.
• OpenAI теперь работает над интеграцией моделей, подобных Critic GPT, в свой конвейер обучения с обратной связью от человека (RLHF).
• Это пример "рекурсивного самосовершенствования", когда модели ИИ используются для оценки и улучшения других моделей ИИ.
• По мере того, как модели ИИ становятся более продвинутыми, человеческим тренерам все труднее обнаруживать их тонкие ошибки. Модели критиков могут помочь решить эту проблему.
• Однако существует фундаментальное ограничение - в какой-то момент модели ИИ могут стать умнее любого отдельного человека, предоставляющего обратную связь, что затруднит подход с человеком в контуре.
• Это поднимает вопросы о том, когда и как системы ИИ могут перейти к полностью рекурсивному самосовершенствованию без прямого надзора человека.