Отчет AI Index 2024 года подчеркивает, что промышленность продолжает лидировать в передовых исследованиях в области искусственного интеллекта. В 2023 году промышленность произвела 51 примечательную модель машинного обучения, в то время как академическая среда внесла только 15. Кроме того, было 21 примечательная модель, являющаяся результатом сотрудничества промышленности и академических кругов, что стало новым рекордом.

Эта тенденция доминирования промышленности в передовых исследованиях в области ИИ продолжает усиливаться. В отчете поднимается вопрос о том, следует ли правительству более активно участвовать в проектах ИИ, поскольку лидирующая роль частного сектора может в будущем создать тревожный дисбаланс власти.

Кроме того, в отчете отмечается, что количество базовых моделей, выпущенных в 2023 году, удвоилось по сравнению с 2022 годом, при этом 65% этих новых моделей являются открытыми, по сравнению с 44% в 2022 году и 33% в 2021 году. Это свидетельствует о растущей тенденции к использованию открытого ИИ, даже несмотря на то, что передовые ограниченные модели, такие как GPT-4 и ее преемники, остаются закрытыми.

В отчете также приводятся оценки затрат на обучение этих моделей, при этом стоимость GPT-4 оценивается в 78 миллионов долларов, а Gemini Ultra - в 191 миллион долларов, что подчеркивает значительные инвестиции, необходимые для разработки этих передовых систем ИИ.

Отчет AI Index 2024 года подчеркивает растущую значимость моделей ИИ с открытым исходным кодом. Некоторые ключевые моменты:

• В 2023 году 65% из 149 недавно выпущенных базовых моделей были с открытым исходным кодом, по сравнению с 44% в 2022 году и 33% в 2021 году. Это показывает четкую тенденцию к более широкому использованию открытого ИИ.

• Количество проектов, связанных с ИИ, на GitHub резко выросло на 59,3% в 2023 году, увеличившись более чем втрое с 4 миллионов в 2022 году до 12,2 миллионов в 2023 году. Этот взрыв активности с открытым исходным кодом был вызван выпуском ChatGPT в конце 2022 года.

• Хотя закрытые модели, такие как GPT-4 и Gemini Ultra, по-прежнему доминируют в некоторых тестах, в отчете отмечается, что системы с открытым исходным кодом все чаще догоняют и доминируют в ландшафте ИИ.

• Этот рост открытого ИИ рассматривается как положительная тенденция, способствующая прозрачности и доступности. Однако сохраняются опасения по поводу потенциальных рисков, связанных с попаданием мощных моделей с открытым исходным кодом в неправильные руки.

• Регуляторам, вероятно, придется решать проблему баланса между преимуществами открытых инноваций и необходимостью смягчения злоупотреблений и обеспечения ответственной разработки этих трансформирующих технологий.

Эта глава рассматривает производительность систем ИИ по различным тестам в сравнении с человеческими возможностями. Данные показывают все более впечатляющую тенденцию, при которой ИИ превосходит человеческую производительность в нескольких областях:

• ИИ превзошел человеческую производительность в тестах, включая классификацию изображений, визуальные рассуждения и понимание английского языка.
• Однако ИИ по-прежнему отстает от человека в более сложных задачах, таких как соревновательная математика, визуальные здравые рассуждения и планирование.

Тенденция по этим тестам указывает на то, что по мере перехода в 2023 год и далее ИИ быстро сокращает разрыв и даже превосходит человеческий базовый уровень во многих областях. Некоторые ключевые моменты:

• Человеческий базовый уровень преодолевается в областях, таких как классификация изображений и понимание естественного языка.
• Хотя ИИ отстает в областях, таких как математика и понимание прочитанного, разрыв в производительности быстро сокращается.
• Тесты, такие как Multitask Language Understanding (MMLU), показывают, что возможности ИИ быстро приближаются к человеческому уровню.

Традиционно системы ИИ были ограничены по области применения, при этом языковые модели преуспевали в понимании текста, но терпели неудачу в обработке изображений, и наоборот. Однако недавние достижения привели к разработке мощных мультимодальных моделей, таких как Gemini от Google и GPT-4 от OpenAI.

Эти модели демонстрируют замечательную гибкость и способны работать как с изображениями, так и с текстом. Более того, Gemini 1.5 Pro даже может обрабатывать аудио. Базовый уровень мультимодальных возможностей ИИ продолжает расти, достигнув 94,04% в 2023 году по сравнению с базовым уровнем человека в 89,8%.

Это развитие мультимодального ИИ побудило исследователей разработать более сложные тесты, такие как SWE bench для программирования, Heim для генерации изображений, MMU для общих рассуждений и Mocker для моральных рассуждений. Эти новые тесты направлены на расширение границ возможностей ИИ и выявление его ограничений.

Хотя модели ИИ достигли насыщения производительности на установленных тестах, таких как IMAC, SNAP и SuperGLUE, появление этих более сложных и требовательных оценок будет продолжать бросать вызов исследователям и разработчикам. Способность рассуждать, понимать и взаимодействовать в нескольких модальностях является важным шагом к более универсальным и способным системам ИИ.

Отчет AI Index подчеркивает быстрый прогресс в специализированных тестах ИИ, выходящих за рамки традиционных задач языка и зрения. По мере дальнейшего развития систем ИИ исследователи разработали более сложные и тонкие тесты для оценки их возможностей.

Некоторые ключевые разработки в этой области включают:

1. Тесты для программирования: Введение SWE Bench, нового теста для оценки способностей ИИ-моделей к программированию. Этот тест вызвал споры, поскольку некоторые утверждали, что результаты демонстрации были не совсем подлинными. Тем не менее, многие проекты с открытым исходным кодом показали впечатляющую производительность в этой сложной задаче.

2. Тесты на рассуждение: Тесты, такие как HEIM для визуального рассуждения, MMU для общего рассуждения и MOCKER для морального рассуждения, появились, чтобы расширить границы возможностей ИИ в области рассуждений. Хотя текущие модели по-прежнему отстают от человека в этих областях, в отчете предполагается, что прорывы в области рассуждений могут быть на горизонте, возможно, с выпуском GPT-5 и других передовых моделей.

3. Тесты для агентов: Agent Bench, оценивающий производительность автономных агентов в различных средах, показывает стабильные улучшения. Агенты ИИ теперь могут овладевать сложными играми, такими как Minecraft, и эффективно решать реальные задачи, такие как помощь в покупках и исследованиях.

4. Тесты для генерации музыки: Оценка моделей генерации музыки на тестах, таких как MusicCaps, продемонстрировала прогресс в способности ИИ производить высококачественную музыку. В отчете отмечается, что разрыв между закрытыми и открытыми моделями в этой области остается значительным, что предполагает, что наиболее передовые возможности генерации музыки по-прежнему в основном находятся в проприетарных системах.

5. Мультимодальные тесты: Отчет подчеркивает рост мощных мультимодальных моделей ИИ, таких как Gemini от Google и GPT-4 от OpenAI, которые могут работать с комбинацией текста, изображений и даже аудио. Эти модели достигли паритета производительности с человеком на установленных мультимодальных тестах, что указывает на значительный шаг вперед в этой области.

Одной из ключевых тенденций, выделенных в отчете, является растущее внимание к оценке языковых моделей человеком. В отчете отмечается, что арена чат-ботов LMS, использующая слепое A/B-тестирование и оценки людей для оценки производительности различных моделей, становится все более важным тестом.

В отчете говорится, что этот подход к оценке человеком ценен, потому что он оценивает общую производительность моделей и качество взаимодействия с пользователем, а не просто полагается на конкретные результаты тестов. В отчете предполагается, что некоторые традиционные тесты могли столкнуться с проблемами загрязнения или ошибок, что делает подход оценки человеком более надежным.

Конкретно, в отчете отмечается, что в арене чат-ботов LMS в настоящее время лидирует GPT-4 Turbo, даже после выпуска Claude 3. Это указывает на то, что пользователи находят GPT-4 Turbo более эффективной и желательной моделью, несмотря на потенциальные улучшения в других моделях.

В отчете утверждается, что этот подход оценки человеком следует использовать более широко, так как он обеспечивает более целостную оценку возможностей языковых моделей. По мере того, как модели становятся все более изощренными, способность взаимодействовать с ними и оценивать их с точки зрения пользователя становится crucial для понимания их реальной производительности и влияния.

Слияние языкового моделирования с робототехникой привело к появлению более гибких робототехнических систем, таких как PaLM-E и RT2. Помимо улучшенных робототехнических возможностей, эти модели могут задавать вопросы, что является значительным шагом к роботам, которые могут более эффективно взаимодействовать с реальным миром.

Эволюция этих моделей повышает их возможности, и робототехника является более сложной задачей, чем традиционный ИИ. Однако будут происходить прорывы, которые будут дополнять друг друга, что приведет к более эффективным роботам в будущем. Мы уже видим впечатляющие демонстрации, такие как плавные и бесшовные движения робота Figure One, которые были достигнуты на 100% с помощью нейронной сети, демонстрируя быстрый прогресс в этой области.

В Agent Bench, который оценивает автономные агентские системы в восьми средах, общий балл увеличивается. Создание систем агентов ИИ, способных к автономной работе в конкретных средах, было давней проблемой, но новые исследования свидетельствуют об улучшении производительности автономных агентов. Текущие агенты теперь могут овладевать сложными играми, такими как Minecraft, и эффективно решать реальные задачи, такие как покупки и помощь в исследованиях.

Отчет выделяет несколько ключевых тенденций в развитии генерации музыки с помощью ИИ:

1. Улучшение производительности на музыкальных тестах: Оценка моделей генерации музыки на установленных тестах, таких как MusicCaps, показывает, что системы ИИ постепенно улучшают свою способность генерировать высококачественную музыку. Закрытые языковые модели значительно превосходят открытые аналоги на этих тестах.

2. Появление передовых моделей генерации музыки: Модели, такие как Music-LM и Music-Gen, продемонстрировали впечатляющие возможности в генерации музыки, демонстрируя быстрый прогресс в этой области. Эти модели теперь могут производить музыку,