Meta выпустила свою модель Llama3, помощника-чатбота на базе ИИ, похожего на GPT-4. Первые результаты оказались весьма впечатляющими, Llama3 показывает хорошие результаты на различных тестах. Версия Llama3 с 70 миллиардами параметров может работать на мощном настольном компьютере и показывает 82% на тесте HumanEval по программированию, что близко к результатам современных проприетарных систем.

Llama3 также показывает хорошие результаты на научном тесте GPQA, набирая около 40%, что очень впечатляет. Однако ее результаты на задачах, ориентированных на математику, не так сильны, с оценкой 50%, по сравнению с GPT-4 от OpenAI, который может достигать более 70% на аналогичных математических задачах.

Кроме того, Meta работает над еще более крупной моделью с примерно 400 миллиардами параметров, от которой ожидаются значительные улучшения по сравнению с версией на 70 миллиардов параметров по различным тестам. Эта более крупная модель все еще находится в разработке, но ожидается, что она будет выпущена до конца года.

Впечатляющие результаты Llama3 особенно примечательны, потому что это открытая модель, доступная бесплатно для всех. Это контрастирует с проприетарными системами, такими как GPT-4, которые не являются свободно доступными. Тот факт, что Llama3 сопоставима с более ранними версиями GPT-4 в некоторых аспектах, является свидетельством прогресса открытых моделей ИИ.

При оценке производительности моделей ИИ выбор тестов является ключевым. Идеальный тест должен найти баланс между достаточной сложностью для дифференциации моделей и не быть настолько сложным, чтобы модели с трудом справлялись.

Тесты с показателем успеха ниже 10% обычно не считаются хорошими для тестирования, так как становится труднее сделать статистически значимые выводы. С другой стороны, тесты с показателем успеха 80-85% или выше могут начать терять смысл, так как в них могут содержаться ошибки или ответы, которые были раскрыты, позволяя моделям просто воспроизводить правильные ответы.

Тест GPQA, который охватывает различные научные дисциплины, такие как органическая химия, молекулярная биология и физика, приводится в качестве хорошего примера сложного, но значимого теста. Достижение около 40% на этом тесте считается очень впечатляющим.

При оценке производительности моделей ИИ для реальных сценариев использования более актуальную оценку дает рейтинг Arena. Этот тест измеряет способности моделей помогать с задачами, которые обычно выполняют люди, а не только с академическими или техническими задачами.

Ключевые выводы заключаются в том, что нахождение правильного баланса в сложности тестов имеет решающее значение, и что открытые модели, такие как Llama3, теперь показывают выдающиеся результаты, часто сравнимые или даже превосходящие проприетарные системы, такие как GPT-4, по различным тестам.

Llama3, открытый чатбот на базе ИИ от Meta, показал впечатляющие результаты на различных тестах, сравнимые с проприетарными системами, такими как GPT-4. Версия с 70 миллиардами параметров, доступная для использования на мощных настольных компьютерах, Llama3 достигла 82% на тесте HumanEval по программированию и впечатляющих 40% на сложном научном тесте GPQA. Хотя ее результаты в математике на уровне 50% отстают от 70% GPT-4, ожидается, что предстоящая модель с 400 миллиардами параметров еще больше улучшит эти результаты.

Не менее впечатляющим является Gemini 1.5 Pro от Google DeepMind, который продемонстрировал сильные результаты в рейтинге Arena, даже превзойдя более ранние версии GPT-4 в некоторых аспектах. Способность Gemini 1.5 Pro обучаться на целых фильмах и базах кода выделяет его, и он занял второе место в общем зачете, а также первое место по длинным подсказкам.

Доступность этих мощных помощников на базе ИИ, как открытых, так и проприетарных, знаменует собой значительный прогресс в этой области. Пользователи теперь могут бесплатно получить доступ к Llama3 и Gemini 1.5 Pro за пределами ЕС через различные платформы, позволяя им напрямую оценить возможности этих передовых моделей.

Вы можете бесплатно попробовать модели ИИ Llama3 и Gemini 1.5 Pro следующими способами:

1. Llama3:

   • Насколько известно автору, вы можете попробовать Llama3 на веб-сайте Meta, если вы находитесь за пределами Европы.
   • Вы также можете скачать и запустить модель Llama3 где угодно.
   • Существуют веб-сайты, которые размещают Llama3, и вы можете попробовать его через эти платформы. Ссылки предоставлены в описании видео.

2. Gemini 1.5 Pro:

   • Gemini 1.5 Pro, разработанный Google DeepMind, также доступен для бесплатного использования за пределами ЕС.
   • Ссылка для доступа к Gemini 1.5 Pro предоставлена в описании видео.

Автор подчеркивает, что как Llama3, так и Gemini 1.5 Pro являются впечатляющими моделями ИИ, которые почти так же хороши, как платные проприетарные системы, но вы можете использовать их бесплатно.

Помощники на базе ИИ улучшаются невероятными темпами, и открытые модели, такие как Llama3 и Gemini 1.5 Pro, теперь почти так же способны, как платные проприетарные системы, такие как GPT-4. Эти открытые модели доступны бесплатно для всех, что является невероятным достижением.

Llama3, модель с 70 миллиардами параметров от Meta, показывает выдающиеся результаты на различных тестах, включая сложный научный тест GPQA. Хотя она может уступать GPT-4 в математике, она все равно демонстрирует впечатляющие результаты. Кроме того, ожидается, что предстоящая модель Llama3 с 400 миллиардами параметров еще больше улучшит эти возможности.

Аналогичным образом, Gemini 1.5 Pro от Google DeepMind также является высокоэффективным помощником на базе ИИ, сравнимым с более ранними версиями GPT-4. Он особенно хорош в задачах с длинными подсказками и сложным контекстом, таких как просмотр целых фильмов или изучение баз кода.

Доступность этих открытых моделей ИИ, которые можно попробовать бесплатно, является важной вехой. Это демократизирует доступ к передовым технологиям ИИ и позволяет всем исследовать и пользоваться этими мощными инструментами. Это замечательное время, когда мы наблюдаем быстрый прогресс ИИ и растущую доступность этих выдающихся возможностей.