Как SambaNova, так и Groq предлагают впечатляющие скорости вывода, при этом платформа SambaNova способна обрабатывать более 1000 токенов в секунду, а платформа Groq - около 12 200 токенов в секунду для тех же запросов. Хотя Groq сохраняет преимущество в сырой скорости, производительность SambaNova все еще впечатляет, особенно по сравнению с другими предложениями на рынке.

Сравнение подчеркивает стабильную производительность обеих платформ, с аналогичными резюме, сгенерированными для одних и тех же запросов. Обе платформы смогли эффективно резюмировать длинный текст Пола Грэма, демонстрируя свою способность справляться с контентом большого объема.

С точки зрения функциональности, Groq предоставляет бесплатный API, который позволяет взаимодействовать с несколькими моделями, включая Lamda 3. SambaNova, с другой стороны, больше ориентирована на корпоративные предложения, требуя платной учетной записи для доступа к их API. Однако SambaNova предлагает открытые модели, которые пользователи могут загружать и экспериментировать с ними на своих локальных машинах.

Как Groq, так и SambaNova являются ведущими компаниями в области специализированного оборудования для языковых моделей, предлагая впечатляющие скорости вывода. В этом сравнении мы будем сравнивать их производительность друг с другом, используя популярную модель Llama 38B.

Во-первых, мы протестировали простой запрос "Что такое генеративный AI?" на обеих платформах. Groq выдал молниеносный ответ примерно в 12 200 токенов в секунду, в то время как SambaNova показала все еще впечатляющие 1000 токенов в секунду.

Затем мы попробовали более сложный запрос "Составьте электронное письмо, чтобы связаться с клиентом после вводной торговой встречи". Здесь Groq сохранил свое лидерство, генерируя около 11 100 токенов в секунду, по сравнению с постоянными 1000 токенами в секунду у SambaNova.

Чтобы по-настоящему проверить пределы их скорости вывода, мы использовали более длинный, 5-страничный текст из эссе Пола Грэма "Как делать великие дела". Обе платформы справились с этим испытанием достойно, при этом Groq генерировала около 1200 токенов в секунду, а SambaNova поддерживала свой темп в 1000 токенов в секунду.

Платформа SambaNova не только предлагает впечатляющие скорости вывода, но также обладает уникальным акцентом на многоязычные возможности. Помимо модели Llama 3.8B, платформа SambaNova включает специализированные модели для различных языков, таких как SambaNova Lingo для арабского, болгарского, венгерского и русского языков. Этот многоязычный подход направлен на создание специализированных моделей, адаптированных к различным языковым требованиям, выходя за рамки единой модели Llama 3.8B, используемой как SambaNova, так и Anthropic's Colab.

Разрабатывая эти специализированные многоязычные модели, SambaNova позиционирует себя как платформу, которая может удовлетворить разнообразные языковые потребности, потенциально предлагая улучшенные показатели производительности и точности для неанглийских языков по сравнению с более универсальной моделью. Этот акцент на многоязычности соответствует растущему спросу на языково-ориентированные решения на базе AI в increasingly глобализованном мире.

Чтобы протестировать реальную скорость вывода платформ Croc и Samba NOA, докладчик использовал более длинный текст из одного из писем Пола Грэма, который составлял около 5 страниц. Задача заключалась в том, чтобы резюмировать текст.

При запуске более длинного текста через модель Lama 3 от Samba NOA платформа смогла обработать его со скоростью около 1000 токенов в секунду, что докладчик считал впечатляющим. Аналогичным образом, когда тот же текст был запущен через платформу Croc, скорость составила около 1200 токенов в секунду.

Резюме, сгенерированное обеими платформами, было согласованным, выделяя ключевые моменты исходного текста. Докладчик отметил, что Croc по-прежнему считается золотым стандартом для скорости вывода, но отрадно видеть, что другие платформы, такие как Samba NOA, также способны генерировать текст с аналогичной скоростью.

Докладчик также упомянул, что Croc предоставляет бесплатный API, который позволяет взаимодействовать не только с Lama 3, но и с другими моделями, и недавно добавил возможность использовать Vision-модели. С другой стороны, похоже, что фокус Samba NOA больше направлен на корпоративных клиентов, и пользователям потребуется платная учетная запись для доступа к их API, хотя у них есть некоторые открытые модели, доступные для локальных экспериментов.

Как Groq, так и SambaNova предлагают впечатляющие языковые модели и скорости вывода, предоставляя пользователям привлекательные варианты для их потребностей в области AI. Бесплатный API Groq позволяет разработчикам получать доступ не только к модели Lamda 3, но и к другим моделям в их линейке, включая возможность использовать Vision-модели. Эта доступность делает Groq привлекательным выбором для тех, кто хочет экспериментировать и интегрировать возможности AI в свои проекты.

С другой стороны, похоже, что фокус SambaNova больше направлен на корпоративный рынок. Хотя они предлагают бесплатную игровую площадку для пользователей, чтобы исследовать их модели, включая их собственные проприетарные модели, такие как SambaLingo, они в настоящее время не предоставляют бесплатный API. Пользователям, заинтересованным в использовании технологии SambaNova, потребуется подписка на платную учетную запись для доступа к их API.

С точки зрения производительности, обе платформы продемонстрировали впечатляющие скорости вывода, при этом модель Lamda 3 от SambaNova стабильно обеспечивает около 1000 токенов в секунду, в то время как производительность Groq может достигать до 1200 токенов в секунду. Этот уровень скорости впечатляет и демонстрирует прогресс в области аппаратного и программного обеспечения AI.