Выпуск GPT-4 Omni от OpenAI представил мощную модель, которая может рассуждать в режиме реального времени по аудио, визуальным и текстовым данным. Эта новая модель предлагает несколько впечатляющих возможностей:

• Мультимодальное взаимодействие: GPT-4 Omni может принимать входные данные в виде текста, аудио, изображений и видео, а также генерировать выходные данные в любой комбинации этих модальностей. Это позволяет более естественно взаимодействовать с человеко-компьютерными системами.

• Быстрый отклик: Модель может реагировать на аудиовходы в среднем за 232 миллисекунды, что соответствует скорости человеческого разговора.

• Улучшенная производительность: GPT-4 Omni превосходит предыдущие модели по различным показателям, включая оценку текста, распознавание речи и перевод аудио.

• Экономическая эффективность: Новая модель на 50% дешевле, чем предыдущая GPT-4 Turbo, что делает ее более доступной для пользователей API. Бесплатная версия ChatGPT теперь использует GPT-4 Omni, позволяя большему числу пользователей воспользоваться ее возможностями.

Объявление о GPT-4 Omni приносит значительные улучшения в ценообразовании и экономической эффективности по сравнению с предыдущими моделями. Основные моменты:

• Стоимость ввода снизилась до $0,005 за 1000 токенов, по сравнению с $0,01 для GPT-4 Turbo.
• Стоимость вывода теперь составляет $0,015 за 1000 токенов, что меньше, чем $0,03 для GPT-4 Turbo.
• Ценообразование на визуальные данные также значительно дешевле, что делает общее использование GPT-4 Omni более экономически эффективным.
• По сравнению с GPT-3.5 Turbo, GPT-4 Omni предлагает 50% снижение цены, что делает его более доступным для разработчиков и пользователей.
• Бесплатная версия ChatGPT теперь использует модель GPT-4 Omni, позволяя большему числу пользователей воспользоваться улучшенными возможностями и производительностью без дополнительных затрат.

OpenAI провела различные тесты для оценки производительности новой модели GPT-4 Omni. Модель сравнивалась с другими языковыми моделями, такими как GPT-4 Turbo, оригинальный GPT-4, Claude 3, Opus Gemini Pro 1.5, Gemini 1.0 и LLaMA 3.

Результаты показывают, что GPT-4 Omni превосходит почти все другие модели по различным тестовым категориям:

• Оценка текста: GPT-4 Omni достигает самых высоких результатов.
• Распознавание речи: GPT-4 Omni превосходит предыдущую версию Whisper 3 с более низкими показателями ошибок.
• Перевод аудио: GPT-4 Omni превосходит все другие модели в этом тесте.
• M3 Exam Zero-Shot: GPT-4 Omni превосходит оригинальную модель GPT-4.
• Оценка понимания визуальных данных: GPT-4 Omni достигает самых высоких результатов по каждому из этих тестов.

Статья отмечает, что улучшенные возможности GPT-4 Omni по токенизации языка способствуют его экономической эффективности. Хотя сокращение токенов для английского языка составляет всего 1,1 раза, экономия может быть значительной при масштабировании на большие объемы текста.

Статья отмечает, что одной из причин, по которой GPT-4 Omni дешевле, является его способность представлять языки в меньшем количестве токенов. Хотя количество токенов для английского языка сократилось всего в 1,1 раза, при масштабировании на сотни тысяч слов это может привести к значительной экономии средств.

Статья объясняет, что полное предложение, которое ранее занимало 27 токенов, теперь занимает только 24 токена. Это улучшенное моделирование языка и представление позволяет GPT-4 Omni быть более эффективным в использовании токенов, что приводит к 50% снижению стоимости по сравнению с предыдущими моделями.

Статья предполагает, что эта улучшенная языковая моделирующая способность является ключевым фактором, делающим GPT-4 Omni более экономически эффективным выбором для разработчиков и пользователей, особенно для приложений, связанных с обработкой больших объемов текста на нескольких языках.

Как и для всех своих моделей ИИ, OpenAI уделяет большое внимание безопасности и ограничениям GPT-4 Omni. Статья отмечает, что модель все еще имеет некоторые ограничения, такие как периодические прерывания в ходе разговора и необходимость вручную сообщать пользователю, когда он закончил говорить. Эта проблема сохраняется даже с улучшенным временем отклика GPT-4 Omni.

Статья также упоминает, что модель имеет встроенные функции безопасности и ограничения для решения потенциальных проблем злоупотребления или вредных выходных данных. Однако конкретные детали этих мер безопасности в этом разделе не приводятся.

В целом, хотя GPT-4 Omni представляет собой значительный прогресс в языковых моделях OpenAI, компания остается осторожной и бдительной в отношении потенциальных рисков и ограничений этой технологии. Постоянный мониторинг и совершенствование функций безопасности модели, вероятно, будут приоритетными задачами по мере ее более широкого развертывания.

GPT-4 Omni, новейшая флагманская модель от OpenAI, теперь широко доступна для пользователей. Вот основные детали:

• Текстовая и визуальная модели GPT-4 Omni теперь интегрированы в бесплатную версию ChatGPT, позволяя всем пользователям получить доступ к этим возможностям.
• Бесплатная версия ChatGPT теперь имеет в 5 раз более высокие лимиты на сообщения, что делает ее гораздо более доступной для пользователей.
• Новая версия голосового режима с интеграцией GPT-4 Omni планируется к выпуску в ближайшие пару недель, обеспечивая бесшовное аудио-взаимодействие.
• GPT-4 Omni доступен как отдельная текстовая и визуальная модель через API OpenAI, предлагая разработчикам вдвое большую скорость и вдвое меньшую цену по сравнению с предыдущей моделью GPT-4 Turbo.
• OpenAI настоятельно рекомендует всем разработчикам переходить на модель GPT-4 Omni, так как она стала предпочтительным выбором, практически не оставляя места для использования более старой модели GPT-4 Turbo.
• Ценообразование на GPT-4 Omni было значительно снижено, со стоимостью ввода $0,005 за 1000 токенов и стоимостью вывода $0,015 за 1000 токенов, что делает ее более доступной для широкого спектра приложений.

Способность создавать последовательные персонажи в разных сценах является ключевой возможностью новой модели GPT-4 Omni. Обучаясь на визуальных входных данных, модель теперь может генерировать визуальные выходные данные, сохраняющие одни и те же атрибуты персонажа, такие как одежда, аксессуары и позы, даже когда персонаж помещается в разные сценарии.

В представленных примерах модель способна последовательно изображать персонаж «Салли» в качестве улыбающегося почтальона с ее сумкой и униформой, сохраняющимися в разных сценах. Это значительное улучшение по сравнению с предыдущими моделями, которым приходилось полагаться на текстовые описания, чтобы пытаться сохранять последовательность персонажа.

Скорость и точность визуальных выходных данных GPT-4 Omni также позволяют более плавно и естественно взаимодействовать, когда модель может быстро реагировать на визуальные подсказки и генерировать соответствующие визуальные ответы. Это открывает новые возможности для приложений, требующих последовательного представления персонажей, таких как интерактивное повествование, виртуальные помощники и даже разработка видеоигр.

Хотя примеры в интерфейсе ChatGPT могут не в полной мере демонстрировать возможности модели, потенциал последовательного создания персонажей с помощью GPT-4 Omni очевиден. Разработчики могут использовать эту функцию для создания более увлекательных и погружающих пользовательских опытов, а также дальше исследовать возможности мультимодальных систем искусственного интеллекта.

Новая модель GPT-4 Omni от OpenAI представляет собой значительный прогресс в области обработки естественного языка, объединяя текстовые, аудио- и визуальные входные данные для обеспечения взаимодействия в режиме реального времени, похожего на человеческое. Впечатляющая производительность модели по различным показателям, а также ее снижение стоимости и повышение доступности делают ее привлекательным выбором для разработчиков и пользователей.

Однако исследование автора способности модели поддерживать последовательные представления персонажей в нескольких сценах выявляет сохраняющиеся проблемы в этой области. Хотя примеры, представленные в объявлении, предполагают, что модель может сохранять визуальные детали, собственные эксперименты автора в интерфейсе ChatGPT свидетельствуют о том, что эта возможность может быть не такой надежной, как утверждается.

Предложение автора протестировать последовательность персонажей модели с использованием API, а не интерфейса ChatGPT, является обоснованным, поскольку последний может быть предметом дополнительных ограничений безопасности и модерации, которые могут повлиять на производительность модели. В конечном итоге для полного понимания возможностей модели в этом отношении потребуются дальнейшие тестирование и эксперименты.

В целом, выпуск GPT-4 Omni представляет собой захватывающий шаг вперед в области мультимодального искусственного интеллекта, а инсайты автора предоставляют ценную перспективу как на сильные стороны модели, так и на области, требующие дальнейшего совершенствования.