Эра небольших, высокопроизводительных моделей уже наступила. На этой неделе OpenAI выпустила GPT-4 Mini - меньшую, более быструю и гораздо менее дорогую версию GPT-4. Стоимость GPT-4 Mini составляет 15 центов за миллион входных токенов и 60 центов за миллион выходных токенов, что на 60% дешевле, чем GPT-3.5 Turbo.

GPT-4 Mini набирает впечатляющие 82% на бенчмарке MLU и в настоящее время превосходит GPT-4 по предпочтениям в чате на лидерской доске LM Cy. Она поддерживает текст и видение в API, а поддержка текста, изображений, видео и аудио входных и выходных данных будет добавлена в будущем. Модель имеет контекстное окно в 128 000 токенов и знания до октября 2023 года.

В тестах производительности GPT-4 Mini продемонстрировала свою скорость и возможности. Она быстро генерировала Python-скрипт для вывода чисел от 1 до 100, создавала работающую игру Snake и решала различные логические и рассуждающие задачи. По сравнению с GPT-4, GPT-4 Mini была в 3 раза быстрее в некоторых задачах.

Однако, когда дело дошло до задач, связанных с видением, таких как анализ изображений и преобразование документа Excel в CSV, GPT-4 Mini затрачивала больше времени и использовала значительно больше токенов, чем GPT-4. Это говорит о том, что для задач, связанных с видением, GPT-4 может быть лучшим выбором, если важна задержка.

Я начал с тестирования способности GPT-4 Mini генерировать простые Python-скрипты. Она быстро и точно вывела скрипт для печати чисел от 1 до 100. Затем я попросил ее написать игру Snake на Python, и она выдала работающий скрипт всего за 5,8 секунды, что было в 3 раза быстрее, чем GPT-4.

Затем я проверил ее способность справляться с более чувствительными запросами, такими как то, как взломать машину. Хотя GPT-4 Mini предоставила некоторую информацию, я знаю, что этот тип контента, вероятно, скоро будет исправлен, поэтому я отметил это как неудачу.

Переходя к более логическим и основанным на рассуждениях задачам, GPT-4 Mini показала очень хорошие результаты. Она правильно объяснила время высыхания рубашек, решила простую математическую задачу и даже точно подсчитала количество слов в моем предыдущем ответе.

Когда я представил ей классическую логическую головоломку об убийцах в комнате, GPT-4 Mini предоставила подробное пошаговое объяснение, которое соответствовало ответу GPT-4.

Я также проверил ее возможности в области видения, попросив ее объяснить мем и преобразовать скриншот Excel в формат CSV. Хотя GPT-4 была быстрее в задачах, связанных с видением, GPT-4 Mini все же смогла успешно их выполнить.

GPT-4 Mini продемонстрировала впечатляющие навыки рассуждения и логики на протяжении всего процесса тестирования. Вот основные моменты:

• Правильно решила Python-скрипт для вывода чисел от 1 до 100, а также реализацию игры Snake, демонстрируя свои программистские способности.
• Предоставила обоснованное объяснение проблемы времени высыхания рубашек, признав, что время высыхания не зависит от количества рубашек.
• Точно рассчитала общую стоимость проживания в отеле, включая стоимость номера, налоги и дополнительные сборы.
• Правильно определила количество слов в данном ответе, превзойдя более крупную модель GPT-4.
• Логически рассуждала о сценарии "проблемы убийцы", определив правильное количество оставшихся убийц.
• Продемонстрировала глубокое понимание проблемы с мраморами, правильно выведя конечное местоположение мрамора.

Хотя GPT-4 Mini испытывала трудности с некоторыми задачами, такими как "10 предложений, заканчивающихся на Apple" и основанные на видении анализ изображений, в целом она продемонстрировала прочное понимание рассуждений и логического мышления. Скорость и экономическая эффективность модели делают ее привлекательным вариантом для многих приложений, которые ставят эти когнитивные возможности в приоритет.

GPT-4 Mini продемонстрировала впечатляющую производительность в представленных задачах, связанных с видением и обработкой изображений. Вот основные выводы:

• Объяснение изображения: Когда ей показали мем, контрастирующий динамику стартапов и крупных компаний, GPT-4 Mini точно объяснила шутку и различия, изображенные на двух картинках.

• Преобразование изображения в CSV: Когда ей был предоставлен скриншот электронной таблицы Excel, GPT-4 Mini смогла правильно преобразовать данные в формат CSV, демонстрируя свою способность обрабатывать и трансформировать визуальную информацию.

• Анализ хранилища: Когда ей был представлен скриншот разбивки хранилища iPhone, GPT-4 Mini правильно определила оставшееся место на устройстве и приложение, занимающее наибольший объем, показывая свою способность извлекать и интерпретировать соответствующую информацию из визуальных данных.

Однако анализ также показал, что, хотя GPT-4 Mini превосходила в текстовых задачах, она была медленнее и требовала значительно больше токенов при обработке визуальных входных данных по сравнению с более крупной моделью GPT-4. Это suggests, что для приложений, сильно зависящих от видения и обработки изображений, стандартная модель GPT-4 может быть более подходящим выбором, отдавая приоритет производительности над экономической эффективностью GPT-4 Mini.

В целом, результаты подчеркивают универсальность GPT-4 Mini в решении широкого спектра задач, включая обработку видения и изображений, при сохранении существенного преимущества в производительности и экономической эффективности по сравнению с ее более крупным аналогом. Это делает GPT-4 Mini привлекательным вариантом для приложений, где соотношение стоимости и производительности является ключевым фактором.

Тестирование GPT-40 mini выявило некоторые впечатляющие возможности этой меньшей и более экономичной модели. По сравнению с более крупным GPT-4, GPT-40 mini продемонстрировала замечательную скорость и производительность в самых разных задачах, включая написание Python-скриптов, решение логических задач и даже генерацию творческого контента.

Одним из ключевых преимуществ GPT-40 mini является ее значительно более низкая стоимость, которая на 60% дешевле, чем у GPT-3.5 Turbo. Это делает ее привлекательным вариантом для разработчиков и компаний, стремящихся использовать мощные языковые модели без высокой ценовой нагрузки.

Однако тестирование также выявило некоторые ограничения GPT-40 mini, особенно когда дело касается задач, связанных с обработкой визуальной информации. Модель не смогла достичь производительности GPT-4 в задачах, таких как анализ изображений и преобразование, часто тратя больше времени на обработку и используя значительно больше токенов.

В целом, появление GPT-40 mini представляет важный шаг в эволюции языковых моделей, демонстрируя потенциал более мелких и эффективных моделей для предоставления впечатляющих возможностей по более низкой цене. По мере развития эры малых моделей будет интересно наблюдать, как GPT-40 mini и аналогичные модели будут внедряться и использоваться в различных приложениях.