Космос ИИ был наполнен захватывающими разработками, и на этой неделе это было особенно примечательно. Мы стали свидетелями выпуска LLaMA 3, лучшей на сегодняшний день открытой крупной языковой модели, и теперь у нас есть представление моделей Phi-3 от команды Microsoft AI.

Phi-3 - это третья итерация семейства Phi, набора новых небольших моделей, которые используют те же методы обучения, что и Phi-2. Цель состоит в том, чтобы производить крошечные, но высокопроизводительные модели. С выпуском Phi-3 Microsoft представила четыре новые модели в рамках этого зонтичного термина:

1. Phi-3 Mini: Модель с окном контекста 4K.
2. Phi-3 Mini 128K: Еще более впечатляющая модель с огромным окном контекста 128K, несмотря на ее небольшой размер всего 3,8 млрд параметров.
3. Phi-3 Small: 7-миллиардная параметрическая модель, которая превосходит модели, такие как Megatron и LLaMA 3.
4. Phi-3 Medium: 14-миллиардная параметрическая модель, которая превосходит производительность GPT-3.5 и Megatron по различным бенчмаркам, включая MML Benchmark, оценивающий многодиапазонные задачи.

Семейство моделей Phi-3 состоит из четырех разных моделей, каждая со своими техническими характеристиками:

1. Phi-3 Mini:

   • Основана на архитектуре декодера Transformer
   • Длина контекста по умолчанию 4 000 токенов
   • Также доступна версия с более длинным контекстом, Phi-3 Mini 128k, которая увеличивает длину контекста до 128 000 токенов с использованием подхода Long Range
   • Использует ту же структуру блоков и токенизатор, что и модель Llama 2

2. Phi-3 Small:

   • 7-миллиардная параметрическая модель
   • Использует тот же токенизатор и архитектуру, что и модели Phi-3 Mini
   • Длина контекста по умолчанию 8 000 токенов

3. Phi-3 Medium:

   • 14-миллиардная параметрическая модель
   • Сохраняет тот же токенизатор и архитектуру, что и модель Phi-3 Mini
   • Обучена на немного более крупном наборе данных по сравнению с меньшими моделями

4. Phi-3 Mini (4-битное квантование):

   • Квантованная версия модели Phi-3 Mini
   • Предназначена для эффективного развертывания на мобильных устройствах, таких как iPhone 14 с чипом A16 Bionic
   • Способна генерировать более 12 токенов в секунду на iPhone 14

Выпуск моделей Phi-3 от команды Microsoft AI стал значительным событием в космосе ИИ. Эти модели, которые являются третьей итерацией семейства Phi, используют те же методы обучения, что и Phi-2, чтобы производить крошечные, но высокопроизводительные языковые модели.

Линейка Phi-3 включает четыре различные модели, каждая со своими уникальными возможностями и характеристиками производительности:

1. Phi-3 Mini: Эта модель имеет окно контекста 4K, демонстрируя впечатляющую эффективность в компактном размере.
2. Phi-3 Mini 128K: Расширяя границы, эта модель обладает впечатляющим окном контекста 128K, что является замечательным достижением для модели такого размера.
3. Phi-3 Small: Эта предварительная модель уже превзошла производительность более крупных моделей, таких как Megatron и LLaMA 3.
4. Phi-3 Medium: Самая большая из моделей Phi-3, эта 14-миллиардная параметрическая модель превосходит даже мощный GPT-3.5 и Megatron 8.7B по различным бенчмаркам.

Все четыре модели Phi-3, включая Phi-3 Mini, Phi-3 Mini 128k, Phi-3 Small и Phi-3 Medium, можно получить доступ и развернуть несколькими способами:

1. Использование Hugging Face: Все четыре модели Phi-3 доступны на Hugging Face Hub. Вы можете использовать библиотеку Hugging Face Transformers, чтобы загружать и использовать эти модели в ваших Python-приложениях.

2. Локальная установка с помощью LLM Studio: Вы также можете установить модели Phi-3 локально, используя LLM Studio. Просто скопируйте карточку модели, откройте LLM Studio и вставьте карточку модели в поле поиска. Затем нажмите кнопку установки, чтобы загрузить и настроить модель на вашем локальном компьютере.

3. Развертывание на мобильных устройствах: Одно из ключевых преимуществ моделей Phi-3 - их способность эффективно работать на мобильных устройствах. Модель Phi-3 Mini с 4-битным квантованием способна генерировать более 12 токенов в секунду на iPhone 14 с чипом A16 Bionic.

Модель языка Phi-3 от Microsoft AI - это мощный инструмент, который можно использовать для различных вариантов использования. Несмотря на свой компактный размер, Phi-3 продемонстрировала впечатляющую производительность по ряду бенчмарков, часто превосходя более крупные модели, такие как GPT-3.

Одна из ключевых сильных сторон Phi-3 - ее эффективность, позволяющая развертывать ее на мобильных устройствах и других средах с ограниченными ресурсами. Это делает ее подходящей для приложений, где требуются быстрые, мобильные ответы, таких как виртуальные помощники или чат-боты.

Кроме того, сильная производительность модели в задачах, основанных на знаниях, делает ее ценным активом для систем вопросов-ответов, обобщения контента и поиска информации. Разработчики могут интегрировать Phi-3 в свои приложения, чтобы предоставлять пользователям краткие и точные ответы на их запросы.

Выпуск моделей 5-3 от команды Microsoft AI - это значительное событие в мире крупных языковых моделей. Эти компактные, но высокопроизводительные модели предлагают впечатляющие возможности, часто превосходя более крупные модели, такие как GPT-3.5 и Megatron, по различным бенчмаркам.

Модель 5-3 Mini, с ее 4K окном контекста и 3,8 млрд параметров, особенно примечательна, демонстрируя потенциал для развертывания мощных языковых моделей на мобильных устройствах. Расширенная версия 128K контекста 5-3 Mini также является впечатляющим достижением, демонстрируя прогресс в архитектуре моделей и методах обучения.

Хотя модели 5-3 не предназначены в первую очередь для сложных задач кодирования или рассуждений, они превосходят в общих задачах, основанных на знаниях, и могут эффективно интегрироваться в системы вопросов-ответов или сочетаться с алгоритмами, такими как RAG. Их эффективность и производительность делают их ценным дополнением к экосистеме ИИ.