Apple разработала набор высокопроизводительных генеративных моделей искусственного интеллекта, которые глубоко интегрированы в их экосистемы iOS, iPadOS и macOS. Эти модели предназначены для решения повседневных задач пользователей и предоставления персонализированного интеллекта, адаптированного к индивидуальным потребностям.

Основой усилий Apple в области ИИ является языковая модель с 3 миллиардами параметров, работающая непосредственно на устройствах Apple, используя мощность чипов Apple Silicon для быстрого и эффективного вывода. Эта модель дополняется более крупной языковой моделью, размещенной на сервере, которая может справляться с более сложными задачами при необходимости, работая на частной облачной инфраструктуре Apple.

Эти модели были доработаны для различных пользовательских сценариев, включая написание и редактирование текста, расстановку приоритетов и обобщение уведомлений, создание игривых изображений для бесед и, что самое важное, выполнение действий в приложениях для упрощения взаимодействия.

Apple уделяет большое внимание ответственной разработке ИИ, с принципами, которые расширяют возможности пользователей, аутентично представляют их потребности, тщательно проектируют и защищают конфиденциальность пользователей. Компания разработала новые методы для курирования данных, оптимизации моделей и динамической адаптации, чтобы обеспечить высокую производительность, эффективность и безопасность своих инструментов ИИ.

Подход Apple к ответственной разработке ИИ основан на четырех ключевых принципах:

1. Расширение возможностей пользователей с помощью интеллектуальных инструментов: Apple определяет области, где ИИ может использоваться ответственно для создания инструментов, решающих конкретные потребности пользователей. Их фокус - на создании глубоко личных продуктов, которые аутентично представляют пользователей и избегают закрепления стереотипов или предвзятости.

2. Тщательное проектирование: Apple принимает меры предосторожности на каждом этапе процесса, включая проектирование, обучение модели, разработку функций и оценку качества, чтобы выявить потенциальное неправильное использование или вред. Они постоянно улучшают свои инструменты ИИ на основе отзывов пользователей.

3. Защита конфиденциальности: Apple защищает конфиденциальность пользователей с помощью обработки на устройстве и своей частной облачной вычислительной инфраструктуры. Они не используют личные данные или взаимодействия пользователей для обучения своих базовых моделей.

4. Представление наших пользователей: Apple постоянно работает над тем, чтобы избежать закрепления стереотипов и системных предвзятостей в своих инструментах и моделях ИИ, стремясь аутентично представлять пользователей по всему миру.

Следуя этим принципам, Apple стремится разрабатывать системы ИИ, которые расширяют возможности пользователей, защищают их конфиденциальность и избегают потенциального вреда или неправильного использования. Этот ответственный подход является ключевым отличием в стратегии ИИ Apple.

Базовые модели Apple обучаются с использованием сочетания лицензированных данных и общедоступных данных, собранных их веб-краулером, Apple Bot. Они реализовали несколько мер для обеспечения качества и безопасности тренировочных данных:

1. Фильтрация данных: Они применяют фильтры для удаления персональных идентификационных данных, ненормативной лексики и другого низкокачественного контента из общедоступных данных.
2. Извлечение и дедупликация данных: Они выполняют извлечение данных, дедупликацию и применение классификаторов на основе моделей для выявления высококачественных документов.
3. Гибридная стратегия данных: Они используют гибридную стратегию данных, включая как размеченные вручную, так и синтетические данные в своем конвейере обучения.
4. Тщательное курирование и фильтрация данных: Они проводят тщательное курирование и фильтрацию данных, чтобы обеспечить высокое качество тренировочных данных.

На этапе после обучения Apple разработала два новых алгоритма для дальнейшей оптимизации моделей:

1. Алгоритм тонкой настройки методом отбраковки с комитетом учителей: Этот алгоритм использует комитет учителей и обучение с подкреплением на основе обратной связи от людей для тонкой настройки моделей.
2. Алгоритм обучения с подкреплением на основе обратной связи от людей с оптимизацией политики методом зеркального спуска и оценщиком преимущества методом исключения по одному: Этот алгоритм использует оптимизацию политики методом зеркального спуска и оценщик преимущества методом исключения по одному для включения обратной связи от людей в процесс обучения модели.

Для оптимизации моделей по скорости и эффективности Apple применила несколько методик:

1. Групповое внимание к запросам: Как модель на устройстве, так и серверная модель используют групповое внимание к запросам.
2. Общие таблицы встраивания входного и выходного словаря: Это снижает требования к памяти и стоимость вывода.
3. Параллелизация с низким разрядностью: Модель на устройстве использует параллелизацию с низким разрядностью для достижения необходимых требований к памяти, питанию и производительности.
4. Стратегия смешанной 2-битной и 4-битной конфигурации: Эта стратегия, в сочетании с использованием адаптеров Lora, поддерживает качество модели, достигая в среднем 3,5 бита на вес.
5. Инструмент Taria для интерактивного анализа задержки и энергопотребления модели: Этот инструмент направляет выбор разрядности для каждой операции.
6. Квантование активаций и встраиваний: Дополнительные методы квантования применяются для оптимизации моделей.
7. Эффективное обновление кэша ключ-значение: Разработан подход для обеспечения эффективного обновления кэша ключ-значение на нейронных двигателях.

Благодаря этим оптимизациям модель на устройстве достигает задержки до первого токена 6 миллисекунд и скорости генерации 30 токенов в секунду, даже до применения техник спекуляции токенов.

Apple использовала ряд инновационных методик для оптимизации своих генеративных моделей как для развертывания на устройстве, так и на сервере. Основное внимание уделялось достижению высокой скорости и эффективности для обеспечения плавных пользовательских впечатлений.

Для вывода на устройстве языковая модель с 3 миллиардами параметров использует параллелизацию с низким разрядностью, критически важную оптимизационную технику, которая достигает необходимых требований к памяти, питанию и производительности. Чтобы сохранить качество, Apple разработала новую структуру с использованием адаптеров Lora, которая включает смешанную 2-битную и 4-битную стратегию конфигурации, в среднем 3,5 бита на вес, для достижения той же точности.

Дополнительно Apple изобрела инструмент под названием Taria, интерактивный инструмент для анализа задержки и энергопотребления модели, который лучше направляет выбор разрядности для каждой операции. Они также использовали квантование активаций, квантование встраиваний и подход для обеспечения эффективного обновления кэша ключ-значение на своих нейронных двигателях.

Благодаря этим оптимизациям iPhone 15 Pro может достичь задержки до первого токена 6 миллисекунд и скорости генерации 30 токенов в секунду, даже до применения техник спекуляции токенов, которые обеспечивают дополнительные улучшения.

Для серверной крупной языковой модели Apple также сосредоточилась на скорости и эффективности. Они используют общие таблицы встраивания входного и выходного словаря, чтобы снизить требования к памяти и стоимость вывода. Размер словаря серверной модели составляет 100 000, по сравнению с 49 000 для модели на устройстве.

Используя эти инновационные методы оптимизации, Apple смогла создать высокопроизводительные модели ИИ, которые могут эффективно работать как на устройствах пользователей, так и на их частной облачной инфраструктуре, обеспечивая плавный и отзывчивый пользовательский опыт.

Базовые модели Apple адаптируются для повседневной деятельности пользователей и могут динамически специализироваться на ходу для решения конкретной задачи. Они используют адаптеры - небольшие модули нейронных сетей, которые можно подключать к различным слоям предварительно обученной модели, чтобы адаптировать модели для конкретных задач. Путем тонкой настройки только слоев адаптера исходные параметры базовой предварительно обученной модели остаются неизменными, сохраняя общие знания модели, при этом адаптируя слои адаптера для поддержки конкретных задач.

Такой подход позволяет моделям ИИ Apple адаптироваться и персонализироваться под потребности и предпочтения пользователя, обеспечивая высоко персонализированный и эффективный пользовательский опыт. Модели могут быстро специализироваться для задач, таких как обобщение, написание, кодирование и многое другое, без ущерба для основных знаний и возможностей базовой модели. Эта динамическая адаптация является ключевым отличием подхода Apple, позволяя их ИИ глубоко интегрироваться в повседневную жизнь пользователя и выполнять реальные, ценные задачи от его имени.

Apple провела обширное тестирование и оценку своих базовых моделей на устройстве и на сервере. Они уделяют особое внимание оценке человеком, поскольку считают, что эти результаты тесно коррелируют с фактическим пользовательским опытом.

Для оценки конкретных функций они сравнивают свою модель на устройстве с 53-мини моделью Microsoft. По задачам, таким как обобщение электронной почты и обобщение уведомлений, модель Apple на устройстве достигает значительно более высоких баллов удовлетворенности пользователей, около 87,5% и 79% соответственно, по сравнению с 73% и 73% для 53-мини.

Помимо оценки конкретных функций, Apple также оценивает общие возможности как своей модели на устройстве, так и серверной модели. Они используют всеобъемлющий набор реальных подсказок, охватывающих задачи, такие как мозговой штурм, классификация, ответы на вопросы, кодирование и многое другое. По сравнению с моделями, такими как Gemini, Mistral, 53, GPT-3.5 Turbo и GPT-4 Turbo, модель Apple на устройстве показывает хорошие результаты, побеждая в 62% случаев Gemini, 46% Mistral и 43% 53.

Серверная модель Apple показывает еще лучшие результаты, проигрывая только модели GPT-4 Turbo в этой общей оценке возможностей.

Важно отметить, что Apple уделяет большое внимание безопасности и вредности. В своей оценке человеком вредности вывода модель Apple на устройстве значительно превосходит конкурентов. Серверная модель Apple также демонстрирует очень низкие показатели вредности по сравнению с закрытыми моделями на переднем крае, такими как GPT-3.5 Turbo, GPT-4 Turbo и другие.

Фокус Apple на безопасности и ответственной разработке ИИ очевиден на протяжении всего их подхода. Они разработали новаторские методики для оптимизации своих моделей по скорости и эффективности, как на устройстве, так и в своей частной облачной инфраструктуре, при сохранении высокой производительности и качества.

Подход Apple к искусственному инт