A Apple desenvolveu um conjunto de modelos de IA generativa altamente capazes que estão profundamente integrados aos seus ecossistemas iOS, iPadOS e macOS. Esses modelos são projetados para lidar com as tarefas diárias dos usuários e fornecer inteligência personalizada adaptada às necessidades individuais.

A base dos esforços de IA da Apple é um modelo de linguagem on-device de 3 bilhões de parâmetros que pode ser executado diretamente em dispositivos Apple, aproveitando o poder dos chips Apple Silicon para inferência rápida e eficiente. Esse modelo é complementado por um modelo de linguagem maior, baseado em servidor, que pode lidar com tarefas mais complexas quando necessário, executado na infraestrutura de nuvem privada da Apple.

Esses modelos foram refinados para uma variedade de experiências do usuário, incluindo a redação e o refinamento de texto, a priorização e o resumo de notificações, a criação de imagens divertidas para conversas e, o mais importante, a habilitação de ações in-app para simplificar as interações entre aplicativos.

A Apple colocou grande ênfase no desenvolvimento responsável de IA, com princípios que empoderam os usuários, representam suas necessidades de forma autêntica, projetam com cuidado e protegem a privacidade do usuário. A empresa desenvolveu técnicas inovadoras para curadoria de dados, otimização de modelos e adaptação dinâmica para garantir que suas ferramentas de IA sejam altamente capazes, eficientes e seguras.

A abordagem da Apple para o desenvolvimento responsável de IA é centrada em quatro princípios-chave:

1. Empoderar os usuários com ferramentas inteligentes: a Apple identifica áreas onde a IA pode ser usada de forma responsável para criar ferramentas que atendam a necessidades específicas dos usuários. Seu foco é construir produtos profundamente pessoais que representem os usuários de forma autêntica e evitem perpetuar estereótipos ou vieses.

2. Projetar com cuidado: a Apple toma precauções em todas as etapas do processo, incluindo design, treinamento de modelos, desenvolvimento de recursos e avaliação de qualidade, para identificar possíveis usos indevidos ou danos. Eles melhoram continuamente suas ferramentas de IA com base no feedback dos usuários.

3. Proteger a privacidade: a Apple protege a privacidade do usuário por meio do processamento on-device e de sua infraestrutura de computação em nuvem privada. Eles não usam dados pessoais ou interações de usuários para treinar seus modelos de base.

4. Representar nossos usuários: a Apple trabalha continuamente para evitar perpetuar estereótipos e vieses sistêmicos em suas ferramentas e modelos de IA, com o objetivo de representar os usuários em todo o mundo de forma autêntica.

Os modelos de base da Apple são treinados usando uma combinação de dados licenciados e dados públicos coletados por seu rastreador da web, o Apple Bot. Eles implementaram várias medidas para garantir a qualidade e a segurança dos dados de treinamento:

1. Filtragem de Dados: eles aplicam filtros para remover informações de identificação pessoal, palavrões e outros conteúdos de baixa qualidade dos dados públicos disponíveis.
2. Extração e Deduplicação de Dados: eles realizam extração de dados, deduplicação e aplicação de classificadores baseados em modelos para identificar documentos de alta qualidade.
3. Estratégia de Dados Híbrida: eles utilizam uma estratégia de dados híbrida, incorporando tanto dados anotados por humanos quanto dados sintéticos em seu pipeline de treinamento.
4. Curadoria e Filtragem de Dados Minuciosas: eles realizam uma curadoria e filtragem de dados minuciosas para garantir dados de treinamento de alta qualidade.

Na fase pós-treinamento, a Apple desenvolveu dois algoritmos inovadores para otimizar ainda mais os modelos:

1. Algoritmo de Fine-tuning por Amostragem de Rejeição com Comitê de Professores: esse algoritmo usa um comitê de professores e aprendizado por reforço do feedback humano para fazer o fine-tuning dos modelos.
2. Algoritmo de Aprendizado por Reforço do Feedback Humano com Otimização de Política de Descida em Espelho e Estimador de Vantagem Leave-one-out: esse algoritmo aproveita a otimização de política de descida em espelho e um estimador de vantagem leave-one-out para incorporar o feedback humano ao processo de treinamento do modelo.

Para otimizar os modelos em termos de velocidade e eficiência, a Apple empregou várias técnicas:

1. Atenção de Consulta em Grupo: tanto os modelos on-device quanto os baseados em servidor utilizam atenção de consulta em grupo.
2. Tabelas de Incorporação de Vocabulário de Entrada e Saída Compartilhadas: isso reduz os requisitos de memória e os custos de inferência.
3. Paralelização de Bits Baixos: o modelo on-device usa paralelização de bits baixos para atingir os requisitos necessários de memória, energia e desempenho.
4. Estratégia de Configuração Mista de 2 Bits e 4 Bits: essa estratégia, combinada com o uso de adaptadores Lora, mantém a qualidade do modelo enquanto alcança uma média de 3,5 bits por peso.
5. Ferramenta Taria de Análise de Latência e Consumo de Energia do Modelo Interativo: essa ferramenta orienta a seleção da taxa de bits para cada operação.
6. Quantização de Ativação e Incorporação: técnicas adicionais de quantização são empregadas para otimizar os modelos.
7. Atualização Eficiente do Cache Chave-valor: uma abordagem foi desenvolvida para permitir a atualização eficiente do cache chave-valor nos motores neurais.

A Apple utilizou uma série de técnicas inovadoras para otimizar seus modelos generativos tanto para implantação on-device quanto baseada em servidor. O foco tem sido alcançar alta velocidade e eficiência para permitir experiências do usuário perfeitas.

Para inferência on-device, o modelo de linguagem de 3 bilhões de parâmetros usa paralelização de bits baixos, uma técnica de otimização crítica que atinge os requisitos necessários de memória, energia e desempenho. Para manter a qualidade, a Apple desenvolveu uma nova estrutura usando adaptadores Lora que incorpora uma estratégia de configuração mista de 2 bits e 4 bits, com média de 3,5 bits por peso, para atingir a mesma precisão.

Adicionalmente, a Apple inventou uma ferramenta chamada Taria, uma ferramenta interativa de análise de latência e consumo de energia do modelo que melhor orienta a seleção da taxa de bits para cada operação. Eles também utilizaram quantização de ativação, quantização de incorporação e uma abordagem para permitir a atualização eficiente do cache chave-valor em seus motores neurais.

Com essas otimizações, o iPhone 15 Pro pode atingir uma latência de 6 milissegundos até o primeiro token e uma taxa de geração de 30 tokens por segundo, mesmo antes de empregar técnicas de especulação de tokens, que fornecem melhorias adicionais.

Os modelos de base da Apple são refinados para as atividades diárias dos usuários e podem se especializar dinamicamente no momento para a tarefa em questão. Eles utilizam adaptadores - pequenos módulos de rede neural que podem ser plugados em várias camadas do modelo pré-treinado para fazer o fine-tuning dos modelos para tarefas específicas. Ao fazer o fine-tuning apenas das camadas do adaptador, os parâmetros originais do modelo pré-treinado de base permanecem inalterados, preservando o conhecimento geral do modelo, enquanto adaptam as camadas do adaptador para suportar tarefas específicas.

Essa abordagem permite que os modelos de IA da Apple se adaptem e se personalizem às necessidades e preferências do usuário, proporcionando uma experiência do usuário altamente personalizada e eficiente. Os modelos podem se especializar rapidamente em tarefas como resumo, redação, codificação e mais, sem comprometer o conhecimento e as capacidades básicas do modelo de base. Essa adaptação dinâmica é um diferencial-chave da abordagem da Apple, permitindo que sua IA seja profundamente integrada à vida diária do usuário e realize tarefas reais e valiosas em seu nome.

A Apple realizou ampla avaliação e benchmarking de seus modelos de base on-device e baseados em servidor. Eles se concentram na avaliação humana, pois consideram que esses resultados estão altamente correlacionados com a experiência real do usuário.

Para o desempenho específico de recursos, eles comparam seu modelo on-device com o modelo 53 mini da Microsoft. Em tarefas como resumo de e-mails e resumo de notificações, o modelo on-device da Apple alcança pontuações de satisfação humana significativamente mais altas, em torno de 87,5% e 79%, respectivamente, em comparação a 73% e 73% para o 53 mini.

Além da avaliação específica de recursos, a Apple também avalia as capacidades gerais de seus modelos on-device e baseados em servidor. Eles utilizam um conjunto abrangente de prompts do mundo real, abrangendo tarefas como brainstorming, classificação, resposta a perguntas, codificação e mais. Em comparação a modelos como Gemini, Mistral, 53, GPT-3.5 Turbo e GPT-4 Turbo, o modelo on-device da Apple se sai bem, vencendo 62% do Gemini, 46% do Mistral e 43% do 53.

O modelo baseado em servidor da Apple tem um desempenho ainda melhor, perdendo apenas para o modelo GPT-4 Turbo nessa avaliação de capacidade geral.

A abordagem da Apple à inteligência artificial, conforme descrita em seu artigo de pesquisa, é uma visão refrescante e inovadora do campo. Ao se concentrar em construir modelos altamente especializados e personalizados que podem ser executados de forma eficiente em dispositivos, a Apple está pronta para entregar uma experiência do usuário superior em comparação aos modelos mais generalizados e baseados em nuvem de seus concorrentes.

Os principais destaques da estratégia de IA da Apple incluem:

1. Modelos Personalizados: os modelos de base da Apple são refinados para as tarefas diárias dos usuários e podem se adaptar dinamicamente às necessidades específicas de cada usuário, aproveitando a riqueza de dados pessoais disponíveis no ecossistema da Apple.

2. Inferência On-device: o modelo de linguagem on-device de 3 bilhões de parâmetros permite inferência rápida e eficiente, com uma latência de apenas 6 milissegundos por token de prompt e uma taxa de geração de 30 tokens por segundo, tudo isso mantendo um forte foco na privacidade e segurança do usuário.

3. Desenvolvimento Responsável de IA: a Apple claramente dedicou muito pensamento e esforço para garantir que seus modelos de IA sejam desenvolvidos e implantados de forma responsável, com fortes salvaguardas contra uso indevido ou danos potenciais.

4. Técnicas de Otimização: a Apple empregou uma série de técnicas inovadoras de otimização, como paralelização de bits baixos, quantização de ativação e incorporação, e atualizações eficientes do cache chave-valor, para alcançar os requisitos de desempenho e eficiência necessários para seus modelos on-device e baseados em servidor.