Apple ha desarrollado un conjunto de modelos de IA generativa altamente capaces que están profundamente integrados en sus ecosistemas de iOS, iPadOS y macOS. Estos modelos están diseñados para abordar las tareas cotidianas de los usuarios y proporcionar inteligencia personalizada adaptada a las necesidades individuales.

La base de los esfuerzos de IA de Apple es un modelo de lenguaje in situ de 3 mil millones de parámetros que puede ejecutarse directamente en los dispositivos de Apple, aprovechando el poder de los chips Apple Silicon para una inferencia rápida y eficiente. Este modelo se complementa con un modelo de lenguaje más grande basado en servidores que puede manejar tareas más complejas cuando sea necesario, ejecutándose en la infraestructura de la nube privada de Apple.

Estos modelos se han ajustado con precisión para una variedad de experiencias de usuario, incluyendo la escritura y el refinamiento de texto, la priorización y el resumen de notificaciones, la creación de imágenes lúdicas para conversaciones y, lo más importante, la habilitación de acciones dentro de la aplicación para simplificar las interacciones a través de las aplicaciones.

El enfoque de Apple hacia el desarrollo responsable de IA se centra en cuatro principios clave:

1. Empoderar a los usuarios con herramientas inteligentes: Apple identifica áreas donde la IA se puede utilizar de manera responsable para crear herramientas que aborden necesidades específicas de los usuarios. Su enfoque se centra en construir productos profundamente personales que representen a los usuarios de manera auténtica y eviten perpetuar estereotipos o sesgos.

2. Diseñar con cuidado: Apple toma precauciones en cada etapa del proceso, incluido el diseño, el entrenamiento de modelos, el desarrollo de funciones y la evaluación de calidad, para identificar posibles usos indebidos o daños. Mejoran continuamente sus herramientas de IA en función de los comentarios de los usuarios.

3. Proteger la privacidad: Apple protege la privacidad de los usuarios a través del procesamiento in situ y su infraestructura de computación en la nube privada. No utilizan datos personales ni interacciones de los usuarios para entrenar sus modelos de base.

4. Representar a nuestros usuarios: Apple trabaja continuamente para evitar perpetuar estereotipos y sesgos sistémicos en sus herramientas y modelos de IA, con el objetivo de representar a los usuarios de todo el mundo de manera auténtica.

Los modelos de base de Apple se entrenan utilizando una combinación de datos con licencia y datos públicamente disponibles recopilados por su rastreador web, el Apple Bot. Han implementado varias medidas para garantizar la calidad y la seguridad de los datos de entrenamiento:

1. Filtrado de datos: Aplican filtros para eliminar información de identificación personal, palabras malsonantes y otro contenido de baja calidad de los datos públicamente disponibles.
2. Extracción y deduplicación de datos: Realizan extracción de datos, deduplicación y aplicación de clasificadores basados en modelos para identificar documentos de alta calidad.
3. Estrategia de datos híbrida: Utilizan una estrategia de datos híbrida, incorporando datos anotados por humanos y datos sintéticos en su pipeline de entrenamiento.
4. Curaduría y filtrado exhaustivo de datos: Realizan una curaduría y filtrado exhaustivo de datos para garantizar datos de entrenamiento de alta calidad.

Apple ha utilizado una variedad de técnicas innovadoras para optimizar sus modelos generativos tanto para la implementación in situ como basada en servidores. El enfoque se ha centrado en lograr una alta velocidad y eficiencia para permitir experiencias de usuario fluidas.

Para la inferencia in situ, el modelo de lenguaje de 3 mil millones de parámetros utiliza paralelización de bits bajos, una técnica de optimización crítica que logra los requisitos de memoria, energía y rendimiento necesarios. Para mantener la calidad, Apple desarrolló un nuevo marco utilizando adaptadores Lora que incorpora una estrategia de configuración mixta de 2 bits y 4 bits, con un promedio de 3.5 bits por peso para lograr la misma precisión.

Además, Apple inventó una herramienta llamada Taria, una herramienta interactiva de análisis de latencia y consumo de energía del modelo que guía mejor la selección de la tasa de bits para cada operación. También utilizaron cuantificación de activación, cuantificación de incrustación y un enfoque para permitir una actualización eficiente de la caché clave-valor en sus motores neuronales.

Los modelos de base de Apple se ajustan con precisión para las actividades cotidianas de los usuarios y pueden especializarse dinámicamente sobre la marcha para la tarea en cuestión. Utilizan adaptadores, que son pequeños módulos de redes neuronales que se pueden enchufar en varias capas del modelo pre-entrenado para ajustar los modelos para tareas específicas. Al ajustar solo las capas del adaptador, los parámetros originales del modelo base pre-entrenado permanecen sin cambios, preservando el conocimiento general del modelo mientras se adaptan las capas del adaptador para admitir tareas específicas.

Este enfoque permite que los modelos de IA de Apple se adapten y se personalicen a las necesidades y preferencias del usuario, proporcionando una experiencia de usuario altamente personalizada y eficiente. Los modelos pueden especializarse rápidamente en tareas como resumen, escritura, codificación y más, sin comprometer los conocimientos y capacidades básicos del modelo base. Esta adaptación dinámica es un diferenciador clave del enfoque de Apple, lo que permite que su IA se integre profundamente en la vida diaria del usuario y realice tareas reales y valiosas en su nombre.

Apple ha realizado una extensa evaluación y benchmarking de sus modelos de base in situ y basados en servidores. Se enfocan en la evaluación humana, ya que encuentran que estos resultados se correlacionan altamente con la experiencia real del usuario.

Para el rendimiento específico de las funciones, comparan su modelo in situ con el modelo mini 53 de Microsoft. En tareas como el resumen de correos electrónicos y el resumen de notificaciones, el modelo in situ de Apple logra puntajes de satisfacción humana significativamente más altos, alrededor del 87.5% y el 79% respectivamente, en comparación con el 73% y el 73% para el 53 mini.

Además de la evaluación específica de funciones, Apple también evalúa las capacidades generales de sus modelos in situ y basados en servidores. Utilizan un conjunto integral de indicaciones del mundo real que cubren tareas como lluvia de ideas, clasificación, respuesta a preguntas, codificación y más. En comparación con modelos como Gemini, Mistral, 53, GPT-3.5 Turbo y GPT-4 Turbo, el modelo in situ de Apple se desempeña bien, ganando contra el 62% de Gemini, el 46% de Mistral y el 43% de 53.

El modelo basado en servidores de Apple se desempeña aún mejor, perdiendo solo contra el modelo GPT-4 Turbo en esta evaluación de capacidades generales.