Meta vise à développer le modèle d'IA le plus avancé de l'industrie d'ici 2025. Ils prévoient d'entraîner leur prochain modèle Llama 4 sur 10 fois plus de données que Llama 3, qu'ils affirment être déjà compétitif avec les modèles les plus avancés.

Zuckerberg a déclaré que Meta préférerait construire trop de capacité de calcul que pas assez, car ils se préparent pour la capacité de calcul et les données nécessaires pour les prochaines années. La quantité de calcul nécessaire pour entraîner Llama 4 sera probablement près de 10 fois plus que ce qui a été utilisé pour Llama 3, et les modèles futurs continueront à se développer au-delà de cela.

Selon Adam D'Angelo, le PDG de Quora et administrateur d'OpenAI, l'intelligence artificielle générale (AGI) pourrait être atteinte dans les 5 à 15 prochaines années. D'Angelo a fait cette prédiction lors d'un événement récent, affirmant que l'avènement de l'AGI sera un changement très important pour le monde.

OpenAI, la société derrière le populaire modèle de langage GPT, a développé en interne un nouveau système de classification à cinq niveaux pour suivre ses progrès vers la construction de l'AGI. Les trois premiers niveaux comprennent :

1. Les chatbots avec des capacités de langage conversationnel.
2. Les raisonneurs et les systèmes avec des compétences de résolution de problèmes au niveau humain.
3. Les agents et les systèmes qui peuvent prendre des mesures.

Le nouveau modèle expérimental de Google, Gemini Pro 0801, a été testé dans l'arène des chatbots au cours de la semaine dernière, recueillant plus de 20 000 votes de la communauté. Pour la première fois, Gemini a revendiqué la première place, dépassant GPT-4 et CLAUDE 3.5 avec un score impressionnant de 1 300 et a également atteint la première place du classement des visions.

Gemini Pro excelle dans les tâches multilingues et offre des performances robustes dans les domaines techniques, les prompts difficiles et la programmation. Il s'agit d'une réalisation importante, car Gemini 1.5 Pro a réussi à surpasser les modèles très performants GPT-4 et CLAUDE 3.5.

Nvidia travaille à simplifier et accélérer le développement de robots humanoïdes avec son initiative Project Roo. La société introduit un ensemble d'outils pour les développeurs de l'écosystème des robots humanoïdes afin de construire leurs modèles d'IA de manière plus efficace.

Les principaux éléments de l'approche de Nvidia comprennent :

1. Pipeline de génération de données synthétiques : Nvidia commence par des démonstrations collectées auprès d'humains à l'aide de dispositifs de réalité mixte comme l'Apple Vision Pro. Ils multiplient ensuite ces données par mille ou plus en utilisant les outils de simulation de Nvidia comme Omniverse, RoboSuite et MimicGen.

2. Infrastructure de calcul distribuée : Nvidia exploite ses plateformes de calcul DGX, OVX et Jetson Thor pour alimenter le flux de développement. Le DGX gère le traitement des vidéos et des textes pour entraîner le modèle de base multimodal, l'OVX exécute la pile de simulation et le Jetson Thor est utilisé pour tester le modèle sur de vrais robots.

Les chercheurs de l'ICML 2024 ont présenté une nouvelle technique d'ingénierie d'invites appelée "Plan Like a Graph" qui peut améliorer de manière significative les performances des modèles de langage sur les tâches complexes à plusieurs étapes.

L'idée clé derrière cette technique est que les modèles de langage actuels ont du mal avec la planification asynchrone - la capacité de paralléliser certaines sous-tâches tout en les exécutant de manière séquentielle. Pour y remédier, la méthode "Plan Like a Graph" invite le modèle à générer d'abord une représentation graphique de la tâche, capturant les dépendances entre les sous-tâches. Le modèle peut ensuite utiliser ce graphique pour concevoir un plan optimal pour accomplir la tâche dans son ensemble.