Ilia Suk, l'ancien employé d'Open AI qui a tenté de déclencher une mutinerie contre Sam Altman, a lancé une nouvelle entreprise appelée "Safe Super Intelligence Inc." La société est dédiée à la poursuite d'une superintelligence sûre, ce que Suk considère comme le problème technique le plus important de notre époque.

Suk a constitué une équipe d'ingénieurs et de chercheurs expérimentés, dont les cofondateurs Daniel Gross et Daniel Levy, pour travailler vers cet objectif. La mission de l'entreprise est de faire progresser les capacités le plus rapidement possible tout en veillant à ce que la sécurité reste une priorité, contrairement aux préoccupations de Suk concernant les priorités d'Open AI.

Safe Super Intelligence Inc. adopte une approche "en ligne droite", avec un seul focus et un seul produit. L'entreprise est basée aux États-Unis avec des bureaux à Palo Alto et Tel Aviv, ce qui lui permet de recruter les meilleurs talents techniques. Suk souligne que le modèle d'affaires, les investisseurs et l'ensemble de la feuille de route produit de l'entreprise sont alignés pour atteindre une superintelligence sûre, sans les distractions de la gestion ou des cycles de produits.

Elon Musk et Tesla construisent une ferme de serveurs absolument massive avec l'aide de Dell et Nvidia. Cette ferme de serveurs est conçue pour alimenter de grands modèles de langage et des systèmes d'IA.

Le projet a été évoqué pour la première fois il y a quelques mois, avec une photo montrant l'échelle du système de refroidissement nécessaire pour cette entreprise colossale. Hier, Michael Dell, le fondateur de Dell, a confirmé qu'ils "construisent une usine d'IA Dell avec Nvidia pour alimenter GPT pour XAI".

La ferme de serveurs est située au Texas, où le climat chaud nécessite un système de refroidissement robuste. Les photos montrent l'immense taille des ventilateurs installés pour garder les serveurs au frais.

Cette collaboration entre Elon Musk, Michael Dell et Nvidia met en évidence les investissements et les infrastructures importants nécessaires pour soutenir le développement de systèmes d'IA avancés. En construisant cette ferme de serveurs massive, ils se positionnent pour alimenter la prochaine génération de modèles de langage et d'applications d'IA.

Le document de recherche publié récemment semble introduire une mise en œuvre d'une technique similaire à Q*, un puissant algorithme qui combine la recherche arborescente de Monte-Carlo et l'apprentissage profond. Cette approche permet aux agents d'apprendre la prise de décision et le raisonnement par un processus d'essai et d'erreur, à l'instar de l'apprentissage humain.

L'innovation clé est l'utilisation de la recherche arborescente de Monte-Carlo (MCTS) et de l'auto-raffinement, ce qui permet au modèle de planifier, d'essayer différentes options et d'apprendre de ses erreurs. Il s'agit d'une avancée significative par rapport aux modèles de langage traditionnels qui se basent uniquement sur la prédiction du mot suivant.

Les résultats sont impressionnants, avec un modèle atteignant 96,66% de précision sur un benchmark mathématique, surpassant même de grands modèles de langage comme GPT-4 et Gemini, tout en utilisant 200 fois moins de paramètres. Cela démontre la puissance de la combinaison de la planification, du raisonnement et de l'apprentissage dans un seul cadre.

La capacité de planifier, d'expérimenter et d'affiner son approche est une étape cruciale vers une intelligence plus générale. Alors que nous continuons à voir des percées dans des domaines comme celui-ci, le chemin vers l'intelligence artificielle générale (AGI) devient de plus en plus tangible.

Meta AI a récemment publié plusieurs nouveaux modèles et technologies passionnants :

1. Meta Chameleon : Un modèle de langage de 7 milliards et 34 milliards de paramètres qui prend en charge les entrées multimodales et le texte en sortie. Ce modèle peut gérer nativement les entrées multimodales, contrairement aux modèles open source précédents qui nécessitaient des ajouts. Il n'est actuellement disponible que sous licence de recherche, mais cette technologie représente une étape importante dans les capacités de l'IA multimodale.

2. Prédiction multi-jetons : Meta a proposé une nouvelle approche de la modélisation du langage qui prédit plusieurs mots futurs à la fois, plutôt que la méthode traditionnelle d'un seul mot à la fois. Cela améliore les capacités du modèle et l'efficacité de l'entraînement, tout en permettant des vitesses plus rapides. Meta publie des modèles pré-entraînés pour la complétion de code sous une licence de recherche non commerciale.

3. Modèles génératifs de texte vers musique : Meta a développé des modèles capables de générer de la musique à partir d'entrées textuelles, avec divers paramètres de conditionnement pour une plus grande contrôlabilité. Le modèle pré-entraîné et le code d'inférence seront publiés plus tard ce mois-ci sous licence MIT, permettant aux chercheurs d'explorer cette nouvelle capacité passionnante.

Ces publications démontrent les progrès continus de Meta dans l'IA multimodale, la modélisation du langage et les capacités génératrices. L'open-sourcing de ces modèles et technologies permettra de poursuivre la recherche et le développement dans ces domaines, stimulant les progrès de l'intelligence artificielle.

Anthropic vient de publier une nouvelle version de son modèle de langage Claude, appelée Claude 3.5 Sonet. Selon l'annonce, il s'agit de leur "modèle le plus intelligent à ce jour" et de la première version de leur famille de modèles 3.5.

Les principales caractéristiques de Claude 3.5 Sonet incluent :

• Il surpasse les modèles concurrents sur des évaluations clés, notamment GSM 8K (96,4%), le raisonnement de niveau universitaire (60%) et le code (92%) - le tout à une vitesse deux fois supérieure à celle de Claude 3 et Opus, et à un coût dix fois moindre.

• Il dépasse Claude 3 Opus sur tous les benchmarks standard de vision, en faisant le modèle de vision le plus performant d'Anthropic à ce jour.

• Il introduit une nouvelle fonctionnalité appelée "Artifacts", qui permet aux utilisateurs de demander à Claude de générer des documents, du code, des diagrammes, des graphiques vectoriels et même de simples jeux.

La sortie de Claude 3.5 Sonet démontre les progrès continus d'Anthropic dans le développement de modèles de langage hautement capables et efficaces. Les améliorations de performances sur une gamme de benchmarks, ainsi que la nouvelle fonctionnalité Artifacts, font de cette mise à jour une étape importante pour la famille de modèles Claude.

Le prix Arc est une compétition publique d'un million de dollars pour développer une solution capable de battre l'Abstraction and Reasoning Corpus (ARC), considéré comme le seul benchmark formel pour l'intelligence artificielle générale (AGI).

Les points clés de cette compétition sont :

• Le benchmark ARC mesure l'intelligence générale, et non pas seulement des compétences spécifiques. Il teste la capacité à acquérir efficacement de nouvelles compétences, qui est la marque de l'intelligence véritable.

• Bien que les modèles d'IA existants aient pu surpasser rapidement d'autres benchmarks, le benchmark ARC reste un défi important, avec l'implémentation actuelle la plus performante n'atteignant que 38% de réussite.

• La compétition est organisée par Mike Mirzayanov, François Chollet et Greg Brockman, dans le but de stimuler les progrès vers l'objectif insaisissable de l'AGI.

• Un prix de 1 million de dollars sera attribué à la première personne ou équipe qui développera un système d'IA capable de résoudre le benchmark ARC.

Cette compétition représente une opportunité passionnante pour la communauté de recherche en IA de repousser les limites de ce qui est possible et de faire un pas significatif vers la réalisation de l'intelligence artificielle générale. Le défi est formidable, mais la récompense potentielle d'un prix d'un million de dollars et la chance d'être un pionnier dans ce domaine attireront sûrement les meilleurs esprits de l'industrie.