Le rapport de l'indice IA 2024 souligne que l'industrie continue de mener la recherche de pointe en IA. En 2023, l'industrie a produit 51 modèles d'apprentissage automatique remarquables, tandis que le milieu universitaire n'en a contribué que 15. De plus, il y a eu 21 modèles remarquables résultant de collaborations entre l'industrie et le milieu universitaire, atteignant un nouveau record.

Cette tendance de l'industrie à dominer la recherche de pointe en IA continue d'augmenter. Le rapport soulève la question de savoir si le gouvernement devrait s'impliquer davantage dans les projets d'IA, car le rôle de premier plan du secteur privé pourrait créer un déséquilibre de pouvoir préoccupant à l'avenir.

En outre, le rapport note que le nombre de modèles de base publiés en 2023 a doublé par rapport à 2022, avec 65 % de ces nouveaux modèles publiés étant open source, contre 44 % en 2022 et 33 % en 2021. Cela suggère une tendance croissante vers l'IA open source, même si les modèles limités de pointe comme GPT-4 et ses successeurs restent fermés.

Le rapport fournit également des estimations des coûts de formation de ces modèles, avec GPT-4 estimé à 78 millions de dollars et Gemini Ultra à 191 millions de dollars, soulignant les investissements importants nécessaires pour développer ces systèmes d'IA avancés.

Dans l'ensemble, le rapport brosse un tableau de la poursuite du leadership de l'industrie dans la recherche de pointe en IA, avec des modèles open source gagnant du terrain, et du besoin potentiel d'une plus grande implication gouvernementale pour répondre aux préoccupations concernant les déséquilibres de pouvoir dans le paysage de l'IA.

Le rapport de l'indice IA 2024 met en lumière la prédominance croissante des modèles d'IA open source. Quelques points clés :

• En 2023, 65 % des 149 nouveaux modèles de base publiés étaient open source, contre 44 % en 2022 et 33 % en 2021. Cela montre une tendance claire vers un développement d'IA plus open source.

• Le nombre de projets liés à l'IA sur GitHub a connu une forte augmentation de 59,3 % en 2023, passant de 4 millions en 2022 à 12,2 millions en 2023. Cette explosion de l'activité open source a été alimentée par la sortie de ChatGPT fin 2022.

• Bien que les modèles fermés comme GPT-4 et Gemini Ultra restent dominants dans certains benchmarks, le rapport note que les systèmes open source rattrapent de plus en plus leur retard et dominent le paysage de l'IA.

• Cette montée de l'IA open source est considérée comme une tendance positive, favorisant la transparence et l'accessibilité. Cependant, des préoccupations subsistent quant aux risques potentiels de modèles open source puissants tombant entre de mauvaises mains.

• Les régulateurs devront probablement relever le défi d'équilibrer les avantages de l'innovation ouverte avec la nécessité d'atténuer les abus et d'assurer un développement responsable de ces technologies transformatrices.

En résumé, l'indice IA 2024 met en évidence la croissance remarquable de l'IA open source, qui redéfinit le paysage et remet en cause la domination des modèles fermés. Cette tendance sera probablement un domaine d'intérêt clé pour la communauté de l'IA dans les années à venir.

Ce chapitre examine les performances des systèmes d'IA dans une variété de benchmarks par rapport aux capacités humaines. Les données montrent une tendance de plus en plus impressionnante, avec l'IA dépassant les performances humaines sur plusieurs tâches :

• L'IA a dépassé les performances humaines sur des benchmarks tels que la classification d'images, le raisonnement visuel et la compréhension de l'anglais.
• Cependant, l'IA reste derrière les humains sur des tâches plus complexes comme les mathématiques de niveau compétitif, le raisonnement de bon sens visuel et la planification.

La tendance à travers ces benchmarks indique que d'ici 2023 et au-delà, l'IA comble rapidement l'écart et dépasse même la référence humaine dans de nombreux domaines. Quelques points clés :

• La référence humaine est dépassée dans des domaines comme la classification d'images et la compréhension du langage naturel.
• Bien que l'IA soit à la traîne dans des domaines comme les mathématiques et la compréhension de lecture, l'écart de performance se rétrécit rapidement.
• Des benchmarks comme le test Multitask Language Understanding (MMLU) montrent que les capacités de l'IA se rapprochent rapidement du niveau humain.

Ces données suggèrent que d'ici la fin de 2024, les systèmes d'IA pourraient atteindre une quasi-parité avec les humains dans un large éventail de tâches cognitives. Les progrès continus des modèles de langage de grande taille comme GPT-4 devraient entraîner d'autres percées dans les performances de l'IA. À mesure que ces capacités se développent, il sera essentiel de surveiller à la fois les progrès et les limites des systèmes d'IA par rapport aux capacités humaines.

Traditionnellement, les systèmes d'IA ont été limités dans leur portée, les modèles de langage excellant dans la compréhension du texte mais peinant dans le traitement des images, et vice versa. Cependant, les progrès récents ont conduit au développement de modèles multimodaux puissants comme Gemini de Google et GPT-4 d'OpenAI.

Ces modèles démontrent une flexibilité remarquable et sont capables de traiter à la fois les images et le texte. En fait, Gemini 1.5 Pro peut même traiter l'audio. La référence pour les capacités de l'IA multimodale a continué d'augmenter, atteignant 94,04 % en 2023, contre 89,8 % pour la référence humaine.

Cet avancement de l'IA multimodale a incité les chercheurs à développer des benchmarks plus exigeants, tels que le banc SWE pour la programmation, Heim pour la génération d'images, MMU pour le raisonnement général et Mocker pour le raisonnement moral. Ces nouveaux benchmarks visent à repousser les limites des capacités de l'IA et à découvrir ses limites.

Bien que les modèles d'IA aient atteint une saturation des performances sur les benchmarks établis comme IMAC, SNAP et SuperGLUE, l'émergence de ces évaluations plus complexes et exigeantes continuera de défier les chercheurs et les développeurs. La capacité de raisonner, de comprendre et d'interagir à travers plusieurs modalités est une étape cruciale vers des systèmes d'IA plus polyvalents et capables.

À mesure que le domaine de l'IA multimodale progresse, nous pouvons nous attendre à voir encore plus d'avancées impressionnantes dans les années à venir, les agents d'IA devenant de plus en plus compétents pour naviguer et comprendre la nature diverse et interconnectée du monde réel.

Le rapport de l'indice IA met en évidence les progrès rapides dans les benchmarks d'IA spécialisés au-delà des tâches traditionnelles de langage et de vision. Alors que les systèmes d'IA continuent d'avancer, les chercheurs ont développé des benchmarks plus exigeants et nuancés pour évaluer leurs capacités.

Parmi les principaux développements dans ce domaine, on peut citer :

1. Benchmarks de programmation : L'introduction du SWE Bench, un nouveau benchmark pour évaluer les capacités de programmation des modèles d'IA. Ce benchmark a suscité la controverse, certains affirmant que les résultats de la démonstration n'étaient pas entièrement authentiques. Cependant, de nombreux projets open source ont montré des performances impressionnantes sur cette tâche difficile.

2. Benchmarks de raisonnement : Des benchmarks comme HEIM pour le raisonnement sur les images, MMU pour le raisonnement général et MOCKER pour le raisonnement moral ont émergé pour repousser les limites des capacités de raisonnement de l'IA. Bien que les modèles actuels restent derrière les humains dans ces domaines, le rapport suggère que des percées dans le raisonnement pourraient être à l'horizon, potentiellement avec la sortie de GPT-5 et d'autres modèles avancés.

3. Benchmarks basés sur les agents : L'Agent Bench, qui évalue les performances des agents autonomes dans divers environnements, a montré des améliorations constantes. Les agents d'IA peuvent maintenant maîtriser des jeux complexes comme Minecraft et s'attaquer à des tâches du monde réel comme l'assistance aux achats et à la recherche de manière plus efficace.

4. Benchmarks de génération de musique : L'évaluation des modèles de génération de musique sur des benchmarks comme MusicCaps a démontré les progrès de l'IA dans sa capacité à produire de la musique de haute qualité. Le rapport note que l'écart entre les modèles fermés et open source dans ce domaine reste important, suggérant que les capacités les plus avancées de génération de musique se trouvent encore principalement dans les systèmes propriétaires.

5. Benchmarks multimodaux : Le rapport souligne l'essor de puissants modèles d'IA multimodaux, comme Gemini de Google et GPT-4 d'OpenAI, qui peuvent manipuler une combinaison de texte, d'images et même d'audio. Ces modèles ont atteint la parité de performance avec les humains sur les benchmarks multimodaux établis, indiquant une étape importante dans ce domaine.

À mesure que ces benchmarks spécialisés continuent d'évoluer, ils fourniront une compréhension plus nuancée et complète des capacités et des limites des systèmes d'IA modernes. Le rapport suggère que la capacité de raisonner, de planifier et d'interagir avec le monde de manière plus complexe sera un élément clé des futurs progrès de l'IA.

L'une des principales tendances soulignées dans le rapport est l'accent croissant mis sur l'évaluation humaine des modèles de langage. Le rapport note que l'arène des chatbots LMS, qui utilise des tests en aveugle A/B et des évaluations humaines pour évaluer les performances de différents modèles, devient un benchmark de plus en plus important.

Le rapport indique que cette approche d'évaluation humaine est précieuse car elle évalue les performances globales des modèles et l'expérience utilisateur, plutôt que de se fier uniquement à des scores de test spécifiques. Le rapport suggère que certains des benchmarks traditionnels ont pu faire face à des problèmes de contamination ou d'erreurs, rendant l'approche d'évaluation humaine plus fiable.

Plus précisément, le rapport note que dans l'arène des chatbots LMS, GPT-4 Turbo est actuellement en tête, même après la sortie de Claude 3. Cela indique que les utilisateurs humains trouvent GPT-4 Turbo plus efficace et souhaitable, malgré les améliorations potentielles d'autres modèles.

Le rapport soutient que cette approche d'évaluation humaine devrait être utilisée plus largement, car elle fournit une évaluation plus holistique des capacités des modèles de langage. À mesure que les modèles deviennent de plus en plus sophistiqués, la capacité d'interagir avec eux et de les évaluer du point de vue de l'utilisateur devient cruciale pour comprendre leurs performances et leur impact dans le monde réel.

Dans l'ensemble, l'importance croissante de l'évaluation humaine met en évidence la nécessité de prendre en compte l'expérience utilisateur et les applications pratiques des modèles de langage, plutôt que de se concentrer uniquement sur les benchmarks techniques. Ce changement reflète la maturité grandissante et l'impact sociétal de ces systèmes d'IA, ainsi que la nécessité de s'assurer qu'ils répondent aux besoins et aux attentes des utilisateurs humains.

La fusion de la modélisation du langage avec la robotique a donné naissance à des systèmes de robotique plus flexibles comme PaLM-E et RT2. Au-delà de leurs capacités robotiques améliorées, ces modèles peuvent poser des questions, ce qui marque une étape importante vers des robots capables d'interagir plus efficacement avec le monde réel.

L'évolution de ces modèles accroît leurs capacités, et la robotique est un défi plus difficile que l'IA traditionnelle. Cependant, il y aura des percées qui se compléteront, conduisant à des robots plus efficaces à l'avenir. Nous voyons déjà des démonstrations impressionnantes, comme les mouvements fluides et harmonieux du robot Figure One, qui ont été réalisés à 100 % par un réseau neuronal, montrant des progrès rapides dans ce domaine.

Sur le Agent Bench, qui évalue les systèmes d'agents autonomes dans huit environnements, le score global est en augmentation. Créer des systèmes d'agents d'IA capables d'opérer de manière autonome dans des environnements spécifiques a longtemps été un défi, mais les recherches émergentes suggèrent que les performances des agents autonomes s'améliorent. Les agents actuels peuvent maintenant maîtriser des jeux complexes comme Minecraft et s'attaquer efficacement à des tâches du monde réel comme les achats et l'assistance à la recherche.

Le document met en évidence les améliorations de performances de Voyager, un système Nvidia, dans Minecraft, qui a utilisé GPT-4 pour accroître les capacités de raisonnement de l'agent et lui permettre d'apprendre, d'explorer et de planifier dans des mondes ouverts. Cela démontre le potentiel d'utiliser des systèmes plus puissants à l'avenir pour ce type de tâches d'agents autonomes.

Le rapport met en évidence plusieurs tendances clés dans le développement de la génération de musique alimentée par l'IA :

1. Amélioration des performances sur les benchmarks musicaux : L'évaluation des modèles de génération de musique sur des benchmarks établis comme MusicCaps montre que les systèmes d'IA s'améliorent de manière constante dans leur capacité à générer de la musique de haute qualité. Les mod