Ces dernières années ont été marquées par des progrès remarquables dans le domaine de l'IA robotique, avec des percées significatives tant dans l'intelligence physique que cognitive. Ces développements nous ont rapprochés de la réalisation de systèmes robotiques véritablement intelligents et adaptables.

L'un des domaines clés des progrès a été celui de l'intelligence physique, qui englobe la capacité du robot à effectuer des manipulations habiles, à maintenir son équilibre et à naviguer dans des environnements dynamiques. L'introduction de techniques d'apprentissage par renforcement multimodal, comme MT-Opt, a permis aux robots d'apprendre et d'exécuter plusieurs tâches en tirant parti de principes d'apprentissage partagés, rendant le processus de formation plus efficace et aboutissant à des robots capables de s'adapter à une variété de tâches dans des environnements en évolution.

De plus, l'avènement d'architectures à base de transformeurs, comme RT1 et RT2, a été un véritable tournant. Ces modèles ont transformé la façon dont les robots comprennent et interagissent avec le monde, comblant le fossé entre leur perception et les instructions basées sur le langage qu'ils reçoivent. En alignant le contrôle robotique avec les capacités linguistiques, ces modèles ont permis aux robots d'interpréter des commandes complexes, d'effectuer un raisonnement sémantique et de généraliser leurs compétences à de nouveaux environnements inédits.

La disponibilité de jeux de données de formation robotique à grande échelle, comme le jeu de données d'incarnation OpenX, a encore accéléré les progrès de l'IA robotique. Ces ensembles de données diversifiés, couvrant une large gamme d'incarnations et de compétences robotiques, ont permis le développement de systèmes robotiques plus robustes et polyvalents.

Le paradigme de passage des robots spécialistes aux robots généralistes a été principalement motivé par les progrès des transformeurs et des modèles de langage à grande échelle. Par le passé, les robots étaient de grands spécialistes, mais de piètres généralistes, car ils nécessitaient l'entraînement d'un modèle distinct pour chaque tâche et environnement. Cependant, cette approche est inefficace et peu pratique, car l'environnement réel est toujours dynamique et en constante évolution.

Le développement d'agents IA, comme le document de recherche "Voyer", qui a démontré de puissantes capacités de prise de décision et de planification dans le monde numérique de Minecraft, a montré le potentiel de transférer les capacités cognitives aux agents IA physiques. Des entreprises comme Boston Dynamics ont déjà commencé à équiper leurs chiens robots, comme Spot, de modèles de langage à grande échelle pour améliorer leurs capacités cognitives et offrir de nouvelles expériences aux utilisateurs finaux.

La percée dans le contrôle robotique a également été importante. L'introduction de MT-OPT, un changement de paradigme de l'apprentissage mono-tâche à l'apprentissage multi-tâches, a permis à un seul robot d'apprendre et d'exécuter plusieurs tâches en tirant parti de principes d'apprentissage partagés. Cela a non seulement rendu la formation plus efficace en termes de données et de temps, mais a également abouti à des robots capables de s'adapter à une variété de tâches dans des environnements dynamiques.

Ces dernières années ont connu des percées significatives dans le domaine du contrôle robotique et de l'apprentissage multi-tâches. L'une des principales évolutions est l'introduction du cadre MT-OP (apprentissage par renforcement robotique multi-tâches), qui permet à un seul robot d'apprendre et d'exécuter plusieurs tâches en tirant parti de principes d'apprentissage partagés. Cela représente un changement de paradigme par rapport à l'état de l'art précédent, où les robots devaient être formés à partir de zéro pour chaque nouvelle tâche.

Le cadre MT-OP permet aux robots d'appliquer les connaissances d'une tâche à une autre, à l'instar d'un chef utilisant ses compétences de pâtisserie pour également faire du pain. Cet apprentissage partagé non seulement rend le processus de formation plus efficace en termes de données et de temps, mais il aboutit également à des robots capables de s'adapter à une variété de tâches dans des environnements dynamiques.

S'appuyant sur cela, l'introduction de RT1 (Robotic Transformer 1) en décembre 2022 a marqué une avancée significative dans l'apprentissage robotique. RT1 adopte une architecture de transformeur, prenant en compte à la fois les entrées (images de caméra, instructions de tâche) et les sorties (commandes motrices) et les transformant en un langage que l'IA robotique peut comprendre. Cela permet aux robots non seulement d'effectuer les tâches sur lesquelles ils ont été directement formés, mais aussi de généraliser et d'exécuter des tâches qu'ils n'ont jamais vues auparavant, à l'instar d'un humain lisant un livre de recettes et cuisinant un plat qu'il n'a jamais fait.

Ces dernières années ont été marquées par une véritable explosion du développement des modèles de langage à grande échelle, qui ont révolutionné le domaine de l'intelligence artificielle. Ces modèles puissants ont non seulement démontré leur maîtrise du traitement du langage naturel, mais ont également commencé à faire des progrès significatifs dans le domaine de la robotique.

L'une des principales percées a été l'émergence de modèles comme GPT-4V, qui peuvent s'intégrer de manière transparente aux systèmes robotiques traditionnels, leur permettant de comprendre et d'exécuter des commandes complexes. Cette intégration de la compréhension du langage avec les capacités physiques a été un véritable tournant, ouvrant la voie à une nouvelle ère d'agents robotiques polyvalents et adaptables.

De plus, le développement d'algorithmes capables de combler le fossé entre les processus cognitifs de "Système 1" et de "Système 2" a été une étape cruciale vers un contrôle robotique plus robuste et intelligent. Ces progrès ont permis aux robots non seulement d'exécuter des tâches spécifiques, mais aussi de s'engager dans un raisonnement et une prise de décision de haut niveau, les rendant plus capables de naviguer dans des environnements dynamiques et de s'adapter à l'évolution des circonstances.

Le développement des transformeurs et des modèles de langage à grande échelle a entraîné des progrès significatifs à la fois dans l'intelligence cognitive et dans l'intelligence physique de niveau intermédiaire pour la robotique. Cependant, un domaine qui a souvent été en retrait est la maîtrise des compétences de dextérité de bas niveau, comme les manipulations complexes des mains.

Ce défi est connu sous le nom de paradoxe de Moravec, un concept introduit il y a 30 ans par le scientifique en robotique H. Moravec. Le paradoxe suggère qu'il est relativement facile pour les ordinateurs d'atteindre des performances au niveau adulte sur des tâches intelligentes, comme jouer aux échecs, mais beaucoup plus difficile de reproduire les compétences d'un enfant d'un an en perception et en mobilité.

La théorie derrière ce paradoxe est que les problèmes faciles, comme la marche, la course et la manipulation manuelle, ont été développés par les humains au fil de centaines de milliers d'années et sont devenus profondément intuitifs. Traduire ces compétences dans des ordinateurs s'est avéré être un défi important.

Cependant, les récentes avancées de la recherche ont montré le potentiel des modèles de langage à grande échelle, comme GPT-4, pour surmonter ce paradoxe. En utilisant ces modèles pour concevoir des fonctions de récompense pour l'apprentissage par renforcement, les robots ont pu s'entraîner et développer des compétences de dextérité de bas niveau à un niveau surhumain.

Les dernières années ont été marquées par des progrès remarquables dans le domaine de la robotique, portés par les avancées rapides des modèles de langage à grande échelle et des transformeurs. Ces percées ont ouvert la voie à un avenir où les robots pourront non seulement effectuer des tâches spécialisées, mais aussi s'adapter à des environnements dynamiques et généraliser leurs compétences.

L'un des développements clés a été l'introduction de l'apprentissage par renforcement robotique multi-tâches (MT-OP), qui permet à un seul robot d'apprendre et d'exécuter plusieurs tâches en tirant parti de principes d'apprentissage partagés. Cette approche a rendu le processus de formation plus efficace et a abouti à des robots capables de s'adapter à une variété de tâches dans des environnements dynamiques.

S'appuyant sur cela, l'introduction récente de RT1 et RT2 par Google a été un véritable tournant. Ces modèles ont transformé la façon dont les robots comprennent et interagissent avec le monde, intégrant leurs actions aux modèles de langage pour atteindre des niveaux remarquables de généralisation. RT2, en particulier, a démontré un bond de performance significatif, avec un taux de réussite de 62% dans les applications réelles, une amélioration remarquable par rapport au modèle RT1 précédent.