Последние несколько лет стали свидетелями выдающихся достижений в области робототехнического искусственного интеллекта, с существенными прорывами как в физическом, так и в когнитивном интеллекте. Эти разработки приблизили нас к реализации по-настоящему интеллектуальных и адаптируемых робототехнических систем.

Одной из ключевых областей прогресса стала физическая интеллектуальность, которая включает в себя способность робота выполнять ловкие манипуляции, сохранять равновесие и перемещаться в динамических средах. Внедрение методов многозадачного подкрепляющего обучения, таких как MT-Opt, позволило роботам обучаться и выполнять множество задач, используя общие принципы обучения, что сделало процесс обучения более эффективным и привело к появлению роботов, способных адаптироваться к различным задачам в меняющихся условиях.

Кроме того, появление архитектур на основе трансформеров, таких как RT1 и RT2, стало поворотным моментом. Эти модели преобразовали способ, которым роботы понимают и взаимодействуют с миром, сокращая разрыв между их восприятием и получаемыми языковыми инструкциями. Совмещая управление роботами с языковыми возможностями, эти модели позволили роботам интерпретировать сложные команды, проводить семантические рассуждения и обобщать свои навыки на новые, ранее не встречавшиеся среды.

Доступность крупномасштабных наборов данных для обучения роботов, таких как OpenX Embodiment Dataset, также ускорила прогресс в области робототехнического ИИ. Эти разнообразные наборы данных, охватывающие широкий спектр воплощений и навыков роботов, позволили разработать более надежные и универсальные робототехнические системы.

Достижения в области разработки функций вознаграждения, использующих возможности крупных языковых моделей, таких как GPT-4, также показали многообещающие результаты в обучении роботов приобретению сверхчеловеческого уровня ловкости в низкоуровневых манипуляционных задачах. Этот прорыв имеет потенциал для преодоления давно существующего "парадокса Моравека", который предполагал, что компьютерам легче превосходить людей в высокоуровневых когнитивных задачах, чем в, казалось бы, простых физических навыках.

Учитывая темпы этих разработок, робототехническая отрасль готова к "моменту ChatGPT" в ближайшие 12-24 месяца. Ведущие компании уже готовятся к развертыванию роботов в реальных сценариях, таких как производство и логистика, что дополнительно ускорит кривую обучения по мере накопления огромных объемов данных для обучения.

Парадигмальный сдвиг от специализированных к универсальным роботам в значительной степени был вызван достижениями в области трансформеров и крупных языковых моделей. В прошлом роботы были великолепными специалистами, но плохими универсалами, поскольку им требовалось обучение отдельной модели для каждой задачи и среды. Однако этот подход неэффективен и непрактичен, поскольку реальная среда всегда динамична и постоянно меняется.

Разработка ИИ-агентов, таких как исследовательская работа "Voyer", продемонстрировавшая мощные способности к принятию решений и планированию в цифровом мире Minecraft, показала потенциал для переноса когнитивных способностей на физические ИИ-агенты. Компании, такие как Boston Dynamics, уже начали оснащать своих роботов-собак, таких как Spot, крупными языковыми моделями для повышения их когнитивных способностей и предоставления новых впечатлений для конечных пользователей.

Прорыв в управлении роботами также был значительным. Внедрение MT-OPT, парадигмального сдвига от одной к многозадачному обучению, позволило одному роботу обучаться и выполнять множество задач, используя общие принципы обучения. Это не только сделало обучение более эффективным по времени и данным, но и привело к появлению роботов, способных адаптироваться к различным задачам в динамических средах.

Настоящий прорыв, однако, произошел с появлением RT1 и RT2 от Google. RT1 использовал архитектуру трансформера, интегрируя входы и выходы, преобразуя изображения с камеры, инструкции по задачам и команды двигателя в язык, который ИИ-робот мог понять. Это стало значительным шагом вперед к высоко обобщенному робототехническому интеллекту, поскольку понимание роботами мира и их задач стало глубоко интегрировано со значением языка.

Опираясь на RT1, RT2 объединил предварительно обученную на обширных веб-данных визуальную языковую модель с исходной моделью RT1. Это дало роботам нюансированное понимание визуальных подсказок и естественного языка, позволяя им интерпретировать сложные команды, проводить семантические рассуждения, распознавать различные объекты и даже использовать некоторые объекты в качестве инструментов для выполнения задач в динамических средах.

Последние несколько лет ознаменовались значительными прорывами в области управления роботами и многозадачного обучения. Одним из ключевых достижений стало введение платформы MT-OP (Multitask Robotic Reinforcement Learning), которая позволяет одному роботу обучаться и выполнять множество задач, используя общие принципы обучения. Это представляет собой парадигмальный сдвиг от предыдущего передового уровня, когда роботам приходилось обучаться с нуля для каждой новой задачи.

Платформа MT-OP позволяет роботам применять знания из одной задачи к другой, подобно тому, как повар использует навыки приготовления выпечки для выпечки хлеба. Это совместное обучение не только делает процесс обучения более эффективным по времени и данным, но и приводит к появлению роботов, способных адаптироваться к различным задачам в динамических средах.

Продолжая это, введение RT1 (Robotic Transformer 1) в декабре 2022 года ознаменовало значительный скачок в обучении роботов. RT1 использует архитектуру трансформера, принимая как входы (изображения с камеры, инструкции по задачам), так и выходы (команды двигателя) и преобразуя их в язык, который ИИ-робот может понять. Это позволяет роботам не только выполнять задачи, на которых они были непосредственно обучены, но и обобщать и выполнять задачи, которых они никогда раньше не видели, подобно тому, как человек читает кулинарную книгу и готовит блюдо, которое он никогда раньше не готовил.

Последующее введение RT2 в июле 2023 года еще больше усилило когнитивные способности роботов. RT2 объединяет предварительно обученную на обширных веб-данных визуальную языковую модель с исходной моделью RT1, давая роботам нюансированное понимание визуальных подсказок и естественного языка, выходящее за рамки их первоначальных данных для обучения роботов. Это позволяет роботам интерпретировать сложные команды, проводить семантические рассуждения и адаптировать свои действия к динамическим средам и фонам.

Последние несколько лет стали свидетелями впечатляющего всплеска развития крупных языковых моделей, которые революционизировали область искусственного интеллекта. Эти мощные модели не только продемонстрировали свое мастерство в обработке естественного языка, но и начали добиваться значительных успехов в области робототехники.

Одним из ключевых прорывов стало появление моделей, таких как GPT-4V, которые могут бесшовно интегрироваться с традиционными робототехническими системами, позволяя им понимать и выполнять сложные команды. Эта интеграция понимания языка с физическими возможностями стала поворотным моментом, проложив путь к новой эре универсальных и адаптируемых робототехнических агентов.

Кроме того, разработка алгоритмов, которые могут преодолеть разрыв между когнитивными процессами "Система 1" и "Система 2", стала важным шагом к более надежному и интеллектуальному управлению роботами. Эти достижения позволили роботам не только выполнять конкретные задачи, но и заниматься более высокоуровневыми рассуждениями и принятием решений, делая их более способными к навигации в динамических средах и адаптации к меняющимся обстоятельствам.

Наряду с этими когнитивными достижениями, робототехническая отрасль также стала свидетелем впечатляющего прогресса в разработке аппаратного обеспечения. Компании, такие как Figure, продемонстрировали впечатляющие примеры своих робототехнических платформ, способных самостоятельно выполнять широкий спектр бытовых задач, от стирки одежды до приготовления кофе. Эти достижения свидетельствуют о том, что давно устоявшееся убеждение о том, что надежное аппаратное обеспечение будет предшествовать надежному управлению ИИ, больше не актуально, поскольку эти два аспекта, похоже, сближаются с невероятной скоростью.

Ключевым прорывом за последние несколько месяцев стало осознание важности разнообразных и крупномасштабных тренировочных данных для продвижения робототехнического ИИ. Введение набора данных OpenX Embodiment, совместной работы 20 институтов, предоставляющего данные от 22 различных воплощений роботов, демонстрирующих более 500 навыков и 150 000 задач, стало поворотным моментом.

По сравнению с предыдущей моделью RT1, обученной всего на 700 задачах, модель RTX, обученная на этом огромном новом наборе данных, показала впечатляющее улучшение на 300% в оценке возникающих навыков. Это демонстрирует закон масштабирования в действии - с большими и более разнообразными наборами данных производительность моделей робототехнического ИИ может значительно улучшиться без каких-либо фундаментальных архитектурных изменений.

Кроме того, разработка таких методик, как AutoRT, которые потенциально могут генерировать огромные объемы тренировочных данных из реального мира с использованием визуальных языковых моделей и крупных языковых моделей, сулит большие перспективы для дальнейшего ускорения прогресса робототехнического ИИ. Непрерывно обучая роботов выполнению различных задач и используя данные в качестве общей тренировки, потенциал для генерации огромных и разнообразных наборов данных огромен.

Разработка трансформеров и крупных языковых моделей привела к значительному прогрессу как в когнитивном интеллекте, так и в среднеуровневом физическом интеллекте для робототехники. Однако одна область часто оставалась недостаточной - овладение реальными низкоуровневыми ловкими навыками, такими как сложные манипуляции руками.

Этот вызов известен как парадокс Моравека, концепция, введенная 30 лет назад ведущим ученым-робототехником Х. Моравеком. Парадокс предполагает, что компьютерам относительно легко достичь взрослого уровня производительности в интеллектуальных задачах, таких как игра в шахматы, но гораздо труднее воспроизвести навыки годовалого ребенка в восприятии и мобильности.

Теория этого парадокса заключается в том, что простые проблемы, такие как ходьба, бег и манипуляции руками, развивались людьми на протяжении сотен тысяч лет и стали глубоко интуитивными. Перевод этих навыков на компьютеры оказался значительной проблемой.

Однако недавние исследовательские достижения показали потенциал крупных языковых моделей, таких как GPT-4, для преодоления этого парадокса. Используя эти модели для разработки функций вознаграждения для обучения с подкреплением, роботы смогли обучаться и развивать низ