DeepMind, отдел Google, внедрил значительные инновации в области робототехники, целью которых является увеличение скорости, эффективности и безопасности роботов в реальной среде. Основной акцент сделан на систему сбора данных AutoRT с “Роботизированной конституцией”, основанной на “Трех законах робототехники” Азимова. 

Этот подход включает в себя интеграцию визуальной модели языка (VLM) и большой языковой модели (LLM) для адаптации к незнакомым ситуациям и определения диапазона подходящих задач.

Управление AutoRT осуществляется через “Роботизированную конституцию”, которая содержит набор безопасных инструкций для LLM, чтобы избегать задач, связанных с людьми, животными, острыми объектами и электроприборами. Для дополнительной безопасности DeepMind оснастила роботов функцией автоматического отключения при достижении определенного уровня силы на их суставах и ввела физический аварийный выключатель для ручного отключения роботов операторами.

В течение семи месяцев Google развернула 53 робота AutoRT в четырех офисных зданиях, проведя более 77 000 тестов. Некоторые роботы были управляемы человеком на расстоянии, в то время как другие работали по предварительно заданному сценарию или полностью автономно с использованием модели искусственного интеллекта Robotic Transformer (RT-2).

Роботы, использовавшиеся в тестах, имеют практичный дизайн и оснащены камерой, роботизированной рукой и мобильной базой. В каждом случае система использует VLM для понимания окружающего мира и объектов, а затем LLM предлагает список креативных задач, например, “положить закуску на стол”, и выбирает подходящую задачу для выполнения роботом.

DeepMind также внедрила SARA-RT, новую архитектуру нейронной сети, разработанную для улучшения точности и скорости существующей модели Robotic Transformer RT-2, а также RT-Trajectory, добавляющую 2D-контуры для более эффективного выполнения роботами специфических физических задач, таких как протирание стола.

Несмотря на то что до создания роботов, способных самостоятельно обслуживать и выполнять бытовые задачи, еще далеко, их разработка и обучение в будущем могут быть основаны на системе, подобной AutoRT.

Источник: Deepmind