Исследователи представили OmniRobotHome — домашнюю платформу для изучения взаимодействия людей и роботов в реальном времени. Система использует 48 синхронизированных RGB-камер, две роботизированные руки Franka Research 3 и общий 3D-кадр сцены, в котором видны люди, объекты и сами роботы.
Большая часть исследований в робототехнике до сих пор устроена довольно стерильно. Один человек, один робот, стол, предметы, заранее понятный сценарий. В реальном доме все живет сложнее: человек двигается, берет предметы, перекрывает обзор, меняет планы, а рядом могут работать сразу несколько роботов. Для машины это маленький хаос с мебелью, руками, фруктами, банками и внезапной человеческой траекторией.
Главная проблема здесь не в том, чтобы научить робота брать предмет — это уже умеют многие системы. Сложнее сделать так, чтобы робот понимал, где сейчас человек, куда он движется, что держит в руках и когда лучше не лезть со своей помощью.
OmniRobotHome превращает комнату площадью 23,1 м² в наблюдаемую 3D-сцену. В помещении установили 48 камер, которые работают на частоте 30 кадров в секунду и синхронизированы аппаратно. Камеры распределены по 12 edge-узлам — часть системы ищет людей и восстанавливает позу тела, центральный сервер собирает эти данные в 3D, а отдельная стереопара отслеживает положение предметов.
В итоге роботы получают общую карту происходящего. Это важно, потому что в доме человек постоянно кого-то или что-то заслоняет. Одна камера видит спину, вторая руку, третья край предмета, а вместе они дают системе шанс понять сцену без маркеров и специальных костюмов.
Исследователи проверяли систему на сценарии с кухней. Две роботизированные руки сортировали продукты: фрукты отправляли к раковине, упакованные товары на полку, а человек свободно перемещался рядом. Без учета положения человека роботы работали быстрее, но чаще создавали опасные сближения. Динамическая политика безопасности, которая учитывала 3D-положение человека, снизила число столкновений в 2,6 раза по сравнению с простой статической зоной и при этом улучшила время цикла.
Отдельно проверяли «память поведения». Система накапливала траектории человека и начинала предсказывать, с какой стороны он обычно подходит к рабочей зоне. Это дополнительно снижало число опасных ситуаций без потери скорости.
Также роботы могли по позе и контексту сцены понять, что человеку нужен конкретный предмет. Например, если человек смотрит на сухое растение, робот приносит лейку. Если готовит хот-дог, предлагает горчицу. Звучит немного как очень внимательный сосед по кухне, только с манипулятором.
Пока это не универсальный домашний робот, а исследовательская платформа в одной оборудованной комнате. Ей нужны десятки камер, точная калибровка, серверы для обработки и фиксированные роботизированные руки. Но работа важна тем, что показывает, как можно изучать не одиночное взаимодействие «человек — робот», а более реалистичную домашнюю среду, где несколько людей, объектов и машин существуют одновременно.