Яндекс развивает направление Physical AI, или физический искусственный интеллект. Эта технология предназначена для работы в реальном мире и призвана наделить машины способностью понимать физическое окружение, взаимодействовать с ним и адаптироваться к изменяющимся условиям.
Над созданием Physical AI работают команды Яндекс Роботикс и автономного транспорта. Яндекс Роботикс разрабатывает универсальное программное обеспечение для сервисных и промышленных роботов, таких как роботизированные руки и мобильные платформы. Команда автономного транспорта, которая работает с 2017 года, создает технологии восприятия и планирования для беспилотных автомобилей и роботов-доставщиков.
Среди ключевых задач — обучение техники комплексной обработке различных данных, включая изображение, звук и текст. Также ставится цель обеспечить адаптацию ИИ к разным типам устройств и способность самостоятельно моделировать варианты событий для принятия решений.
Одной из практических разработок является VLA-модель, преобразующая голосовые команды и визуальную информацию в действия робота. Управление этими действиями осуществляется через систему Yandex RMS, которая позволяет роботам определять последовательность операций и при необходимости запрашивать недостающие данные. Это, в частности, позволяет взаимодействовать с роботами с помощью голоса или жестов.
В области автономного транспорта продолжается развитие ML-планировщика на основе нейросети-трансформера. Он анализирует данные о поведении водителей, что способствует более плавному и предсказуемому движению беспилотников. Для отработки навыков также используется симулятор, где транспортные средства учатся реагировать на различные ситуации.
Ожидается, что внедрение Physical AI будет способствовать развитию автономного вождения и робототехники, позволяя технике динамически оценивать обстановку и более точно взаимодействовать с окружением.