Институт AIRI объявил о запуске тестового доступа к открытой платформе VLA Arena. Эта система предназначена для сравнительной оценки современных моделей управления роботами, аналогично тому, как существуют платформы для сравнения больших языковых моделей.
Платформа предоставляет интерфейс для запуска роботов как в виртуальной среде, так и с подключением реальных устройств. Она позволяет исследователям, инженерам и энтузиастам тестировать производительность моделей в различных сценариях, включая поддержку русского языка. В основе платформы лежит работа с моделями типа Vision Language Action — это адаптированные версии больших языковых моделей, способные понимать и выполнять инструкции пользователя.
На текущий момент платформа поддерживает компактные манипуляторы LeRobot SO-100 и SO-101 от HuggingFace. Их стоимость составляет около 30 тысяч рублей, что делает их доступными для образовательных и исследовательских целей.
Функционал VLA Arena включает тестирование моделей в симуляции или на реальном роботе, таблицу лидеров с оценками на основе рандомизированных тестов для исключения предвзятости, а также доступ к нескольким моделям, среди которых разработки Physical Intelligence, Hugging Face и открытые решения, включая модель, адаптированную в AIRI для работы на русском языке. Также платформа предоставляет датасеты для LeRobot, размеченные и переведенные на русский язык.
«Мы видим в VLA-моделях огромный потенциал и работаем над тем, чтобы предоставить доступ к лучшим решениям. VLA Arena — это не просто инструмент для тестирования, но и научный проект, который призван повысить уровень транспарентности в оценке роботов и моделей управления ими. Мы делаем акцент на доступности и объективных метриках, которые не только учитывают технические характеристики моделей, но и оценку их эффективности с точки зрения конечных пользователей».
Владислав Куренков, руководитель научной группы «Адаптивные агенты» Института AIRI
Тестовый доступ к платформе будет открыт в течение трех месяцев, в течение которых разработчики планируют собирать отзывы для дальнейшего улучшения системы. Платформа доступна по ссылке.