Ученые из Стэнфорда доказали, что проверка множества вариантов действий на этапе тестирования значительно повышает точность выполнения роботами команд по сравнению с традиционным наращиванием объемов предобучения.
Исследование выявило ключевую проблему моделей «зрение-язык-действие»: их действия часто не соответствуют инструкциям человека. Авторы предлагают решать ее не через традиционное масштабирование обучения, а с помощью дополнительных вычислений на этапе тестирования.
Анализ показал, что одновременная генерация множества перефразированных инструкций и множества вариантов действий для каждой из них дает гораздо лучшее разнообразие решений, чем масштабирование любого из этих параметров по отдельности. Это позволяет эффективнее находить правильное действие.
На основе этого авторы создали CoVer — контрастивный верификатор, который оценивает, насколько хорошо действие согласуется с инструкцией и визуальной сценой. В отличие от предыдущих методов, он не моделирует физику, а напрямую проверяет смысловое соответствие.
Система работает в два этапа: сначала языковая модель заранее генерирует множество перефраз инструкции («вычисления на этапе загрузки»), а затем во время выполнения робот создает пакеты действий, а CoVer выбирает лучшую пару «инструкция-действие».
Результаты: подход превосходит масштабирование предварительного обучения на тех же данных. В симуляторах прирост успешности составил до 22%, в реальных экспериментах — 45%. Полученные результаты свидетельствуют о том, что для выполнения инструкций выделение дополнительных вычислительных ресурсов на верификацию на этапе развертывания может быть более эффективным, чем эквивалентные вложения в предварительное обучение.