Ученые из Стэнфордского университета и лаборатории Amazon представили систему HandelBot, которая позволяет роботам с пятипалыми кистям исполнять музыкальные произведения на реальном пианино.
Основная сложность при создании таких систем заключается в переносе навыков из виртуальной среды в физический мир. Алгоритмы, эффективно работающие в симуляции, часто теряют точность в реальных условиях, особенно когда речь идет о задачах, требующих миллиметровой точности и синхронизации двух рук.
HandelBot использует двухэтапный подход. Сначала робот обучается базовым движениям в симуляторе, где можно проводить большое количество экспериментов. Затем система переносится на реальное оборудование, где проходит этап донастройки. На этом этапе инженеры корректируют траектории движений пальцев на основе данных о том, какие клавиши были нажаты. После этого включается механизм обучения с подкреплением: алгоритм самостоятельно вносит небольшие корректировки в движения, ориентируясь на сигналы от MIDI-выхода пианино. На всю адаптацию к реальному инструменту уходит около 30 минут.
Эксперименты проводились на установке с двумя манипуляторами Franka Emika Panda и FR3, оснащенными антропоморфными кистями Tesollo DG-5F. Для тестирования использовались пять музыкальных фрагментов, включая упрощенные версии «К Элизе» и Прелюдии до мажор Баха. Прямой перенос симулированных алгоритмов показал низкую точность: в среднем корректно воспроизводилось менее 30% нот. Применение двухэтапного метода повысило этот показатель до 50-80% в зависимости от сложности произведения.
В текущей конфигурации система имеет ряд ограничений. В игре задействованы только три пальца каждой руки, а запястья движутся по фиксированным траекториям. По словам исследователей, это связано с конструкцией роборуки: большой палец и мизинец сложнее точно позиционировать над клавишами без изменения угла наклона кисти. В дальнейшем авторы планируют расширить функциональность системы, чтобы задействовать все пять пальцев и исполнять более сложные композиции.
Читайте также: «Нейросеть научила роботов делать сальто и танцевать брейк-данс».