Команда «АйТи Империал» подключила реконструированную нервную систему самца плодовой мушки Drosophila melanogaster к физическому гуманоидному роботу Unitree G1 Edu Plus. Разработчики построили замкнутую систему, в которой изображение с камеры робота преобразуется в сенсорные стимулы для модели нервной системы, а её активность затем превращается в команды движения.
В основе эксперимента лежит MaleCNS — опубликованная реконструкция центральной нервной системы самца дрозофилы. Датасет содержит около 166 700 нейронов и позволяет исследовать связи между сенсорными и моторными цепями.
После публикации MaleCNS разработчики начали использовать цифровую нервную систему мухи в различных экспериментах. Ее подключали к видеоиграм и другим виртуальным средам, однако «АйТи Империал» решила проверить такую архитектуру уже на физическом роботе.
Система работает по принципу сенсомоторной петли. Камера робота передает изображение окружающей сцены, после чего оно преобразуется в формат сенсорных стимулов, соответствующий зрительной системе мухи. Эти данные поступают в модель нервной системы. Затем специальный декодер анализирует активность нейронов и преобразует ее в команды для робота.
«Мы идем в ногу с трендом переноса искусственного интеллекта в физический мир, и именно поэтому нам было странно и любопытно, почему самую тенденциозную сферу — гуманоидную робототехнику — эта популярная муха обошла стороной. И решили сами попробовать реализовать кейс с гуманоидом. Другие команды помещали муху в несвойственные ей среды и ситуации: и в казино она играла, и дроном управляла. Мы же подумали, почему бы роботу с мозгом мухи не делать то, что свойственно и человеку, и мухе – обращать внимание на цветы».
Анна Багдасарян, заместитель директор «АйТи Империал»
MaleCNS отличается от обычной искусственной нейросети. В эксперименте используется не модель, обученная с нуля на большом наборе данных, а реконструированная структура нервной системы реального организма. Сам MaleCNS описывает соединения нейронов, поэтому для работы робота дополнительно нужны математическая модель нейронной динамики, способ кодирования изображений в сенсорные сигналы и декодер для преобразования активности нейронов в движения.
Разработчики отмечают, что речь не идет о буквальном переносе мозга мухи в робота. Фактически цифровая реконструкция нервной системы используется как вычислительная система управления.
«Мы передам стереоизображение с камеры глубины, преобразованное под зрение мухи, тем самым имитируя ее глаза. Затем это изображение отправляется в модель мозга дрозофилы, который сам определяет куда двигаться».
Владимир Иванютенко, senior-разработчик робототехники «АйТи Империал»
В качестве физической платформы выбран Unitree G1 Edu Plus. Робот оснащен камерой и имеет 29 степеней свободы, что позволяет проверять работу подобной архитектуры не только в виртуальной среде, но и на реальном устройстве.
Эксперимент объединяет три уровня — восприятие окружающего мира камерой, обработку информации моделью нервной системы мухи и управление движением гуманоидного робота. Такой подход позволяет проверить, можно ли использовать реконструированные биологические нейронные структуры в качестве основы для систем управления физическими роботами.
Читайте также:
116 подводных дронов установили мировой рекорд автономного движения