Бесконтактная светозвуковая скульптура «Зеркальный Цветок» использует машинное зрение для управления музыкальными событиями. Осенью ее покажут на XX Большом фестивале мультфильмов.
В «Зеркальном Цветке» нейросеть выполняет одну конкретную задачу — видит человека. Интерактивная светозвуковая скульптура, созданная к 100-летию Александра Зацепина, использует модель YOLOv11-pose, чтобы распознавать фигуру зрителя и положение кистей рук. Дальше авторский алгоритм связывает движения с музыкальными событиями внутри гармонии композитора.
Скульптура — центральный объект просветительского арт-проекта «Тайна планеты Зацепина». С 1 мая 2026 года она работает на постоянной экспозиции московского аэрокосмического музея «Спутник».
Осенью объект станет участником специального показа в программе XX Большого фестиваля мультфильмов — с 4 по 8 ноября 2026 года его можно будет увидеть на «Фабрике мультфильмов» в Московском дворце пионеров на Воробьевых горах.
От движения к звуку
Стоит человеку приблизиться — объект словно просыпается. Экран оживает, начинает звучать музыка Зацепина. Единственная камера передает изображение в модуль машинного зрения, который определяет фигуру и положение кистей рук.
Пространство перед экраном становится невидимым музыкальным интерфейсом. Движение руки выбирает, какие ноты и события из партитуры прозвучат сейчас. Сила и скорость жеста меняют характер звучания. Левая и правая руки управляют разными инструментальными слоями. Взаимодействие бесконтактное: к экрану и корпусу притрагиваться не нужно.
Главное решение — гармоническая привязка. Алгоритм удерживает извлекаемые ноты внутри гармонии Зацепина, поэтому случайно сфальшивить практически невозможно. Зритель играет внутри знакомой музыкальной структуры и участвует в создании новой вариации поверх оригинального материала.
Авторство музыки остается за композитором. Правила, по которым движение превращается в звук, задает программный алгоритм Тараса Машталира. Нейросеть служит органом зрения объекта.
Как разделены задачи
Программная платформа MITRA-CV-CORE объединяет несколько модулей. Компьютерное зрение использует Python, OpenCV и модель YOLOv11-pose. Это единственная нейросеть в объекте. Звуковая логика построена на Tone.js, визуальный ряд — на GLSL-шейдерах. Данные между компонентами передаются по OSC/UDP.
Для наблюдения за зоной взаимодействия используется одна fisheye-камера с углом обзора 120°. Движения обрабатываются в реальном времени. Персональные данные не собираются, обработка идет локально, на самом объекте.
Изображение выводится на вертикальный 4K-дисплей диагональю 75 дюймов. Габариты скульптуры — 150 × 170 × 160 см, ширина × высота × глубина.
В объекте звучат «Главная тема» и «Планета Блук» из анимационного фильма «Тайна третьей планеты» — композиции Александра Зацепина к картине Романа Качанова, выпущенной на «Союзмультфильме» в 1981 году. Права на использование музыки получены по лицензионному договору. Голоса персонажей мультфильма в объекте не используются.
Образ зеркального цветка восходит к повести Кира Булычева «Путешествие Алисы» и ее анимационной экранизации. Технология переводит этот образ в пространство: знакомая музыка откликается на движение человека здесь и сейчас.
О проекте
Правообладатель проекта и арт-объекта — ООО «МИТРА» / SONICOLOGY. Автор концепции, программного обеспечения, звукового и визуального ряда — Тарас Машталир, медиа-художник и руководитель проекта. Креативный продюсер — Максим Бобров.
Киностудия «Союзмультфильм» — информационный партнер проекта и правообладатель анимационного фильма «Тайна третьей планеты». Николай Крупатин подготовил просветительскую серию из пяти видеороликов о музыке и творчестве Александра Зацепина.
Проект реализуется с использованием гранта Президента Российской Федерации, предоставленного Президентским фондом культурных инициатив.
Постоянная экспозиция: московский аэрокосмический музей «Спутник», 2-я Рыбинская ул., д. 21, м. «Рижская». Объект открыт для посетителей с 1 мая 2026 года, в часы работы музея.
Специальный показ: «Фабрика мультфильмов» XX Большого фестиваля мультфильмов, Московский дворец пионеров на Воробьевых горах (ул. Косыгина, 17, корп. 1), 4–8 ноября 2026 года.