На этапе постпродакшена режиссеры часто сталкиваются с необходимостью убрать из кадра посторонние предметы — например, реквизит или случайно попавших в кадр людей. Существующие инструменты позволяют это делать, но возникают проблемы, когда удаляемый объект физически взаимодействует с другими.
Исследователи из Netflix совместно с коллегами предложили решение — систему VOID (video object and interaction deletion). Это алгоритм на основе ИИ, который не только удаляет объект, но и моделирует физические последствия его исчезновения. В случае со стулом система дорисует естественное падение человека на пол.
VOID работает в три этапа: сначала определяются области, на которые повлияет удаление, затем создается карта теней и изменений движения (квадромаска), после чего генерируется новая версия видео с поправкой на физику. В конце выполняется дополнительный проход для сглаживания движений и устранения искажений.
Систему обучили на тысячах пар синтетических видеопоследовательностей, чтобы она усвоила причинно-следственные связи. Например, в сцене с падающими домино: если убрать средние костяшки, VOID «понимает», что энергия не передается дальше, и оставшиеся элементы остаются стоять.
Авторы подчеркивают: VOID не просто копирует пиксели из обучающей выборки, а демонстрирует высокоуровневое понимание физики окружающего мира.
Читайте также: «Нейронное сжатие текстур решит проблему нехватки видеопамяти у геймеров».