Netflix совместно с исследователями из Софийского университета создал ИИ-модель VOID (Video Object and Interaction Deletion). Она решает задачу, с которой не справляются обычные инструменты: не просто удаляет объект с видео и «заклеивает» дыру статичным фоном, а пересчитывает физику сцены после его исчезновения.
Работает это следующим образом: пользователь загружает видео и текстом описывает, какой предмет или персонаж нужно убрать. Модель с помощью специальной четырёхканальной маски определяет не только сам объект, но и все зоны его влияния — опоры, смещённые предметы, тени, блики. После удаления VOID прогнозирует, как должны вести себя оставшиеся объекты с учётом законов физики.
Примеры из тестов:
- В ролике с ДТП модель удаляет одну машину и дорисовывает, как вторая спокойно едет дальше по чистой дороге — без осколков, дыма и огня от удара.
- Если убрать человека, прыгающего в бассейн, вода остаётся идеально гладкой, а мокрые следы на бортике исчезают.
В опросах с участием 25 человек VOID набрала 64,8% предпочтений, обогнав Runway (18,4%) и другие инструменты вроде ProPainter или DiffuEraser. Главное преимущество — реалистичное изменение физики сцены, а не просто маскирование.
- Модель построена на базе CogVideoX-Fun от Alibaba PAI.
- Обучалась на синтетических парах видео, сгенерированных в Blender (датасет HUMOTO) и в движке Kubric от Google. Это дало «идеальные» примеры, где физика заведомо корректна.
- Для обучения использовалось 8 GPU A100 (80 ГБ), для запуска нужна видеокарта от 40 ГБ видеопамяти.
VOID выложена в открытый доступ на Hugging Face. Netflix пока не объявлял, что будет использовать её в своих проектах. Статья с описанием находится в формате препринта и ещё не прошла рецензирование.