논문 브리핑
12개 영상 AI의 시험대, WorldDraft가 묻는 ‘움직임은 두고 외형만 바꿀 수 있나’
글 · 한경모
영상 AI에 세계의 움직임까지 맡겨야 할까, 코드로 동선을 정하고 화면만 그리게 하면 어떨까.
11월 12일 Zhiyu Hou·Harold H. Chen 등이 공개한 WorldDraft는 이 분업이 실제로 통하는지 12개 영상 모델로 검증한 연구다.
핵심은 더 멋진 영상을 만드는 모델 발표가 아니라, 정해진 움직임과 주문한 외형을 동시에 지키는지 가려내는 평가법이다.
배경에는 Blender나 MuJoCo로 장면을 구성하고 영상 모델에 사실적인 표현을 맡기는 Code as Worlds·VideoCoCo 같은 연구 흐름이 있다.
연구진이 정리한 관련 연구의 공통 문제의식은 시각적 사실감이 높아져도 물체의 움직임과 시간적 관계까지 정확해지는 것은 아니라는 점이다.
WorldDraft는 공간에 시간축을 더한 48개 세계를 만들고, 밑그림의 정교함 3단계와 외형의 일치 여부 3조건을 교차해 432개 사례를 구성했다.
같은 움직임을 유지한 채 입력 조건만 바꾸므로, 실패 원인이 부족한 구조 정보인지 잘못된 외형 단서인지 비교할 수 있다.
- 세계 보존: 물체의 배치·이동·사건 발생 시점과 카메라 경로를 지키는지 본다.
- 외형 구현: 텍스트로 주문한 색·재질을 올바른 물체에 적용하고 시간이 흘러도 유지하는지 본다.
- 충돌 대응: 파란 금속처럼 보이는 밑그림에 빨간 플라스틱을 요구했을 때 무엇을 따르는지 시험한다.
인사이트
영상 AI의 제작 도구 경쟁력은 화질뿐 아니라 변경 범위를 지키는 능력에 달려 있다. 코드로 움직임을 통제하더라도 최종 영상 모델이 이를 보존하는지 별도로 검증해야 한다.
자주 묻는 질문
- WorldDraft가 새로운 영상 생성 모델이야?
- WorldDraft는 코드로 만든 장면의 움직임과 텍스트로 지정한 외형을 영상 모델이 함께 지키는지 평가하는 벤치마크다. 연구진은 432개 사례로 12개 모델을 비교했다. [연구 소개](https://huggingface.co/papers/2611.16217)
- 최대 64%라면 영상 대부분이 실패했다는 거야?
- 64%는 입력 외형과 목표 외형이 충돌하는 조건에서 원래 외형이 잘못 남는 현상에 관한 최대 보고값이다. 전체 영상의 실패율이나 평가한 모델들의 평균으로 해석하면 안 된다. [논문 원문](https://arxiv.org/html/2611.16217v1)
- Primer를 쓰려면 영상 모델을 다시 학습해야 해?
- WorldDraft-Primer는 영상 모델의 가중치를 바꾸지 않고 입력 영상의 첫 프레임에 시각적 단서를 추가한다. 연구에서는 개선을 보고했지만, 모든 장면에서 정확한 움직임과 외형을 보장하는 방법은 아니다. [논문 원문](https://arxiv.org/html/2611.16217v1)
이 기사 어땠어요?
피드백을 남겨주시면 더 나은 맞춤 추천을 만듭니다.