논문 브리핑
Duo, 보고 들으며 답하는 세계 모델…의도에 맞는 응답은 73.3%
글 · 한경모
AI가 말을 잘해도, 사용자가 끼어드는 순간을 놓치면 대화는 금세 어색해진다. 11월 11일 Hengyuan Cao 등 연구진이 발표한 Duo v1은 보고 들으면서 응답하는 Full-Duplex, 즉 전이중 상호작용을 겨냥한다. 핵심은 세계 모델 안에 장면뿐 아니라 ‘언제 어떻게 반응할지’ 결정하는 기능까지 넣는 Reciprocal World Model이다.
기존 세계 모델이 외부 명령에 따라 환경을 전개했다면, Duo는 그 안의 상대가 대화에 참여하도록 설계됐다. 연구진이 정리한 Moshi와 Qwen-Omni 등 선행 연구의 흐름에서도 발언 시점과 멀티모달 표현은 중요한 과제로 다뤄진다. 영상 생성과 음성 에이전트의 경쟁이 만나는 지점이다.
- Intent는 대화 이력을 바탕으로 말하기와 기다리기를 선택하고 응답 내용을 만든다.
- Realization은 그 판단을 받아 음성과 영상을 함께 생성하며, 두 모듈은 같은 시간축에서 미래 입력을 보지 못하도록 제한된다.
- Dual rollout distillation은 스스로 만든 문장과 시청각 이력을 학습에 사용해 실제 구동 때의 조건 차이를 줄인다.
인사이트
Duo는 세계 모델의 과제를 장면 생성에서 대화 참여로 넓힌다. 서비스 경쟁력은 표현의 사실감과 함께, 사용자의 의도와 발언 시점을 얼마나 정확하게 읽는지에 달릴 것이다.
자주 묻는 질문
- 그냥 말하는 AI 아바타랑 뭐가 달라?
- Duo는 사용자 입력을 계속 받으면서 말하기와 기다리기를 결정하고, 그 판단에 따라 음성과 영상을 생성하도록 설계됐다. 미리 정해진 대사를 표현하는 기능을 넘어 대화 참여 자체를 모델링한다. [논문 원문](https://arxiv.org/html/2611.15131v1)
- 통과율 93.3%면 거의 완성된 거 아니야?
- 93.3%는 30개 사례에 적용한 6개 평가 기준의 판정을 합친 수치다. 사용자 의도에 적절히 응답했는지를 보는 항목은 73.3%여서, 전체 통과율을 대화 이해 정확도로 읽으면 안 된다. [논문 평가](https://arxiv.org/html/2611.15131v1#S7)
- 공개됐으면 내 PC에서도 바로 돌릴 수 있어?
- 공식 저장소의 기본 오프라인 구성은 CUDA GPU 2개와 선택한 모델을 담을 충분한 GPU 메모리를 요구한다. Linux와 Python 3.10 이상도 필요하므로 자신의 장비가 요구사항을 충족하는지 먼저 확인해야 한다. [설치 요구사항](https://github.com/inclusionAI/Duo)
이 기사 어땠어요?
피드백을 남겨주시면 더 나은 맞춤 추천을 만듭니다.