논문 브리핑
아기처럼 세상을 이해할 AI: '물체 지속성' 학습시키는 WROP의 등장
글 · 한경모
인간 아기가 세상을 이해하는 첫걸음 중 하나는 바로 '물체 지속성(Object Permanence)'을 터득하는 것입니다. 눈앞에서 사라진 물체가 정말로 없어진 것이 아니라 어딘가에 계속 존재한다는 개념이죠. 이처럼 직관적인 물리 법칙 이해는 우리가 복잡한 환경에서 효과적으로 상호작용할 수 있는 기반이 됩니다. 그런데 첨단 인공지능, 특히 영상 생성 모델과 같은 '월드 모델(World Models)'은 어떨까요? 이들은 놀라운 영상 생성 능력을 보여주지만, 과연 인간처럼 기본적인 물리 법칙을 이해하고 있을까요?
최근 arXiv에 공개된 "Training Object Permanence in World Models" 논문은 이 질문에 정면으로 도전합니다. 이 논문은 현재 월드 모델들이 보여주는 추론 능력이 비약적으로 발전했지만, 물체 지속성과 같은 핵심적인 인지 기반(cognitive priors)을 명시적으로 학습했는지에 대해서는 회의적인 시각을 제시합니다. 즉, 모델이 그럴듯한 영상을 만들어낼 수는 있지만, 가려진 공이 여전히 존재하며 특정 위치로 이동할 것이라는 '물리적 상식'을 온전히 이해하지 못할 수 있다는 것입니다.
이 연구팀은 이러한 격차를 해소하기 위해 'WROP(World Reasoning with Object Permanence)'이라는 새로운 데이터 인프라를 구축했습니다. WROP은 150개의 손으로 설계된 인지 과학 기반 작업으로 구성되어 있습니다. 이 작업들은 다양한 시나리오에서 물체가 가려지거나 사라졌다 다시 나타나는 상황을 시뮬레이션하며, 모델이 물체 지속성을 명확히 인식하고 그에 따라 반응하도록 훈련시킵니다. 예를 들어, 공이 상자 뒤로 사라진 후 다른 쪽에서 다시 나타날 때, 모델이 공의 궤적을 정확하게 예측하고 물체가 사라지지 않았음을 인지하는지 평가하는 식입니다.
기존 월드 모델들은 방대한 양의 영상 데이터를 학습하며 암묵적으로 물리적 상식을 습득하는 경향이 있습니다. 그러나 이러한 학습은 특정 상황에 한정되거나, 데이터 편향에 취약하여 진정한 물리적 이해로 이어지기 어렵다는 한계가 있습니다. 마치 통계적 패턴을 암기하는 것과 같습니다. WROP은 이러한 한계를 넘어, 아기가 사물을 이해하는 방식과 유사하게 핵심 인지 능력에 초점을 맞춰 모델을 훈련함으로써, 보다 견고하고 신뢰할 수 있는 물리적 추론 능력을 모델에 부여하려는 시도입니다.
일부에서는 '이미 상당수 AI 모델이 영상 속 물체의 움직임을 자연스럽게 예측한다'고 반론을 제기할 수 있습니다. 하지만 이 논문은 단순히 그럴듯한 영상을 생성하는 것을 넘어, '물체가 사라지지 않고 존재한다'는 근본적인 개념을 모델이 명시적으로 인지하고 추론하는지에 초점을 맞춥니다. 가령, 화면 밖으로 나간 공이 다시 나타날 때까지의 과정을 단순한 패턴 인식으로 처리하는 것과, '그 공이 계속 존재하며 특정 경로를 따라 움직인다'고 이해하는 것에는 큰 차이가 있습니다. 후자의 이해는 예측 불가능한 상황이나 새로운 환경에서 훨씬 더 강건한 성능을 보장합니다.
궁극적으로 WROP과 같은 접근 방식은 AI가 물리 세계와 더욱 능숙하게 상호작용하는 데 필수적인 토대를 마련합니다. 자율 주행 차량이 도로 위의 다른 물체들을 예측하고, 로봇이 복잡한 환경에서 작업을 수행하며, 심지어 가상 현실 속 AI 캐릭터가 더욱 현실적인 반응을 보이는 데 중요한 역할을 할 수 있습니다. 인간과 유사한 '코어 인지' 능력을 AI에 주입하려는 이러한 연구는, 단순히 기술적 진보를 넘어 인공지능이 진정한 의미에서 세상을 이해하고 지능적으로 행동하는 시대를 앞당기는 데 기여할 것입니다.
인사이트
인공지능에 인간의 핵심 인지 능력인 물체 지속성을 명시적으로 가르치려는 시도는, AI가 물리 세계를 더 깊이 이해하고 현실에서 더욱 견고하게 작동하는 데 필수적인 토대가 됩니다.
자주 묻는 질문
- AI도 아기처럼 물체 지속성을 배워야 하나요?
- 네, 인간 아기가 세상을 이해하는 중요한 과정 중 하나가 물체 지속성 인지입니다. AI도 물리 세계를 정확히 이해하고 예측하려면, 눈앞에서 사라진 물체가 여전히 존재한다는 기본적인 물리 상식을 명확히 학습할 필요가 있습니다.
- 기존 영상 AI 모델들은 이미 물체의 움직임을 예측하지 않나요?
- 기존 모델들은 방대한 데이터를 통해 물체의 움직임 패턴을 학습하지만, 이는 주로 통계적 추론에 가깝습니다. '사라진 물체가 계속 존재한다'는 근본적인 물리 개념을 명시적으로 이해하기보다는, 학습된 패턴에 따라 그럴듯한 예측을 하는 경우가 많아 새로운 상황에 취약할 수 있습니다.
- 이 연구가 실제 AI 제품에 어떻게 활용될 수 있을까요?
- 물체 지속성을 정확히 이해하는 AI는 자율 주행 차량이 시야 밖의 물체를 예측하거나, 로봇이 복잡한 환경에서 작업을 수행할 때 훨씬 더 안전하고 효율적으로 작동하도록 돕습니다. 더욱 견고하고 신뢰할 수 있는 물리적 상식을 가진 AI 시스템 개발의 기반이 됩니다.
이 기사 어땠어요?
피드백을 남겨주시면 더 나은 맞춤 추천을 만듭니다.