논문 브리핑
MLLM 환각, ‘확신에 찬 오답’ 잡아내는 DEEPO의 이중 전략
글 · 한경모
최근 멀티모달 대규모 언어 모델(MLLM)은 텍스트와 이미지 등 다양한 형태의 정보를 동시에 이해하고 처리하며, 인간의 인지 능력을 모방하는 데 놀라운 발전을 보여주고 있습니다. 하지만 그 이면에는 ‘환각(hallucination)’이라는 고질적인 문제가 도사리고 있습니다. MLLM이 실제와 다른 정보를 마치 사실인 양 생성하는 현상은 모델의 신뢰성을 심각하게 저해하며, 이를 산업 현장에 적용하는 데 큰 걸림돌로 작용합니다. 이러한 환각을 줄이기 위해 강화 학습(RL) 기법이 널리 활용되지만, 효과가 들쭉날쭉하다는 한계에 직면해 있습니다.
최근 arXiv에 공개된 ‘DEEPO: Dual-Entropy Enhanced Policy Optimization for Hallucination in MLLMs’ 논문은 MLLM 환각을 효과적으로 제어할 새로운 강화 학습 접근법을 제시하며 주목받고 있습니다. 이 연구는 강화 학습의 보상 신호가 모델 파라미터 업데이트로 이어지는 ‘수정 연쇄(correction chain)’에 두 가지 핵심적인 약점이 있다고 분석합니다.
첫 번째 약점은 ‘롤아웃(rollout) 레벨’에서 발생합니다. 정답을 찾기 어려운 ‘난이도 높은 질의’의 경우, 모델은 종종 만장일치로 틀린 샘플 그룹을 생성합니다. 이때 기존 강화 학습은 해당 그룹 내 상대적 우위(advantage) 신호를 0으로 만들어, 정작 환각 위험이 가장 높은 지점에서 학습을 방해하게 됩니다. 두 번째 약점은 ‘최적화(optimization) 레벨’에 있습니다. 모델이 확신을 가지고 틀린 토큰을 생성할 경우, 이러한 ‘확신에 찬 오답’은 강화 학습의 기울기(gradient) 계산에서 사실상 보이지 않아 개선되지 못하는 문제가 있습니다.
DEEPO는 이러한 약점을 해결하기 위해 ‘이중 엔트로피 강화 정책 최적화(Dual-Entropy Enhanced Policy Optimization)’라는 독창적인 방법론을 제안합니다. 핵심은 기존 강화 학습의 보상 신호를 재설계하여, 난이도 높은 질의에서도 유의미한 학습 신호를 유지하고, 확신을 가지고 틀린 응답에 대해서도 모델이 명확히 개선될 수 있도록 만드는 것입니다. 이는 모델의 출력 분포에서 엔트로피를 활용하여 불확실성을 측정하고, 이를 바탕으로 학습 과정을 보다 정교하게 제어함으로써 가능해집니다.
- DEEPO는 난이도 높은 질의에서 발생하는 ‘상대적 우위 신호 소실’ 문제를 해결합니다.
- ‘확신에 찬 오답’이 강화 학습 기울기에 반영되도록 하여 학습 효과를 높입니다.
- 모델 출력 엔트로피를 활용해 불확실성을 탐지하고 학습 방향을 조절합니다.
인사이트
DEEPO 논문은 MLLM 환각의 주요 원인을 강화 학습의 ‘수정 연쇄’ 약점에서 찾아내고, 이중 엔트로피를 활용해 확신에 찬 오답까지 교정하는 혁신적인 접근법을 제시하여 MLLM의 신뢰성 향상에 중요한 기여를 합니다.
자주 묻는 질문
- 이 논문이 정말 MLLM 환각 문제를 완전히 해결할 수 있을까요?
- DEEPO는 MLLM 환각의 주요 원인인 강화 학습의 약점을 개선하는 중요한 진전을 이뤘습니다. 하지만 환각은 복합적인 문제이므로, 하나의 연구로 완전히 해결하기보다는 전체적인 신뢰성을 높이는 데 크게 기여할 것입니다. 추가 연구와 결합될 때 더 큰 효과를 기대할 수 있습니다.
- '이중 엔트로피'가 구체적으로 무엇을 의미하는 건가요?
- '이중 엔트로피'는 모델의 출력에서 두 가지 관점으로 불확실성을 측정하고 활용한다는 의미로 해석될 수 있습니다. 하나는 모델이 얼마나 다양한 응답을 내놓을 수 있는지, 다른 하나는 특정 응답에 대해 얼마나 확신하는지를 파악하여 학습에 반영하는 방식입니다. 이를 통해 모델은 자신의 한계를 더 잘 인지하고, 틀린 답에 대한 학습 신호를 더 효과적으로 받아들입니다.
- 이런 기술이 실제 제품에 적용되려면 얼마나 걸릴까요?
- 연구 논문이 실제 제품에 적용되기까지는 추가적인 검증, 최적화, 스케일업 과정이 필요합니다. DEEPO와 같은 핵심 연구는 MLLM 개발의 근간이 되므로, 주요 AI 기업들은 이미 유사하거나 발전된 개념을 내부적으로 실험하고 있을 수 있습니다. 몇 년 안에 상용 MLLM 제품들의 환각 감소에 상당한 영향을 미칠 것으로 예상됩니다.
이 기사 어땠어요?
피드백을 남겨주시면 더 나은 맞춤 추천을 만듭니다.