논문 브리핑
LLM이 말하는 '매우 그럴듯함'은 과연 신뢰의 표현일까? 인간과 인공지능의 불확실성 표현법 비교 분석
글 · 한경모
대규모 언어 모델(LLM)이 인간의 언어를 유창하게 구사하면서, 우리는 AI의 응답을 점차 더 신뢰하게 됩니다. 하지만 최근 아카이브(arXiv)에 공개된 "very likely" Means "uncertain"? How LLMs Diverge from Humans in Linguistic Uncertainty Quantification"이라는 흥미로운 논문은 인공지능의 '불확실성 표현'을 우리가 너무 쉽게 믿고 있는 것은 아닌지 질문을 던집니다. 이 연구는 인간과 LLM이 "가능성이 높다", "불확실하다"와 같은 언어적 불확실성 표현을 어떻게 다르게 사용하고 인지하는지 심층적으로 다룹니다.
대부분의 LLM 불확실성 정량화(UQ) 연구는 모델의 내부 예측 확률이나 답변 일관성 같은 지표에 주로 의존했습니다. 반면 인간은 "아마도", "매우 그럴듯함"과 같은 언어적 표현으로 자신의 지식 한계를 인지하고 있음을 나타내는데, 이는 '무엇을 모르는지 아는' 메타인지적 모니터링의 핵심 기능입니다. 논문 연구진은 바로 이 지점에서 LLM이 인간과 근본적인 차이를 보인다고 지적합니다.
연구는 LLM이 언어적 불확실성 표현을 사용할 때, 모델의 내부 불확실성과 일치하지 않는 경우가 많다는 점을 지적했습니다.
- 인간은 '불확실하다'는 표현을 지식 부족을 인정하고 정보 탐색을 위한 메타인지적 신호로 사용합니다.
- LLM은 학습된 언어 패턴에 따라 불확실성 표현을 출력하지만, 이것이 내부 예측 확률이나 자신감과 직접 연동되지 않을 수 있습니다.
- 즉, LLM이 "매우 그럴듯함"이라고 말해도 실제로는 높은 내부 불확실성을 가질 수 있고, 그 반대도 가능합니다.
인사이트
LLM이 언어적 불확실성 표현을 인간과 다르게 사용하며, 이는 AI의 신뢰성을 오판하게 할 수 있음을 밝힌 연구입니다. AI가 진정한 메타인지를 갖추고 불확실성을 솔직하게 드러낼 수 있도록 발전하는 것이 중요합니다.
자주 묻는 질문
- LLM이 "불확실하다"고 말해도 실제로 불확실하지 않을 수 있다는 건가요?
- 네, 이 연구 결과에 따르면 LLM은 학습된 언어 패턴에 따라 '불확실하다'는 표현을 출력할 수 있지만, 그 표현이 모델의 내부적인 자신감이나 예측 확률과 직접 연동되지 않을 수 있습니다. 즉, 언어적 표현과 내부 상태가 일치하지 않을 수 있다는 의미입니다.
- 그럼 LLM이 말하는 모든 '확실한' 답변도 믿을 수 없나요?
- 그렇지는 않습니다. 이 연구는 특히 '불확실성'을 나타내는 언어적 표현에 초점을 맞추고 있으며, LLM의 전반적인 정확도나 신뢰도를 부정하는 것은 아닙니다. 다만, AI가 사용하는 언어, 특히 자신의 지식 상태를 나타내는 표현을 해석할 때 더 신중해야 함을 시사합니다.
- LLM이 인간처럼 불확실성을 제대로 표현하려면 어떻게 해야 할까요?
- 연구진은 LLM이 단순한 언어 패턴 모방을 넘어, 스스로의 지식 한계를 인지하는 '메타인지' 능력을 갖추도록 학습할 필요가 있다고 말합니다. 이를 위해 모델 훈련 방식이나 평가 지표에 언어적 불확실성과 내부 불확실성 간의 정합성을 높이는 방향으로 개선이 이루어져야 할 것입니다.
이 기사 어땠어요?
피드백을 남겨주시면 더 나은 맞춤 추천을 만듭니다.