논문 브리핑
LLM 속마음을 읽어라: 다수결보다 숨겨진 '정답 신호'가 정확한 순간
글 · 한경모
대규모 언어 모델(LLM)이 복잡한 질문에 답할 때, 하나의 최종 답을 내놓기 위해 여러 후보를 생성한 뒤 가장 빈번한 답을 선택하는 '다수결 투표' 방식은 흔히 쓰이는 방법입니다. 이 방식은 직관적이고 구현이 쉽다는 장점이 있지만, 치명적인 약점 또한 가지고 있습니다. 특히 난이도가 높은 질문이나 미묘한 뉘앙스를 요구하는 문제에서는 모델이 내놓은 여러 오답들이 서로 상관관계를 가질 수 있어, 잘못된 답이 다수결로 채택되는 경우가 빈번하게 발생합니다. 심지어 더 많은 샘플을 뽑을수록 오히려 오답이 다수로 굳어져 최종 결정의 정확도를 떨어뜨리는 역설적인 상황도 벌어집니다.
최근 arXiv에 공개된 한 연구는 이러한 다수결 투표 방식의 한계를 극복하기 위한 새로운 접근법을 제시해 주목받고 있습니다. 이 논문 'A decodability criterion predicts when hidden-state selection beats majority voting in large language models'는 모델의 '숨겨진 상태(hidden states)'에서 정답 신호를 직접 읽어내는 '숨겨진 상태 선택(hidden-state selection)'이 특정 상황에서 다수결 투표보다 훨씬 더 정확할 수 있다고 주장합니다. 모델의 숨겨진 상태는 LLM 내부의 각 계층을 통과하며 정보가 처리되는 중간 단계를 의미하며, 이는 모델이 최종 출력을 내기 전까지 가지고 있는 '속마음'과 같은 것으로 이해할 수 있습니다.
하지만 숨겨진 상태 선택 방식 역시 늘 정확한 것은 아니었습니다. 모델이나 작업 유형에 따라 정확도가 들쭉날쭉했고, 언제 이 방식을 신뢰해야 하는지에 대한 명확한 기준이 없다는 점이 실용화의 걸림돌이었습니다. 연구팀은 이 문제를 해결하기 위해 '해독 가능성 기준(decodability criterion)'이라는 새로운 지표를 제안합니다. 이 기준은 모델의 숨겨진 상태에 정답에 대한 명확한 정보가 얼마나 잘 '부호화(encoded)'되어 있는지를 측정하여, 숨겨진 상태 선택이 다수결 투표보다 우수할 것인지 여부를 예측합니다.
이 해독 가능성 기준은 LLM의 신뢰성을 한 단계 끌어올릴 수 있는 중요한 진전으로 평가됩니다. 이 기준을 통해 우리는 LLM이 특정 질문에 대해 얼마나 '확신'을 가지고 있는지 내부적으로 파악할 수 있게 됩니다. 이는 단순히 여러 답안 중 다수를 따르는 것이 아니라, 모델이 '스스로' 어느 답이 더 정확한지에 대한 내부적 단서를 제공하는 것이기 때문입니다. 의료 진단, 법률 자문, 복잡한 과학 연구 등 LLM의 답변 정확도가 매우 중요한 고위험 응용 분야에서 이 기술은 오답으로 인한 치명적인 결과를 방지하는 데 기여할 수 있습니다.
핵심 비교 및 쟁점은 다음과 같습니다:
- 다수결 투표: 직관적이고 보편적이나, 오답의 상관관계 문제로 어려운 질문에서 신뢰도가 떨어질 수 있음.
- 숨겨진 상태 선택: 모델의 내부 정보를 활용하여 잠재적으로 더 정확한 답을 찾을 수 있으나, 일관성이 부족하고 언제 신뢰해야 할지 불분명했음.
- 해독 가능성 기준: 숨겨진 상태 선택 방식의 신뢰도를 예측하는 지표를 제공하여, LLM이 '언제 속마음을 믿을 수 있는지' 알려줌으로써 전반적인 답변 정확도를 향상시킴.
인사이트
이 연구는 LLM이 여러 후보 답을 내놓을 때 다수결 방식의 한계를 지적하고, 모델의 내부 '속마음'인 숨겨진 상태에서 정답 신호를 읽어낼 수 있는 새로운 기준을 제시하여 LLM의 답변 신뢰도를 획기적으로 높일 잠재력을 보여줍니다.
자주 묻는 질문
- LLM이 여러 답을 내놓으면 그냥 가장 많은 걸 고르면 되는 거 아니야?
- 아닙니다. 쉬운 질문에서는 다수결이 효과적이지만, 어려운 질문에서는 LLM이 오답들을 서로 비슷하게 생성하는 경향이 있어, 잘못된 답이 다수결로 선택될 수 있습니다. 심지어 더 많은 답을 생성할수록 오답이 다수로 굳어지는 역효과가 발생하기도 합니다.
- 그럼 이 방법이 모든 상황에서 다수결보다 무조건 더 좋은 거야?
- 아닙니다. 이 연구는 '해독 가능성 기준'을 통해 언제 숨겨진 상태 선택 방식이 다수결보다 우수할지 예측할 수 있음을 보여줍니다. 즉, 이 기준을 통해 상황에 따라 더 적절하고 신뢰할 수 있는 답변 선택 방법을 결정할 수 있게 됩니다.
- 숨겨진 상태를 본다는 게 정확히 무슨 말이야?
- 숨겨진 상태(hidden states)는 LLM이 입력 텍스트를 처리하고 다음 단어를 예측하는 과정에서 각 내부 계층마다 생성하는 중간 단계의 정보 표현입니다. 이 연구는 이러한 내부 상태에 최종 출력 토큰보다 더 명확한 정답 신호가 암호화되어 있을 수 있음을 가정하고 이를 활용하는 방법을 제시합니다.
이 기사 어땠어요?
피드백을 남겨주시면 더 나은 맞춤 추천을 만듭니다.