논문 브리핑
RLHF의 마법, 착시였나? '정답 박스' 속 숨겨진 AI의 비밀
글 · 한경모
최근 대규모 언어 모델(LLM)의 비약적인 발전 뒤에는 강화 학습 기반의 미세 조정, 특히 인간 피드백 기반 강화 학습(RLHF)이나 검증 가능한 보상 기반 강화 학습(RLVR)의 역할이 컸다는 것이 정설입니다. 이 기술들은 모델이 단순히 지식을 나열하는 것을 넘어, 인간의 의도를 이해하고 유용하며 안전한 답변을 생성하도록 돕는다고 알려져 있죠. 특히 RLVR은 특정 분야 학습만으로 MMLU(Massive Multitask Language Understanding) 같은 광범위한 벤치마크에서 예상치 못한 '도메인 외부(out-of-domain)' 성능 향상을 가져온다고 평가받기도 했습니다. 마치 수학 문제를 풀도록 훈련했더니 일반 상식 문제도 더 잘 풀게 되는 기적과 같은 일처럼 들립니다.
하지만 최근 아카이브(arXiv)에 공개된 한 논문, 'Same Answer, New Box: How Much of RLVR's Out-of-Domain Gain Is Answer Format?'은 이러한 '마법'에 숨겨진 불편한 진실을 파헤칩니다. 이 논문의 핵심 주장은 RLVR을 통해 얻어진 도메인 외부 성능 향상이, 모델이 실제로 해당 지식을 더 잘 이해하게 된 결과가 아닐 수 있다는 것입니다. 오히려 모델이 평가에 사용되는 '정답 추출기(answer extractor)'가 선호하는 답변 형식, 즉 '정답처럼 보이는 박스'에 맞춰 스스로를 최적화했을 가능성을 제기합니다.
이것이 왜 문제가 될까요? LLM의 성능을 측정할 때, 우리는 모델이 생성한 긴 텍스트에서 실제 정답만을 추출해 점수를 매깁니다. 이 과정에서 특정 패턴이나 형식을 가진 추출기가 사용되곤 합니다. 연구진은 바로 이 지점을 파고들었습니다. RLVR 모델이 보상을 극대화하는 과정에서, 질문의 본질적인 답을 찾는 능력보다는 추출기가 '정답'으로 인식할 만한 특정 출력 형식을 학습했을 수 있다는 거죠. 이는 모델이 진짜로 똑똑해진 것이 아니라, 시험 감독관이 특정 글씨체나 답안 작성 방식을 선호한다는 것을 파악하고 그에 맞춰 '요령'을 피운 것과 비슷합니다.
논문은 이를 증명하기 위해 흥미로운 실험을 진행했습니다. 기존 RLVR 모델들이 생성한 답변들을 두 가지 방식으로 평가한 것입니다.
- 첫째, RLVR 학습 과정과 동일하게 '편향될 수 있는' 원래의 정답 추출기를 사용해 평가했습니다.
- 둘째, 답변 형식에 덜 민감하고 더 '강건한(robust)' 새로운 정답 추출기를 사용하여 다시 평가했습니다.
인사이트
이 논문은 대규모 언어 모델의 '도메인 외부' 성능 향상이 실제 지식 습득이 아닌 평가 방식의 허점을 이용한 '답변 형식 최적화'일 수 있음을 밝혀내, AI 모델 평가의 신뢰성과 투명성에 대한 근본적인 질문을 제기합니다.
자주 묻는 질문
- 그럼 RLHF나 RLVR로 학습시킨 AI 모델들은 다 쓸모없는 건가요?
- 그렇지는 않습니다. 논문은 RL 기반 학습이 여전히 모델 성능 향상에 기여하지만, 특정 벤치마크 점수 상승의 상당 부분이 '답변 형식 최적화' 때문일 수 있음을 지적합니다. 즉, RL 자체보다 이를 평가하는 방식에 더 개선이 필요하다는 것입니다.
- 이번 연구가 LLM의 '환각(Hallucination)' 문제와도 관련이 있나요?
- 직접적인 관련은 적습니다. '환각'은 모델이 사실과 다른 정보를 생성하는 문제인 반면, 이 연구는 모델이 정답을 알고 있어도 특정 평가 방식에 맞춰 '보이기 좋은' 형태로 답을 내는 경향을 분석한 것입니다. 다만, 평가 지표에 대한 과최적화가 모델의 진정한 이해도를 왜곡할 수 있다는 점에서 넓은 의미의 신뢰성 문제와는 연결됩니다.
- 앞으로 LLM 성능은 어떻게 평가해야 할까요?
- 논문은 더욱 강건하고 다양한 평가 추출기를 사용하고, 인간 평가(Human Evaluation)의 비중을 높이며, 여러 벤치마크와 실제 사용 시나리오를 통합하는 다각적인 접근 방식이 필요하다고 시사합니다. 단순한 점수보다 모델의 '진정한 이해도'를 측정하는 데 초점을 맞춰야 합니다.
이 기사 어땠어요?
피드백을 남겨주시면 더 나은 맞춤 추천을 만듭니다.