논문 브리핑
LLM 성능 순위표, '중립적인 평가'는 없다: 보이지 않는 프롬프트 설정의 함정
글 · 한경모
대규모 언어 모델(LLM) 경쟁이 치열해지면서, 누가 더 똑똑하고 유능한지 가늠하는 성능 순위표(Leaderboard)의 중요성이 나날이 커지고 있습니다. 오픈AI의 GPT, 앤트로픽의 클로드, 구글의 제미나이 등 주요 LLM 개발사들은 저마다 자신들의 모델이 특정 벤치마크에서 우위를 점했다고 홍보하며 시장의 이목을 끌곤 합니다. 하지만 최근 발표된 한 연구 논문은 우리가 맹신하는 이러한 순위표에 근본적인 의문을 제기하며, 그 이면에 숨겨진 ‘설정(Harness)’의 취약성을 날카롭게 지적했습니다.
‘There Is No Neutral Harness: Modern LLM Leaderboards Are Manufactured by Config-Fragile Items’이라는 제목의 이 논문은 LLM 평가 과정에서 벤치마크 자체의 문항이나 정답이 아닌, 부수적인 평가 설정(Harness)이 결과에 지대한 영향을 미친다고 주장합니다. 여기서 ‘평가 설정’이란 LLM에 질문을 던지는 방식, 즉 프롬프트의 워딩, 객관식 보기의 순서, 그리고 LLM의 답변을 텍스트에서 읽어낼지 또는 각 옵션에 대한 확률을 기반으로 해석할지 등의 세부적인 요소를 포괄합니다.
기존에는 이러한 평가 설정의 민감도가 주로 전체 점수의 분산(aggregate score variance)으로 보고되어 왔습니다. 즉, 프롬프트나 보기 순서가 바뀌면 전체 점수가 조금 달라질 수 있다는 정도의 인식이었습니다. 하지만 이 논문의 핵심적인 기여는 이러한 설정의 변화가 ‘어떤 항목’에서 발생하는지, 그리고 그 항목들이 ‘모델 간의 차이를 가르는 결정적인 요소’인지에 집중했다는 점입니다. 연구진은 평가 설정이 조금만 달라져도 LLM의 정답률이 크게 변동하는 ‘설정 취약 항목(Config-Fragile Items)’이 존재하며, 놀랍게도 이 항목들이 바로 특정 LLM이 다른 모델보다 우위에 있다고 주장하는 근거가 되는 경우가 많다고 밝혔습니다.
이는 단순히 평가의 정확도 문제를 넘어섭니다. 예를 들어, 동일한 모델이라도 프롬프트 한두 단어 변경만으로 특정 문제의 정답률이 10% 이상 출렁이거나, 객관식 보기 순서만 바꿔도 다른 모델에게 순위를 내주는 상황이 발생할 수 있다는 의미입니다. 이러한 연구 결과는 LLM 개발사들이 자사 모델의 성능을 과장하거나, 특정 벤치마크에 ‘최적화’된 프롬프트 설정을 찾아내어 인위적으로 순위를 높일 가능성을 시사합니다. 이는 AI 연구의 투명성과 신뢰도를 저해하고, 잠재적으로는 LLM을 활용하려는 기업이나 연구자들에게 잘못된 정보를 제공할 수 있습니다.
업계 전문가들 사이에서도 벤치마크의 한계에 대한 지적은 꾸준히 제기되어 왔습니다. 특히 LLM의 복잡한 추론 능력이나 안전성 같은 비정량적 요소들은 단순히 정답 유무로 판단하기 어렵다는 시각이 많습니다. 이 논문은 기존의 비판을 더욱 구체화하여, 현재의 다중 선택형 벤치마크조차도 그 '객관성'이 흔들릴 수 있음을 과학적으로 증명한 것입니다. 이러한 상황은 마치 동일한 육상 경기에서 매번 스타트 라인의 위치나 결승선 판독 방식이 미묘하게 바뀌는 것과 유사하며, 결과적으로 선수들의 진짜 실력을 공정하게 평가하기 어렵게 만듭니다.
그렇다면 우리는 이 문제에 어떻게 접근해야 할까요? 논문은 평가 설정의 표준화, 다양한 설정에서 반복적인 평가 수행, 그리고 여러 평가 설정을 종합적으로 고려하는 견고한 평가 시스템 구축 등을 제안합니다. 특정 벤치마크에서 단순히 점수가 높다고 해서 해당 LLM이 모든 상황에서 우월하다고 맹신하기보다는, 평가 과정의 투명성과 견고성을 요구하는 비판적인 시각이 필요해진 시점입니다. 이 연구는 LLM 성능 평가의 복잡성을 다시 한번 상기시키며, 신뢰할 수 있는 AI 기술 발전을 위한 평가 방법론에 대한 깊은 논의를 촉발할 것으로 보입니다.
인사이트
LLM 벤치마크 순위표는 평가 설정(프롬프트, 보기 순서 등)의 작은 변화에도 크게 영향을 받는 '설정 취약 항목' 때문에 중립적이지 않을 수 있으며, 이는 모델의 실제 성능에 대한 오해를 불러일으킬 수 있습니다. AI 개발사와 사용자 모두 평가의 투명성과 견고성에 대한 비판적 인식을 가져야 합니다.
자주 묻는 질문
- 그럼 지금 LLM 순위표들은 믿을 수 없는 건가요?
- 이 논문은 현재 LLM 순위표가 완전히 무의미하다고 말하는 것은 아닙니다. 다만, 평가 과정의 특정 '설정'에 따라 결과가 크게 달라질 수 있음을 지적하며, 특히 모델 간의 미세한 성능 차이를 보여주는 항목들이 이러한 설정에 취약하다는 점을 강조합니다.
- '설정 취약 항목'이 정확히 뭘 의미하나요?
- LLM 벤치마크 문항 중에는 프롬프트의 워딩, 객관식 보기의 순서 등 평가 설정이 조금만 바뀌어도 해당 LLM의 정답률이 크게 변동하는 문제들이 있습니다. 이러한 문제들을 '설정 취약 항목'이라고 부르며, 이 항목들이 모델의 상대적 순위를 결정하는 경우가 많다는 것이 논문의 요지입니다.
- LLM의 실제 성능을 공정하게 평가하려면 어떻게 해야 하나요?
- 논문은 평가 설정의 표준화와 더불어, 단일 설정에만 의존하지 않고 다양한 평가 설정을 통한 반복적인 검증을 제안합니다. 또한, 여러 평가 설정을 아우르는 견고한 평가 시스템을 구축하여 편향성을 줄이고, 평가 결과 해석에 대한 더 비판적인 시각이 필요하다고 강조합니다.
이 기사 어땠어요?
피드백을 남겨주시면 더 나은 맞춤 추천을 만듭니다.