논문 브리핑
실력 그대로인데 45계단 상승…AI 순위표를 흔드는 세 가지 조작
글 · 한경모
AI가 똑똑해지지 않아도 순위표에서는 최대 45계단을 오를 수 있다는 연구가 나왔다.
11월 10일 Eve Fleisig 등 4명이 arXiv에 공개한 ‘Leaderboard Hacking’은 사람의 선호를 모아 만든 LLM 순위의 구조적 취약점을 분석했다.
핵심은 평가자가 거짓말을 하지 않아도 질문과 경쟁 상대의 구성을 바꾸면 순위를 유리하게 움직일 수 있다는 점이다.
Arena 방식은 이름을 가린 두 모델의 답변 중 사용자가 더 좋아하는 쪽을 고르면, Bradley-Terry 모델로 비교 결과를 종합한다.
평가 연구계에서는 고정된 시험 문제만으로 실제 사용 경험을 포착하기 어렵다는 문제의식에서 이런 방식을 활용해 왔다.
하지만 상대적 강함을 추정하는 구조에서는 내 모델이 참여하지 않은 대결도 경쟁자의 점수를 통해 내 순위에 영향을 준다.
연구진은 LMArena의 공개 선호 데이터 10만 건 이상과 55개 모델을 대상으로 세 가지 공격을 실험했다.
- 전략적 투표: 경쟁 모델끼리의 대결에서도 표를 조정해 목표 모델의 상대적 위치를 끌어올린다.
- 전략적 질문: 목표 모델이 강한 언어나 과제의 질문 비중을 높여, 정직한 선호 투표만으로도 평가 분포를 기울인다.
- 전략적 출품: 목표 모델에 유리한 상대의 복제 모델을 추가해 전체 비교 구성을 바꾼다.
인사이트
AI 순위는 모델의 능력과 평가 참여 구조가 함께 만든 결과다. 구매와 투자 판단에 쓰려면 순위 상승 자체보다 질문·경쟁 상대가 달라져도 우위가 유지되는지 확인해야 한다.
자주 묻는 질문
- 그럼 실제 AI 순위가 조작됐다는 거야?
- 이 논문은 공개 데이터를 이용해 조작 가능성을 실험했으며, 운영 중인 순위표를 직접 조작하지 않았다. 특정 기업의 부정행위를 입증한 연구로 해석할 수는 없다. [논문](https://arxiv.org/html/2611.14769v1)
- 좋은 답변에 정직하게 투표해도 문제가 돼?
- 특정 모델이 강한 분야의 질문만 집중되면 개별 투표가 정직해도 전체 순위는 그 분야에 유리하게 바뀔 수 있다. 핵심은 투표의 진실성뿐 아니라 질문 구성이 평가하려는 사용 환경을 대표하는지다. [질문 공격 분석](https://arxiv.org/html/2611.14769v1#S3.S3)
- 이제 순위표는 아예 안 봐야 해?
- 이 연구만으로 모든 선호 기반 평가가 무의미하다고 결론 내릴 수는 없다. 순위표는 후보를 추리는 참고 자료로 활용하고, 최종 선택은 한국어와 실제 업무 과제를 담은 별도 비교로 확인하는 것이 합리적이다.
이 기사 어땠어요?
피드백을 남겨주시면 더 나은 맞춤 추천을 만듭니다.