논문 브리핑
정답률 46%포인트 높인 AI 검증, 답한 비율은 21%였다
글 · 한경모
AI가 답안을 검증해 정답률을 높였다는 소식에서 먼저 볼 숫자는 ‘얼마나 많이 답했나’다. 11월 10일 Abhinav Gupta 등 독립 연구자 4명이 공개한 논문은 공개 가중치 모델의 추론에서 검증의 이득과 운영 비용을 함께 따졌다. 핵심은 검증 도장을 붙이는 기술만큼, 답하지 못한 이유까지 구분하는 평가가 중요하다는 것이다.
연구진은 기존 Theoria 시스템으로 풀이를 근거 유형별 단계로 재구성하고, LLM 심사자가 각 단계를 검사한 뒤 수정 절차를 거쳐 인증하거나 거절하게 했다. 주요 구성에서는 Qwen3-14B가 풀이와 심사를 맡고 gpt-oss-20b가 풀이를 구조화했다. 실험 대상은 과학 질의응답 GPQA 100문제, AIME-2025 30문제, MATH-500의 첫 100문제로, 수학 능력 전체를 대표하는 실험은 아니다.
- GPQA 주요 구성은 최초 답변 정답률 56.3%에서 인증 답변 정밀도 87.6%로 올랐지만, 전체 시도의 35%만 답을 냈다.
- AIME는 정밀도가 약 46%포인트 상승했으나 응답률은 21%였고, MATH-500에서는 개선이 최대 5%포인트에 그쳤다.
- 출력 토큰 예산을 맞춘 반복 풀이·투표 방식도 응답률 35%에서 정밀도 82.9%를 기록했다.
인사이트
검증의 가치는 통과한 답의 정답률과 전체 요청의 처리 성과를 함께 봐야 드러난다. 답변 거절에 숨어 있는 실행 실패까지 측정해야 검증 비용이 실제 신뢰성 향상으로 이어지는지 판단할 수 있다.
자주 묻는 질문
- 정답률이 46%포인트 올랐으면 훨씬 똑똑해진 거 아냐?
- 인증을 통과한 답변 집합의 정밀도가 높아졌다는 의미다. AIME에서는 전체 시도의 약 21%만 인증 답변을 냈으므로, 전체 문제를 해결하는 능력이 같은 폭으로 향상됐다고 볼 수 없다.
- 그냥 여러 번 풀고 투표하면 되는 거야?
- GPQA에서 출력 토큰 예산과 응답률을 맞췄을 때 반복 풀이·투표의 정밀도는 82.9%, 검증 방식은 87.6%였다. 차이의 불확실성 구간이 0을 포함하므로 이 실험만으로 검증의 우월성이나 두 방식의 동등성을 확정할 수 없다.
- 인증된 풀이면 수학적으로 증명됐다는 뜻이야?
- 이 연구의 인증은 구조화한 풀이가 LLM 기반 심사 규칙을 통과했다는 뜻이다. 형식 검증기가 증명의 타당성을 보장한 결과는 아니며, 외부 LLM 심사 역시 인간이나 형식 검증기의 독립적인 판정을 대신하지 못한다.
이 기사 어땠어요?
피드백을 남겨주시면 더 나은 맞춤 추천을 만듭니다.