논문 브리핑
당장 좋아진 AI가 다음에도 좋아질까? Third Eye가 드러낸 1.78%p의 후퇴
글 · 한경모
AI가 스스로를 개선한다면, 오늘의 성능 향상은 내일의 도약으로 이어질까요? arXiv에 새 논문으로 소개된 Third Eye: Beyond Immediate Gains in Recursive Self-Improvement는 이 연결고리를 검증합니다. 핵심은 업데이트 직후 잘하는 모델과, 한 번 더 업데이트해도 유리한 모델을 구분하는 것입니다. 자기개선의 속도보다 개선이 다음 단계까지 이어지는지를 보자는 연구로, 당장의 점수로 승자를 고르는 관행에 질문을 던집니다.
연구진은 매개변수 30억~80억 개 규모의 기반 모델 5종을 수학과 코드 과제에서 평가했습니다. 새로 수행한 실험은 64회이며, 각 실행에서 후보 3개를 만들고 후보마다 후속 업데이트를 3회씩 이어가는 구조입니다. 후보를 선택하는 문항과 최종 점수를 매기는 문항은 겹치지 않게 분리했습니다. 모델 평가에서 일반적으로 중시하는 검증 원칙을 적용해, 선택에 사용한 문제를 잘 푸는 후보가 최종 평가에서도 부당하게 유리해지는 위험을 줄인 것입니다.
- 즉시 평가: 현재 성과를 기준으로 후보를 고르며, Qwen3-4B와 Llama-3.2-3B의 균형 비교에서 이렇게 선택한 후보의 효용은 0에 가까웠습니다.
- 후속 평가: 같은 비교에서 추가 업데이트는 효용을 1.78%포인트 낮췄고, 동시 95% 구간은 0.68~2.88%포인트였습니다.
- 해석의 경계: 이 수치는 논문이 측정한 효용의 감소이며, 두 모델의 일반적인 정답률이 언제나 1.78%포인트 떨어진다는 뜻은 아닙니다.
인사이트
자기개선 AI의 경쟁력은 이번 업데이트의 점수만으로 판단하기 어렵습니다. 다음 업데이트 이후에도 선택의 이점이 유지되는지를 평가해야, 단기 성과와 지속 가능한 개선을 구분할 수 있습니다.
자주 묻는 질문
- AI가 스스로 똑똑해진다는 얘기가 틀렸다는 거야?
- Third Eye는 자기개선 자체가 불가능하다고 입증한 연구가 아닙니다. 특정 실험에서 즉시 성과를 기준으로 선택한 후보의 효용이 후속 업데이트 뒤 감소해, 당장의 평가가 다음 단계의 성과를 보장하지 않음을 보여줍니다.
- 1.78%포인트면 정답률이 그만큼 떨어졌다는 뜻이야?
- 제공된 초록에서 1.78%포인트는 Qwen3-4B와 Llama-3.2-3B의 균형 비교에서 측정한 효용 감소입니다. 효용의 정확한 정의가 제공된 부분에 없어, 이를 일반적인 정답률 하락으로 바꿔 말할 수는 없습니다.
- 클로드나 제미나이도 업데이트하면 나빠질 수 있다는 거야?
- 이 연구의 평가 대상은 매개변수 30억~80억 개 규모의 모델 5종이며, 제시된 결과로 클로드나 제미나이의 업데이트 성과를 판단할 수는 없습니다. 다만 상용 모델을 검증할 때도 즉시 성능과 후속 업데이트 결과를 구분해 살펴보자는 평가 원칙은 참고할 수 있습니다.
이 기사 어땠어요?
피드백을 남겨주시면 더 나은 맞춤 추천을 만듭니다.