논문 브리핑
정답을 내고도 계속 일하는 코딩 AI, 종료 뒤처짐이 성능을 가른다

버그는 고쳤는데 AI는 계속 일한다면, 그 추가 작업은 얼마나 가치가 있을까.
11월 11일 공개된 펜실베이니아주립대 Musa Cim·Burak Topcu·Mahmut Taylan Kandemir의 논문은 코딩 에이전트의 ‘종료 지연’을 독립적인 성능 문제로 제시했다.
핵심은 정답을 만드는 능력과 작업 완료를 판단하는 능력을 나눠 평가하자는 것이다.
연구진은 모델 5개, 에이전트 프레임워크 2개, SWE-bench 데이터셋 3개에서 실행 중 생성된 코드 변경을 기록했다.
매 단계의 변경본을 보관하고 실행이 끝난 뒤 공식 테스트로 평가해, 처음 정답이 나온 시점부터 종료까지의 단계 수를 계산했다.
에이전트에는 이 사후 평가 결과를 보여주지 않아 측정 자체가 행동을 바꾸지 않도록 했다.
기존 평가가 최종 제출물의 합격 여부를 중심으로 점수를 매겼다면, 이번 연구는 같은 합격점 뒤에 숨은 작업 과정을 들여다봤다.
- 첫 수정의 정확성: 한 번이라도 정답에 도달한 실행 중 38~82%는 최초 소스코드 수정부터 정답이었다.
- 해결 뒤 추가 작업: 성공한 실행에서 추가 단계 비중의 중앙값은 Qwen3-Coder가 35~37%, Laguna-XS.2가 54~60%였다.
- 정답의 손실: 정답에 도달했던 실행의 1~8%는 이후 변경으로 오답이 된 채 끝났다.
인사이트
코딩 에이전트의 최종 정답률만 보면 정답 이후에 쓴 비용과 정답을 잃어버린 과정이 가려진다. 종료 판단을 별도 성능으로 평가해야 정확성과 운영 효율을 함께 개선할 수 있다.
자주 묻는 질문
- 그럼 첫 수정만 하고 멈추게 하면 되는 거야?
- 아니다. 최초 수정의 높은 정답 비율은 한 번이라도 정답에 도달한 실행을 기준으로 하므로, 모든 과제에 첫 수정 후 종료를 적용할 근거가 되지 않는다.
- 추가 작업이 60%면 요금도 그만큼 줄일 수 있어?
- 그렇게 계산할 수 없다. 논문이 측정한 단계 수와 실제 요금은 다르며, 호출별 입력·출력 토큰과 도구 실행 비용에 따라 절감액도 달라진다.
- 테스트를 통과하면 바로 제출해도 괜찮지 않아?
- 테스트 통과는 제출 판단의 중요한 근거지만, 요구사항 전체를 충족했다는 보장은 아니다. 특히 이 연구의 공식 평가 결과는 실행 후에 확인했으므로, 에이전트가 당시 알 수 있었던 정보와 구분해야 한다.
이 기사 어땠어요?
피드백을 남겨주시면 더 나은 맞춤 추천을 만듭니다.