지금은 인공지능 시대(지인시) 심볼지금은 인공지능 시대
논문 브리핑

정답을 내고도 계속 일하는 코딩 AI, 종료 뒤처짐이 성능을 가른다

한경모글 · 한경모
코딩 에이전트의 최초 정답 도달 시점과 실제 작업 종료 시점을 비교한 연구 그래프
코딩 에이전트의 최초 정답 도달 시점과 실제 작업 종료 시점을 비교한 연구 그래프
버그는 고쳤는데 AI는 계속 일한다면, 그 추가 작업은 얼마나 가치가 있을까. 11월 11일 공개된 펜실베이니아주립대 Musa Cim·Burak Topcu·Mahmut Taylan Kandemir의 논문은 코딩 에이전트의 ‘종료 지연’을 독립적인 성능 문제로 제시했다. 핵심은 정답을 만드는 능력과 작업 완료를 판단하는 능력을 나눠 평가하자는 것이다. 연구진은 모델 5개, 에이전트 프레임워크 2개, SWE-bench 데이터셋 3개에서 실행 중 생성된 코드 변경을 기록했다. 매 단계의 변경본을 보관하고 실행이 끝난 뒤 공식 테스트로 평가해, 처음 정답이 나온 시점부터 종료까지의 단계 수를 계산했다. 에이전트에는 이 사후 평가 결과를 보여주지 않아 측정 자체가 행동을 바꾸지 않도록 했다. 기존 평가가 최종 제출물의 합격 여부를 중심으로 점수를 매겼다면, 이번 연구는 같은 합격점 뒤에 숨은 작업 과정을 들여다봤다.
  • 첫 수정의 정확성: 한 번이라도 정답에 도달한 실행 중 38~82%는 최초 소스코드 수정부터 정답이었다.
  • 해결 뒤 추가 작업: 성공한 실행에서 추가 단계 비중의 중앙값은 Qwen3-Coder가 35~37%, Laguna-XS.2가 54~60%였다.
  • 정답의 손실: 정답에 도달했던 실행의 1~8%는 이후 변경으로 오답이 된 채 끝났다.
첫 수정 성공률을 전체 과제의 성공률로 읽으면 안 되며, 수정 전 코드 탐색까지 생략할 수 있다는 뜻도 아니다. 또 추가 단계 중 검증이 48~63%, 저장소 탐색이 15~29%여서, 에이전트가 계속 코드를 뜯어고친다는 설명도 정확하지 않다. 연구진 역시 에이전트는 공식 평가 테스트를 볼 수 없으므로 자체 증거를 바탕으로 검증해야 한다는 입장이다. ‘확인 작업을 줄이면 품질이 떨어진다’는 반론에는 충분한 근거가 있다. 하지만 검증의 필요성이 반복 확인의 효용까지 보장하지는 않으며, 이미 맞힌 답을 잃는 사례는 종료 판단에도 품질 기준이 필요함을 보여준다. 이 연구는 실행 중 성공을 판별하는 완성된 종료 알고리즘을 제안한 것이 아니라, 이상적으로 멈췄을 때 줄일 수 있는 작업량을 측정했다. 과제별 실행도 한 번뿐이고 단계 수는 비용의 대리 지표여서, ‘API 요금을 60% 절감한다’는 식의 환산은 성립하지 않는다. 벤치마크 테스트 통과만으로 실제 서비스의 보안·유지보수성까지 보장할 수도 없다. 논문 원문 논문이 연결하는 기존 ‘과잉 추론’ 연구의 질문은 이제 한 응답의 길이에서 도구를 사용하는 전체 작업 흐름으로 확장된다. 제품 경쟁에 적용하면 정답률과 함께 정답 이후의 호출량, 대기시간, 수정 안정성을 비교할 이유가 생긴다는 해석이 가능하다. 국내 개발팀도 도입 평가에서 최종 결과뿐 아니라 중간 변경본과 검증 기록을 남겨, 추가 확인이 새 오류를 찾았는지 살펴볼 만하다. 다음 경쟁력은 무조건 빨리 끝내는 기능보다, 충분한 검증 근거를 모았을 때 제출을 결정하는 능력에 달려 있다.
인사이트

코딩 에이전트의 최종 정답률만 보면 정답 이후에 쓴 비용과 정답을 잃어버린 과정이 가려진다. 종료 판단을 별도 성능으로 평가해야 정확성과 운영 효율을 함께 개선할 수 있다.

자주 묻는 질문

그럼 첫 수정만 하고 멈추게 하면 되는 거야?
아니다. 최초 수정의 높은 정답 비율은 한 번이라도 정답에 도달한 실행을 기준으로 하므로, 모든 과제에 첫 수정 후 종료를 적용할 근거가 되지 않는다.
추가 작업이 60%면 요금도 그만큼 줄일 수 있어?
그렇게 계산할 수 없다. 논문이 측정한 단계 수와 실제 요금은 다르며, 호출별 입력·출력 토큰과 도구 실행 비용에 따라 절감액도 달라진다.
테스트를 통과하면 바로 제출해도 괜찮지 않아?
테스트 통과는 제출 판단의 중요한 근거지만, 요구사항 전체를 충족했다는 보장은 아니다. 특히 이 연구의 공식 평가 결과는 실행 후에 확인했으므로, 에이전트가 당시 알 수 있었던 정보와 구분해야 한다.
공유XTelegram

이 기사 어땠어요?

피드백을 남겨주시면 더 나은 맞춤 추천을 만듭니다.

이런 뉴스를 매일 받아보세요

매일 아침 7시, 그날의 정리를 이메일과 Telegram으로 받아보세요.