논문 브리핑
테스트는 63% 통과, 업무 완수는 8% 미만…AI 직원의 빈틈 드러낸 SWE-CoWork

코드를 잘 짜는 AI에게 팀의 업무를 통째로 맡겨도 될까?
TokenWave AI가 11월 15일 공개한 SWE-CoWork는 이 질문을 101개 실제 저장소의 개발 과제로 시험했다.
11개 언어와 12개 응용 분야를 다루며, 각 과제에는 역할과 지식이 다른 가상 동료 26명이 등장한다.
핵심은 코딩 에이전트가 짧은 인수인계만 받고 동료와 업무 기록에서 요구사항을 찾아내야 한다는 점이다.
소프트웨어 공학 연구에서는 개발을 이해관계자와 요구사항을 조율하는 협업 과정으로 본다.
SWE-CoWork는 이런 관점을 평가에 옮겨, 정리된 요청을 해결하는 기존 코딩 벤치마크의 범위를 넓혔다.
현업에서도 문서에 적힌 설명과 담당자가 기억하는 예외 조건이 다르면, 그 차이를 해소하는 일이 구현의 출발점이다.
그래서 이 연구의 관전 포인트는 정답 코드에 도달하는 능력과 업무를 끝까지 책임지는 능력이 얼마나 다른가에 있다.
- 평가 대상 11개 모델 중 클로드 Opus 5.5와 GPT-6 Astra의 신규 기능 테스트 통과율은 각각 63.84%, 62.91%였다.
- 기존 기능 보존까지 포함한 모든 테스트를 통과한 과제 비율은 각각 6.93%, 7.92%에 그쳤다.
- 두 모델에 한정한 별도 실험에서는 전체 요구사항을 미리 줘도 완전 성공률이 오르지 않았다.
인사이트
기업이 구매하는 것은 코드 생성량이 아니라 맡긴 업무의 완결성이다. 코딩 에이전트의 경쟁력은 요구사항을 놓치지 않고 처리해 사람의 확인·재작업 비용을 줄이는 능력까지 포함해야 한다.
자주 묻는 질문
- 테스트를 63% 통과했는데 왜 업무 성공률은 8%도 안 돼?
- 테스트 통과율은 개별 검사에서 얻은 부분 성과이고, 업무 성공률은 한 과제의 신규 기능과 기존 기능 보존 검사를 모두 통과한 비율이다. 여러 조건 중 일부를 해결해도 과제 전체가 성공한 것은 아니다. [평가 기준](https://arxiv.org/html/2611.20218v1#S3.SS4)
- 요구사항을 처음부터 자세히 써주면 해결되는 거 아냐?
- Seed Evolving과 GPT-6 Astra에서는 전체 요구사항을 미리 제공하자 신규 기능 테스트 성적이 개선됐지만 완전 성공률은 그대로였다. 이 두 모델의 실험에서는 요구사항 확보 이후의 구현과 검증에도 문제가 남았다. [비교 실험](https://arxiv.org/html/2611.20218v1#S6.SS2)
- 그럼 회사에서 코딩 AI를 쓰면 안 된다는 뜻이야?
- 이 연구는 시뮬레이션 조직에서 자율 업무 수행을 평가했으며, 사람이 함께 사용하는 코딩 AI의 생산성 효과를 직접 측정하지 않았다. 기업은 자사 업무에서 부분 구현의 이익과 사람의 검토·수정 비용을 함께 평가해야 한다. [연구 설계](https://arxiv.org/html/2611.20218v1#S5)
이 기사 어땠어요?
피드백을 남겨주시면 더 나은 맞춤 추천을 만듭니다.