지금은 인공지능 시대(지인시) 심볼지금은 인공지능 시대
논문 브리핑

테스트는 63% 통과, 업무 완수는 8% 미만…AI 직원의 빈틈 드러낸 SWE-CoWork

한경모글 · 한경모
코드 편집기와 동료 대화창, 요구사항별 테스트 결과가 나란히 배치된 개발 업무 화면
코드 편집기와 동료 대화창, 요구사항별 테스트 결과가 나란히 배치된 개발 업무 화면
코드를 잘 짜는 AI에게 팀의 업무를 통째로 맡겨도 될까? TokenWave AI가 11월 15일 공개한 SWE-CoWork는 이 질문을 101개 실제 저장소의 개발 과제로 시험했다. 11개 언어와 12개 응용 분야를 다루며, 각 과제에는 역할과 지식이 다른 가상 동료 26명이 등장한다. 핵심은 코딩 에이전트가 짧은 인수인계만 받고 동료와 업무 기록에서 요구사항을 찾아내야 한다는 점이다. 소프트웨어 공학 연구에서는 개발을 이해관계자와 요구사항을 조율하는 협업 과정으로 본다. SWE-CoWork는 이런 관점을 평가에 옮겨, 정리된 요청을 해결하는 기존 코딩 벤치마크의 범위를 넓혔다. 현업에서도 문서에 적힌 설명과 담당자가 기억하는 예외 조건이 다르면, 그 차이를 해소하는 일이 구현의 출발점이다. 그래서 이 연구의 관전 포인트는 정답 코드에 도달하는 능력과 업무를 끝까지 책임지는 능력이 얼마나 다른가에 있다.
  • 평가 대상 11개 모델 중 클로드 Opus 5.5와 GPT-6 Astra의 신규 기능 테스트 통과율은 각각 63.84%, 62.91%였다.
  • 기존 기능 보존까지 포함한 모든 테스트를 통과한 과제 비율은 각각 6.93%, 7.92%에 그쳤다.
  • 두 모델에 한정한 별도 실험에서는 전체 요구사항을 미리 줘도 완전 성공률이 오르지 않았다.
마지막 실험의 대상은 Seed Evolving과 GPT-6 Astra로, 신규 기능 테스트 성적은 약 16%포인트 개선됐다. 정보를 충분히 주면 부분 구현은 나아져도, 남은 조건까지 모두 충족하는 데는 별도의 병목이 있다는 뜻이다. 클로드 분석에서는 완료했다고 보고한 요구사항의 31%가 해당 테스트를 통과하지 못했다. 이 결과는 에이전트의 완료 보고를 기업의 납품 승인으로 바로 연결하기 어렵다는 판단을 뒷받침한다. 논문 원문 물론 모든 조건을 통과해야 성공으로 치는 기준이 지나치게 엄격하다는 반론은 가능하다. 부분 구현에도 경제적 가치는 있지만, 기업이 업무 전체를 위임하려면 남은 결함을 찾아 수정하는 사람의 비용까지 계산해야 한다. 따라서 낮은 완수율은 AI의 무용함을 뜻하기보다, 보조 도구의 생산성과 자율 직원의 신뢰성을 따로 측정해야 한다는 신호다. 다만 동료가 실제 사람이 아닌 시뮬레이션이고 실행 도구 구성도 모델마다 달라, 이 순위를 현실 기업의 생산성 순위로 옮겨서는 안 된다. 실험 설계 한국 기업의 도입 평가에서도 생성한 코드 분량보다 담당자 확인, 미해결 질문, 수용 조건 충족 여부를 함께 기록하는 편이 유용하겠다. 제품 경쟁의 차별점 역시 더 빠른 코드 생성에서, 대화 중 얻은 조건을 구현과 검증까지 유지하는 업무 관리 능력으로 넓어질 수 있다. 다음 평가에서 확인할 것은 모델 점수 상승이 실제로 사람의 후속 확인과 재작업을 얼마나 줄였는지다.
인사이트

기업이 구매하는 것은 코드 생성량이 아니라 맡긴 업무의 완결성이다. 코딩 에이전트의 경쟁력은 요구사항을 놓치지 않고 처리해 사람의 확인·재작업 비용을 줄이는 능력까지 포함해야 한다.

자주 묻는 질문

테스트를 63% 통과했는데 왜 업무 성공률은 8%도 안 돼?
테스트 통과율은 개별 검사에서 얻은 부분 성과이고, 업무 성공률은 한 과제의 신규 기능과 기존 기능 보존 검사를 모두 통과한 비율이다. 여러 조건 중 일부를 해결해도 과제 전체가 성공한 것은 아니다. [평가 기준](https://arxiv.org/html/2611.20218v1#S3.SS4)
요구사항을 처음부터 자세히 써주면 해결되는 거 아냐?
Seed Evolving과 GPT-6 Astra에서는 전체 요구사항을 미리 제공하자 신규 기능 테스트 성적이 개선됐지만 완전 성공률은 그대로였다. 이 두 모델의 실험에서는 요구사항 확보 이후의 구현과 검증에도 문제가 남았다. [비교 실험](https://arxiv.org/html/2611.20218v1#S6.SS2)
그럼 회사에서 코딩 AI를 쓰면 안 된다는 뜻이야?
이 연구는 시뮬레이션 조직에서 자율 업무 수행을 평가했으며, 사람이 함께 사용하는 코딩 AI의 생산성 효과를 직접 측정하지 않았다. 기업은 자사 업무에서 부분 구현의 이익과 사람의 검토·수정 비용을 함께 평가해야 한다. [연구 설계](https://arxiv.org/html/2611.20218v1#S5)
공유XTelegram

이 기사 어땠어요?

피드백을 남겨주시면 더 나은 맞춤 추천을 만듭니다.

이런 뉴스를 매일 받아보세요

매일 아침 7시, 그날의 정리를 이메일과 Telegram으로 받아보세요.