논문 브리핑
코드가 맞아도 느리면 감점…AI 16종을 겨룬 Accelerate Bench

AI가 코드를 고쳤는데 프로그램은 여전히 느리다면, 무엇을 잘했다고 평가해야 할까.
11월 16일 Bowen Liu 등 연구진이 공개한 Accelerate Bench는 과학 계산과 슈퍼컴퓨팅 대회에서 가져온 CPU 최적화 과제 32개로 이 질문을 던진다.
핵심은 정답 코드를 만드는 능력을 넘어, 계산 결과를 보존하면서 프로그램 전체의 실행 시간을 줄이는 능력을 측정한다는 점이다.
기존 GSO가 사람의 최적화 커밋을 기준으로 과제를 구성했다면, 이번 연구는 수행할 계산과 작업량만 정하고 개선 위치는 에이전트가 찾게 한다.
성능 공학 분야에서 통용되는 접근은 병목을 측정하고 수정한 뒤 전체 실행 시간을 다시 확인하는 반복 과정이며, 논문도 이 관점을 평가 설계에 반영했다.
함수 하나를 빠르게 바꾸더라도 실제 실행 경로에서 쓰이지 않거나 다른 구간이 느리면 전체 성능은 나아지지 않기 때문이다.
- 작업 범위: GROMACS·OpenFOAM 같은 실제 응용프로그램을 주고, 과제당 8시간 안에 허용된 코드와 설정을 개선하게 한다.
- 검증 방식: 개발 중 공개 테스트를 제공하되, 최종 결과는 별도 검증기가 숨겨진 입력으로 정확성과 실행 시간을 확인한다.
- 채점 기준: Score@1은 정답률이 아니라 정확성을 통과한 실행 시간 절감률의 과제 평균이며, 시간이 절반으로 줄면 해당 과제 보상은 0.5다.
인사이트
최적화 AI의 실력은 수정한 코드의 양보다 프로그램 전체에서 재현되는 시간 절감으로 드러난다. 모델과 측정·실행 도구를 함께 평가해야 실제 도입 효과에 가까워진다.
자주 묻는 질문
- 67.4%면 문제를 그만큼 맞혔다는 뜻이야?
- 아니다. Score@1은 정확성을 통과한 결과의 실행 시간 절감률을 전체 과제에 걸쳐 평균한 점수이며, 오답이나 가속이 없는 결과는 보상이 0이다. 정확한 프로그램의 실행 시간이 절반이 되면 해당 과제 보상은 0.5다. [채점 기준](https://github.com/AdAstraAbyssoque/accelerate-bench#scoring)
- 설정만 바꿔도 빨라지는데 그걸 AI 실력으로 쳐줘?
- Accelerate Bench는 허용된 범위에서 빌드와 실행 설정을 바꾸는 것도 최적화로 인정한다. 통제 실험에서 동일한 소스의 속도가 설정에 따라 크게 달라졌기 때문에, 평가 대상에는 코드를 실행 환경에 맞추는 능력도 포함된다. [논문](https://arxiv.org/html/2611.20882v1)
- 우리 회사 프로그램도 바로 두 배 빨라질 수 있어?
- 이 결과만으로는 보장할 수 없다. 평가는 정해진 CPU 작업과 자원 조건에서 수행됐으므로, 자사 프로그램에서 정확성과 속도를 재측정하고 최적화에 들어간 비용까지 확인해야 한다. [평가 범위](https://github.com/AdAstraAbyssoque/accelerate-bench)
이 기사 어땠어요?
피드백을 남겨주시면 더 나은 맞춤 추천을 만듭니다.