지금은 인공지능 시대(지인시) 심볼지금은 인공지능 시대
논문 브리핑

코드가 맞아도 느리면 감점…AI 16종을 겨룬 Accelerate Bench

한경모글 · 한경모
과학 계산 프로그램의 최적화 과정과 AI 에이전트별 실행 시간 단축 성과를 비교한 도표
과학 계산 프로그램의 최적화 과정과 AI 에이전트별 실행 시간 단축 성과를 비교한 도표
AI가 코드를 고쳤는데 프로그램은 여전히 느리다면, 무엇을 잘했다고 평가해야 할까. 11월 16일 Bowen Liu 등 연구진이 공개한 Accelerate Bench는 과학 계산과 슈퍼컴퓨팅 대회에서 가져온 CPU 최적화 과제 32개로 이 질문을 던진다. 핵심은 정답 코드를 만드는 능력을 넘어, 계산 결과를 보존하면서 프로그램 전체의 실행 시간을 줄이는 능력을 측정한다는 점이다. 기존 GSO가 사람의 최적화 커밋을 기준으로 과제를 구성했다면, 이번 연구는 수행할 계산과 작업량만 정하고 개선 위치는 에이전트가 찾게 한다. 성능 공학 분야에서 통용되는 접근은 병목을 측정하고 수정한 뒤 전체 실행 시간을 다시 확인하는 반복 과정이며, 논문도 이 관점을 평가 설계에 반영했다. 함수 하나를 빠르게 바꾸더라도 실제 실행 경로에서 쓰이지 않거나 다른 구간이 느리면 전체 성능은 나아지지 않기 때문이다.
  • 작업 범위: GROMACS·OpenFOAM 같은 실제 응용프로그램을 주고, 과제당 8시간 안에 허용된 코드와 설정을 개선하게 한다.
  • 검증 방식: 개발 중 공개 테스트를 제공하되, 최종 결과는 별도 검증기가 숨겨진 입력으로 정확성과 실행 시간을 확인한다.
  • 채점 기준: Score@1은 정답률이 아니라 정확성을 통과한 실행 시간 절감률의 과제 평균이며, 시간이 절반으로 줄면 해당 과제 보상은 0.5다.
버전 1.1에서 모델과 실행 도구를 결합한 에이전트 16개를 비교한 결과, 클로드 Sonnet 5.5와 Claude Code 조합이 67.4%로 선두였다. GPT-6.1 Sol과 Codex 조합은 49.2%였지만, 이는 모델 단독 능력의 순위로 해석해서는 안 된다. 모든 조합을 과제별 한 차례씩 평가한 결과여서 반복 실행의 변동성도 고려해야 한다. 평가 설정·결과 더 흥미로운 발견은 개별 수정의 효과가 다른 수정과 실행 설정에 크게 좌우됐다는 점이다. 통제 실험에서는 소스가 같아도 빌드·실행 설정에 따라 기준 대비 속도가 0.29배에서 2.12배까지 달라졌다. 또 하나의 코드 변경은 다른 변경의 유무에 따라 1.01배 또는 6.4배의 가속 효과를 냈다. 코드 수정과 실행 환경을 함께 조율하는 능력이 중요한 이유를 수치로 보여준 셈이다. 논문 물론 CPU 과학 계산 32개로 웹 서비스나 GPU 추론까지 일반화하기 어렵다는 반론은 타당하다. 그러나 평가 범위가 좁다는 사실이, 부분 최적화를 실제 프로그램의 이득으로 연결해 검증해야 한다는 기여를 없애지는 않는다. 기업 구매자의 관점에서는 코드 생성량보다 자사 작업에서 재현되는 시간 절감이 도입 판단의 근거가 될 수 있다. 경쟁의 초점도 모델 성능뿐 아니라 측정 도구, 실행 환경 제어, 개선안을 선택하는 절차까지 넓어질 가능성이 있다. 다만 실행 시간 절감률을 비용 절감률로 그대로 읽어서는 안 되며, 최적화에 쓴 API 비용과 실험 자원까지 따져야 한다. 한국 기업이 이 연구에서 가져올 것은 순위표보다, 반복 실행하는 자사 프로그램에 정확성·시간·총비용을 함께 묻는 평가 방식이다.
인사이트

최적화 AI의 실력은 수정한 코드의 양보다 프로그램 전체에서 재현되는 시간 절감으로 드러난다. 모델과 측정·실행 도구를 함께 평가해야 실제 도입 효과에 가까워진다.

자주 묻는 질문

67.4%면 문제를 그만큼 맞혔다는 뜻이야?
아니다. Score@1은 정확성을 통과한 결과의 실행 시간 절감률을 전체 과제에 걸쳐 평균한 점수이며, 오답이나 가속이 없는 결과는 보상이 0이다. 정확한 프로그램의 실행 시간이 절반이 되면 해당 과제 보상은 0.5다. [채점 기준](https://github.com/AdAstraAbyssoque/accelerate-bench#scoring)
설정만 바꿔도 빨라지는데 그걸 AI 실력으로 쳐줘?
Accelerate Bench는 허용된 범위에서 빌드와 실행 설정을 바꾸는 것도 최적화로 인정한다. 통제 실험에서 동일한 소스의 속도가 설정에 따라 크게 달라졌기 때문에, 평가 대상에는 코드를 실행 환경에 맞추는 능력도 포함된다. [논문](https://arxiv.org/html/2611.20882v1)
우리 회사 프로그램도 바로 두 배 빨라질 수 있어?
이 결과만으로는 보장할 수 없다. 평가는 정해진 CPU 작업과 자원 조건에서 수행됐으므로, 자사 프로그램에서 정확성과 속도를 재측정하고 최적화에 들어간 비용까지 확인해야 한다. [평가 범위](https://github.com/AdAstraAbyssoque/accelerate-bench)
공유XTelegram

이 기사 어땠어요?

피드백을 남겨주시면 더 나은 맞춤 추천을 만듭니다.

이런 뉴스를 매일 받아보세요

매일 아침 7시, 그날의 정리를 이메일과 Telegram으로 받아보세요.