논문 브리핑
추론 속도 최대 2.6배…Together Compiler가 바꾼 것은 ‘실험 방식’
글 · 한경모
AI 추론 비용 경쟁에서 중요한 것은 GPU를 확보하는 일뿐 아니라, 달라지는 요청에 맞춰 실행 코드를 얼마나 빨리 고치느냐다.
Together AI 연구진이 11월 10일 공개한 Together Compiler(TKCC)는 이 최적화 작업을 AI 에이전트가 반복하도록 만든 시스템이다.
모델을 다시 학습하는 대신, 배포된 모델이 답을 계산하는 순전파 코드를 수정하고 측정하며 더 빠른 후보를 찾는다.
논문이 겨냥한 문제는 서비스에 맞춘 최적화의 유효기간이 생각보다 짧다는 점이다.
연구진은 익명 모델의 입력 문맥이 출시 후 2주 동안 1만 토큰에서 1만8000토큰으로 늘어난 사례를 제시했다.
같은 모델이라도 짧은 대화가 긴 문서 분석으로 바뀌면, 어제 효율적이던 실행 방식이 오늘도 최선이라는 보장은 없다.
추론 시스템 연구에서 개별 연산의 속도와 서비스 전체 성능을 구분하는 이유도 여기에 있다.
기존 접근과 TKCC의 차이는 측정 방식에서 드러난다.
- 개별 커널 평가: 빠르게 실험하지만, 입력에 따라 전문가 신경망을 선택하는 MoE의 실제 부하를 놓칠 수 있다.
- 전체 엔진 평가: 실제 실행에 가깝지만, 후보를 바꿀 때마다 엔진을 재시작하면 실험 대기시간이 길어진다.
- TKCC: 엔진을 유지한 채 계산 코드를 교체하고, 빠른 선별과 정밀 측정을 나눠 후보를 평가한다.
인사이트
이 연구가 시사하는 경쟁력은 빠른 코드를 한 번 만드는 능력보다, 요청이 달라질 때마다 성능을 다시 검증하고 개선하는 능력이다. 추론 사업자의 비용 경쟁에서 실제 트래픽을 반영한 실험 환경의 가치가 커질 수 있다.
자주 묻는 질문
- 이거 쓰면 AI 답변도 더 똑똑해져?
- TKCC의 목적은 모델의 추론 실행을 빠르게 만드는 것이며, 지식이나 추론 능력을 높이는 재학습이 아니다. 연구진은 최적화 후보를 배포하기 전에 품질과 KV 캐시 오염 등을 검증한다고 설명한다. [논문 원문](https://arxiv.org/html/2611.14681v1)
- 최대 2.6배면 API 요금도 그만큼 내려가?
- 2.6배는 연구진이 보고한 비교 조건에서의 최대 초당 토큰 처리량 개선치다. API 요금에는 하드웨어 비용, 가동률, 최적화 비용과 사업자의 가격 정책도 반영되므로 같은 비율의 인하를 뜻하지 않는다. [논문 원문](https://arxiv.org/abs/2611.14681)
- 그냥 코딩 에이전트한테 최적화하라고 하면 안 돼?
- 최적화를 맡길 수는 있지만, 후보 코드의 성능을 빠르고 정확하게 측정할 환경도 필요하다. TKCC는 엔진을 유지하면서 코드를 교체하고 측정 단계를 나눠, 반복 실험의 병목을 줄이는 데 초점을 맞췄다. [논문 원문](https://arxiv.org/html/2611.14681v1)
이 기사 어땠어요?
피드백을 남겨주시면 더 나은 맞춤 추천을 만듭니다.