논문 브리핑
AI 에이전트 대기시간 최대 4.1배 단축, 비결은 GPU 배치와 기억 관리
글 · 한경모
AI 에이전트가 느린 이유는 모델의 추론 능력만으로 설명되지 않는다. 도구의 응답을 기다리는 동안 버려진 문맥을 다시 계산하고, 입력 처리와 답변 생성 사이에 서버가 잘못 배치돼도 대기시간은 길어진다.
Hao Kang·Song Han 등이 11월 9일 공개한 Evolving Infra는 이 두 낭비를 함께 줄이는 LLM 서빙 프레임워크다. 연구진은 엔비디아 Dynamo 대비 요청당 평균 전체 지연시간을 최대 약 4.1분의 1로 줄였다고 보고했다. 핵심은 더 똑똑한 모델을 훈련하는 대신, 에이전트의 작업 흐름에 맞춰 연산 자원과 저장된 문맥을 관리하는 것이다.
LLM 서빙은 입력을 읽는 prefill과 출력 토큰을 만드는 decode로 나뉘며, 인프라 업계는 두 단계에 자원을 따로 배정하는 방식으로 효율을 높여왔다. 하지만 긴 풀이를 생성하는 수학 에이전트와 매 단계 스크린샷을 읽는 컴퓨터 조작 에이전트는 필요한 자원 비율부터 다르다. 작업 구성이 바뀌는데 서버의 역할을 고정하면 한쪽에는 요청이 쌓이고 다른 쪽에는 여유가 생긴다는 게 연구진의 문제의식이다.
- 연산 배치: 실행 중 측정한 작업량을 바탕으로 prefill·decode 서버 비율을 조정하고, 재시작 없이 역할을 바꾼다.
- 문맥 보관: 이전 입력의 계산 결과인 KV 캐시를 서버들의 공유 호스트 메모리에 두어 역할 전환 뒤에도 재사용한다.
- 삭제 기준: 최근 접근 여부에 더해 에이전트의 활성 작업 분기가 해당 문맥을 참조하는지 추적한다.
인사이트
에이전트의 문맥 관리가 서버 자원 배치와 연결되면서, 추론 효율은 모델 바깥의 설계에도 크게 좌우된다. 국내 서비스 기업에도 실제 작업 흐름을 반영한 인프라 최적화가 경쟁력이 될 수 있다는 신호다.
자주 묻는 질문
- 이걸 쓰면 AI가 14배 빨라지는 거야?
- 14배는 연구진이 보고한 첫 토큰 도착시간의 95백분위 지표에서 나온 최대 개선치다. 요청당 평균 전체 지연시간은 최대 약 4.1분의 1로 줄었으며, 모든 작업에 같은 효과가 보장되지는 않는다.
- 그냥 KV 캐시를 많이 저장하면 되는 거 아냐?
- 저장 용량만 늘려도 서버 간 작업 불균형이나 불필요한 캐시 보존 문제는 남는다. Evolving Infra는 에이전트가 다시 사용할 문맥을 추적하면서 서버 역할과 요청 배치도 함께 조정한다.
- 우리 회사 GPU 비용도 바로 줄일 수 있어?
- 논문은 특정 모델·장비·작업에서 지연시간과 처리량을 평가했으며, 기업별 비용 절감률을 입증한 것은 아니다. 도입 효과는 실제 요청 구성, 문맥 재사용 패턴, 에이전트와 서빙 시스템을 연결하는 비용까지 측정해야 판단할 수 있다.
이 기사 어땠어요?
피드백을 남겨주시면 더 나은 맞춤 추천을 만듭니다.