논문 브리핑
70B 모델 추론, '데이터 이동 병목'에 발목 잡히나?… 분산형 GPU의 숨겨진 난제
글 · 한경모
거대 언어 모델(LLM)의 급속한 발전은 인공지능 시대를 가속화하고 있지만, 동시에 대규모 모델을 효율적으로 운영하는 데 필요한 인프라 문제라는 새로운 숙제를 던지고 있습니다. 특히 여러 GPU에 작업을 분할하여 처리하는 '분산형(Disaggregated) GPU 추론' 방식이 비용 효율성과 유연성 측면에서 주목받고 있는데, 최근 arXiv에 게재된 한 논문이 이 방식의 치명적인 병목 현상을 지적하며 업계의 이목을 끌고 있습니다.
이 논문은 분산형 LLM 추론 환경에서 'KV 캐시' 데이터 이동이 전체 시스템의 성능을 저해하는 핵심 요인이라고 강조합니다. LLM 추론 과정은 크게 '프리필(Prefill)'과 '디코딩(Decoding)' 단계로 나뉘는데, 이 두 단계가 서로 다른 GPU 풀에서 실행될 때 각 단계에서 생성되는 KV 캐시 데이터를 GPU 간에 주고받아야 합니다. 문제는 이 데이터량이 상상 이상이라는 점입니다. 예를 들어, 70B 모델의 경우 요청당 2.6GB에 달하는 KV 캐시를 전송해야 하며, 프로덕션 환경에서는 초당 100GB를 훌쩍 넘는 막대한 데이터 전송량을 요구합니다.
하지만 DistServe, Splitwise, Mooncake와 같은 현재의 분산형 추론 시스템들은 이러한 데이터 이동 문제를 제대로 해결하지 못하고 있습니다. 이들 시스템은 대부분 균일한 RDMA(Remote Direct Memory Access) 방식을 사용하는데, 이는 마치 모든 길의 속도가 같다고 가정하고 내비게이션을 하는 것과 같습니다. 현실은 전혀 다릅니다. GPU 간의 물리적 연결 방식에 따라 대역폭 차이가 무려 72배에 달한다는 것이 논문의 핵심 주장입니다.
구체적으로 대역폭 차이는 다음과 같습니다.
- 단일 도메인 내 NVLink를 통한 연결: 최대 900 GB/s
- 노드 간 InfiniBand를 통한 연결: 약 50 GB/s
- 일반 TCP/IP를 통한 연결: 약 12.5 GB/s
인사이트
현재 분산형 LLM 추론 시스템의 데이터 이동 방식이 물리적 네트워크 토폴로지를 무시하여 성능 병목을 일으키며, 이를 해결하기 위한 '토폴로지 인식' 데이터 이동 전략이 대규모 LLM 서비스의 효율성과 확장을 위한 필수 과제임을 명확히 보여줍니다.
자주 묻는 질문
- 분산형 LLM 추론이 왜 중요한가요? 그냥 GPU 하나로 돌리면 안 되나요?
- 분산형 추론은 단일 GPU의 메모리 용량을 초과하는 초대형 LLM을 구동하기 위해 필요합니다. 또한, 자원 활용의 유연성을 높이고 비용을 절감하며, 특정 GPU에 장애가 발생해도 전체 시스템이 멈추지 않도록 하는 장점이 있습니다.
- KV 캐시 데이터 이동이 왜 문제가 되나요? 다른 데이터도 많은데 유독 이것만 지목하는 이유가 뭔가요?
- KV 캐시는 LLM의 추론 과정, 특히 긴 대화를 처리할 때 이전에 생성된 토큰들의 정보를 저장해 재활용하는 핵심 데이터입니다. 요청당 수 기가바이트에 달하는 막대한 양이 실시간으로 이동해야 하므로, 이 데이터의 이동 효율성이 전체 추론 지연 시간과 처리량에 결정적인 영향을 미칩니다.
- 이 논문에서 말하는 '토폴로지 인식' 데이터 이동은 무엇을 의미하나요?
- '토폴로지 인식'은 데이터센터 내 GPU들이 물리적으로 어떻게 연결되어 있는지(NVLink, InfiniBand, TCP 등)와 각 연결 방식의 대역폭 차이를 시스템이 인지하고, 이를 바탕으로 가장 효율적인 데이터 전송 경로를 선택하는 것을 의미합니다. 특정 경로에 데이터가 몰려 병목이 발생하는 것을 방지하고 전체 성능을 최적화합니다.
이 기사 어땠어요?
피드백을 남겨주시면 더 나은 맞춤 추천을 만듭니다.