지금은 인공지능 시대(지인시) 심볼지금은 인공지능 시대
커뮤니티 소식

B300 데이터 복사가 5배 빨라졌다? 레딧 실험이 드러낸 GPU의 대기 시간

서아람글 · 서아람
B300에서 CPU와 GPU 사이의 데이터 복사 성능을 비교한 벤치마크 화면
B300에서 CPU와 GPU 사이의 데이터 복사 성능을 비교한 벤치마크 화면
비싼 GPU를 더 빠르게 쓰는 방법이 데이터 복사에 숨어 있었다면 어떨까. 11월 16일 확인한 레딧 r/MachineLearning 게시물에서 개발자 makneeee는 B300의 메모리 전송을 가속하는 도구 cudamemcpy-tuner를 소개했다. 공개한 결과는 CPU→GPU 전송 속도가 10.2GB/s에서 51.5GB/s로, 약 5배 높아졌다는 것이다. 소셜에서 눈길을 끌 만한 지점은 새 모델이나 칩 없이 실행 명령 앞에 cmt tune --를 붙여 얻었다는 변화다. 다만 이를 ‘AI가 5배 빨라졌다’로 읽으면 실험이 말하는 범위를 벗어난다. 측정 대상은 운영체제가 페이지를 관리하는 일반 메모리인 pageable memory에서 GPU로 데이터를 보내는 과정이다. 공개 코드는 PyTorch로 uint8 텐서 1GiB를 만들고, 준비 실행을 거친 뒤 GPU 전송과 동기화를 5회 반복해 처리량을 계산한다. 코드 설명에는 왕복 복사가 등장하지만, 실제 시간을 재는 반복문은 CPU→GPU 방향이므로 GPU→CPU에도 같은 개선이 있다고 단정할 수 없다.
  • 숫자의 범위: 51.5GB/s는 해당 전송 경로의 측정값이며, B300 내부 메모리 대역폭이나 연산 성능이 아니다.
  • 비교의 기준: 기존 pageable 전송 대비 결과여서, 이미 최적화한 pinned memory 전송보다도 5배 빠르다는 뜻은 아니다.
  • 검증의 단계: 작성자의 공개 실험이며, 여러 서버에서 독립적으로 재현된 보편적 성능으로 보기는 이르다.
왜 메모리 종류가 중요할까. 엔비디아의 CUDA 가이드는 CPU와 GPU 사이에서 높은 전송 대역폭을 얻으려면 페이지를 고정하는 pinned memory를 활용하되, 과도한 사용은 시스템 성능을 떨어뜨릴 수 있다고 설명한다. 성능 엔지니어링의 기본 시각도 이와 맞닿아 있어, 실제 병목을 먼저 측정하고 전송량을 줄이거나 작은 복사를 묶는 접근을 우선한다. 따라서 이번 사례는 메모리 전송 경로와 실행 설정만으로도 같은 하드웨어의 체감 성능이 달라질 여지가 있음을 보여준다. ‘복사만 빠르면 무슨 소용인가’라는 반론은 타당하지만, 데이터 이동이 오래 걸리는 작업에는 바로 그 복사가 비용이다. 가령 전체 실행 시간의 절반이 해당 복사이고 나머지는 그대로라는 가정에서, 복사를 5배 가속하면 전체 속도는 약 1.67배가 된다. 반대로 그 비중이 10%라면 전체 개선은 약 1.09배여서, 도입 판단에는 전송 벤치마크와 실제 작업 측정이 함께 필요하다. 연결되는 활용처는 모델 일부를 CPU에 두고 실행하는 오프로딩으로, 공개 저장소도 llama-bench에서 전문가 부분을 CPU에 배치하는 실행 예시를 제시한다. 이런 작업에서 개선이 재현된다면 AI 서비스 기업과 클라우드 사업자는 GPU 사양뿐 아니라 데이터를 공급하는 소프트웨어 최적화로도 경쟁할 수 있다. 한국의 개발팀이 확인할 다음 지표는 자사 서버의 복사 시간, 전체 추론 지연, CPU 자원 사용량이며, 이 세 가지가 함께 좋아져야 ‘5배’가 실제 운영상의 이득으로 이어진다.
인사이트

GPU 경쟁력은 칩의 연산 성능만으로 결정되지 않는다. 데이터 이동이 병목인 서비스에서는 전송 경로 최적화가 기존 장비의 활용도를 높일 수 있지만, 그 가치는 전체 작업 시간으로 검증해야 한다.

자주 묻는 질문

그럼 B300에서 AI가 전부 5배 빨라지는 거야?
아니다. [레딧 원문](https://www.reddit.com/r/MachineLearning/comments/1xx2n25/making_cudamemcpy_5x_faster_on_a_b300_p/)의 약 5배 개선은 특정 CPU→GPU 데이터 전송 실험의 결과다. 학습이나 추론 전체의 개선 폭은 해당 전송이 실행 시간에서 차지하는 비중에 따라 달라진다.
그냥 pinned memory 쓰면 되는 거 아니야?
Pinned memory는 CPU와 GPU 사이의 전송 대역폭을 높이는 대표적인 방법이다. 다만 페이지 고정에도 비용이 들고 과도한 사용은 시스템 성능을 떨어뜨릴 수 있다. 이번 결과만으로 이미 pinned memory를 활용하는 구현보다 이 도구가 빠르다고 판단할 수는 없다.
내 GPU에서도 명령어만 붙이면 효과가 나?
저장소는 실행 명령 앞에 cmt tune --를 붙이는 사용법을 제시하지만, 공개된 B300 수치가 다른 GPU의 성능을 보장하지는 않는다. 같은 입력으로 적용 전후의 전송 시간과 전체 작업 시간을 비교해야 효과를 판단할 수 있다.
공유XTelegram

이 기사 어땠어요?

피드백을 남겨주시면 더 나은 맞춤 추천을 만듭니다.

이런 뉴스를 매일 받아보세요

매일 아침 7시, 그날의 정리를 이메일과 Telegram으로 받아보세요.