논문 브리핑
희소 어텐션도 ‘찾는 비용’이 문제다: GPU 시간 50% 병목 겨냥한 ADIndex
글 · 한경모
AI가 긴 문서를 더 싸게 읽으려면, 읽을 대목을 찾는 작업부터 가벼워져야 합니다.
arXiv에 새로 소개된 논문 ‘ADIndex: Layer-Adaptive Sparse Attention Indexing via Group-Level Distillation’은 딥시크의 DeepSeek Sparse Attention(DSA)에 남은 검색 병목을 겨냥합니다.
연구진은 긴 컨텍스트에서 인덱서만으로 전체 프리필 GPU 시간의 50% 이상을 차지할 수 있다고 지적하는데, 이는 모든 모델에 적용되는 수치가 아니라 논문이 제시한 병목 관찰입니다.
프리필은 모델이 답변을 생성하기 전에 입력을 처리하는 단계로, 긴 계약서나 코드 저장소를 한꺼번에 넣을수록 부담이 커집니다.
DSA는 각 쿼리가 참조할 토큰을 골라 어텐션 계산량을 줄이지만, 그 선택을 담당하는 인덱서는 여전히 해당 위치까지의 모든 토큰에 점수를 매깁니다.
책 전체를 정독하는 대신 중요한 페이지만 읽더라도, 페이지를 고르려고 매번 앞부분을 전부 훑는 셈입니다.
- 기존 DSA의 절감 지점은 선택된 토큰에 대한 어텐션 계산이며, 선택 과정 자체가 저렴하다는 뜻은 아닙니다.
- ADIndex는 토큰 단위 희소 어텐션을 위한 적응형·증류 기반 인덱싱을 제안해, 무엇을 읽을지 결정하는 비용에 초점을 맞춥니다.
- 제목이 제시하는 차별점은 레이어별 적응과 그룹 수준 증류이지만, 제공된 초록은 구성 요소 설명 중간에서 끊겨 구체적인 결합 방식까지 확인할 수는 없습니다.
인사이트
희소 어텐션은 계산을 없애기보다 병목을 선택 단계로 옮길 수 있습니다. 장문 AI의 비용 경쟁에서는 최대 컨텍스트 길이만큼 인덱싱 비용과 실제 첫 응답 지연을 함께 봐야 합니다.
자주 묻는 질문
- 덜 읽는 희소 어텐션인데 왜 여전히 느린 거야?
- DSA는 선택된 토큰만 대상으로 어텐션을 계산하지만, 인덱서는 각 쿼리에서 해당 위치까지의 모든 토큰에 점수를 매깁니다. 논문 초록은 긴 컨텍스트에서 이 인덱서가 전체 프리필 GPU 시간의 50% 이상을 차지할 수 있다고 설명합니다.
- ADIndex를 쓰면 바로 두 배 빨라지는 거야?
- 제공된 초록만으로는 속도 향상 배수를 확인할 수 없습니다. 인덱서가 차지하는 시간 비중이 크다는 사실과 이를 개선한 뒤 전체 모델이 얼마나 빨라지는지는 별도로 측정해야 합니다.
- 이거 RAG를 대체하는 기술이야?
- ADIndex는 모델 내부의 토큰 단위 희소 어텐션에서 선택 비용을 줄이려는 기술이고, RAG는 외부 자료를 검색해 모델 입력에 넣는 방식입니다. 적용 계층이 달라 원리상 함께 사용할 수 있으며, 이번 자료가 RAG 대체 효과를 입증하는 것은 아닙니다.
이 기사 어땠어요?
피드백을 남겨주시면 더 나은 맞춤 추천을 만듭니다.