지금은 인공지능 시대(지인시) 심볼지금은 인공지능 시대
논문 브리핑

광고 AI는 오차 0.01%도 따진다…양자화의 더 까다로운 시험대

한경모글 · 한경모
추천·랭킹 모델의 정밀도와 연산 효율을 비교하는 저정밀 수치 형식 개념도
추천·랭킹 모델의 정밀도와 연산 효율을 비교하는 저정밀 수치 형식 개념도
AI 모델을 작게 만드는 기술이 광고 시장에서는 유독 높은 문턱을 만납니다. arXiv에 신규 논문으로 소개된 ‘Advancing Quantization for R&R Models with Microscaling Formats’는 추천·랭킹(R&R) 모델의 추론 효율과 정밀도 문제를 다룹니다. 제공된 초록이 제시하는 출시 기준은 FP16이나 FP32 기준 모델 대비 Normalized Entropy(NE) 차이를 0.01% 이내로 유지하는 것입니다. 추천·랭킹 모델은 어떤 콘텐츠나 광고를 누구에게 먼저 보여줄지 결정하므로, 대량의 요청을 빠르게 처리하면서도 예측 확률을 정교하게 유지해야 합니다. NE는 예측 확률의 로그 손실을 기준 엔트로피로 정규화한 지표로, 단순히 정답을 몇 개 맞혔는지를 뜻하지 않습니다. 따라서 NE 차이 0.01%를 클릭률이나 광고 매출이 0.01% 바뀐다는 의미로 읽어서는 안 됩니다. 초록은 일부 LLM이 양자화에 따른 1% 이상의 정확도 하락도 수용하는 것과 대조하지만, 서로 다른 평가 지표이므로 허용 오차가 정확히 100배 다르다고 계산할 수는 없습니다. 핵심은 광고 모델의 품질 허용 폭이 매우 좁아, 비트를 줄여 연산량과 메모리 사용량을 낮추는 공격적 양자화를 도입하기 어렵다는 점입니다.
  • 기존 기준: FP16·FP32는 수치 표현에 더 많은 비트를 쓰지만, 이미 검증된 모델 품질을 비교 기준으로 삼을 수 있습니다.
  • 연구 방향: Microscaling은 작은 수치 블록마다 스케일을 공유해, 낮은 비트 수에서도 값의 범위를 더 유연하게 표현하려는 접근입니다.
  • 실제 관문: 저장 용량 감소가 아니라, 엄격한 NE 기준을 지키면서 서비스 처리량을 높일 수 있는지가 중요합니다.
일반적인 Microscaling 방식에서는 가까운 값들을 블록으로 묶고, 각 값의 저정밀 표현과 블록의 공통 스케일을 함께 사용합니다. 모든 값에 하나의 스케일을 적용하는 방식보다 블록별 크기 차이에 대응하기 쉽지만, 같은 블록 안에 유난히 큰 값이 있으면 작은 값의 표현 정밀도는 여전히 손해를 볼 수 있습니다. 즉, 이 기술의 본질은 오차를 없애는 것이 아니라 제한된 비트를 어디에 배분할지 더 세밀하게 조절하는 데 있습니다. 다만 제공된 초록은 중간에서 끊겨 있어, 논문이 사용한 구체적인 비트 폭과 블록 크기, 실험 모델, 속도 향상률은 확인할 수 없습니다. 따라서 특정 GPU에서 몇 배 빨라졌다거나, 제시된 출시 기준을 실제로 통과했다고 단정할 단계는 아닙니다. 후속 검토에서는 최종 NE뿐 아니라 어떤 연산을 저정밀로 바꾸고 어떤 연산을 높은 정밀도로 남겼는지 살펴봐야 합니다. “오차에 그렇게 민감하면 기존 정밀도를 유지하면 되지 않나”라는 반론은 타당하지만, 추론 요청이 거대한 서비스에서는 작은 비용 절감도 누적되므로 연구할 경제적 이유는 분명합니다. 모델 서빙을 평가하는 실무 관점에서도 파일 크기만큼 중요한 것은 메모리 이동, 변환 비용, 하드웨어 지원까지 포함한 실제 지연시간과 처리량입니다. 저정밀 연산이 빨라도 스케일 처리와 데이터 변환이 병목이면 서비스 전체의 이익은 줄어듭니다. LLM 중심의 저정밀 추론 경쟁과 연결되지만, 광고·추천 시장의 승부처는 최저 비트 기록보다 기존 품질을 보존하는 배포 가능성에 있습니다. 이 연구를 판단할 다음 질문은 ‘얼마나 줄였나’가 아니라 ‘0.01%라는 문턱 안에서 실제 요청당 비용을 얼마나 낮췄나’입니다.
인사이트

추천·랭킹 AI의 양자화 경쟁력은 비트 수가 아니라 품질 제약을 지킨 상태의 요청당 비용으로 결정됩니다. 저정밀 형식 지원만으로는 부족하며, 정밀도 관리와 실제 서빙 성능을 함께 입증해야 합니다.

자주 묻는 질문

0.01% 차이면 사람이 느끼지도 못하는 거 아냐?
논문 초록의 0.01%는 사용자 체감이나 매출 변화가 아니라 기준 모델 대비 NE 품질 허용 폭입니다. NE는 예측 확률의 품질을 평가하는 지표이며, 실제 사업 영향은 별도의 서비스 실험으로 확인해야 합니다.
Microscaling은 그냥 숫자를 대충 반올림하는 거야?
Microscaling은 작은 수치 블록마다 공통 스케일을 두고 각 값을 저정밀로 표현하는 방식입니다. 블록별 값의 범위에 대응할 수 있지만, 양자화 오차 자체가 사라지는 것은 아닙니다.
그래서 이 논문은 광고 AI를 얼마나 빠르게 만들었어?
제공된 초록은 중간에서 끊겨 있어 속도 향상률이나 실제 품질 기준 통과 여부를 확인할 수 없습니다. 성능을 판단하려면 전체 논문의 하드웨어 조건, NE 변화, 지연시간과 처리량 결과를 함께 확인해야 합니다.
공유XTelegram

이 기사 어땠어요?

피드백을 남겨주시면 더 나은 맞춤 추천을 만듭니다.

이런 뉴스를 매일 받아보세요

매일 아침 7시, 그날의 정리를 이메일과 Telegram으로 받아보세요.