논문 브리핑
네이버 FOAM, SOAP의 최적화 메모리 절반으로 학습 품질 지켰다
글 · 한경모
AI 학습비를 줄이려면 모델이 가중치를 고치는 방식부터 바꿀 수 있다.
네이버 AI Lab의 Jaemyung Yu·Byeongho Heo·Sangdoo Yun·Dongyoon Han은 11월 12일 SOAP을 가볍게 만든 최적화 알고리즘 FOAM을 발표했다.
관전 포인트는 최고 성능 경신보다, 정교하지만 비싼 학습법의 실용화다.
최적화 알고리즘은 모델의 오차를 보고 가중치를 어느 방향으로 얼마나 바꿀지 결정한다.
SOAP은 손실 지형의 굽은 정도를 반영하지만, 이를 위한 행렬 저장과 고유값 분해가 부담이다.
연구진이 짚은 실무적 시각도 같다. 학습 단계를 줄여도 단계마다 계산이 무거우면 실제 시간과 비용은 늘 수 있다.
FOAM은 입력 쪽 보정만 남기고, 좌표를 회전한 뒤 기울기 제곱의 누적 통계를 행·열별로 압축한다.
출력 쪽 곡률이 대각 형태이고 K-FAC 근사 가정이 성립하면, 이 압축으로도 SOAP의 해당 통계를 정확히 복원할 수 있다는 설명이다.
기존 SOAP과 Adafactor 계열에도 있던 단순화 아이디어에 ‘어느 쪽을 남기고 언제 압축해도 되는가’라는 근거를 붙인 셈이다.
H100 8개를 쓴 7억6000만 파라미터 실험에서 비교할 숫자는 세 가지다.
- 저장량: 행렬 파라미터의 최적화 상태는 SOAP 23.73GiB에서 FOAM 11.87GiB로 줄었다.
- 품질: 낮을수록 좋은 검증 손실은 SOAP 2.791, FOAM 2.796으로 근접했다.
- 시간: AdamW의 최종 손실에 도달하는 데 SOAP은 22.66시간, FOAM은 10.53시간이 걸렸다.
인사이트
FOAM의 가치는 SOAP 수준의 학습 품질에 접근하는 비용을 낮췄다는 데 있다. 경쟁력의 기준은 학습 단계 수보다 목표 품질까지 드는 총시간과 메모리로 옮겨간다.
자주 묻는 질문
- 이거 쓰면 GPU 메모리가 절반으로 줄어?
- 절반으로 줄었다는 수치는 SOAP 대비 행렬 파라미터의 최적화 상태를 가리킨다. 가중치와 중간 계산값까지 포함한 전체 GPU 메모리가 절반으로 줄었다는 뜻은 아니다.
- 그럼 AdamW나 Muon을 바로 바꾸면 돼?
- 보편적인 교체 근거로 보기는 이르다. FOAM은 SOAP에 근접한 품질을 더 낮은 비용으로 얻는 선택지지만, 메모리 제약이 가장 크다면 상태 저장량이 더 작은 Muon이 유리할 수 있다.
- 지금 코드 받아서 직접 시험할 수 있어?
- 확인한 공식 저장소는 구현 코드가 내부 검토 중이며 추후 공개될 예정이라고 안내한다. 논문에 저장소 링크가 있다는 사실과 실행 가능한 코드가 공개됐다는 사실은 구분해야 한다. [공식 저장소](https://github.com/naver-ai/foam)
이 기사 어땠어요?
피드백을 남겨주시면 더 나은 맞춤 추천을 만듭니다.