선생보다 커리큘럼이 중요했다 — AI 경량화의 새 이론, 토큰 효용

공부를 잘하려면 무엇을 먼저 배워야 하는가

수능을 준비할 때 모든 문제를 똑같이 오래 푸는 학생은 거의 없습니다. 틀릴 가능성이 높고, 맞히면 점수가 크게 오르는 유형부터 집중합니다. 이 오래된 직관이 AI 연구에서 다시 한번 중요한 질문으로 떠올랐습니다. "작은 AI를 훈련시킬 때, 어떤 부분을 집중적으로 가르쳐야 가장 효율적인가?"

최근 공개된 논문 한 편이 이 질문에 이론에서 직접 유도한 답을 내놓으려 했습니다. 핵심 개념은 '토큰 효용(Token Utility)'입니다. 논문 자체는 학술적이지만, 그 안에 담긴 문제의식은 AI를 실제로 쓰려는 모든 사람과 관련이 있습니다. 지금부터 그 원리와 한계를, 천천히 풀어가겠습니다.

지식 증류란 무엇인가 — 도제 교육의 AI 버전

LLM(Large Language Model, 쉽게 말해 사람의 말을 흉내 내 문장을 만들어 내는 AI)은 GPT-4나 구글의 제미나이(Gemini) 울트라처럼 수천억 개의 매개변수(parameter, AI가 학습하면서 정해지는 숫자의 집합입니다. 뇌의 시냅스 연결과 비슷하다고 보면 됩니다)를 가진 거대 모델입니다. 이런 모델은 스마트폰이나 일반 기업 서버에서 돌리기엔 너무 무겁습니다. 전기도 많이 들고, 전용 고가 하드웨어도 필요합니다.

그래서 연구자들이 개발한 기법이 '지식 증류(Knowledge Distillation)'입니다. 이름이 복잡해 보이지만 원리는 단순합니다. 큰 모델(선생 모델, Teacher Model)이 배운 것을 작은 모델(학생 모델, Student Model)에게 체계적으로 전달하는 것입니다. 30년 경력의 명장이 신입 장인에게 기술을 전수하는 도제 교육과 정확히 같은 구조입니다.

일반 훈련과 지식 증류의 차이를 비유로 설명하면 이렇습니다. 일반 훈련은 교과서를 혼자 읽으며 정답만 맞히는 방식입니다. 반면 지식 증류는 선생님이 "이 문제에서 나는 A가 맞을 확률 80%, B가 15%, C가 5%라고 생각한다"는 세세한 판단까지 공유하는 방식입니다. 정답인 A만 배우는 게 아니라 선생님이 어떻게 판단하는지, 무엇을 어느 정도 가능성으로 보는지를 함께 배웁니다.

AI에서 이 '세세한 판단'은 '소프트 레이블(soft label)' 또는 '확률 분포(probability distribution)'라고 부릅니다. 다음에 올 단어가 '고양이'일 때, 선생 모델은 '고양이' 80%, '강아지' 12%, '토끼' 3% 식으로 모든 후보 단어에 확률을 매깁니다. 이 정보가 단순히 '정답은 고양이'라는 것보다 훨씬 풍부한 학습 신호가 됩니다. 선생의 불확실성과 판단의 결이 담겨 있기 때문입니다.

실제로 이 방법은 효과가 있습니다. 마이크로소프트의 파이(Phi) 시리즈, 구글의 제마(Gemma) 시리즈 같은 소형 고성능 모델들은 지식 증류를 포함한 다양한 압축 기술을 써서 크기에 비해 높은 성능을 달성했습니다.

'어떤 단어를 집중해서 배울 것인가' — 토큰 효용의 등장

지식 증류를 할 때 학생 모델은 선생 모델이 만든 문장을 단어 하나하나씩 따라 배웁니다. 그런데 문장의 모든 단어(AI에서는 '토큰(token)'이라고 합니다. 단어보다 약간 작은 단위로, '나는'이 하나의 토큰이 될 수도 있고 '나'와 '는'으로 나뉠 수도 있습니다)가 다 중요한 것은 아닙니다.

예를 들어 '오늘 서울의 날씨는 맑습니다'라는 문장에서 '의', '는' 같은 조사는 문맥상 거의 자동으로 예측됩니다. 반면 '서울' 뒤에 무엇이 올지, '날씨'가 어떻다는 건지는 좀 더 학생이 헤매는 지점입니다. 모든 토큰에 똑같은 에너지를 쓰는 것은 명백히 비효율적입니다.

기존 방법들은 이 문제를 경험적 직관(heuristic, 이론보다는 경험과 감으로 만든 규칙)으로 해결해 왔습니다. '학생이 헷갈려하는 것 위주로', '선생과 학생의 예측이 가장 다른 것 위주로', '오류의 방향이 나쁜 것 위주로' 같은 방식입니다. 직관적으로 그럴듯하지만, 이것이 정말로 학습에 가장 도움이 되는지에 대한 이론적 근거가 약합니다.

이번 논문이 제안하는 '토큰 효용(Token Utility)'은 출발점이 다릅니다. 연구진은 이렇게 묻습니다. '우리가 증류로 달성하려는 목표 자체에서 각 토큰의 중요도를 직접 계산할 수 있지 않은가?' 즉, 최종 목표(선생과 학생의 차이를 줄이는 것)에서 역산하여 어떤 토큰이 그 목표에 얼마나 기여하는지 수치로 뽑겠다는 것입니다.

공식은 s_t = g_t^T F_t^{-1} g_t 입니다. 수식이 복잡해 보이지만 직관은 이렇습니다.

• g_t(그레이디언트, gradient) — 이 토큰에서 학생 모델의 예측을 조금 바꾸면 손실(선생과의 차이)이 어느 방향으로 얼마나 줄어드는지를 나타냅니다. '이 토큰을 배우면 어느 방향으로 나아지는가'입니다.
• F_t(피셔 정보 행렬, Fisher Information Matrix) — 학생 모델의 예측을 바꿀 때 실제로 얼마나 크게 달라지는지를 나타냅니다. '이 방향으로 한 발 나아가면 실제로 얼마나 이동하는가'입니다.
• 둘을 조합한 효용 s_t — 같은 에너지(같은 KL 발산 예산, 즉 학습에 쓸 수 있는 변화량 한도)를 썼을 때 이 토큰에서 얻을 수 있는 최대 손실 감소량, 즉 '이 토큰을 집중해서 배우면 얼마나 이득인가'입니다.

수능 비유로 다시 설명하면, g_t는 '이 유형을 더 공부하면 어떤 방향으로 점수가 오르는가'이고, F_t는 '이 유형의 난이도와 점수 변동 폭'입니다. 효용 s_t는 '제한된 공부 시간 안에 이 유형에서 기대할 수 있는 최대 점수 향상'이 됩니다. 합리적인 학생이라면 효용이 높은 유형부터 집중합니다. 이번 논문은 AI 학습에서도 같은 원리를 적용하자는 것입니다.

KL 발산(KL divergence)이라는 용어가 나왔으니 잠깐 설명합니다. 두 확률 분포가 얼마나 다른지를 수치로 나타내는 지표입니다. 선생 모델이 '고양이' 80%, '강아지' 12%라고 예측하고 학생 모델이 '고양이' 60%, '강아지' 25%라고 예측한다면, 이 차이를 하나의 숫자로 나타낸 것이 KL 발산입니다. 증류의 목표는 이 숫자를 줄이는 것입니다.

역사적 평행선 — 이것은 완전히 새로운 아이디어인가

공정하게 보자면, 이 아이디어는 완전히 새로운 것이 아닙니다. 여러 역사적 평행이 있습니다.

첫째, '피셔 정보(Fisher Information)'는 1920년대 영국 통계학자 로널드 피셔가 제안한 개념입니다. 어떤 관측 결과가 우리가 알고 싶은 진짜 값(모수)에 대해 얼마나 많은 정보를 담고 있는지를 수량화합니다. 이것이 딥러닝에 들어와 자연 경사 하강법(Natural Gradient Descent)이나 강화학습의 신뢰 영역 정책 최적화(TRPO) 등 여러 알고리즘에 쓰였습니다. 이번 논문은 이를 증류의 토큰 선택에 적용한 것입니다.

둘째, 기계학습의 '능동 학습(Active Learning)'과 구조가 닮았습니다. 능동 학습은 레이블(정답 표시)이 없는 많은 데이터 중에서 '어떤 것을 먼저 레이블링해서 배워야 가장 효율적인가'를 다루는 분야입니다. 정해진 예산 안에서 학습 효과가 가장 큰 샘플을 고르는 원리는 이번 논문의 문제의식과 같습니다.

셋째, '중요도 샘플링(Importance Sampling)'과도 연결됩니다. 확률 계산에서 중요한 영역을 더 많이 샘플링하여 적은 샘플로도 정확한 추정을 하는 이 기법은, 한정된 계산 자원을 중요한 부분에 집중하자는 발상에서 공통점이 있습니다.

아이디어가 기존 방법들의 조합이라고 해서 가치가 없는 것은 아닙니다. 중요한 것은 이 조합이 지식 증류라는 특정 맥락에서 얼마나 잘 작동하는가입니다. 그리고 그것은 실험으로 증명해야 합니다.

논문을 정확히 읽어야 합니다 — 한계와 반론

다만 연구는 정확히 읽어야 합니다. 이 연구가 제시하는 방법론에는 검토해야 할 현실적 제약이 있습니다.

첫째, 피셔 정보 행렬 계산 비용입니다. 전체 피셔 행렬을 정확히 계산하는 것은 매개변수 수의 제곱에 비례하는 비용이 듭니다. 수십억 개의 매개변수를 가진 모델에서는 사실상 불가능합니다. 실제 구현에서는 대각 피셔 근사(diagonal Fisher approximation, 행렬을 단순화하는 수학적 지름길)를 씁니다. 이 근사가 얼마나 정확한지는 조건마다 다르며, 논문의 실험 결과가 어떤 근사를 썼는지, 그 오차가 결과에 얼마나 영향을 미치는지를 주의 깊게 살펴야 합니다.

둘째, 온-정책 증류(On-Policy Distillation)라는 전제 조건입니다. 이 방법은 학생 모델이 직접 문장을 생성하고, 그 문장에 대해 선생 모델의 확률 분포를 피드백으로 받는 방식입니다. 이 구조에서만 토큰 효용 계산이 의미 있습니다. 반면 많은 실제 현장에서는 미리 만들어진 대규모 데이터셋으로 오프라인 훈련을 합니다. 이 경우 이 방법을 그대로 적용하기 어려울 수 있습니다.

셋째, 재현 조건의 문제입니다. 논문이 어떤 크기의 모델, 어떤 데이터, 어떤 언어, 어떤 태스크에서 실험했는지가 결과의 일반성을 결정합니다. 특히 영어가 아닌 한국어처럼 조사와 어미가 복잡한 언어에서, 수학이나 코딩처럼 구조가 다른 태스크에서도 같은 효과가 나오는지는 별도 검증이 필요합니다.

넷째, 기저선 비교의 공정성입니다. 새 방법이 기존 방법보다 좋다는 결론은 비교 기준점이 얼마나 강한가에 달려 있습니다. 기존 방법 중 가장 잘 튜닝된 버전을 비교했는지를 확인해야 합니다.

흔한 오해 두 가지를 짚겠습니다.

첫 번째 오해: '이 방법을 쓰면 적은 데이터로 큰 모델을 완전히 대체하는 소형 모델을 만들 수 있다.' — 이것은 과장입니다. 지식 증류는 학생 모델의 근본적인 용량(capacity) 한계를 뛰어넘게 해 주지 않습니다. 10억 개 매개변수짜리 모델이 1조 개짜리 모델의 전체 능력을 따라잡는 것은 구조적으로 불가능합니다. 증류는 그 한계 안에서 얼마나 효율적으로 학습하는가의 문제입니다. 한계를 없애 주는 것이 아니라, 한계에 가까이 닿도록 도와주는 것입니다.

두 번째 오해: '토큰 효용이 높은 토큰만 학습하면 된다.' — 증류는 특정 토큰을 완전히 건너뛰는 것이 아닙니다. 각 토큰에 부여하는 가중치를 조절하는 방식입니다. 효용이 낮은 토큰도 여전히 학습에 참여하되, 중요도가 높은 토큰에 더 많은 주의가 가게 됩니다. 구현에 따라 다를 수 있지만, '중요한 것만 배운다'는 극단적 단순화는 정확하지 않습니다.

숫자로 보는 경량 AI의 현실

이 연구가 왜 중요한지를 실제 숫자로 살펴봅니다.

GPT-4의 매개변수 수는 오픈AI가 공식 공개하지 않았지만, 업계 추정(추정임을 밝힙니다)으로는 1조 개 수준이라는 이야기가 있습니다. 이 모델을 직접 돌리려면 일반적으로 수천만 원에서 수억 원에 달하는 서버급 GPU 클러스터가 필요합니다. 반면 메타(Meta)의 라마(Llama) 3.2 1B 모델은 매개변수가 10억 개로, 최신 스마트폰에서도 실행 가능합니다. 같은 AI이지만 쓸 수 있는 환경이 하늘과 땅 차이입니다.

중요한 맥락이 있습니다. 지식 증류로 훈련된 소형 모델은 동일 크기를 일반 훈련한 모델보다 성능이 높은 경우가 많다는 연구 결과가 여럿 있습니다. 마이크로소프트 파이(Phi) 시리즈는 수십억 개 수준의 매개변수로 훨씬 큰 모델들과 비슷한 성능을 보이는 사례로 자주 언급됩니다. 물론 범용성이 아닌 특정 태스크 기준이라는 한계가 있습니다만, 방향성은 분명합니다.

경량 모델 분야의 경쟁도 치열합니다. 2024년 이후 공개 소형 모델의 수는 수십 종을 넘어섰고, 각 모델이 어떤 증류 방식을 쓰느냐가 성능의 차이를 만듭니다. 이번 논문이 제안하는 방법이 실제 경쟁에서 유의미한 성능 향상을 만들어 낸다면, 경량 모델 개발 파이프라인의 표준 중 하나가 될 가능성이 있습니다.

데이터 주권과 엣지 AI — 경량화가 지정학적 문제인 이유

기술적 효율성 이야기를 넘어서서 생각해야 할 부분이 있습니다. 작은 AI가 중요한 것은 단순히 비용 절감 때문만이 아닙니다.

현재 GPT-4나 클로드 같은 대형 AI를 쓰려면 반드시 미국 기업의 서버에 데이터를 보내야 합니다. 병원 환자 기록, 기업 내부 문서, 국가 기관의 공문서를 AI로 처리하고 싶어도, 그 데이터가 외국 서버를 거쳐야 합니다. 이것은 개인정보 문제를 넘어 국가 안보와 데이터 주권의 문제입니다. 남의 집 우물을 빌려야만 물을 마실 수 있는 상황과 비슷합니다.

만약 충분히 작고 강력한 AI가 로컬(자체 서버나 디바이스)에서 실행될 수 있다면 상황이 달라집니다. 데이터가 밖으로 나가지 않아도 되고, 외국 기업의 API(응용 프로그램 인터페이스, 다른 서비스와 연결하는 창구) 가격 정책이나 서비스 중단에 종속되지 않아도 됩니다. 이것을 '엣지 AI(Edge AI)' 또는 '온-디바이스 AI'라고 부릅니다.

유럽연합은 이미 AI 법(AI Act)에서 고위험 응용에 대해 데이터 지역화 요구를 강화하고 있습니다. 한국도 의료, 금융, 공공 분야에서 데이터 국외 이전 규제가 존재합니다. 이런 환경에서 경량 고성능 모델을 만드는 능력은 단순한 기술 경쟁력이 아니라 법적 적합성(compliance)과 직결됩니다.

따라서 지식 증류 효율화 연구는 좁게는 AI 연구실의 논문이지만, 넓게는 어떤 나라와 기업이 자국 내에서 자율적으로 AI를 운영할 수 있는가의 문제와 이어집니다. 이 기술 경쟁에서 뒤처진다는 것은 핵심 인프라를 외국에 의존하는 것과 같습니다.

추적해야 할 신호들

이 연구가 실질적 영향력을 갖는지 판단하려면 다음을 주목해야 합니다.

1. 독립적 재현 연구가 나오는가 — 같은 방법을 다른 팀이 구현하고 비슷한 결과를 얻었는지가 중요합니다. 논문 발표 후 6개월에서 1년 안에 재현 연구 또는 비판 논문이 나온다면 본격적인 검토가 시작된 것입니다.
2. 허깅페이스(Hugging Face) 같은 공개 커뮤니티에 구현 코드가 올라오고 실제로 쓰이는가 — 학술 아이디어가 실용 도구로 정착하는지를 보는 가장 빠른 방법입니다.
3. 한국어 등 비영어 언어에서의 검증 — 토큰화(tokenization, 단어를 AI가 처리할 수 있는 단위로 쪼개는 과정) 방식이 언어마다 크게 다릅니다. 한국어는 조사와 어미 때문에 영어보다 토큰 구조가 복잡합니다. 이 환경에서도 효용 계산이 안정적으로 작동하는지는 별도 검증이 필요합니다.
4. 피셔 정보 계산 오버헤드를 포함해도 전체 훈련 시간이 줄어드는가 — 방법론이 정교해지는 대신 계산 비용이 늘어나 도리어 손해가 되는 경우가 연구에서 종종 있습니다. 이 지점을 정직하게 측정한 수치가 있어야 합니다.
5. 대형 연구소의 채택 여부 — 구글, 메타, 마이크로소프트 등에서 내부 경량화 파이프라인에 이 방법을 통합했다는 신호가 오면, 실용적 가치가 산업 수준에서 검증된 것입니다.

마무리 — 더 나은 선생이 아니라 더 나은 커리큘럼

지식 증류 연구의 흐름을 돌아보면, 처음에는 '어떻게 선생 모델의 지식을 더 잘 전달할까'를 고민했습니다. 그 다음은 '어떤 방식의 피드백이 더 효과적인가'로 옮겨갔습니다. 이번 연구는 한 단계 더 들어가, '어떤 내용을 언제 얼마나 집중해서 가르칠 것인가', 즉 커리큘럼 설계의 문제를 다룹니다.

이 방향은 옳습니다. 좋은 선생님의 차이는 지식의 양이 아니라 무엇을 언제 어떻게 가르치는가에 있습니다. AI 증류도 마찬가지입니다. 더 스마트한 커리큘럼이 더 좋은 학생을 만듭니다.

다만 연구는 정확히 읽어야 합니다. 이 논문이 제시하는 이론적 틀은 견고합니다. 그러나 그것이 다양한 현실 조건에서 재현되고, 계산 비용을 넘어서는 실질적 이득을 주는지는 후속 실험이 답해야 합니다. 단 하나의 논문이 AI 경량화의 모든 문제를 해결하지는 않습니다. 다만 이 연구는 '왜 이 토큰이 중요한가'에 처음으로 이론적으로 납득할 수 있는 답을 제시하려 했다는 점에서 의미 있는 시도입니다.

경량 AI의 발전은 결국 더 많은 사람이 더 다양한 환경에서, 자신의 데이터를 외부에 넘기지 않고도 강력한 AI를 쓸 수 있는 길로 이어집니다. 그 길에서 이번 연구는 작은 한 걸음입니다. 과장할 필요도, 무시할 필요도 없습니다.

Q. 이 방법을 쓰면 당장 더 좋은 소형 AI 모델을 만들 수 있나요? A. 아직 그렇게 말하기 이릅니다. 이 연구는 방법론적 제안이며, 다양한 조건에서의 재현 실험이 충분하지 않습니다. 피셔 정보 계산의 근사 오차, 온-정책 증류라는 전제 조건, 비영어 언어에서의 작동 여부 등 검증해야 할 것들이 남아 있습니다. 방향성은 올바르지만 실제 도구로 쓰이려면 더 많은 검증이 필요합니다.

Q. 지식 증류가 발전하면 결국 대형 모델이 필요 없어지나요? A. 당분간은 아닙니다. 증류는 선생 모델의 능력을 전제로 합니다. 더 강한 대형 모델이 있어야 더 좋은 소형 모델을 만들 수 있습니다. 대형 모델과 소형 모델은 경쟁 관계가 아니라 공생 관계에 가깝습니다. 다만 특정 좁은 태스크에서는 증류로 만든 소형 모델이 범용 대형 모델을 이미 앞서는 경우도 있습니다.

Q. 한국 기업이나 연구소가 이 방향에서 경쟁력을 가질 수 있나요? A. 가능성은 충분히 있습니다. 지식 증류 기술은 오픈 연구 분야이며, 선생 모델로 쓸 수 있는 오픈소스 대형 모델도 이미 많이 공개되어 있습니다. 한국어 특화 증류 파이프라인, 의료나 법률 같은 특정 분야 전문 소형 모델 개발은 실질적으로 도전 가능한 영역입니다. 다만 기초 연구 역량 없이 응용만 쫓으면 기술 종속은 피하기 어렵습니다.