대학원생도 막히는 AI 보고서, 이게 새로운 계급이 됩니다

레딧 질문 하나가 꺼낸 불편한 속내

레딧 r/MachineLearning 게시판에 질문 하나가 올라왔어요. 요지는 이거예요. "Kimi K3 기술 보고서를 완전히 이해하려면 뭘 공부해야 하나요?" 그런데 질문자가 무식한 분이 아니에요. 대학원 수준의 딥러닝(컴퓨터가 스스로 학습하는 기술)을 이수했고, 트랜스포머 아키텍처(현대 AI의 핵심 구조), 어텐션 메커니즘(AI가 문장에서 중요한 부분을 골라내는 방법), 기본적인 LLM(Large Language Model, 쉽게 말해 사람 말을 흉내 내 문장을 만드는 AI)까지 다 숙지하고 있는 사람이에요.

근데 최신 기술 보고서를 펼쳤더니 모르는 개념이 튀어나왔대요.

이게 왜 불편하냐면, 이 사람은 AI 업계 기준으로 결코 초보자가 아니에요. 대학원에서 딥러닝을 배웠다는 건 한국 수능으로 치면 수학 1등급 맞고 이과 상위권 대학에 들어간 수준이에요. 그런데도 최첨단 AI 기업의 기술 보고서 앞에서 막혔다는 거잖아요. "나 이 소설 이해 못 하겠어"가 아니라 "나 대학원까지 나왔는데 이 논문이 무슨 말인지 모르겠어"에 가까운 상황이에요.

이 질문 하나가 꺼낸 건 개인의 공부 부족이 아니에요. AI 세계에 지금 어떤 구조적 균열이 생기고 있는지예요.

Kimi K3가 뭔지부터, 아주 쉽게

Kimi K3를 모르는 분들을 위해 잠깐 설명해요. 중국 스타트업 문샷 AI(Moonshot AI)가 만든 대규모 언어 모델이에요. 앞서 말한 LLM의 일종인데, 특히 '긴 글 읽기'에 강해요.

비유하면 이래요. 일반 AI가 "책 한 권을 읽고 질문에 답해"라는 과제를 받았을 때 첫 50페이지쯤만 제대로 기억하고 나머지는 흐릿하게 처리한다면, Kimi K3는 그 책 전체를 꼼꼼히 읽고 400페이지 내용도 정확히 끄집어낼 수 있어요. 이걸 업계에서는 '긴 컨텍스트(context, 쉽게 말해 대화 맥락이나 입력 내용의 전체 분량) 처리 능력'이라고 불러요.

이런 모델을 만들려면 단순히 "AI를 좀 더 크게 키우면 되겠지?"가 아니에요. 최신 AI 모델은 온갖 고급 기술의 집합체예요. 기술 보고서에 등장하는 핵심 개념들을 쉽게 풀어볼게요.

1. MoE(Mixture of Experts, 전문가 혼합): 회사에서 프로젝트가 들어올 때마다 전체 직원이 다 달려드는 게 아니라 담당 전문팀만 투입하는 방식과 같아요. AI도 마찬가지예요. 모든 계산을 통째로 돌리는 게 아니라, 질문 종류에 따라 해당 전문가 파트만 활성화해요. 이러면 훨씬 효율적인데, 어느 전문가를 어디에 배분하느냐가 굉장히 복잡한 공학적 문제예요.
2. MLA(Multi-head Latent Attention, 다중 잠재 어텐션): 어텐션은 AI가 문장의 어느 부분에 집중할지 결정하는 장치인데, MLA는 이걸 더 효율적으로 만들어요. 비유하면, 도서관에서 책을 찾을 때 서가 전체를 뒤지는 대신 압축된 목차와 인덱스만 먼저 훑는 거예요. 덕분에 메모리(AI가 쓰는 컴퓨터 메모리)를 훨씬 적게 쓰면서도 성능은 비슷하게 나와요.
3. 분산 학습(Distributed Training): AI를 가르칠 때 컴퓨터 한 대로는 너무 오래 걸려요. 그래서 수천 대의 GPU(그래픽 처리 장치, 원래 게임용 그래픽 카드인데 AI 계산에도 탁월해요)를 동시에 돌려요. 이 수천 대가 서로 정보를 주고받으며 협력하게 만드는 시스템이 분산 학습이에요. 택배 회사가 배송기사 한 명이 아니라 수천 명이 동시에 일하도록 조율하는 물류 시스템을 짜는 것과 비슷해요.
4. 후처리(Post-training): 대충 학습된 AI를 인간의 의도에 맞게 정교하게 다듬는 과정이에요. "사람처럼 친절하게 답해라", "이런 말은 절대 하지 마라"를 가르치는 거예요. RLHF(인간 피드백 기반 강화 학습)가 대표적인데, 이것도 "선생님이 채점해 주면 AI가 공부하는" 식으로 설명할 수 있지만 실제론 엄청나게 복잡한 수학과 시스템이 얽혀 있어요.

이 네 가지만 봐도 알 수 있죠. 이건 딥러닝을 좀 더 공부하면 해결되는 문제가 아니에요.

격차의 실체: 입장권이 있어도 못 들어가는 문

그럼 진짜 흥미로운 질문이 나와요. 왜 대학원 졸업자도 기술 보고서를 다 못 읽을까요?

이걸 이해하려면 AI 기술이 지난 5년 동안 어떻게 달라졌는지 봐야 해요. 2017년 구글이 트랜스포머 아키텍처를 발표했을 때, 이걸 이해하는 데 필요한 선행 지식은 상대적으로 제한적이었어요. 선형 대수학, 확률론, 기초 신경망 지식이면 어느 정도 따라올 수 있었어요. 논문 제목이 'Attention Is All You Need'였는데, 정말로 어텐션 메커니즘 하나만 잘 이해하면 됐거든요. 그 논문은 12페이지였어요.

그런데 지금은 달라요. 2024~2025년의 최신 모델 기술 보고서는 수십 페이지에서 수백 페이지예요. 그리고 이걸 제대로 읽으려면 다음 분야의 전문 지식이 동시에 필요해요.

• AI/딥러닝 이론: 트랜스포머, 어텐션, MoE, 강화 학습 등 (이것만도 박사급 분량)
• 시스템 공학: 분산 컴퓨팅, GPU 메모리 최적화, 병렬 처리 (컴퓨터공학 심화)
• MLOps(Machine Learning Operations, AI 모델을 실제 서비스로 운영하는 기술): 모델 배포, 모니터링, 비용 최적화 (현업 실전 경험)
• 수학: 정보이론, 최적화 이론, 통계역학 (이공계 대학원 수준)
• 하드웨어 이해: GPU와 TPU(구글이 만든 AI 전용 처리 장치) 아키텍처, 초고속 서버 간 네트워크 인터커넥트 (하드웨어 엔지니어링)

이 다섯 분야 모두 박사 수준의 깊이를 요구해요. 한 사람이 이걸 다 마스터하는 건 사실상 불가능에 가까워요. 최첨단 AI 연구팀이 수백 명 단위로 운영되는 이유가 바로 이거예요. OpenAI, Google DeepMind, Anthropic, 문샷 AI 같은 곳은 각 분야 최고 전문가들이 모인 군단이에요.

반면 혼자 공부하는 대학원생 입장에서는요? 기술 보고서 한 편이 다섯 분야 전문가들의 합작물이에요. 그걸 혼자 읽으려면 다섯 분야를 혼자 마스터해야 한다는 뜻이 돼요.

웃프죠. 문은 열려 있는데, 들어가려면 동시에 다섯 개의 자물쇠를 풀어야 하는 상황이에요.

역사적 평행선: 이런 일, 전에도 있었어요

이 구조가 낯설지 않은 이유가 있어요. 기술 혁명이 일어날 때마다 "기본은 알지만 정점은 모른다"는 계층이 생겼거든요.

1970~80년대 반도체 혁명을 생각해 보세요. 트랜지스터가 뭔지는 전기공학과 학부생이면 다 알았어요. 근데 실제로 반도체 칩을 설계하고 제조 공정을 최적화하는 건 극소수 엔지니어만 할 수 있었어요. 인텔, TSMC 같은 회사들이 그 지식을 독점하면서 어마어마한 경쟁 우위를 가졌죠. 한국이 반도체 강국이 된 건 그 지식 격차를 좁히는 데 수십 년과 천문학적인 투자를 쏟아부었기 때문이에요.

1990년대 인터넷 혁명도 비슷해요. "인터넷이 뭔지"는 많은 사람이 알았지만, TCP/IP(인터넷에서 데이터를 주고받는 규칙 체계), 라우팅 알고리즘(데이터를 가장 빠른 경로로 전달하는 방법), 서버 최적화를 깊이 이해하는 사람은 극히 일부였어요. 그 지식을 가진 사람들이 시스코, 아마존, 구글을 만들었고, 지식이 없는 사람들은 그 서비스를 사용하는 고객이 됐어요.

2010년대 스마트폰 혁명도 마찬가지였어요. "앱이 뭔지"는 다 알지만, 모바일 운영체제의 내부 구조나 칩 설계는 퀄컴, 삼성, 애플만의 영역이었어요. 앱 개발자는 많아졌지만, 그 앱을 돌리는 플랫폼을 만드는 사람은 극소수였어요.

AI 혁명도 똑같은 패턴이에요. "AI가 뭔지"는 이제 초등학생도 알아요. "AI를 어떻게 쓰는지"는 누구나 배울 수 있어요. 근데 "AI를 어떻게 만드는지, 그 내부를 어떻게 최적화하는지"는 다시 극소수 전문가의 영역으로 쪼그라들고 있어요.

역설이에요. AI는 기술 민주화의 도구로 불리지만, 그 AI를 만드는 기술 자체는 역사상 유례없는 속도로 소수의 손에 집중되고 있어요.

각 혁명에서 "기본"과 "깊이" 사이의 격차는 점점 더 빠르게 벌어지고 있어요. 반도체 시대에는 이 격차를 좁히는 데 수년이 걸렸다면, AI 시대에는 기술이 워낙 빠르게 진화해서 어제의 최첨단이 오늘의 기본이 되는 속도가 너무 빨라요. 공부가 따라가기 어려운 구조예요.

숫자로 보는 격차: 생각보다 빡센 현실

이 격차가 얼마나 실질적인지 구체적인 맥락으로 봐야 해요.

문샷 AI 같은 최첨단 AI 연구팀은 통상 수백 명의 연구원으로 구성돼요. 그 중에서도 핵심 아키텍처를 다루는 인원은 수십 명 수준이에요. 전 세계에서 최첨단 LLM을 처음부터 설계하고 운영할 수 있는 사람이 몇 명이냐는 추정하기 어렵지만, 수천 명 수준으로 보는 시각이 있어요. 이건 추정이에요.

반면 AI를 "사용하는" 사람은요? 2025년 기준으로 ChatGPT 사용자만 월간 수억 명이에요. 사용자와 핵심 개발자의 비율이 어마어마한 격차예요.

이게 왜 중요하냐면요. AI를 쓰는 것과 AI를 만드는 것 사이에 이렇게 거대한 격차가 생기면, 그 격차가 경제적·사회적 권력으로 전환돼요. 역사적으로 기술 격차는 항상 그랬거든요.

취업 시장에서 이 격차는 이미 구조화되고 있어요. AI 연구 직군의 연봉은 다른 소프트웨어 직군 대비 높은 프리미엄이 붙는 게 업계 공공연한 사실이에요. 미국 빅테크 기업에서 AI 리서처가 초봉에서부터 다른 직군과 눈에 띄는 차이를 보이는 경우가 늘고 있어요.

근데 이건 AI 기업 내부 얘기예요. 더 큰 문제는 AI 기술을 깊이 이해하는 기업과 그냥 "가져다 쓰는" 기업 사이의 격차예요. API(Application Programming Interface, 쉽게 말해 AI 서비스를 갖다 쓸 수 있는 연결 통로)만으로 AI를 활용하는 기업은 AI 회사가 가격을 올리거나 정책을 바꾸면 속수무책이에요. 반면 내부 기술을 가진 기업은 직접 개발하거나 다른 선택지로 이동할 수 있어요.

이 차이가 10년 후에는 어마어마한 기업 경쟁력 격차로 벌어질 거예요. 아직 그 격차가 명확하게 보이지 않아서 많은 기업이 위기감을 못 느끼는 것뿐이에요.

흔한 오해, 제대로 짚기

이 지점에서 두 가지 흔한 오해를 짚고 넘어가야 해요.

오해 1: "AI 쓸 줄만 알면 되지, 굳이 내부까지 알 필요 없잖아요?"

이건 반은 맞고 반은 틀려요. 대부분의 개인 사용자에게는 사실이에요. 김치찌개 먹는 데 발효 과학을 알 필요 없듯이, ChatGPT 쓰는 데 트랜스포머 구조를 알 필요는 없죠.

근데 이 논리가 깨지는 순간이 있어요. 기업이 AI를 "도구"로 쓰는 게 아니라 "핵심 제품"으로 넣을 때예요. 이 경우엔 AI가 왜 이런 실수를 하는지, 어떻게 하면 성능을 올릴 수 있는지, 어느 상황에서 신뢰하면 안 되는지를 알아야 해요. 그러려면 내부 원리 이해가 필요해요.

국가 차원에서도 마찬가지예요. AI 기술을 "사는" 나라와 "만드는" 나라 사이에는 반도체 시대의 한국이 경험했던 것처럼 근본적인 기술 종속 문제가 생겨요. 미국이 반도체 수출 규제로 중국을 압박하듯, AI 기술 격차는 언제든 지정학적 레버(지렛대)가 될 수 있어요.

오해 2: "오픈소스 AI가 있잖아요. 누구나 코드 보고 배울 수 있죠."

오픈소스(소스 코드를 공개한 AI) 생태계는 정말 대단해요. Llama, Mistral, Qwen 같은 모델들이 무료로 공개되어 있고, 코드도 다 볼 수 있어요. 이게 없었다면 지식 독점은 훨씬 심했을 거예요.

근데 오픈소스의 함정이 있어요. 코드를 볼 수 있다는 게 코드를 이해하고 개선할 수 있다는 뜻은 아니에요. 기술 보고서가 공개되어 있어도 그걸 이해하지 못하면 쓸모가 없어요. 바로 그게 그 레딧 질문자가 직면한 상황이에요. 문이 열려 있는데 읽을 언어를 모르는 상황이에요.

더구나 최첨단 학습 노하우, 데이터 전처리 방법, 하이퍼파라미터(모델 학습 시 설정하는 세부 수치들, 요리로 치면 소금 몇 숟갈 넣을지 같은 세부 조율) 튜닝 경험 같은 암묵지(글이나 코드로 표현되지 않는 노하우)는 공개 논문에도 안 나와요. 그건 실제로 수천 대의 GPU를 직접 돌려보고 실패를 반복하면서 쌓이는 지식이에요. 이게 빅테크 기업이 진짜로 독점하는 자산이에요.

독자가 추적해야 할 신호들

이 지식 격차가 사회적으로 어떤 방향으로 전개될지 추적할 신호들이 있어요.

1. AI 대학원 입학 경쟁의 변화: MIT, 스탠퍼드 같은 곳의 AI/ML(머신 러닝, 컴퓨터가 스스로 학습하는 분야) 관련 대학원 지원자 수가 해마다 폭증하고 있어요. 이게 지속될수록 상위 연구 기관과 그 외의 격차는 더 벌어져요. 한국도 카이스트, 서울대 AI 대학원 입학 경쟁이 눈에 띄게 치열해졌죠.
2. AI 기업 채용 내용의 변화: 3년 전만 해도 "파이썬 잘 하고 머신러닝 기초 아는 분"을 뽑는 자리가 많았어요. 지금은 "MoE 아키텍처 구현 경험자", "분산 학습 인프라 구축 경험자"를 요구하는 자리가 늘고 있어요. 채용 공고의 요구 사항이 어떻게 변하는지를 추적하면 격차의 속도를 가늠할 수 있어요.
3. 기술 보고서의 두께 변화: 2017년 트랜스포머 논문은 12페이지였어요. 지금 최신 모델 기술 보고서는 수십에서 수백 페이지예요. 보고서가 두꺼워질수록 진입 장벽도 높아져요.
4. 중소기업의 AI 내재화율: 대기업은 AI 내재화를 시작했지만, 자체 AI 팀을 가진 중소기업은 극히 드물어요. 이 비율이 어떻게 변하느냐가 사회적 격차의 바로미터예요.
5. 교육 플랫폼의 반응: 코세라(Coursera), 유데미(Udemy) 같은 온라인 교육 플랫폼에서 "고급 LLM 아키텍처" 관련 강의의 수요와 가격을 추적해 보세요. 이 시장이 커질수록 지식 격차를 메우려는 수요가 크다는 증거예요.

또 하나, AI 기술의 추상화 계층이 어떻게 변하느냐도 봐야 해요. 스마트폰이 처음 나왔을 때 앱을 만들려면 Objective-C나 Java를 알아야 했어요. 지금은 코드 없이 앱을 만드는 노코드 툴도 있어요. AI도 비슷한 방향으로 갈 가능성이 있어요. "MoE를 몰라도 최첨단 모델을 활용하는" 계층이 점점 두꺼워질 수 있어요.

문제는 그 계층이 두꺼워질수록, 그 계층 위에서 실제로 기술을 만드는 사람들의 권력은 반대로 더 집중된다는 거예요. 편리함과 종속성은 한 동전의 양면이에요.

결국 이건 사람 문제예요

돌아와서 레딧 질문자 얘기를 다시 해볼게요.

그 사람이 한 일은 사실 용감한 일이에요. 모른다고 인정하고 공개적으로 질문한 거잖아요. AI 업계에서 이런 고백이 화제가 됐다는 건, 같은 처지의 사람이 많다는 뜻이기도 해요. 댓글 창은 "나도 그래요"의 물결이었을 거예요. 이 공감의 물결이 흥미로운 이유는, AI가 겉으로는 "모두를 위한 기술"로 포장되지만 실제로 그 내부를 이해하는 건 점점 더 소수의 일이 된다는 집단적 직감이 반영된 것 같아서예요.

이게 반드시 나쁜 것만은 아니에요. 자동차 운전자가 엔진 설계를 몰라도 차를 잘 타듯이, AI 사용자가 MoE를 몰라도 AI를 잘 쓸 수 있어요. 분업화는 현대 사회의 기본 원리니까요.

근데 걱정되는 게 있어요. 기술을 이해하는 사람들이 기술을 이해 못 하는 사람들에게 "이건 복잡해서 우리한테 맡겨"라고 말할 때, 그 말을 검증할 능력 자체가 없어진다는 거예요. 이건 단순한 분업 이상의 문제예요. 기술 권력의 불균형이에요.

AI가 민주주의에 영향을 준다고 할 때, 많은 사람이 딥페이크 뉴스나 알고리즘 편향을 먼저 떠올려요. 근데 더 근본적인 문제는 이 기술을 이해하고 감시하고 비판할 수 있는 시민의 수가 줄어드는 것 아닐까요. 법을 만드는 국회의원이 AI를 모르면 AI 규제법을 만들 수 없어요. 판사가 AI를 모르면 AI 관련 소송을 판단할 수 없어요. 기자가 AI를 모르면 AI 기업의 주장을 검증할 수 없어요.

그 레딧의 질문 하나가 결국 여기까지 이어져요. "Kimi K3 기술 보고서 어떻게 이해해요?"라는 개인의 질문이 "AI 시대에 사회는 이 기술을 얼마나 이해해야 하나?"라는 집단의 질문으로 확장되는 거예요.

독자 Q/A

Q. 저는 AI를 개발하는 게 아니라 그냥 쓰는 사람인데, 이 지식 격차가 저랑 무슨 상관이에요?

A. 지금 당장은 직접적인 영향이 작아요. 근데 AI 서비스 가격이 오르거나, AI가 잘못된 결정을 내리거나, AI 회사가 정책을 바꿀 때 그 배경을 이해하고 비판할 수 있느냐의 문제예요. 이걸 검증할 역량이 사회에 충분히 없으면 AI 기업들의 말을 그냥 믿을 수밖에 없는 구조가 돼요. 소비자가 약을 처방하는 의사의 판단을 완전히 신뢰해야 하는 상황과 비슷해요. 신뢰가 나쁜 건 아닌데, 감시가 없는 신뢰는 위험하죠.

Q. 그럼 비전공자도 MoE나 분산 학습 같은 걸 공부해야 하나요?

A. 그 수준까지는 아니에요. 근데 "AI가 어떻게 학습하는지", "AI가 왜 실수하는지", "AI의 성능을 어떤 기준으로 평가하는지" 정도는 교양 수준에서 알아야 AI를 제대로 활용하고 비판할 수 있어요. 이걸 AI 리터러시(AI를 이해하고 올바르게 활용하는 능력)라고 부르는데, 지금 한국 교육에서 이 리터러시가 충분히 갖춰지고 있는지는 의문이에요.

Q. 한국은 이 지식 격차 문제에서 어디쯤 있나요?

A. 솔직히 말하면 아직 기술 생산자보다는 기술 소비자에 가까운 위치예요. 삼성, SK하이닉스가 AI 반도체에서 강하고, 네이버와 카카오가 LLM을 만들고 있어요. 근데 문샷 AI, OpenAI, Anthropic처럼 새로운 아키텍처를 선도하는 위치는 아직이에요. 이 격차를 좁히는 게 한국 AI 정책의 핵심 과제여야 하는데, 그 논의가 충분히 이뤄지고 있는지는 지켜봐야 해요.

기술 혁명은 항상 이래왔어요. 전기가 들어오면 모두가 빛을 누리지만 발전소를 운영하는 건 소수예요. 인터넷이 깔리면 모두가 정보를 얻지만 서버를 만드는 건 소수예요. AI도 마찬가지예요. 챗GPT로 글 쓰고 이미지 만드는 건 이제 다 해요. 근데 그 AI를 만들고 이해하고 감시하는 능력은 지금 이 순간에도 좁아지고 있어요.

레딧의 그 질문자가 불편하게 만든 건 이거예요. 성실하게 공부한 사람조차 최첨단의 문 앞에서 막힐 수 있다는 것. 그리고 그 문에 앞으로 자물쇠가 하나씩 더 달릴 거라는 것.

AI가 세상을 바꾼다는 말은 반만 맞아요. AI를 이해하는 사람이 세상을 바꾸고, 나머지는 그 세상에서 살아가게 되는 거예요.