AI의 기억상실증, ‘월세’로 고칠 수 있을까: MARCH 모델이 던지는 질문

인공지능(AI)이 소설 한 권 분량의 글을 읽고 답을 하는 시대입니다. 놀라운 일이지만, 여기에는 보이지 않는 비용이 따릅니다. 현재 AI 기술의 주류인 ‘트랜스포머(Transformer)’는 기억력이 길어질수록 마치 부잣집 도련님처럼 돈을 쓰는 구조이기 때문입니다. 자극적인 제목에 휘둘리지 말고, 새로운 기술의 원리와 한계를 정확히 들여다봐야 합니다. ‘MARCH’라는 이름의 새 연구는 이 값비싼 기억력 문제를 풀기 위한 흥미로운 시도입니다. 다만 연구는 정확히 읽어야 합니다.

AI의 '기억력'에 붙는 어마어마한 세금

현재 우리가 사용하는 챗GPT나 제미나이 같은 대규모 언어 모델(LLM, 쉽게 말해 사람 말을 흉내 내 문장을 만들어 내는 AI)은 대부분 ‘트랜스포머’라는 설계도를 기반으로 만들어졌습니다. 트랜스포머의 가장 큰 장점은 문맥을 파악하는 능력입니다. 문장 안에서 어떤 단어가 다른 단어와 얼마나 중요한 관계를 맺고 있는지, 그 관계의 세기를 한 번에 계산해 내는 ‘어텐션(Attention)’이라는 기법 덕분입니다.

그런데 이 방식에는 치명적인 약점이 있습니다. 처리해야 할 글의 길이가 길어질수록 계산량이 제곱으로 늘어납니다. 10쪽짜리 보고서를 처리하는 데 드는 힘이 1쪽짜리의 10배가 아니라 100배가 되는 식입니다. 이는 AI를 훈련시킬 때의 문제입니다.

한번 훈련된 AI를 사용할 때, 즉 ‘추론’ 과정에서도 비용은 계속 불어납니다. AI는 대화를 이어가기 위해 이전에 나눈 대화 내용을 ‘KV 캐시’라는 임시 저장소에 보관합니다. 대화가 길어질수록 이 저장소의 크기는 계속 커져야만 합니다. 마치 긴 회의에서 새로 온 사람이 들어올 때마다, 먼저 와 있던 모든 사람과 일일이 인사를 나눠야 하는 것과 같습니다. 사람이 늘어날수록 인사하는 데 드는 시간은 기하급수적으로 늘어납니다. 이 때문에 현재 AI들은 처리할 수 있는 글의 길이, 즉 ‘컨텍스트 창’에 제한을 둘 수밖에 없습니다.

이것을 부동산 비유로 설명해 보겠습니다. 트랜스포머 방식은 마치 책 한 권을 읽기 위해 도서관 전체를 통째로 빌리는 ‘전세’ 계약과 같습니다. 책상 하나만 필요할 뿐인데도, 혹시 다른 책을 참고할지도 모른다는 이유로 막대한 공간과 비용을 전부 부담하는 셈입니다. 구글이나 오픈AI가 수십만, 수백만 단어를 처리할 수 있는 AI를 발표할 때마다 사실상 “우리는 이렇게 비싼 전세 계약을 감당할 자금력이 있다”고 과시하는 것과 다르지 않습니다.

트랜스포머 이전의 왕, RNN은 왜 몰락했나

그렇다면 더 효율적인 방식은 없었을까요? 있었습니다. 트랜스포머가 등장하기 전 AI 세계를 지배했던 ‘순환 신경망(RNN, Recurrent Neural Network)’입니다. RNN은 트랜스포머와 작동 방식이 정반대입니다. 정보를 한꺼번에 펼쳐놓고 보는 대신, 마치 사람이 글을 읽듯 순서대로 하나씩 처리합니다.

RNN의 작동 원리는 ‘요약하며 읽기’에 비유할 수 있습니다. 첫 문장을 읽고 그 내용을 머릿속에 요약해 둡니다. 다음 문장을 읽고는, 방금 만든 요약본에 새 내용을 합쳐 다시 요약합니다. 이 과정을 반복하면 글 전체를 읽고 난 뒤에도 고정된 크기의 ‘요약본’ 하나만 머릿속에 남게 됩니다. 이 때문에 RNN은 아무리 긴 글을 처리해도 추가적인 메모리가 거의 필요 없습니다. 추론 효율성이 극도로 높습니다.

앞선 부동산 비유를 다시 가져오자면, RNN은 도서관 전체를 빌리는 대신 친구에게 책 내용을 요약해달라고 부탁하는 ‘월세’ 방식에 가깝습니다. 훨씬 저렴하고 빠릅니다. 그런데 왜 이런 효율적인 RNN이 트랜스포머에 밀려 역사의 뒤안길로 사라졌을까요?

결정적인 이유는 ‘파멸적 망각(Catastrophic Forgetting)’ 때문입니다. 계속해서 새로운 정보로 기존 요약본을 갱신하다 보니, 맨 처음에 읽었던 중요한 내용이 점차 희미해지거나 아예 사라져 버리는 현상입니다. 친구의 요약이 뒤로 갈수록 맨 처음의 중요한 줄거리는 빼먹고 최근에 본 자극적인 장면 위주로 채워지는 것과 같습니다. 이 때문에 RNN은 긴 글의 핵심을 정확히 기억하거나, 글의 특정 부분에 대한 질문에 답하는 능력이 현저히 떨어졌습니다. 결국 ‘비싸지만 정확한’ 트랜스포머가 ‘저렴하지만 잘 잊어버리는’ RNN을 대체하게 된 것입니다.

월세와 전세의 절충안, '중요한 것만 기억하기'라는 발상

이 지점에서 ‘MARCH’라는 새로운 모델이 등장합니다. MARCH의 핵심 아이디어는 간단합니다. RNN의 저렴한 ‘월세’ 방식의 효율성은 그대로 가져오되, 트랜스포머의 비싼 ‘전세’ 방식처럼 정확한 기억력을 일부 구현할 수는 없을까? 그 해답으로 ‘콘텐츠 기반 앵커(Content-routed State Anchors)’라는 개념을 제시합니다.

이는 우리가 공부하는 방식과 놀랍도록 닮았습니다. 시험공부를 할 때를 떠올려 봅시다. 우리는 세 가지 방식 중 하나를 택할 수 있습니다.

1. 트랜스포머 방식: 시험 범위 전체를 통째로 머리에 넣고 시험장에 들어갑니다. 가장 확실하지만, 엄청난 노력과 시간이 필요합니다.
2. RNN 방식: 교과서를 한번 쓱 읽고, 머릿속에 남는 대략적인 느낌만 가지고 시험을 봅니다. 빠르지만, 세부 내용을 묻는 문제는 틀릴 가능성이 높습니다.
3. MARCH 방식: 교과서를 순서대로 읽어 나가되(RNN 방식), 정말 중요하다고 생각하는 개념이나 공식이 나오면 따로 ‘포스트잇’이나 ‘오답 노트’에 적어 둡니다(앵커). 시험 문제를 풀다가 관련 내용이 나오면, 재빨리 해당 포스트잇을 찾아보고 정확한 답을 적습니다.

MARCH의 ‘앵커’가 바로 이 포스트잇 역할을 합니다. AI가 문장을 순차적으로 읽어 나가다가 ‘이 정보는 나중에 다시 필요할 것 같다’고 판단하면, 그 정보의 핵심을 ‘앵커’라는 별도의 작은 저장 공간에 갈무리해 둡니다. 그리고 나중에 질문을 받거나 글을 생성할 때, 이 앵커들을 뒤져서 가장 관련 있는 과거 정보를 정확히 찾아와 활용하는 것입니다.

이 방식을 통해 MARCH는 RNN처럼 고정된 크기의 메모리만 사용하면서도(효율성), 필요할 때는 트랜스포머처럼 과거의 특정 정보를 콕 집어 가져올 수 있는(정확성) 가능성을 열었습니다. 비싼 전세도, 부실한 요약도 아닌, 핵심만 따로 기록해 두는 현명한 독서법을 AI에 가르치려는 시도인 셈입니다.

MARCH는 정말 '게임 체인저'가 될까? 한계부터 봐야 합니다

여기까지 들으면 MARCH가 AI의 모든 문제를 해결할 ‘은총알’처럼 보일 수 있습니다. 하지만 언제나 그렇듯, 새로운 기술은 그 한계와 조건을 먼저 짚어야 합니다. 재현되는가, 조건은 무엇인가. 메커니즘과 예언을 구분해야 합니다.

첫째, ‘무엇이 중요한가’를 AI가 어떻게 판단할 것인가 하는 근본적인 문제가 남습니다. MARCH의 성패는 얼마나 똑똑하게 ‘앵커’를 지정하느냐에 달려 있습니다. 만약 시험에 나오지 않을 법한 지엽적인 내용만 잔뜩 포스트잇에 적어 둔 학생이라면 좋은 성적을 받을 리 없습니다. 연구진은 AI가 스스로 콘텐츠의 중요도를 판단해 앵커를 저장하고 불러오게 설계했지만, 이 판단이 항상 최적이라는 보장은 어디에도 없습니다. 잘못된 정보에 앵커를 달거나, 정작 중요한 정보를 놓친다면 모델의 성능은 급격히 저하될 것입니다. 이 선택의 신뢰성을 어떻게 확보할지가 첫 번째 관건입니다.

둘째, 확장성과 일반화 능력의 문제입니다. 이번 연구는 특정 작업(긴 글에서 특정 정보 찾아내기 등)에서 MARCH의 효율성과 가능성을 보여줬습니다. 하지만 GPT-4와 같이 다방면에 걸쳐 복잡한 추론과 창작을 수행하는 거대 모델의 능력까지 재현할 수 있을지는 미지수입니다. 단순히 정보를 잘 찾는 능력과, 그 정보를 바탕으로 새로운 논리를 만들거나 창의적인 글을 쓰는 능력은 차원이 다른 문제입니다. 작은 실험실 모델의 성공이 곧바로 수조 개의 데이터를 학습한 상용 모델의 대체로 이어지지는 않습니다. 실제 산업 현장에 적용 가능한 수준으로 확장될 수 있을지는 혹독한 검증을 거쳐야 합니다.

셋째, MARCH는 유일한 대안이 아닙니다. 트랜스포머의 비효율성을 극복하려는 시도는 여러 갈래로 진행 중입니다. ‘Mamba’와 같은 상태 공간 모델(State Space Model)도 RNN의 효율성과 트랜스포머의 성능을 결합하려는 시도이며, ‘Ring Attention’처럼 여러 AI 칩(GPU)이 힘을 합쳐 긴 문맥을 나눠 처리하는 기술도 있습니다. MARCH는 이 치열한 경쟁의 장에 등장한 하나의 선수일 뿐, 아직 승패는 안갯속입니다.

흔한 오해 두 가지: '긴 글 처리'와 '이해'는 다르다

AI의 긴 글 처리 기술을 둘러싼 흔한 오해 두 가지를 짚고 넘어가야 합니다. 이는 MARCH 같은 새로운 기술을 올바로 평가하는 데 필수적인 관점입니다.

첫 번째 오해는 ‘긴 글을 처리할 수 있으면 더 똑똑한 AI’라는 생각입니다. 100만 단어, 즉 두꺼운 책 몇 권 분량의 글을 한 번에 입력할 수 있다는 것은 대단한 기술적 성취입니다. 하지만 이는 AI가 그 글을 ‘이해’했다는 뜻과 다릅니다. 현재 기술 수준에서 ‘긴 글 처리’의 핵심은 대부분 ‘방대한 정보 속에서 특정 사실을 찾아내는 능력(retrieval)’에 가깝습니다. 마치 거대한 도서관에서 특정 키워드가 포함된 책을 1초 만에 찾아내는 유능한 사서와 같습니다. 하지만 사서가 그 책의 내용을 모두 이해하고 비판하거나 새로운 이론을 창조하지는 않듯, AI 역시 정보를 찾는 능력과 그것을 바탕으로 깊이 사유하는 능력은 별개입니다. ‘긴 글 처리’라는 말을 들을 때, 우리는 그것이 ‘이해’가 아니라 ‘검색’에 가까운 능력일 수 있음을 인지해야 합니다.

두 번째 오해는 ‘더 나은 기술이 나오면 기존 기술은 바로 사라질 것’이라는 믿음입니다. MARCH 같은 효율적인 아키텍처가 성공적으로 증명된다 해도, 하루아침에 트랜스포머를 대체하기는 거의 불가능합니다. 이유는 ‘생태계의 관성’ 때문입니다. 지난 몇 년간 전 세계 AI 산업은 트랜스포머를 더 빠르고 효율적으로 구동하는 데 모든 자원을 쏟아부었습니다. 엔비디아의 그래픽 처리 장치(GPU)는 트랜스포머의 핵심 연산(행렬 곱셈)에 최적화되어 있고, 수많은 소프트웨어와 개발 도구, 그리고 엔지니어들의 지식 전체가 트랜스포머를 중심으로 구축되었습니다. 휘발유 차가 가득한 세상에서 갑자기 뛰어난 전기차가 등장해도 충전소, 정비 인력, 부품 공급망이 갖춰지기 전까지는 대중화가 더딘 것과 같은 이치입니다. 새로운 아키텍처는 단순히 기술적 우위를 넘어 이 거대한 생태계의 관성을 이겨낼 만큼 압도적인 장점을 증명해야 합니다.

거대한 모델에서 '효율적인' 모델로, 데이터 주권의 서막

그럼에도 불구하고 MARCH와 같은 연구가 중요한 이유는, AI 발전의 방향성에 대한 근본적인 질문을 던지기 때문입니다. 지금까지의 AI 경쟁은 더 많은 데이터와 더 큰 모델을 만드는 ‘규모의 경쟁’이었습니다. 이는 필연적으로 막대한 자본과 컴퓨팅 자원을 가진 소수의 빅테크 기업에게 유리한 싸움입니다. 수천억 원을 들여 AI 모델을 훈련하고, 데이터센터를 운영할 수 있는 회사는 전 세계에 몇 곳 되지 않습니다.

하지만 MARCH처럼 ‘효율성’을 추구하는 연구는 다른 길을 제시합니다. 만약 AI 모델이 훨씬 적은 메모리와 계산량으로도 뛰어난 성능을 낼 수 있다면, 더 이상 거대한 데이터센터에 의존할 필요가 없어질지 모릅니다. 우리가 매일 쓰는 스마트폰이나 노트북 컴퓨터 안에서 직접 강력한 AI가 구동되는 ‘온디바이스 AI(On-device AI)’ 시대가 본격적으로 열릴 수 있습니다.

이는 단순히 비용 절감의 문제를 넘어 ‘데이터 주권(Data Sovereignty)’이라는 묵직한 시사점으로 이어집니다. 지금 우리는 AI 서비스를 이용하기 위해 나의 질문, 개인 정보, 회사의 기밀 문서까지 모두 구글이나 오픈AI의 서버로 보내야 합니다. 내 데이터의 통제권이 서비스 제공자에게 넘어가는 셈입니다. 하지만 AI가 내 기기 안에서 작동한다면, 민감한 데이터가 외부로 유출될 위험 없이 AI의 도움을 받을 수 있습니다. 나의 건강 기록을 외부 서버로 보내지 않고 내 스마트폰 안에서 분석하고, 회사 기밀 보고서를 노트북 안에서 요약하는 세상이 가능해집니다. 이는 AI 시대의 권력 균형을 소수의 빅테크 기업에서 개인과 소규모 조직으로 옮겨올 수 있는 잠재력을 가진, 작지만 거대한 변화의 시작입니다.

결론: 예언을 경계하고, 메커니즘을 추적해야 하는 이유

MARCH 모델은 트랜스포머의 막대한 비용과 RNN의 파멸적 망각 사이에서 찾아낸 현명한 절충안처럼 보입니다. 인간의 기억 방식, 즉 모든 것을 기억하려 애쓰기보다 중요한 것을 선별해 ‘앵커’를 남기는 아이디어는 직관적이고 설득력이 있습니다. 이 연구는 AI의 미래가 무조건 더 크고 비싼 방향으로만 흘러가지 않을 수 있다는 중요한 신호입니다.

그러나 우리는 예언에 열광하기보다 메커니즘을 냉정하게 추적해야 합니다. MARCH가 제시한 ‘앵커’라는 메커니즘이 과연 다양한 상황에서 얼마나 안정적으로 작동하는지, 거대 모델로 확장될 때 어떤 예상치 못한 문제점을 드러낼지 지켜봐야 합니다. 다른 연구자들이 이 결과를 재현하고, 아이디어를 발전시켜 더 나은 모델을 만들어 내는 과정을 끈기 있게 따라가는 것이야말로 연구를 정확히 읽는 태도입니다.

MARCH는 정답이 아니라 질문입니다. ‘AI의 기억은 반드시 비싸야만 하는가?’라는 이 질문에 대한 답을 찾아가는 과정에서, 기술은 또 한 번 진보할 것입니다. 그리고 그 진보의 방향이 소수의 독점을 강화하는 쪽이 아니라, 더 많은 사람에게 AI의 혜택과 통제권을 나눠주는 쪽이 되도록 감시하고 목소리를 내는 것이 우리 모두의 과제입니다.

독자가 던질 법한 질문

Q. MARCH 모델이 나오면 이제 GPT-4 같은 모델은 안 쓰게 되나요?

A. 아닙니다. 당장은 어림도 없습니다. MARCH는 아직 실험실 수준의 연구 개념이며, 수십조 개의 단어를 학습하고 온갖 종류의 추론 능력을 갖춘 GPT-4와 같은 상용 모델과는 체급이 다릅니다. MARCH의 아이디어가 성공적으로 증명되어 실제 제품에 적용되기까지는 수년이 걸릴 수 있으며, 그 과정에서 기존 트랜스포머 모델과 결합된 하이브리드 형태가 될 가능성도 높습니다. 단기적으로는 특정 목적(긴 문서 분석 등)에 특화된 모델로 먼저 활용될 수 있습니다.

Q. '긴 글을 처리한다'는 게 정확히 무슨 뜻인가요? 100만 단어짜리 책을 정말 '이해'하나요?

A. '이해'라는 말을 경계해야 합니다. 현재 AI가 100만 단어를 처리한다는 것은, 그 방대한 텍스트 안에서 특정 정보를 매우 빠르게 찾아내거나(예: '해리포터 시리즈 전체에서 ‘스네이프’가 등장하는 모든 장면을 찾아줘'), 전체 내용을 개략적으로 요약하는 능력을 의미하는 경우가 많습니다. 텍스트 전체의 복잡한 인과관계나 등장인물의 미묘한 심리 변화를 인간처럼 깊이 있게 ‘이해’하고 추론하는 능력과는 아직 거리가 있습니다. ‘정보 검색 능력’의 비약적인 확장으로 보는 것이 더 정확한 해석입니다.

Q. 일반 사용자에게 이런 구조 변화가 어떤 의미가 있나요? 너무 기술적인 이야기 아닌가요?

A. 단기적으로는 큰 변화를 체감하기 어렵습니다. 하지만 장기적으로는 AI 서비스의 ‘요금’과 ‘개인정보’ 문제에 직결됩니다. MARCH와 같은 효율적인 모델이 보편화되면, AI를 사용하는 비용이 크게 낮아져 더 저렴하거나 무료인 서비스가 많아질 수 있습니다. 더 중요하게는, AI가 클라우드 서버가 아닌 개인 스마트폰이나 컴퓨터에서 직접 작동하게 될 가능성이 커집니다. 이는 나의 민감한 개인정보를 외부에 보내지 않고도 AI의 도움을 받을 수 있다는 의미이며, 개인정보 보호 측면에서 거대한 진전이라 할 수 있습니다.