챗GPT 월세의 종말? 3210억 괴물 AI, 내 방구석에 강림하다

챗GPT, 월세 내는 시대의 종말?

다들 챗GPT 같은 AI 서비스에 한 달에 22달러씩 내고 계시죠? 저도 그래요. 더 빠르고 똑똑한 답변을 위해, 이미지를 만들어 달라고 조르기 위해 기꺼이 지갑을 열죠. 이건 뭐랄까, 똑똑한 디지털 비서를 고용한 월급, 혹은 인터넷 세상에 얻은 나만의 똑똑한 원룸 월세 같은 느낌이에요. 데이터를 보내주면, 저 멀리 어딘가에 있는 거대한 컴퓨터가 똑똑한 결과물을 만들어서 보내주죠. 우리는 그 편리함의 대가로 매달 꼬박꼬박 비용을 내고요.

그런데 얼마 전, 온라인 커뮤니티 레딧(Reddit)의 한 구석방 같은 ‘r/LocalLLaMA’라는 포럼에서 작은 혁명이 시작됐어요. ‘프로젝트 마야(Project Maya)’라는 이름 없는 개발자 그룹이, 무려 3210억 개의 매개변수를 가진 거대 언어 모델(LLM)을 개인용 컴퓨터에서 돌리는 데 성공했다는 소식이었죠. 솔직히 처음엔 ‘또 그들만의 리그에서 나온 허풍이겠지’ 싶었어요. 그런데 이게 그냥 ‘돌아간다’ 수준이 아니었던 거예요.

한 사용자가 올린 후기가 불을 지폈어요. 원래 이 모델(GLM5.3 Flash)은 자기 컴퓨터에서 초당 10토큰, 그러니까 한 글자 한 글자 아주 천천히 내뱉어서 거의 쓸모가 없었대요. 답답해서 속 터지는 수준이죠. 그런데 ‘스트라타(Strata)’라는 새 기술을 적용했더니, 갑자기 속도가 초당 30토큰으로 3배나 빨라졌다는 거예요. 이 정도면 약간 느긋한 사람과 대화하는 정도는 되거든요. 못 써먹을 장난감이 쓸 만한 도구가 된 순간이죠.

이게 왜 중요하냐고요? 이건 단순히 속도가 좀 빨라졌다는 기술 뉴스가 아니에요. 우리가 당연하게 여겼던 ‘AI는 빌려 쓰는 것’이라는 공식을 깨부수는 첫 번째 망치 소리거든요. 매달 꼬박꼬박 내던 ‘챗GPT 월세’의 시대가 저물고, 내 돈 주고 산 컴퓨터에 AI를 ‘자가’로 소유하는 시대가 올 수도 있다는 신호탄인 셈이죠. 웃프죠. 디지털 세상에서도 결국 월세살이에서 내 집 마련으로 가는 로망이 투영되는 걸 보면요.

3210억짜리 두뇌를 내 컴퓨터에? '프로젝트 마야'가 한 일

자, 여기서 어려운 용어들이 막 튀어나오죠. '3210억 매개변수', '토큰', '양자화'. 이런 말만 들으면 머리 아프고 ‘아, 내 얘기 아니구나’ 싶으실 거예요. 최대한 쉽게 풀어 드릴게요. 이게 어떻게 사람들의 일상을 바꿀지 알려면, 얘들이 뭘 한 건지는 알아야 하니까요.

우선 ‘LLM(Large Language Model)’은 ‘거대 언어 모델’이라고 불러요. 쉽게 말해, 사람 말을 엄청나게 많이 공부해서 문장 만드는 법을 흉내 내는 AI 프로그램이에요. 챗GPT가 바로 이 LLM의 한 종류죠. 그리고 ‘매개변수(parameter)’는 이 AI 두뇌의 뉴런(신경세포) 개수라고 생각하면 편해요. 이 숫자가 클수록 AI가 더 복잡하고 미묘한 뉘앙스를 잘 이해하고 표현할 수 있죠. 우리가 쓰는 챗GPT-4의 매개변수는 조 단위를 훌쩍 넘는다고 추정돼요. 그러니 3210억 개도 어마어마하게 큰 두뇌인 셈이죠.

원래 이런 거대한 두뇌는 엄청난 전기와 메모리를 먹어 치우는 대식가예요. 그래서 구글이나 오픈AI 같은 빅테크 기업의 거대한 데이터센터(컴퓨터 수만 대가 모인 건물)에서나 감당할 수 있었어요. 이걸 ‘클라우드 AI’라고 부르죠. 우리가 스마트폰 앱으로 주문하면 식당 주방에서 요리해서 배달해주는 것과 같아요.

그런데 ‘프로젝트 마야’는 이 거대한 두뇌를 다이어트시켜서 우리 집 부엌(개인 PC)에서도 요리할 수 있게 만든 거예요. 그 비법이 바로 ‘스트라타(Strata)’라는 기술인데, 핵심은 ‘양자화(Quantization)’라는 최적화 기법을 기가 막히게 활용한 거예요.

양자화가 뭐냐고요? 고화질 원본 사진(AI 모델)을 화질은 좀 떨어지지만 용량은 훨씬 작은 JPEG 파일로 압축하는 과정과 비슷해요. AI 모델을 구성하는 숫자들의 정밀도를 살짝 낮춰서(예: 32비트 실수를 4비트 정수로) 모델의 전체 크기를 1/8까지 줄이는 거죠. 당연히 성능 저하가 생길 수밖에 없어요. 사진을 너무 압축하면 깨져 보이는 것처럼요. 그래서 지금까지는 ‘거대 모델을 양자화하면 똑똑하던 애가 바보가 된다’는 게 상식이었어요.

‘프로젝트 마야’의 혁신은 바로 이 지점에 있어요. 무작정 압축하는 게 아니라, 모델의 어느 부분은 정밀하게 남겨두고 어느 부분은 과감히 압축할지를 기가 막히게 찾아내는 방법을 쓴 거예요. 비유하자면, 요리 레시피를 줄일 때 맛의 핵심인 소스 비율은 그대로 두고, 부재료 양은 좀 줄여도 전체 맛에 큰 영향이 없게 만드는 거죠. 그 결과, 모델 크기는 극단적으로 줄이면서도 성능 저하는 최소화하는 데 성공한 겁니다. 레딧 사용자가 ‘낮은 양자화 상태에서도 훨씬 즐거운 경험’이라고 말한 이유가 바로 이거예요. 압축을 많이 했는데도 쓸 만하다는 뜻이니까요.

마지막으로 ‘토큰(token)’은 AI가 한 번에 처리하는 단어 조각이에요. ‘나는 밥을 먹는다’가 있다면 ‘나/는/밥/을/먹는다’처럼 쪼개지는 단위죠. ‘초당 30토큰(30 tokens/s)’이라는 건 1초에 약 30개의 단어 조각을 만들어낸다는 뜻으로, 우리 눈에는 그럭저럭 자연스러운 속도로 문장이 타이핑되는 것처럼 보여요. 느려터진 독수리 타법에서 평범한 타자 실력으로 올라선 셈이죠.

2010년 '탈옥' 아이폰, 그리고 2024년 '탈옥' AI

이런 현상을 보고 있으니, 저는 2010년대 초반을 뜨겁게 달궜던 아이폰 ‘탈옥(Jailbreaking)’ 열풍이 떠올라요. 혹시 기억나시나요? 애플이 막아놓은 기능들을 뚫고, 사용자가 자기 아이폰의 모든 권한을 가져오는 행위였죠. 애플이 허락하지 않은 앱을 깔고, 테마를 내 마음대로 바꾸고, 통화 내용을 녹음하는 등 ‘금지된 장난’을 치는 게 가능했어요.

물론 탈옥은 위험했어요. 보안에 취약해지고, 잘못 건드리면 비싼 아이폰이 ‘벽돌’이 되기도 했죠. 그래서 대부분의 사람들은 그냥 애플이 만들어준 순정 상태로 썼어요. 하지만 소수의 얼리어답터와 개발자들은 그 위험을 감수하고 기꺼이 ‘탈옥수’가 됐어요. 왜 그랬을까요?

• 1. 통제권 확보: 제조사가 정해준 규칙에서 벗어나 내 기기를 내 마음대로 쓰고 싶다는 욕구 때문이었어요. 디지털 기기의 ‘소유권’을 온전히 주장하려는 움직임이었죠.
• 2. 기능의 확장: 순정 상태에서는 불가능했던 새로운 기능들을 커뮤니티가 만든 앱(‘시디아’라는 앱스토어가 있었죠)을 통해 맛볼 수 있었어요. 지금은 당연한 스마트폰 기능 중 상당수가 당시 탈옥 커뮤니티에서 처음 시도됐어요.
• 3. 새로운 생태계 창조: 애플의 엄격한 통제를 벗어나 자유롭게 앱을 만들고 공유하는 독립 개발자 생태계가 만들어졌어요. 여기서 나온 아이디어들이 훗날 애플의 공식 기능으로 흡수되기도 했고요.

지금 벌어지는 ‘로컬 AI(Local AI)’ 움직임이 딱 이래요. OpenAI나 구글 같은 거대 기업이 만들어놓은 ‘클라우드’라는 안전한 울타리를 벗어나, AI 모델을 내 컴퓨터로 직접 가져와 ‘탈옥’ 시키는 거죠. 아직은 고사양 PC를 가진 일부 ‘덕후’들의 위험하고 불편한 장난처럼 보일 수 있어요. 하지만 이건 AI의 통제권을 빅테크로부터 개인에게 가져오려는 거대한 흐름의 시작이에요. 아이폰 탈옥이 스마트폰의 미래를 살짝 엿보게 해준 창문이었다면, 로컬 AI는 AI와 인간의 관계가 어떻게 변할지를 보여주는 예고편인 셈이죠.

그래서, 이게 내 일상을 어떻게 바꾸는데요?

‘그래서 그게 뭐? 내 컴퓨터는 게임도 겨우 돌아가는데.’ 맞아요. 당장 우리 모두의 삶이 바뀌진 않아요. 하지만 이 ‘AI의 자가 소유’라는 흐름이 결국 우리 일상과 관계, 정체성을 어떻게 뒤흔들지 상상해보는 건 중요해요. 이건 단순히 비용 문제가 아니거든요.

첫째, ‘진짜 프라이버시’의 시대가 열려요. 지금 우리가 챗GPT에 입력하는 모든 대화는 어딘가의 서버에 기록돼요. 회사 기밀문서를 요약해달라고 하거나, 차마 남에겐 말 못 할 고민을 털어놓는 게 찜찜한 이유죠. 하지만 AI가 내 컴퓨터 안에서만 돌아간다면? 내 모든 데이터는 하드디스크 밖을 나가지 않아요. 인터넷 선을 뽑아도 작동하니까요. 이제 변호사는 의뢰인의 민감한 사건 기록을 외부 유출 걱정 없이 AI로 분석할 수 있고, 작가는 자기 소설의 미공개 초고를 AI와 함께 다듬을 수 있어요. 나의 가장 내밀한 정보가 빅테크의 학습 데이터가 될 걱정 없이, 온전한 ‘나만의 AI’를 갖게 되는 거죠.

둘째, AI가 ‘나보다 나를 더 잘 아는’ 존재가 될 수 있어요. 클라우드 AI는 수많은 사람에게 보편적인 서비스를 제공해야 해서 깊은 개인화에 한계가 있어요. 하지만 로컬 AI는 내 컴퓨터에 저장된 수년간의 이메일, 메신저 대화, 사진, 문서, 인터넷 방문 기록까지 전부 학습할 수 있어요. 이건 좀 무서운 상상인가요? 하지만 이걸 통해 AI는 나의 말투, 나의 사고방식, 나의 인간관계, 나의 역사를 모두 이해하는 진정한 ‘개인 비서’가 될 수 있어요. ‘오늘 저녁 뭐 먹지?’ 같은 시시한 질문이 아니라, ‘내가 3년 전 A 프로젝트에서 썼던 그 보고서 스타일로, 이번 B 프로젝트 제안서를 써줘. 내 말투를 살려서.’ 같은 고차원적인 요구가 가능해지는 거예요. AI와의 관계가 ‘빌려 쓰는 도구’에서 ‘나를 이해하는 파트너’로 바뀌는 거죠.

셋째, 독립 창작자들의 ‘AI 주권’이 생겨요. 지금까진 기발한 AI 앱 아이디어가 있어도 OpenAI의 API(쉽게 말해, 챗GPT 기능을 빌려 쓸 수 있는 창구) 정책이 바뀌거나 사용료가 오르면 사업이 휘청거렸어요. 빅테크에 목줄을 잡힌 셈이죠. 하지만 강력한 오픈소스 로컬 AI가 많아지면, 개발자들은 더 이상 빅테크의 눈치를 보지 않고 자유롭게 상상력을 펼칠 수 있어요. 완전히 새로운 방식의 AI 게임, AI 창작 도구, AI 교육 프로그램이 등장할 토양이 마련되는 거예요. AI 기술의 발전이 더 이상 몇몇 거대 기업에 의해 좌우되지 않는, 진정한 ‘민주화’가 이뤄지는 거죠.

이 차이점을 표로 정리하면 더 명확해져요.

물론, 아직은 '그들만의 리그'입니다 (오해와 진실)

자, 이렇게 장밋빛 미래만 얘기하면 사기꾼 같겠죠. 빡쳐서 ‘그래서 지금 당장 되냐고!’라고 외치는 분들을 위해 찬물을 좀 끼얹어야겠어요. 이 로컬 AI 혁명, 분명히 시작됐지만 아직 갈 길이 멀어요. 몇 가지 흔한 오해를 바로잡아 드릴게요.

오해 1: “와! 이제 내 노트북에서도 공짜로 챗GPT-4급 AI를 쓸 수 있겠네!”

진실: 절대 아니에요. ‘프로젝트 마야’가 성공한 환경은 엔비디아의 RTX 4090 같은, 웬만한 중고차 한 대 값 하는 최고 사양의 그래픽 카드를 2개나 꽂은 괴물 PC에서였어요. 이런 컴퓨터를 가진 사람은 전체 인구의 1%도 안 될 거예요. 아직 대부분의 일반 노트북이나 데스크톱에서는 이런 거대 모델을 돌리는 건 꿈도 못 꿔요. 지금은 최신 장비를 갖춘 하드코어 유저, 즉 ‘그들만의 리그’ 이야기예요. 다만, 기술 발전 속도를 생각하면 1~2년 안에 훨씬 보편적인 하드웨어에서도 가능해질 거라는 기대를 품게 하는 거죠.

오해 2: “클라우드 AI는 이제 망했네. OpenAI나 구글은 어떡하지?”

진실: 천만에요. 식당이 생겼다고 집에서 밥해 먹는 사람이 없어지지 않듯, 로컬 AI가 발전한다고 클라우드 AI가 사라지진 않아요. 오히려 각자의 역할이 더 명확해질 거예요. 클라우드 AI는 여전히 가장 강력하고, 가장 최신이고, 가장 사용하기 편리한 서비스로 남을 거예요. 대부분의 사람들은 복잡한 설치 과정 없이 그냥 웹사이트에 접속해서 쓰는 편리함을 포기하지 않을 거고요. 기업들 역시 자체적으로 AI 인프라를 구축하는 대신 검증된 클라우드 서비스를 계속 이용하겠죠. 중요한 건 ‘선택권’이 생겼다는 거예요. 이전에는 클라우드라는 외길밖에 없었다면, 이제는 프라이버시와 통제권이 중요한 사람들을 위한 ‘로컬’이라는 새로운 길이 열린 거죠.

결국 로컬 AI는 당분간 ‘전문가와 덕후들의 실험실’ 역할을 할 거예요. 여기서 검증된 기술과 아이디어들이 점차 대중적인 제품과 서비스로 스며들어 오겠죠. 우리가 지금 당장 체감하긴 어렵지만, 물밑에서는 거대한 변화가 시작되고 있다는 사실을 아는 게 중요해요.

우리가 지켜봐야 할 신호등: AI의 '소유'를 향한 경쟁

이 현상을 더 넓게 보면, 결국 AI의 ‘소유권’을 누가 가질 것인가를 둘러싼 거대한 삼국지가 펼쳐지고 있어요. 앞으로 우리가 어떤 디지털 세상에서 살게 될지는 이 싸움의 결과에 달려있을 거예요.

• 1번 선수, ‘클라우드 제국’ (OpenAI, 구글, 마이크로소프트): 이들은 우리가 계속해서 자기네 플랫폼에 ‘디지털 월세’를 내길 바라요. AI를 중앙 서버에 묶어두고, API라는 창구를 통해서만 사용하게 함으로써 막대한 수익을 창출하고 기술 통제권을 유지하려 하죠. 이들의 무기는 압도적인 성능과 편리함이에요.

• 2번 선수, ‘하드웨어 왕국’ (애플, 엔비디아, 퀄컴): 이들은 AI가 클라우드가 아닌 ‘우리 손안의 기기’에서 돌아가길 바라요. 왜냐고요? 그래야 더 비싸고 강력한 칩(AP)과 그래픽 카드(GPU)를 팔 수 있으니까요. 애플이 아이폰에 ‘뉴럴 엔진’을 탑재하고, 퀄컴이 ‘스냅드래곤 X 엘리트’를 내놓으며 ‘온디바이스 AI’를 외치는 이유가 바로 이거예요. 이들은 우리에게 AI를 구동할 ‘땅(하드웨어)’을 팔고 싶어 하는 디지털 부동산 업자들인 셈이죠.

• 3번 선수, ‘오픈소스 해방군’ (허깅페이스, 프로젝트 마야 같은 커뮤니티): 이들은 AI가 특정 기업에 종속되지 않고, 누구나 자유롭게 사용하고 수정할 수 있어야 한다고 믿어요. 특정 플랫폼이나 하드웨어에 얽매이지 않는 자유로운 AI를 꿈꾸죠. 이들의 무기는 ‘공유’와 ‘개방’이라는 정신 그 자체예요. 비록 자본력은 약하지만, 전 세계 개발자들의 집단 지성을 통해 거대 기업을 위협하는 혁신을 만들어내고 있어요.

‘프로젝트 마야’의 성과는 바로 이 3번 선수, 오픈소스 해방군의 의미 있는 승전보예요. 이 싸움에서 누가 최종 승자가 될지는 아직 알 수 없어요. 아마 한쪽의 완벽한 승리로 끝나기보다는, 세력이 균형을 이루며 공존하는 형태로 갈 가능성이 높아요. 하지만 우리가 앞으로 어떤 기기를 사고 어떤 서비스를 선택하느냐에 따라 이 세력 균형이 달라질 수 있다는 점은 기억해야 해요. 당신의 선택이 AI의 미래를 결정하는 한 표가 될 수 있다는 거죠.

Q&A: 독자들이 빡쳐서 던질 만한 질문들

Q. 그래서 당장 뭘 사야 하나요? 이참에 컴퓨터 새로 맞춰야 해요?

A. 워워, 진정하세요. 지금 당장 지갑을 열 필요는 없어요. 만약 당신이 AI 모델을 직접 뜯어고치는 걸 즐기는 개발자나 하드코어 취미인이 아니라면요. 지금의 로컬 AI는 아직 일반인이 쓰기엔 너무 불편하고 비싸요. 오히려 지금 섣불리 비싼 그래픽카드를 샀다가 몇 달 뒤에 더 좋고 싼 제품이 나와서 후회할 가능성이 99%죠. 현명한 소비자는 1년 정도 시장을 지켜보는 거예요. 다만, 내년쯤 노트북이나 스마트폰을 바꿀 계획이라면, 그때는 ‘온디바이스 AI 성능’이 얼마나 뛰어난지를 중요한 구매 기준으로 삼게 될 겁니다.

Q. 솔직히 그냥 ‘덕후’들 장난감 아닌가요? 일반인에게 이게 무슨 의미가 있어요?

A. 1980년대 처음 등장한 개인용 컴퓨터(PC)도 당시엔 소수 괴짜들의 비싼 장난감이었어요. 대부분의 사람들은 ‘저걸로 타자 연습 말고 뭘 해?’라고 했죠. 하지만 그 ‘장난감’이 결국 세상을 바꿨어요. 로컬 AI도 마찬가지예요. 지금은 불편한 ‘덕후’들의 놀이처럼 보이지만, 여기서 나온 프라이버시 보호 기술, 초개인화 기술들이 결국 우리가 매일 쓰는 스마트폰 앱, 워드프로세서, 메신저에 스며들게 될 거예요. 언젠가 당신의 스마트폰 비서가 인터넷 연결 없이도 당신의 과거 이메일을 참조해서 완벽한 답변을 내놓는다면, 그 뿌리는 바로 오늘의 이 ‘장난감’에 있는 겁니다.

Q. 3210억이니 뭐니 하는 숫자놀음에 불과한 거 아닌가요? 성능도 클라우드보다 한참 느리다면서요.

A. 맞아요, 숫자 자체보다 중요한 건 ‘추세’예요. 1년 전만 해도 ‘수천억 매개변수 모델을 개인 PC에서 돌리는 건 불가능하다’고 모두가 말했어요. 그런데 그 불가능이 현실이 됐어요. 지금의 ‘초당 30토큰’이라는 속도가 중요한 게 아니에요. 6개월 전에는 5토큰이었고, 지금 30토큰이 됐고, 6개월 후에는 100토큰이 될 수도 있다는 그 무서운 가속도가 핵심이죠. 클라우드 AI를 따라잡는 건 시간문제일 수 있어요. 우리가 목격하는 건 완성된 결과물이 아니라, 폭발 직전의 로켓 꼭대기에 서 있는 현재진행형의 혁신입니다.