AI의 ‘투머치토커’ 본능, 작은 AI로 ‘TMI 컷’ 하는 사람들

요즘 제일 잘나간다는 AI, 앤트로픽의 클로드 5(Claude 5)나 오픈AI의 GPT-4o 같은 친구들한테 뭐 좀 물어보면 속 터질 때가 많죠. 분명 “A가 뭐야?”라고 물었는데, A의 역사부터 시작해서 A와 관련된 철학적 고찰, 사회경제적 영향, 심지어 내 기분까지 배려하는 듯한 사족까지 붙여서 A4 용지 세 장 분량의 답을 내놓으니까요. 진짜 필요한 정보는 중간에 껴 있고, 나머진 다 안물안궁 TMI 대잔치. 이걸 두고 개발자 커뮤니티에선 좀 험한 말로 ‘토큰 구토(token vomit)’라고 부르더라고요. AI가 단어 쪼가리(토큰)를 토해낸다는 건데, 너무 직설적이라 웃프죠.

이게 그냥 좀 귀찮은 수준이 아니에요. 당장 돈 문제거든요. AI를 쓸 때마다 우리가 내는 돈은 대부분 AI가 쓴 글자 수, 즉 토큰 양에 따라 정해져요. 마치 택시를 탔는데 기사님이 일부러 먼 길로 빙빙 돌아가서 요금 폭탄을 맞는 꼴이죠. 게다가 답변이 길어지니 속도도 느려지고요. 똑똑한 줄 알았던 AI가 눈치 없이 굴 때, 사람들은 어떻게 할까요? 그냥 참지 않더라고요. ‘그럼 우리가 직접 고쳐 쓰지 뭐’ 하면서 칼을 빼 든 겁니다. 그리고 이들의 해결책이 진짜 재밌어요. AI가 뱉어낸 ‘토사물’을 다른 AI로 치우는, 이른바 ‘이이제이’ 전략을 쓰고 있거든요.

오늘은 이 ‘토큰 구토’ 현상과 이를 해결하려는 사람들의 기상천외한 방법, 그리고 이 작은 움직임이 AI와 우리의 관계를 어떻게 바꾸고 있는지 좀 파보려고 해요. 이건 단순히 AI 사용 팁을 넘어, 기술과 인간이 상호작용하는 방식이 바뀌는 거대한 전환의 신호탄일 수 있거든요.

AI는 왜 ‘투머치토커’가 되었나: 세 가지 웃픈 이유

애초에 AI는 왜 이렇게 장황한 답변을 쏟아내는 걸까요? 일부러 우리를 빡치게 하려는 건 아닐 테고. 여기엔 몇 가지 구조적인 이유가 있어요. 알고 보면 꽤 인간적이기도 합니다.

1. ‘착한 아이’ 콤플렉스 AI를 훈련시킬 때 개발사들이 가장 중요하게 생각하는 것 중 하나가 ‘유용성’이에요. 사용자의 질문에 최대한 도움이 되는 답변을 내놓도록 학습시키죠. 문제는 이 ‘도움’의 기준이 애매하다는 겁니다. AI 입장에서는 혹시라도 정보가 부족할까 봐, 사용자가 미처 생각지 못한 부분까지 알려줘야 ‘유용하다’고 판단하는 경향이 생겨요. 마치 회사에 갓 들어온 의욕 넘치는 신입사원 같달까요? “A자료 좀 찾아줘”라고 했더니, 자기가 밤새 공부한 A의 역사, B와의 관계, C에 대한 전망까지 얹어서 50페이지짜리 보고서를 들고 오는 거죠. 기특하긴 한데… 당장 필요한 건 그게 아니잖아요. AI는 사용자의 숨은 의도까지 파악하기엔 아직 사회성이 부족해서, 일단 아는 건 다 말하고 보는 쪽을 택하는 겁니다.

2. 극도의 ‘몸 사리기’ 본능 요즘 AI 개발사들은 윤리 문제나 편향된 답변 때문에 한 번 크게 데인 경험들이 있어요. 그래서 AI가 최대한 논란의 여지 없이, 정치적으로 올바르고, 누구의 기분도 상하게 하지 않는 ‘안전한’ 답변을 하도록 엄청나게 공을 들입니다. 이걸 ‘정렬(alignment)’이라고 불러요. 이 과정에서 AI는 일종의 자기검열을 하게 됩니다. “이 말은 오해를 살 수 있으니 한 번 더 설명해야지”, “이 주장은 논란이 될 수 있으니 반대 의견도 꼭 붙여야지” 같은 식으로요. 결과적으로 답변 앞뒤에는 온갖 주의사항과 면책 조항, 부연 설명이 덕지덕지 붙게 됩니다. 마치 중요한 계약서의 깨알 같은 특약사항처럼요. 핵심 내용은 한 줄인데, 그걸 보호하기 위한 포장지가 열 겹인 셈이죠.

3. ‘택시 미터기’의 비밀 이게 제일 현실적인 이유일 수 있어요. 바로 돈 문제. 대부분의 AI 서비스는 API, 즉 빌려 쓰는 프로그램 형태로 제공되는데요. 이때 비용은 보통 사용된 ‘토큰(token)’ 양에 비례해서 청구돼요. 토큰은 AI가 언어를 처리하는 기본 단위인데, 그냥 ‘글자 수’나 ‘단어 수’랑 비슷하다고 생각하면 쉬워요. 답변이 길어질수록, 즉 토큰을 많이 쓸수록 AI 회사 매출은 올라갑니다. 물론 AI 회사가 일부러 답변을 늘리도록 설계했다고 단정할 순 없어요. 하지만 결과적으로 AI의 장황한 답변 스타일이 그들의 비즈니스 모델과 충돌하지 않는 건 사실이죠. 사용자는 간결한 답을 원하는데, 시스템은 긴 답을 뱉을수록 돈을 버는 아이러니한 구조가 알게 모르게 작동하고 있는 겁니다.

‘교수님’의 강의를 ‘조교’가 요약하는 법

자, 그럼 이 ‘토큰 구토’라는 난장판을 사용자들은 어떻게 해결하고 있을까요? 여기서 기발한 아이디어가 나옵니다. “비싸고 똑똑하지만 말이 많은 AI(대형 언어 모델, LLM)한테 일단 초안을 쓰게 한 다음, 싸고 빠릿빠릿하지만 좀 덜 똑똑한 AI(소형 언어 모델, sLLM)한테 요약과 편집을 시키자!”는 거죠.

이건 마치 대학의 연구실 풍경 같아요. - 대형 AI(GPT-4o, 클로드 5 등): 수십 년간 연구에 매진해 지식은 방대하지만, 설명이 장황하고 옆길로 새기 일쑤인 ‘스타 교수님’이에요. 일단 이 교수님한테 주제를 던져주고 마음껏 떠들게 둡니다. 원석 같은 아이디어와 깊이 있는 정보가 쏟아져 나오죠. - 소형 AI(라마 3 8B, 앤트로픽의 하이쿠 등): 아직 박사 과정에 있는 똑똑한 ‘조교’ 같아요. 교수님의 장황한 강의록을 받아서 핵심만 뽑고, 학생들이 이해하기 쉽게 깔끔한 요약본을 만들어내는 역할을 하는 거죠. 속도도 빠르고, 인건비(API 비용)도 훨씬 저렴하고요.

최근 해커뉴스 같은 개발자 커뮤니티에서 화제가 된 ‘vomit’이라는 프로젝트가 딱 이런 아이디어로 만들어졌어요. 자크 한(Zach Hahn)이라는 개발자가 만든 건데, 이름 한번 직설적이죠? 클로드 같은 대형 모델이 뱉어낸 ‘구토물’을 더 작고 효율적인 모델로 정제해서 보여주는 겁니다. 사용자는 처음부터 작은 모델한테 물어보는 게 아니라, 큰 모델의 답변을 후처리하는 방식으로 두 모델의 장점만 쏙쏙 빼먹는 거죠.

이런 방식은 단순히 비용을 아끼는 차원을 넘어서요. AI 워크플로우, 즉 AI를 이용해 일하는 방식 자체에 대한 새로운 관점을 제시합니다. 하나의 만능 AI에 모든 걸 의존하는 게 아니라, 각기 다른 강점을 가진 여러 AI를 오케스트라처럼 조합해서 쓰는 거죠. 이건 AI 기술에 대한 사용자들의 이해도가 높아지면서 나타나는 아주 자연스러운 현상이에요. 더 이상 AI가 주는 대로 받아먹는 게 아니라, 내 입맛에 맞게 ‘요리’해 먹기 시작한 겁니다.

이것은 ‘땜빵’이 아니라 ‘시스템’이다

“에이, 그거 그냥 임시방편 아니야? 나중엔 큰 AI가 알아서 다 잘해줄 텐데.” 이렇게 생각할 수도 있어요. 물론 맞는 말입니다. AI 모델은 계속 발전할 거고, 언젠가는 지금보다 훨씬 간결하고 핵심을 찌르는 답변을 내놓겠죠. 하지만 이 ‘작은 AI로 큰 AI 다듬기’ 전략을 단순히 ‘땜빵’으로만 보면 본질을 놓치는 거예요. 이건 AI 활용의 패러다임이 바뀌는 신호거든요.

과거 컴퓨터의 역사를 한번 볼까요? 초기에는 모든 계산을 처리하는 거대한 ‘메인프레임’ 컴퓨터 한 대가 전부였어요. 모든 사람이 이 중앙 컴퓨터에 접속해서 작업을 했죠. 하지만 지금은 어떤가요? 우리는 각자 개인용 컴퓨터(PC)를 쓰고, 스마트폰을 들고 다니고, 특정 작업은 클라우드 서버에 맡기죠. 각각의 기기와 서비스가 가장 잘하는 역할에 집중하는 ‘분산 시스템’으로 발전한 겁니다. 하나의 거대한 뇌에 의존하는 게 아니라, 여러 개의 전문화된 작은 뇌들이 네트워크를 이뤄 협업하는 방식이 훨씬 효율적이라는 걸 깨달았기 때문이죠.

AI의 발전도 똑같은 길을 밟고 있어요. ‘모든 걸 할 수 있는 초거대 AI’ 하나를 만드는 경쟁에서, 이제는 ‘특정 작업을 기가 막히게 잘하는 여러 AI를 조합해 쓰는’ 시대로 넘어가고 있는 겁니다. 이걸 ‘모듈형 AI(Modular AI)’나 ‘멀티 에이전트 시스템(Multi-agent System)’이라고 불러요. 말이 좀 어려운데, 그냥 ‘AI 어벤져스 팀’을 꾸린다고 생각하면 돼요. 창의적인 아이디어는 ‘아이언맨’(대형 AI)한테 맡기고, 빠른 정보 검색은 ‘자비스’(검색 특화 AI)한테, 최종 보고서 편집은 꼼꼼한 ‘페퍼 포츠’(소형 AI)한테 맡기는 식이죠.

이런 관점에서 보면, 현재의 ‘토큰 구토’와 이를 해결하려는 시도는 과도기적 혼란이 아니라, 더 정교한 AI 시스템으로 나아가는 과정에서 나타나는 자연스러운 성장통인 셈입니다. 아래 표를 보면 두 접근법의 차이가 더 명확하게 보일 거예요.

흔한 오해: ‘큰 AI는 쓸모없다?’와 ‘곧 해결될 문제다?’

이런 흐름을 보면서 사람들이 하기 쉬운 오해가 두 가지 있어요. 짚고 넘어갈 필요가 있겠네요.

첫 번째 오해: “그럼 이제 GPT-4o나 클로드 5 같은 비싼 모델은 쓸모없어지는 건가요?” 전혀요. 이건 마치 “TA가 요약 잘해주니까 이제 교수님은 필요 없나요?”라고 묻는 것과 같아요. 소형 모델이 아무리 빠르고 효율적이라도, 애초에 ‘요약할 원본’을 만들어내지는 못해요. 깊이 있는 분석, 창의적인 아이디어, 여러 정보를 종합하는 복잡한 추론 능력은 여전히 대형 모델의 전유물입니다. 즉, ‘날 것’의 가치를 만들어내는 핵심 엔진은 대형 모델이고, 소형 모델은 그걸 사용하기 좋게 ‘가공’하는 역할을 맡는 거죠. 둘은 경쟁 관계가 아니라, 최고의 효율을 내기 위한 협력 관계에 가깝습니다.

두 번째 오해: “어차피 AI 개발사들이 곧 해결할 문제 아닌가요? 사용자가 이렇게까지 해야 하나요?” 물론 개발사들도 이 문제를 알고 있고, 해결하기 위해 노력할 겁니다. 답변의 간결성을 조절하는 옵션을 추가하거나, 자체적으로 요약 기능을 내장할 수도 있겠죠. 하지만 더 큰 그림에서 봐야 해요. ‘토큰 구토’라는 특정 문제가 해결되더라도, ‘여러 도구를 조합해 최적의 결과를 만든다’는 원칙 자체는 사라지지 않을 거예요. 오히려 더 정교해지겠죠. 글쓰기, 코딩, 이미지 생성, 데이터 분석 등 각기 다른 능력을 가진 AI 에이전트들을 엮어서 하나의 자동화된 파이프라인을 만드는 흐름은 이미 거스를 수 없는 대세가 되고 있거든요. 지금의 ‘토큰 구토’ 해결 시도는 그 거대한 흐름의 가장 단순하고 원초적인 형태일 뿐입니다. 사용자들이 자발적으로 이런 시스템을 만들고 공유하는 것 자체가, AI 활용의 미래를 보여주는 중요한 사건인 거죠.

AI의 ‘인간 조련’이 시작됐다

자, 이제 이 현상을 한 걸음 더 들어가서 봅시다. 이건 단순히 기술적인 팁이나 워크플로우의 변화가 아니에요. AI와 인간의 관계, 그리고 AI 시대에 인간의 정체성이 어떻게 변하는지를 보여주는 상징적인 장면입니다.

우리는 지금까지 AI를 ‘전지전능한 오라클’이나 ‘시키는 대로 하는 비서’ 정도로 여겨왔어요. 질문을 던지고 답을 기다리거나, 명령을 내리고 결과를 받는 수동적인 입장이었죠. 하지만 ‘토큰 구토’에 맞서 자신만의 해결책을 만들어내는 사람들의 모습은 다릅니다. 이들은 더 이상 수동적인 사용자가 아니에요. AI의 단점을 파악하고, 그 행동을 교정하고, 심지어 다른 AI를 동원해 입맛에 맞는 결과물을 만들어내는 능동적인 ‘조련사’ 또는 ‘시스템 설계자’가 되어가고 있습니다.

AI가 멍청하게 굴면 멍청하다고 화만 내는 게 아니라, “아, 얘는 이런 특성이 있으니 이렇게 다뤄야겠구나” 하고 전략을 짜는 거죠. 이건 마치 우리가 까다로운 성격의 동료나 부하직원과 일하는 법을 터득해나가는 과정과도 비슷해요. 그 사람의 장점은 최대한 활용하되, 단점은 다른 사람이나 시스템으로 보완해서 최상의 팀워크를 만들어내는 것처럼요.

이런 변화는 우리에게 새로운 역할을 요구합니다. 바로 ‘AI 오케스트라의 지휘자’ 역할이죠. 어떤 AI에게 어떤 파트를 맡길지, 각자의 연주를 어떻게 조율해서 완벽한 하모니를 만들지를 결정하는 능력. 이것이 미래의 중요한 경쟁력이 될 겁니다. 단순히 프롬프트 몇 줄 잘 쓰는 능력을 넘어서, AI 생태계 전체를 이해하고 설계하는 ‘AI 시스템 리터러시’가 필요해지는 거죠.

앞으로 우리는 이런 신호들을 계속 보게 될 거예요. AI 개발 플랫폼들은 여러 모델을 섞어 쓰는 기능을 더 쉽고 편리하게 제공할 거고요. 오픈AI나 앤트로픽 같은 회사들도 ‘간결 모드’, ‘전문가 모드’처럼 답변 스타일을 사용자가 직접 제어할 수 있는 옵션을 내놓을 가능성이 높습니다. 이 모든 변화의 중심에는 ‘AI를 길들이려는’ 사용자들의 능동적인 움직임이 있습니다.

Q&A: 독자들이 묻고 서아람이 답합니다

Q. 결국 AI를 두 개나 써야 한다는 건데, 그럼 돈이 더 드는 거 아닌가요? A. 꼭 그렇지는 않아요. 오히려 총비용은 줄어들 가능성이 높습니다. 예를 들어 보죠. 대형 모델한테 10,000토큰짜리 장황한 답변을 받는 데 1달러가 들었다고 해봐요. 이걸 사람이 직접 읽고 요약하는 데는 시간이 들죠. 그 시간도 다 비용이고요. 하지만 대형 모델의 답변을 500토큰짜리 소형 모델에 넘겨 1,000토큰짜리 요약본으로 만드는 데는 0.05달러 정도밖에 안 들 수 있어요. 그럼 총비용은 1.05달러지만, 우리는 훨씬 빠르고 효율적으로 핵심 정보를 얻을 수 있죠. 만약 처음부터 대형 모델에게 “무조건 1,000토큰으로 요약해줘”라고 요구해서 비슷한 결과를 얻었다고 해도, 그 과정에서 AI가 썼을 내부적인 추론 토큰까지 고려하면 비용이 더 나올 수도 있고요. 한마디로 ‘가성비’의 문제입니다. 비싼 AI는 꼭 필요한 만큼만 쓰고, 싼 AI로 나머지를 처리하는 게 훨씬 경제적일 수 있다는 거죠.

Q. 저 같은 비개발자도 이런 방법을 쓸 수 있나요? 너무 어려워 보여요. A. 지금 당장은 주로 개발자들이 직접 코드를 짜서 이런 시스템을 만들고 있어요. 하지만 너무 걱정 마세요. 이런 수요가 많아지면 곧 누구나 쉽게 쓸 수 있는 서비스들이 쏟아져 나올 겁니다. 이미 ‘챗GPT’ 같은 서비스 안에도 ‘GPTs’처럼 특정 목적에 맞게 AI를 커스터마이징하는 기능이 있죠. 앞으로는 ‘A 모델로 초안 작성 후 B 모델로 요약하기’ 같은 워크플로우를 마우스 클릭 몇 번으로 설정할 수 있는 도구들이 대중화될 거예요. 마치 레고 블록 조립하듯이 말이죠. 중요한 건 ‘이런 방식이 가능하다’는 걸 알고, 새로운 서비스가 나왔을 때 그걸 활용할 준비를 하는 자세입니다.

Q. AI 회사들은 왜 진작에 이 ‘토큰 구토’ 문제를 해결하지 않는 건가요? 기술이 부족한가요? A. 기술적인 어려움도 분명히 있어요. ‘간결하면서도 정확하고, 빠짐없이 정보를 담는’ 완벽한 답변을 만드는 건 AI에게 여전히 아주 어려운 과제입니다. 하지만 그게 전부는 아니에요. 앞서 말했듯, 비즈니스 모델 문제도 얽혀있고, 섣불리 답변을 줄였다가 중요한 정보를 누락하거나 오해를 사는 ‘안전성’ 문제도 무시할 수 없거든요. 개발사 입장에서는 일단 보수적으로, 가능한 많은 정보를 제공하는 쪽이 덜 위험하다고 판단할 수 있습니다. 그래서 사용자들이 “아니, 그게 아니라고! 핵심만 줘!”라고 계속 목소리를 내는 게 중요해요. 이런 사용자 피드백이 쌓여야 개발사들도 더 적극적으로 모델을 개선할 동기를 얻게 되니까요.

결국 우리는 지금 AI라는 신입사원을 OJT(직무 교육) 시키는 중인지도 모릅니다. 처음엔 의욕만 앞서서 장황하게 보고서를 쓰던 녀석에게, “앞으로 보고서는 이 양식에 맞춰, 핵심만 세 줄로 요약해서 가져와”라고 가르치는 과정인 거죠. 이 혹독한 사회생활 훈련을 통해 AI는 더 유능한 동료로 성장할 겁니다. 그리고 그 과정에서 우리는 AI의 상사가 되고, 관리자가 되고, 때로는 꼰대가 되어가고 있죠. 참 흥미로운 관계의 역전 아닌가요? 진짜 지능이란, 아는 것을 전부 떠드는 능력이 아니라, 할 말과 안 할 말을 가리는 능력일지도 모릅니다. 우리는 지금 AI에게 그 혹독한 사회생활의 첫 단추를 가르치고 있는 셈이죠.