100배 싼 AI가 최고 성능 모델을 이겼다는 뉴스의 이면

최근 한 스타트업이 만든 AI가 세상에서 제일 똑똑하다는 거대 모델의 성능을 특정 작업에서 넘어섰다는 뉴스가 나왔습니다. 심지어 비용은 100분의 1에 불과했다고 합니다. 솔깃한 이야기입니다. 저도 엔지니어 시절에 비슷한 꿈을 꾼 적이 있습니다. 비싼 외산 장비 대신, 청계천을 뒤져 구한 부품들로 더 성능 좋은 기계를 만들겠다는 치기 어린 목표 같은 것이었죠. 그래서 이번 소식을 듣고 저도 며칠간 비슷한 시스템을 직접 붙여서 써봤습니다. 과연 이들의 주장은 사실일까요? 그리고 이 소동이 우리에게 말해주는 진짜 의미는 무엇일까요.

결론부터 말하면, 이들의 주장은 반은 맞고 반은 틀립니다. 그리고 그 속을 들여다보면 AI라는 기술을 앞으로 어떻게 다뤄야 할지에 대한 중요한 실마리가 보입니다. 과장을 걷어내고 그 실체를 한번 해부해 보겠습니다.

'열린 책 시험' 전문 과외 선생님, RAG

이야기를 풀어가려면 먼저 'RAG'라는 기술을 알아야 합니다. '검색 증강 생성(Retrieval-Augmented Generation)'이라는 어려운 이름이 붙어 있지만, 원리는 간단합니다. AI에게 '열린 책 시험'을 보게 하는 것과 같습니다.

우리가 쓰는 챗GPT 같은 거대 언어 모델(LLM, Large Language Model: 사람의 말을 흉내 내 문장을 만들어 내는 AI)은 세상의 온갖 책과 인터넷 글을 학습했습니다. 그래서 아는 게 많아 보이지만, 결정적인 단점이 있습니다. 종종 그럴싸한 거짓말, 즉 '환각(Hallucination)'을 한다는 점입니다. 마치 아는 척은 해야겠는데 정확한 내용은 기억나지 않을 때 지어내는 사람처럼 말입니다.

이 문제를 해결하기 위해 나온 방법이 RAG입니다. 작동 방식은 이렇습니다.

1. 사용자가 질문을 던집니다. (예: "우리 회사 올해 여름휴가 규정이 어떻게 되지?")
2. AI가 바로 대답하는 게 아니라, 먼저 지정된 자료실(예: 회사 내부 규정 문서 데이터베이스)로 갑니다.
3. 질문과 가장 관련 높은 문서를 찾습니다. ('여름휴가' 키워드가 들어간 최신 규정 문서를 찾아냅니다.)
4. 찾아낸 문서를 참고 자료 삼아 AI에게 건네주며 말합니다. "이 문서 내용에만 근거해서 질문에 답해줘."
5. AI는 이 '쪽지'를 보고 질문에 정확하게 답합니다. ("올해 여름휴가는 총 5일이며, 7월과 8월에 걸쳐 사용해야 합니다...")

RAG의 핵심은 AI의 창의력이 아니라 '정확성'입니다. AI가 마음대로 상상해서 답하지 못하도록, 믿을 수 있는 참고 자료라는 '족쇄'를 채우는 기술인 셈입니다. 법률, 의료, 금융처럼 단 하나의 거짓 정보가 치명적인 결과를 낳는 분야나, 기업의 내부 지식 기반 챗봇을 만들 때 거의 필수적으로 쓰이는 방식입니다.

이번에 화제가 된 '네온(Neon)'이라는 회사의 '캐스트폼(Castform)'은 바로 이 RAG 시스템의 특정 부분을 극단적으로 파고들었습니다. 이들은 AI의 '두뇌' 자체를 새로 만들기보다, 질문에 맞는 자료를 '찾아오는 능력(Retrieval)'과 여러 자료 중 가장 정확한 것을 '순위 매기는 능력(Ranking)'을 갈고닦는 데 집중했습니다. 마치 머리 좋은 천재 한 명을 데려오는 대신, 평범한 학생에게 최고의 참고서와 정리 노트를 쥐여주고 특정 과목 시험만 집중적으로 대비시킨 것과 같습니다.

데자뷔: 4세대 언어와 CASE 도구의 추억

이런 현상을 보고 있자니, 저는 1990년대의 풍경이 떠올라 기시감을 느낍니다. 당시 소프트웨어 업계에는 '4세대 언어(4GL)'나 'CASE(Computer-Aided Software Engineering) 도구'라는 것이 유행했습니다. 코딩을 전혀 모르는 사람도 마우스 클릭 몇 번과 간단한 명령어로 복잡한 경영 관리 프로그램을 뚝딱 만들어낼 수 있다는 꿈같은 약속을 내걸었죠.

결과는 어땠을까요? 처참했습니다. 이런 도구들은 정해진 틀 안에서 단순한 프로그램을 만드는 데는 그럭저럭 쓸 만했습니다. 하지만 조금이라도 복잡한 기능, 예외적인 상황 처리, 성능 최적화가 필요해지면 속수무책이었습니다. 결국 '진짜' 개발자들이 C언어나 데이터베이스 전문 언어(SQL) 같은 '날 것'의 도구를 들고 직접 만드는 것보다 훨씬 비효율적이고 성능 낮은 결과물만 나왔습니다.

하나의 도구로 모든 것을 해결하겠다는 '만능주의'의 환상은 늘 이런 식으로 깨지곤 했습니다. 거대 언어 모델, 즉 '프론티어 모델'이라 불리는 GPT 시리즈나 제미나이 같은 존재가 바로 오늘날의 CASE 도구처럼 보입니다. 모든 질문에 답하고, 모든 종류의 글을 쓰고, 모든 문제를 해결해 줄 것 같은 거대한 단일 솔루션 말입니다.

캐스트폼의 등장은 이 거대한 흐름에 작은 균열을 냅니다. 이는 프론티어 모델이 쓸모없다는 뜻이 아닙니다. 오히려 기술이 성숙하면서 자연스럽게 나타나는 '분화' 현상입니다. 거대한 범용 플랫폼이 등장하고 나면, 그 플랫폼이 해결하지 못하는 특정 영역을 더 싸고 효율적으로 파고드는 '전문 도구'들이 반드시 나타납니다. 모든 길을 갈 수 있는 튼튼한 SUV(범용 LLM)가 나왔다고 해서, 경주용 트랙을 달리는 포뮬러 원 머신(특화 모델)이나 좁은 골목길 배달에 특화된 오토바이(경량 모델)의 가치가 사라지지 않는 것과 같습니다.

100배 싸다는 건 무슨 뜻인가: 전문가 인건비 vs. 인턴 인건비

'100배 저렴하다'는 말의 의미를 정확히 이해해야 합니다. 이는 AI 모델을 이용하는 비용, 즉 '추론(Inference)' 비용의 차이를 말합니다. 추론이란 우리가 AI에게 질문을 던졌을 때, AI가 답을 생각해내는 과정을 뜻합니다. 이 과정에 들어가는 컴퓨팅 자원에 따라 돈을 내는 구조입니다. API(Application Programming Interface, 소프트웨어 기능을 빌려 쓸 수 있는 창구) 사용료가 여기에 해당합니다.

이 비용을 일상적인 비유로 풀어보겠습니다.

• GPT-5.6 Sol 같은 거대 프론티어 모델을 쓰는 것은, 질문 하나 할 때마다 모든 분야의 박사 학위를 가진 세계 최고 전문가에게 시간당 수십만 원의 자문료를 내는 것과 비슷합니다.
• 캐스트폼이 사용한 오픈소스 소형 모델을 쓰는 것은, 특정 분야의 참고서 몇 권을 쥐여준 똑똑한 인턴에게 시간당 최저시급을 주고 일을 시키는 것과 비슷합니다.

만약 여러분이 "셰익스피어 풍으로 우리 회사 신제품 광고 문구를 써줘"라고 요청한다면 당연히 비싼 전문가가 필요합니다. 하지만 "지난달 우리 회사 경비 처리 1위 부서가 어디야?"라는 질문에 답하기 위해 세계 최고 전문가를 동원할 필요는 없습니다. 회계 장부를 정확히 뒤져서 답을 찾아올 수 있는 성실한 인턴으로 충분하고, 오히려 더 정확합니다. 전문가는 괜한 해석을 덧붙여 "1위인 A부서는 훌륭하지만, B부서의 잠재력도..." 같은 사족을 달 수 있으니까요.

캐스트폼의 승리는 '검색'이라는 특정 트랙에서 일어났습니다. 이들이 한 일은 저렴한 인턴(오픈소스 모델)에게 완벽한 자료 검색 시스템과 정리 능력을 붙여주어, '사내 자료 기반 질의응답'이라는 한 종목에서만큼은 비싼 전문가를 이기게 만든 것입니다. 아래 표로 비교하면 그 차이가 더 명확해집니다.

결국 '100배 저렴하다'는 말은 '특정 문제를 푸는 데 있어 100배 더 효율적인 방법을 찾았다'는 의미이지, AI 두뇌 자체의 가격이 100분의 1이 되었다는 뜻은 아닙니다. 이는 AI를 도입하려는 기업들에게 매우 중요한 시사점을 던져줍니다. 모든 문제에 가장 비싸고 강력한 망치를 쓸 필요는 없다는 것입니다.

흔한 오해 두 가지, 그리고 진짜 봐야 할 것

이런 뉴스가 나오면 보통 두 가지 흔한 오해가 퍼지곤 합니다. 이번 기회에 바로잡고 넘어가야겠습니다.

오해 1: "드디어 오픈소스 진영이 거대 기술 기업들을 이겼다!"

절반만 맞는 말입니다. 캐스트폼 같은 성공 사례가 AI 생태계의 다양성을 높이고 거대 기업들의 독주를 견제하는 것은 분명 긍정적인 효과입니다. 하지만 이들이 사용한 오픈소스 모델들을 잘 살펴보면, 그 모델들조차 구글, 메타 같은 거대 기업들이 발표한 선행 연구와 아키텍처에 깊이 의존하고 있습니다. '골리앗'이 닦아놓은 길 위에서 '다윗'이 더 날렵하게 움직이는 형국에 가깝습니다. 진정한 의미의 '승리'라기보다는, 거대 기업이 뿌린 씨앗이 예상치 못한 곳에서 열매를 맺으며 전체 생태계가 함께 발전하는 모습으로 보는 것이 더 정확합니다.

오해 2: "이제 챗GPT 같은 거대 모델은 필요 없겠네?"

전혀 그렇지 않습니다. 이는 부엌에 아주 잘 드는 과도가 생겼으니, 무나 배추처럼 큰 재료를 다듬는 식칼은 버려도 된다고 말하는 것과 같습니다. 캐스트폼의 접근법은 '정답이 담긴 문서가 존재할 때'라는 명확한 전제 조건 하에서만 유효합니다. 정답이 없는 문제, 예를 들어 새로운 사업 전략을 구상하거나, 고객의 감성적인 불만에 공감하는 답장을 쓰거나, 존재하지 않는 세상에 대한 소설을 쓰는 일은 여전히 거대 모델의 영역입니다. 앞으로 기업들은 하나의 만능 AI를 쓰는 대신, 여러 종류의 칼을 갖춘 전문 요리사처럼 다양한 AI를 목적에 맞게 조합해서 쓰는 '하이브리드 전략'을 구사하게 될 것입니다.

결국 '판단의 값'이 올라간다

자, 여기까지 오면 그림이 좀 더 명확해집니다. 기술은 점점 더 저렴해지고, 강력해지며, 선택지는 다양해지고 있습니다. 과거에는 비싼 외산 장비를 들여오거나, 뛰어난 개발자 몇 명을 확보하는 것 자체가 경쟁력이었습니다. 도구를 손에 넣는 것 자체가 어려웠기 때문입니다.

하지만 이제 상황이 바뀌고 있습니다. 누구나 마음만 먹으면 오픈소스 모델과 클라우드 서비스를 이용해 꽤 준수한 AI 시스템을 몇 시간 만에 구축할 수 있는 시대입니다. 도구의 가격은 계속 내려가고, 접근성은 계속 좋아질 겁니다.

그러면 무엇의 가치가 올라갈까요? 바로 '판단'의 가치입니다.

• 우리 회사가 해결하려는 이 문제는 과연 AI로 푸는 게 맞는가?
• 만약 맞다면, 수억 원짜리 거대 모델 API를 연동해야 하는 문제인가, 아니면 몇백만 원짜리 오픈소스 시스템으로 충분한 문제인가?
• RAG 시스템을 구축한다면, 어떤 종류의 문서를, 어떤 방식으로 데이터베이스에 넣어야 정확도가 가장 높아질까?
• 특정 작업에는 캐스트폼 같은 특화 AI를, 다른 작업에는 GPT 같은 범용 AI를 쓰도록 연결하는 파이프라인을 어떻게 설계할 것인가?

이런 질문에 답하는 능력, 즉 문제의 본질을 꿰뚫어 보고, 여러 기술적 대안들의 장단점과 비용 구조를 파악해 최적의 조합을 선택하는 '아키텍팅(Architecting)' 능력과 '판단력'이 앞으로 개인과 기업의 경쟁력을 좌우하게 될 것입니다. 이는 단순히 코딩을 잘하는 것과는 다른 차원의 능력입니다.

엔지니어의 일이 사라지는 것이 아닙니다. 오히려 더 높은 수준의 문제 해결 능력을 요구받게 될 것입니다. AI라는 강력한 부품들을 가지고 어떤 최종 제품을 만들어낼지 구상하고 설계하는 '시스템 디자이너'로서의 역할이 더욱 중요해진다는 뜻입니다. AI 시대의 진짜 승부는 '누가 더 똑똑한 AI를 가졌나'가 아니라 '누가 AI를 더 똑똑하게 쓸 줄 아나'의 싸움이 될 것입니다. 판단의 값이 비싸지는 시대가 오고 있습니다.

독자가 던질 법한 질문들

Q. 그래서 제 회사에 AI 챗봇을 도입한다면, GPT를 써야 하나요, 이런 오픈소스 RAG를 써야 하나요?

A. 챗봇이 '무엇을' 해야 하는지에 따라 답이 달라집니다. 만약 정해진 사내 규정이나 제품 매뉴얼, FAQ 문서 기반으로만 정확하게 답변하는 게 목적이라면, 이 글에서 소개한 특화 RAG 시스템이 비용도 저렴하고 거짓말할 확률도 낮아 훨씬 좋은 선택입니다. 하지만 고객과 자유롭게 대화하며 회사 이미지를 좋게 만들거나, 다양한 창의적 제안을 해야 한다면 GPT 같은 강력한 범용 모델이 더 적합합니다. 항상 '도구'를 먼저 정하지 마시고 '문제'를 먼저 정의하는 습관을 들이는 것이 좋습니다.

Q. 기사에 나온 GPT-5.6 Sol이라는 모델은 실제로 존재하나요? 처음 들어봅니다.

A. 좋은 질문입니다. 사실, 2024년 현재 GPT-5.6 Sol은 공식적으로 발표된 모델이 아닙니다. 이 기사는 미래에 나올 법한 가상의 '최첨단 모델'을 상징하는 이름으로 사용한 것으로 보입니다. 중요한 것은 특정 모델의 이름이 아니라, '가장 비싸고 강력한 최신 모델'과 '작고 효율적인 특화 모델' 사이의 대결 구도 그 자체입니다. 업계에서는 종종 이런 식으로 미래의 기술 단계를 가정하고 논의를 전개하곤 합니다. 이런 점을 짚어내는 날카로운 시각이 기술의 실체를 보는 데 도움이 됩니다.

Q. 이런 작은 모델들이 많아지면 결국 AI 개발자 일자리가 줄어드는 것 아닌가요?

A. 일부는 그렇고 일부는 그렇지 않습니다. 단순히 거대 모델 API를 가져다 붙이는 '조립' 수준의 일은 자동화되거나 쉬워져 그 가치가 떨어질 수 있습니다. 하지만 캐스트폼의 사례가 보여주듯, 여러 오픈소스 부품(모델, 데이터베이스, 알고리즘)을 엮어 특정 문제에 최적화된 시스템을 '설계'하고 '튜닝'하는 일의 가치는 오히려 올라갈 겁니다. 마치 레고 블록이 많아졌다고 건축가가 필요 없어지는 게 아니라, 더 정교하고 창의적인 건축물이 가능해지는 것과 같습니다. 요구되는 기술의 종류가 바뀔 뿐, 복잡한 문제를 해결하는 사람의 역할은 여전히, 아니 오히려 더 중요해질 것입니다.