AI에게 '족보'를 먹이고 '오픈북' 시험을 치게 하는 법

"죄송합니다, 2023년 이후 정보는 몰라요"… AI의 웃픈 변명

요즘 챗GPT 같은 AI랑 대화하다 보면 꼭 한 번씩 듣는 말이 있죠. "제 지식은 2023년 초까지의 데이터로 학습되어서 그 이후 정보는 알 수 없습니다." 최신 영화 흥행 성적을 물어봐도, 새로 생긴 맛집을 물어봐도 기계처럼 같은 답변만 내놓습니다. 똑똑한 척은 다 하더니 결정적인 순간에 발을 빼는 게, 꼭 회의에서 뭐만 물어보면 "그건 제 담당이 아니라서…" 하는 신입사원 같아서 헛웃음이 날 때가 많아요.

이게 바로 대규모 언어 모델, 즉 LLM(Large Language Model, 사람 말을 흉내 내 문장을 만들어내는 AI)이 가진 태생적 한계입니다. LLM은 특정 시점까지의 인터넷 데이터를 통째로 '외워서' 말을 배우는 원리거든요. 마치 2023년판 백과사전 수만 권을 통째로 삼킨 영재 학생 같은 거죠. 아는 건 정말 많은데, 그 백과사전이 출판된 이후 세상이 어떻게 바뀌었는지는 전혀 모르는 거예요. 이 '지식 단절(Knowledge Cutoff)' 문제 때문에 AI는 늘 '과거의 인물'일 수밖에 없었습니다.

더 큰 문제는 따로 있어요. 모르면 모른다고 솔직하게 말하면 차라리 나은데, 가끔 아는 척하면서 그럴싸한 거짓말을 술술 지어낼 때가 있다는 겁니다. 이걸 전문용어로 '환각(Hallucination)'이라고 불러요. 없는 논문을 인용하고, 가짜 판례를 만들어내죠. 자신감 넘치는 태도로 헛소리를 하니, 전문가가 아니면 깜빡 속아 넘어가기 십상입니다. 마치 경력은 없는데 면접에서 어떻게든 잘 보이려고 온갖 경험을 부풀리는 취준생 같달까요. 웃프죠.

지금까지 개발자들은 이 두 가지 문제, '낡은 지식'과 '그럴싸한 뻥'을 해결하기 위해 머리를 쥐어짰습니다. 그리고 최근, 아주 흥미로운 해법이 등장했어요. 지하철 노선도를 통째로 외우다시피 한 AI 실험이 온라인에서 화제가 된 건데요. 이건 단순히 AI의 암기력을 자랑하는 쇼가 아니에요. AI의 작동 방식을 근본적으로 바꾸는, 아주 중요한 변화의 신호탄입니다.

'족보'와 '오픈북'의 만남: CPT와 RAG, 쉽게 파헤치기

결론부터 말하면, AI에게 '족보'로 기초 체력을 다지게 한 다음, '오픈북' 시험을 치르게 하는 방식입니다. 이 두 가지를 결합한 건데요. 어려운 용어가 나왔으니 바로 풀어 드릴게요. 걱정 마세요. 회사에서 신입사원 가르치는 상황을 떠올리면 아주 쉬워요.

새로운 AI를 개발하는 건 신입사원 한 명을 키우는 것과 비슷합니다. 기존에는 방법이 투박했어요. AI가 멍청한 소리를 하면, 모델 전체를 처음부터 다시 학습시켜야 했습니다. 이건 마치 신입이 사고 쳤다고 바로 해고하고, 채용부터 교육까지 모든 걸 새로 시작하는 것과 같아요. 시간과 돈이 어마어마하게 깨지죠. 그래서 나온 대안이 '파인튜닝(Fine-tuning, 미세조정)'인데, 이건 경력직을 뽑아서 우리 회사 스타일에 맞게 살짝 교육하는 것과 비슷해요. 효율적이긴 한데, 가끔 옛날 회사 버릇이 나오거나 새 업무에 적응하다가 원래 알던 것까지 잊어버리는 문제가 생기곤 합니다.

그런데 이번에 나온 하이브리드 방식은 훨씬 세련됐어요. 바로 '지속 사전 학습(CPT)'과 '검색 증강 생성(RAG)'의 조합입니다.

1. `지속 사전 학습 (Continued Pretraining, CPT)`: 이건 신입사원에게 입사 첫 주에 회사의 '족보'를 통째로 외우게 하는 과정이에요. 여기서 족보란, 회사의 핵심 업무 매뉴얼, 과거 성공 사례집, 절대 어겨선 안 되는 원칙 같은 것들이죠. AI에게 특정 분야의 핵심 지식, 예를 들어 '대한민국 법전 전체'나 '의학 교과서 전권' 같은 데이터를 집중적으로 학습시키는 겁니다. 이번에 화제가 된 실험에서는 '가상의 지하철 노선도'가 바로 이 족보 역할을 한 거고요. 중요한 건, 단순히 정보를 암기하는 게 아니라는 점입니다. CPT를 거친 AI는 '환승이란 무엇인가', '역과 역 사이는 어떻게 연결되는가' 같은 핵심 '개념'과 '관계'를 내재화하게 됩니다. 사람으로 치면, 특정 분야에 대한 깊은 이해, 즉 '기초 체력' 또는 '뼈대'가 생기는 셔요. 한 번 배워두면 잘 바뀌지 않는, 단단한 지식의 기반을 다지는 단계입니다.

1. `검색 증강 생성 (Retrieval Augmented Generation, RAG)`: 자, 이제 족보로 기본기를 다진 신입에게 실전 업무를 맡길 차례입니다. 이때 우리는 이렇게 말하죠. "일하다 모르는 거 있으면, 여기 회사 내부 자료실(서버) 뒤져보거나, 실시간 뉴스 꼭 확인하면서 해." 이게 바로 RAG입니다. AI가 질문을 받으면, 답변을 생성하기 전에 먼저 외부 데이터베이스(예: 최신 뉴스 기사, 실시간 주가 정보, 회사 내부 문서)를 '검색(Retrieval)'해요. 그리고 검색해서 찾아낸 최신 정보를 '증강(Augmented)'해서, 즉 참고해서 답변을 '생성(Generation)'하는 거죠. 말 그대로 '오픈북 시험'입니다. 시시각각 변하는 정보를 실시간으로 반영할 수 있게 해주는 아주 유용한 장치예요.

이 둘의 조합이 왜 환상적일까요? 기초 체력(CPT)이 튼튼한 신입은 뭘 모르는지, 뭘 찾아봐야 하는지를 정확히 압니다. 그냥 신입에게 "알아서 찾아봐"라고 하면 허둥지둥 엉뚱한 자료만 뒤지겠지만, CPT로 훈련된 AI는 질문의 핵심을 파악하고 RAG를 통해 가장 정확한 최신 정보를 콕 집어 찾아낼 수 있어요. 그리고 그 정보를 자신의 깊은 이해(CPT)와 결합해 아주 수준 높은 결과물을 내놓습니다.

지하철 AI를 예로 들어볼까요? CPT로 노선도의 기본 구조를 통달한 AI는 '강남역에서 시청역 가는 가장 빠른 길'을 이미 원리적으로 알고 있습니다. 여기에 RAG를 통해 "현재 2호선 을지로입구역 스크린도어 고장으로 열차 지연 중"이라는 실시간 정보를 얻으면, "아, 그럼 지금은 2호선 대신 강남역에서 9호선을 타고 동작역에서 4호선으로 환승해서 회현역에 내리는 게 낫겠네요"라는 '대안'을 제시할 수 있게 되는 겁니다. 그냥 정보를 나열하는 게 아니라, '추론'을 하는 거죠. 족보로 뼈대를 세우고, 오픈북으로 살을 붙이는 완벽한 시너지입니다.

이 조합, 사실은 처음이 아니다: 거인의 어깨 위에서

사실 '안정적인 지식 기반'과 '동적인 정보 검색'을 결합하려는 아이디어 자체가 하늘에서 뚝 떨어진 건 아니에요. 인류는 아주 오래전부터 비슷한 방식으로 지식을 다뤄왔거든요. 가장 완벽한 예시가 바로 우리 뇌입니다.

우리 뇌는 거대한 '장기기억' 저장소를 가지고 있죠. 우리가 세상을 이해하는 방식, 언어, 기본적인 사실들, 개인적인 경험 같은 것들이 여기에 저장됩니다. 이건 잘 변하지 않는 AI의 CPT와 비슷해요. 그리고 무언가 새로운 문제를 해결해야 할 때, 우리는 '작업기억'이라는 공간을 활용해 외부에서 정보를 끌어옵니다. 책을 찾아보거나, 스마트폰으로 검색하거나, 다른 사람에게 물어보죠. 이게 바로 RAG와 같은 역할을 합니다. 우리는 새로운 정보를 배울 때마다 뇌를 통째로 포맷하고 다시 배우지 않아요. 기존의 지식 체계 위에 새로운 정보를 얹고, 연결하고, 재구성할 뿐이죠. CPT+RAG 모델은 바로 이 인간의 학습 방식을 가장 정교하게 모방한 형태라고 볼 수 있습니다.

전문가의 세계에서도 이 방식은 이미 표준입니다. 실력 있는 의사를 한번 상상해 보세요. 의대에서 배운 방대한 의학 지식과 수년간의 임상 경험이 머릿속에 'CPT'처럼 단단하게 자리 잡고 있습니다. 하지만 새로운 환자, 특히 희귀한 증상을 보이는 환자를 만나면 어떻게 할까요? 자신의 지식만을 고집하지 않습니다. 즉시 '업투데이트(UpToDate)' 같은 최신 의학 정보 데이터베이스나 최신 학술 논문을 'RAG'처럼 검색해서 가장 최신의 치료법이나 연구 결과를 확인하죠. 의사의 깊은 의학적 이해(CPT)가 있기에, 수많은 논문 속에서 어떤 정보가 이 환자에게 유의미한지 판단하고 적용할 수 있는 겁니다. CPT+RAG AI는 바로 이 '전문가'의 문제 해결 프로세스를 하나의 시스템 안으로 압축한 것이라고 할 수 있어요.

결국 이 새로운 기술은 'AI가 인간을 닮아간다'는 막연한 구호가 아니라, '인간의 가장 효율적인 지식 활용법을 AI가 드디어 흉내 내기 시작했다'는 구체적인 증거인 셈입니다. 꽤 흥미롭지 않나요?

그래서, 우리 삶에 뭐가 달라지는데요? (feat. 전세 사기 예방)

자, 그럼 이런 똑똑한 AI가 우리 일상에 들어오면 구체적으로 뭐가 달라질까요? 기술 얘기만 하면 재미없잖아요. 이게 우리 삶과 관계, 정체성을 어떻게 바꾸는지가 제 주된 관심사니까요.

가장 먼저 체감할 변화는 AI가 '뜬구름 잡는 소리'를 그만두고 진짜 '쓸모 있는 조언'을 하기 시작한다는 점입니다. 지금의 AI 비서는 "오늘 날씨 어때?" 같은 간단한 질문에는 답하지만, "오늘 저녁 7시에 강남역에서 소개팅하는데, 비 온대. 하나도 안 막히고 제일 쾌적하게 갈 방법이랑 근처에 조용한 2차 장소 추천해 줘" 같은 복합적인 질문에는 쩔쩔맵니다. 하지만 CPT로 서울 지리, 교통 패턴, 상권 정보를 학습하고 RAG로 실시간 교통상황과 날씨, 가게 예약 현황을 파악하는 AI라면 어떨까요? "지금 비가 오니 7호선 학동역에서 내려 10분 걷는 것보다, 2호선 강남역 11번 출구로 나와서 마을버스 서초03번을 타는 게 덜 젖고 빠릅니다. 2차는 5분 거리의 '조용한 술집'이 오늘 예약이 비어있네요." 같은 소름 돋게 구체적인 답변이 가능해집니다. AI가 드디어 '동네 짬바'를 갖게 되는 거죠.

전문 영역으로 들어가면 그 파급력은 훨씬 커집니다. 제가 가장 기대하는 분야 중 하나는 바로 '법률' 서비스예요. 특히 한국인들의 삶과 직결된 '전세 계약' 같은 문제에서 빛을 발할 수 있습니다. 예를 들어, 당신이 막 전세 계약서에 도장을 찍으려고 합니다. 이걸 사진 찍어서 AI에게 보여주며 묻는 거죠. "이 계약서, 문제없을까? 요즘 유행하는 전세 사기 수법은 다 막을 수 있는 조항이야?"

기존 AI라면? "전세 계약 시 등기부등본, 건축물대장 확인이 중요합니다…" 같은 원론적인 답변만 늘어놓습니다. 환각으로 엉뚱한 법 조항을 알려줄 수도 있고요. CPT+RAG AI라면? 민법, 주택임대차보호법 등 법률 전체를 CPT로 학습한 AI가, RAG를 통해 ①최근 3개월간의 전세 사기 관련 판례, ②해당 지역(예: 서울시 강서구 화곡동)의 최신 보증 사고 통계, ③국토교통부의 최신 가이드라인을 실시간으로 검색합니다. 그리고 이렇게 답하겠죠. "계약서의 제5조 특약사항이 최근 화곡동에서 유행하는 '신탁 사기'에 취약할 수 있습니다. '임대인은 잔금 지급일 익일까지 소유권에 대한 어떠한 제한물권도 설정하지 않으며, 이를 위반 시 계약은 무효로 하고 임차인에게 손해를 배상한다'는 문구를 추가하는 것이 안전합니다." 이건 단순한 정보가 아니라, 내 돈을 지켜주는 '솔루션'입니다.

이런 변화는 의료, 금융, 기술 개발 등 거의 모든 전문 분야에서 동일하게 일어날 겁니다. 의사는 환자의 유전 정보와 생활 습관(CPT의 기반)에 최신 치료 논문(RAG)을 결합한 맞춤 처방을 제안받고, 펀드매니저는 과거 시장 데이터 분석(CPT)에 실시간 국제 정세(RAG)를 반영한 투자 포트폴리오를 추천받게 될 거예요. AI가 드디어 '척척박사'에서 '유능한 파트너'로 진화하는 겁니다.

물론, 만병통치약은 아닙니다 (흔한 오해 깨부수기)

자, 이렇게 장밋빛 미래만 이야기하면 제 칼럼이 아니죠. 당연히 한계도 있고, 우리가 경계해야 할 지점도 분명히 있습니다. 벌써부터 퍼지고 있는 흔한 오해 두 가지를 먼저 깨부수고 가죠.

첫 번째 오해: "와, 이제 AI가 거짓말 안 하겠네!"

아니요, 절대 그렇지 않습니다. 환각 현상이 '줄어드는' 것이지 '사라지는' 게 아니에요. CPT+RAG 모델의 치명적인 약점은 RAG, 즉 '오픈북'으로 참고하는 자료의 품질에 전적으로 의존한다는 점입니다. 만약 AI가 검색한 외부 데이터베이스가 엉터리 정보로 가득 차 있다면? AI는 그 엉터리 정보를 가지고 아주 유창하고 그럴싸한 거짓말을 만들어낼 겁니다. '쓰레기가 들어가면 쓰레기가 나온다(Garbage in, Garbage out)'는 컴퓨터 과학의 오랜 격언은 여기서도 유효해요. 심지어 검색 알고리즘 자체가 질문의 의도를 잘못 파악해서 엉뚱한 문서를 가져올 수도 있습니다. 신뢰도는 높아졌지만, 맹신은 여전히 금물이라는 뜻입니다.

두 번째 오해: "그럼 굳이 비싼 CPT를 왜 해? 그냥 RAG만 쓰면 되는 거 아냐?"

이건 정말 중요한 지점인데요. 많은 사람들이 '그냥 똑똑한 검색 엔진 쓰면 되지'라고 생각하기 쉽습니다. 하지만 RAG만으로는 깊이 있는 답변을 절대 만들어낼 수 없어요. 앞서 말한 의사 비유를 다시 가져와 보죠. 의학 지식이 전무한 일반인에게 최신 의료 논문을 줘봤자 뭘 할 수 있을까요? 그냥 논문 내용을 어설프게 요약하거나 단어 몇 개를 짜깁기하는 수준에 그칠 겁니다. 환자의 상태와 논문의 의미를 연결해서 '그래서 이 환자에게 이 치료법을 적용해야 하는가?'라는 판단을 내릴 수가 없죠. CPT가 바로 이 '판단력'과 '추론 능력'의 기반이 됩니다. CPT로 특정 분야의 원리를 체화한 AI만이 RAG로 찾아낸 정보의 '맥락'을 이해하고, 그것을 바탕으로 새로운 '통찰'을 만들어낼 수 있어요. CPT 없는 RAG는 '앵무새'에 불과하지만, CPT가 있는 RAG는 '전문가'가 되는 겁니다.

물론 CPT 과정 자체가 여전히 상당한 비용과 노력을 요구하는 것도 사실입니다. 특정 분야의 고품질 데이터를 모으고, 그걸 AI에게 학습시키는 건 결코 공짜가 아니죠. 하지만 모델 전체를 재학습하는 것보다는 훨씬 효율적이기 때문에, 기업들은 기꺼이 이 비용을 감수하려 할 겁니다. 결국 모든 기술에는 비용과 효용 사이의 저울질이 따르기 마련이니까요.

우리가 주목해야 할 신호: '크기'에서 '구조'로

이번 CPT+RAG 하이브리드 모델의 등장은 AI 기술 경쟁의 패러다임이 바뀌고 있다는 아주 중요한 신호입니다. 지금까지의 AI 경쟁이 '누가 더 큰 모델을 만드나'의 싸움이었다면, 이제는 '누가 더 똑똑한 구조를 설계하나'의 싸움으로 넘어가고 있어요.

지금까지는 구글, 오픈AI 같은 거대 기업들이 수조 원을 쏟아부어 인간의 뇌 시냅스보다 많은 파라미터(Parameter, AI의 지능을 결정하는 연결망의 변수)를 가진 모델을 만드는 '크기 경쟁'에 몰두했습니다. 마치 근육 크기만으로 힘을 겨루는 보디빌더 대회 같았죠. 하지만 이제 사람들은 깨닫기 시작한 겁니다. 무작정 덩치만 키우는 것보다, 효율적인 구조를 만드는 게 더 중요하다는 걸요. 단순히 뇌세포가 많다고 똑똑한 게 아니라, 그 뇌세포들이 얼마나 효율적으로 연결되고 작동하는지가 중요한 것처럼 말이죠.

이 변화는 AI 시장의 판도를 바꿀 수 있습니다. 이제 작은 스타트업이나 연구팀도 거대 자본 없이 특정 분야에서만큼은 빅테크의 거대 모델을 능가하는 AI를 만들 수 있는 길이 열렸기 때문입니다. 예를 들어, 한국의 부동산 법률에 특화된 CPT 모델을 만든 로펌이 있다면, 이 로펌의 AI는 적어도 한국 부동산 문제에 있어서는 챗GPT보다 훨씬 유능한 전문가가 될 수 있습니다. 모든 걸 다 잘하는 '제너럴리스트' AI 대신, 한 우물만 깊게 파는 '스페셜리스트' AI들이 대거 등장할 거라는 예측이 나오는 이유입니다. AI의 '민주화'가 또 다른 차원에서 시작되는 셈이죠.

이러한 변화는 AI와 우리의 관계 설정에도 영향을 줍니다. 모든 것을 알고 모든 것을 할 수 있는 '신' 같은 AI를 기대하는 대신, 특정 작업을 아주 잘 도와주는 '유능한 비서'나 '전문가 동료'로 AI를 인식하게 될 겁니다. 이건 훨씬 더 현실적이고 건강한 관계예요. 우리는 AI의 능력을 특정 영역에서 신뢰하되, 그 한계를 명확히 인지하고 최종적인 판단은 인간이 내리는 협업 모델에 익숙해져야 합니다. AI가 모든 걸 해결해 줄 거라는 막연한 기대나 공포에서 벗어나, AI를 '잘 쓰는 법'을 고민해야 할 때가 온 거죠.

그래서, AI는 이제 '짬에서 나오는 바이브'를 갖게 될까?

정리해 봅시다. CPT로 특정 분야의 깊은 지식, 즉 '족보'를 익히고, RAG를 통해 시시각각 변하는 현실의 정보, 즉 '오픈북'을 참고하는 새로운 AI. 저는 이 조합이 AI에게 유사 '경험'을 주려는 시도라고 봅니다. 우리가 흔히 말하는 '짬', '짬에서 나오는 바이브' 같은 거요.

CPT는 오랜 시간 축적된 분야의 핵심 원리와 패턴, 즉 '짬'을 내재화하는 과정입니다. RAG는 그 짬을 바탕으로 지금 눈앞의 상황에 가장 적절하게 반응하는 '순발력'을 더해주는 장치고요. 물론 이게 진짜 인간의 의식이나 경험일 리는 없겠죠. 어디까지나 정교하게 설계된 데이터 처리 과정일 뿐입니다. 하지만 적어도 '결과물'에 있어서는, 정말로 그 분야에서 잔뼈가 굵은 전문가가 내놓는 것과 비슷한 수준의 깊이와 현실성을 보여주기 시작할 겁니다.

결국 AI의 진정한 혁명은 시를 쓰거나 그림을 그리는 예술적 재능에서 오는 게 아닐지도 모릅니다. 복잡한 세금 계산을 도와주거나, 병원 서류 발급 절차를 안내해주거나, 내가 맺을 전세 계약서의 독소 조항을 찾아주는 것처럼, 지극히 현실적이고 골치 아픈 '생활의 문제'를 해결해 주는 능력에서 시작될 거예요. CPT와 RAG의 결합은 바로 그 길을 활짝 열어젖힌 첫걸음입니다.

결국 AI의 미래는 얼마나 많이 '외웠냐'가 아니라, 얼마나 똑똑하게 '찾아보냐'에, 그리고 그 찾아본 걸 얼마나 깊이 '이해하냐'에 달렸어요. 이건 뭐, 우리네 인생이랑 똑같네요. 웃프죠.

독자가 던질 법한 질문들

Q. 이런 기술이 나오면 변호사나 의사 같은 전문직은 정말 위험해지는 거 아닌가요? A. 단기적으로는 '대체'보다 '강화'에 가까울 겁니다. 오히려 AI를 잘 활용하는 전문가와 그렇지 못한 전문가 사이의 격차가 훨씬 더 벌어지겠죠. AI가 초안을 잡고, 자료를 검색하고, 위험 요소를 1차로 걸러주는 동안 전문가는 더 중요한 최종 판단과 고객과의 소통에 집중할 수 있게 될 겁니다. 물론, 단순 정보 검색이나 서류 작업에 머물던 직무는 상당 부분 자동화될 가능성이 높습니다. 결국 AI를 '경쟁자'가 아닌 '조수'로 만드는 능력이 중요해질 거예요.

Q. 개인이 이런 똑똑한 AI를 써보려면 얼마나 걸릴까요? 비용은 비싸지 않을까요? A. 우리가 직접 CPT 모델을 만들 일은 거의 없을 겁니다. 대신, 이런 하이브리드 AI를 기반으로 한 전문 서비스들이 빠르게 등장할 거예요. 예를 들어 '법률 상담 챗봇', '세무 자문 챗봇' 같은 것들이죠. 아마 월 구독료를 내거나 건당 비용을 지불하는 형태가 될 겁니다. 이미 해외에서는 이런 시도들이 나오고 있고요. 네이버나 카카오 같은 국내 플랫폼 기업들이 자신들의 서비스(지도, 쇼핑, 뉴스 등)에 이런 기술을 녹여낸다면, 우리는 지금과 같은 무료 혹은 저렴한 비용으로 훨씬 강력해진 AI 비서를 만나게 될 수도 있습니다.

Q. CPT에 사용되는 '족보' 데이터의 저작권이나 편향성 문제는 어떻게 해결해야 하나요? A. 정말 예리하고 중요한 질문입니다. 사실 여기가 앞으로 가장 큰 논쟁이 벌어질 지뢰밭이에요. 만약 A 로펌이 수십 년간 쌓아온 자신들의 소송 기록으로 CPT 모델을 만들었다면, 그 AI가 내놓는 답변의 지적 재산권은 누구에게 있을까요? 만약 학습 데이터에 과거의 차별적인 판례가 포함되어 있다면, AI는 그 편견을 그대로, 아니 더 강화해서 학습하게 될 겁니다. '족보'가 오염되면 'AI'도 오염되는 거죠. 앞으로 기술 개발과 함께 이런 데이터의 저작권, 공정성, 투명성을 확보하기 위한 사회적, 법적 합의를 만드는 과정이 반드시 병행되어야 합니다. 기술만 앞서가다간 큰 문제가 터질 수 있어요.