AI에게 '묻고 따지는 법'부터 가르쳐야 하는 이유

도입: '척척박사' AI, 왜 아직 회사 일을 못 맡길까

회사에 새로 들어온 신입사원이 있다고 상상해 봅시다. 명문대 출신에 아는 것도 많고 일 처리 속도도 번개 같습니다. 그런데 치명적인 문제가 있습니다. 가끔 중요한 단계를 건너뛰거나, 자기 마음대로 판단해서 일을 그르칩니다. 분명 A와 B 조건을 모두 확인하라고 지시했는데, A만 보고 '문제없음' 보고서를 올리는 식입니다. 몇 번 크게 사고를 친 뒤로는 더 이상 중요한 업무는 맡기지 못하고, 누군가 옆에서 다시 확인해야만 하는 단순 작업만 시키게 됩니다.

지금 많은 기업이 AI를 바라보는 시선이 이와 비슷합니다. 특히 최근 주목받는 'LLM 에이전트'가 그렇습니다. LLM(Large Language Model)이란 쉽게 말해, 사람의 말을 흉내 내 문장을 만들어 내는 거대한 인공지능입니다. 챗GPT가 대표적이죠. LLM 에이전트는 여기서 한 걸음 더 나아가, 단순히 대답만 하는 게 아니라 스스로 계획을 세우고 인터넷 검색, 문서 작성, 이메일 발송 같은 실제 행동까지 수행하는 AI 프로그램을 말합니다. 말 그대로 '척척박사' 개인 비서에 가깝습니다.

하지만 이런 똑똑한 AI 비서에게 선뜻 우리 회사 재무 보고서 검토나 법률 계약서 분석을 맡길 수 있을까요? 대부분의 경영자는 고개를 저을 것입니다. 왜일까요? AI가 어떻게 그런 결론을 내렸는지 그 '생각의 과정'을 알 수도, 믿을 수도 없기 때문입니다. AI가 내놓은 결과가 맞는지 틀렸는지 사람이 처음부터 끝까지 다시 검토해야 한다면, AI를 쓰는 의미가 없습니다. 결국 AI의 엄청난 잠재력과 실제 현장에서의 쓰임새 사이에는 '신뢰'라는 거대한 강이 흐르고 있습니다. 최근 발표된 'PRIME'이라는 이름의 연구는 이 강을 건널 튼튼한 다리를 놓으려는 시도라는 점에서 주목할 가치가 있습니다.

메커니즘: AI의 '뇌피셜'을 막는 체크리스트, PRIME의 원리

기존 LLM 에이전트의 가장 큰 문제는 논리적 추론 능력이 불안정하다는 점입니다. 사람은 복잡한 문제 앞에서 여러 가능성을 따져보고, 조건들을 하나씩 확인하며 결론에 도달합니다. 하지만 LLM 에이전트는 방대한 데이터를 학습하며 생긴 '확률적 직관'에 의존하는 경향이 있습니다. 그러다 보니 논리적인 비약이나 '환각(Hallucination)', 즉 없는 사실을 지어내는 현상이 발생합니다.

연구에 나온 사례를 보죠. 기업의 보안 취약점 보고서를 승인할지 결정하는 AI 에이전트가 있습니다. 승인 규칙은 '치명도 등급이 매겨졌고, 자문 내용이 검토되었거나' 또는 '공개된 외부 자문 링크가 첨부되었거나' 둘 중 하나만 만족하면 됩니다. 그런데 AI 에이전트는 첫 번째 조건('치명도 등급과 자문 검토')이 충족되지 않은 것을 보고, 두 번째 조건('외부 링크 존재 여부')은 확인하지도 않은 채 성급하게 보고서를 반려해 버릴 수 있습니다. 마치 택시를 잡을 때 카카오택시 앱에서 주변에 차가 없다고 뜨자, 길에 나가 손을 흔들어 볼 생각은 않고 약속을 취소해 버리는 것과 같습니다. 다른 방법이 있는데도 말입니다.

PRIME(Precommitted Rules for Inference from Minimal Evidence)은 이 문제를 아주 간단하면서도 효과적인 방법으로 해결합니다. AI가 일을 시작하기 전에, 따라야 할 '사전 확정 규칙'과 확인해야 할 '최소 증거' 목록을 명확하게 주는 것입니다. 일종의 '업무 지시서'이자 '체크리스트'를 쥐여주는 셈입니다.

비유하자면, 경험이 부족한 인턴에게 중요한 발표 자료를 만들게 하는 상황과 같습니다. 그냥 "알아서 잘 만들어 봐"라고 하면 결과물이 어떻게 나올지 장담할 수 없습니다. 대신, 아래와 같이 구체적인 지시사항을 주는 겁니다.

1. 서론: 문제 제기 (1슬라이드)
2. 본론 1: 시장 현황 분석 (반드시 A 리서치 기관의 2024년 보고서를 근거로 들 것)
3. 본론 2: 경쟁사 비교 (B사와 C사의 매출액, 시장 점유율을 표로 정리할 것)
4. 결론: 우리 회사의 전략 제안 (위 분석에 근거하여 2가지 이상 제시할 것)

이렇게 명확한 '규칙'과 각 규칙을 만족시키기 위해 찾아야 할 '최소 증거'(A 기관 보고서, B/C사 매출액 등)를 정해주면, 인턴이 중간에 길을 잃거나 자기 마음대로 자료를 만들 위험이 크게 줄어듭니다. PRIME은 바로 이런 접근법을 AI 에이전트에 적용한 것입니다. AI의 자유로운 사고 능력에 '논리적 안전장치'를 채우는 방식입니다. AI는 이 규칙의 각 단계를 통과하기 위해 필요한 증거를 스스로 찾고, 모든 조건을 만족시켜야만 다음 단계로 나아갈 수 있습니다. 이로써 우리는 AI의 모든 판단 과정을 단계별로 추적하고 검증할 수 있게 됩니다.

역사적 평행선: '전문가 시스템'의 귀환인가?

사실 이러한 '규칙 기반' 접근법이 완전히 새로운 것은 아닙니다. AI의 역사를 조금 아는 분이라면 1980년대에 유행했던 '전문가 시스템(Expert System)'을 떠올릴 것입니다. 전문가 시스템은 특정 분야 전문가의 지식을 수많은 '만약 ~라면, ~이다(If-Then)' 형태의 규칙으로 만들어 컴퓨터에 입력한 프로그램입니다. 의사가 환자의 증상을 입력하면 가능한 병명을 진단해주거나, 지질학자가 데이터를 입력하면 석유 매장 가능성을 예측해주는 식이었죠. 성능은 뛰어났지만, 치명적인 한계가 있었습니다. 규칙에 없는 새로운 상황이 발생하면 속수무책이었고, 규칙을 하나하나 사람이 만들어야 해서 유지보수가 극도로 어려웠습니다. 마치 법전을 통째로 외운 로봇 같아서, 법전에 없는 일에는 아무런 판단도 내리지 못했습니다.

그렇다면 PRIME은 결국 낡은 전문가 시스템으로 회귀하는 것일까요? 아닙니다. 다만 연구는 정확히 읽어야 합니다. 둘 사이에는 결정적인 차이가 있습니다. 전문가 시스템은 규칙이 시스템의 '뇌' 그 자체였지만, PRIME에서 규칙은 유연한 LLM이라는 '뇌'를 올바른 길로 안내하는 '내비게이션' 역할을 합니다.

전문가 시스템은 '소고기는 맛있다'라는 규칙을 알려주지 않으면 소고기가 무엇인지도 몰랐습니다. 반면 LLM은 이미 세상의 온갖 지식을 학습해서 소고기가 무엇인지, 어떻게 요리하는지, 어느 부위가 맛있는지까지 알고 있습니다. PRIME은 이 똑똑한 LLM에게 '오늘은 반드시 등심을 사서, 소금과 후추만으로 구워야 한다'는 구체적인 임무의 '규칙'을 주는 것입니다. 즉, LLM의 광범위한 이해력과 문맥 파악 능력을 그대로 활용하면서, 중요한 업무의 '논리적 절차'에 한해서만 엄격한 가드레일을 설치하는 하이브리드 방식입니다. 이는 낡은 기술의 부활이 아니라, 최신 기술의 약점을 보완하기 위한 현명한 진화에 가깝습니다.

구체적 사례: 신뢰가 돈이 되는 현장들

이러한 검증 가능한 추론 능력은 특히 신뢰가 곧 돈이고, 실수가 곧 재앙으로 이어지는 분야에서 빛을 발합니다. 막연한 기대가 아니라, 실제 현장에서 PRIME과 같은 접근법이 어떻게 작동할지 그려볼 수 있습니다.

• 첫째, 금융권의 규제 준수(컴플라이언스) 업무입니다. 은행이 새로운 금융 상품을 출시하거나 기업 대출을 심사할 때, 수백, 수천 페이지에 달하는 법규와 내규를 모두 지켜야 합니다. 만약 AI 에이전트가 이 과정을 돕는다면, PRIME 규칙은 법규의 논리 구조를 그대로 반영할 수 있습니다. 예를 들어, "신청자의 신용등급이 700점 이상이고 연 소득이 5천만 원 이상이거나, 혹은 담보 자산의 감정 평가액이 대출 신청액의 120%를 초과하는가?"와 같은 복잡한 논리를 AI가 빠짐없이, 순서대로 확인하도록 강제하는 것입니다. 단 하나의 조건이라도 놓치면 수백억 원의 과징금으로 이어질 수 있는 영역에서, 이러한 논리적 안전장치는 선택이 아닌 필수입니다.

• 둘째, 법률 문서 분석입니다. 거대 기업 간의 인수합병(M&A) 계약서는 수만 페이지에 이르기도 하며, 조항 하나하나가 서로 복잡하게 얽혀 있습니다. "A 조항이 발효되면 B 조항의 효력은 정지되지만, 만약 C 조항에 명시된 특정 사건이 발생할 경우에는 B 조항이 다시 유효해진다"와 같은 다단계 조건부 논리가 가득합니다. 베테랑 변호사도 실수할 수 있는 이런 부분을 PRIME 규칙 기반의 AI 에이전트가 검토한다면, 인간의 실수를 보완하고 검토 시간을 획기적으로 줄일 수 있습니다.

• 셋째, 의료 진단 보조 영역입니다. 의사가 환자의 증상, 과거 병력, 유전 정보, 최신 검사 결과를 종합해 진단을 내릴 때, AI는 방대한 의학 논문과 임상 데이터를 참고해 가능한 후보 질병들을 제시할 수 있습니다. 이때 PRIME 규칙은 "증상 X와 Y가 동시에 나타나고, 혈액검사 Z 수치가 기준치를 넘었으며, 환자가 특정 약물에 대한 알레르기 반응이 없는 경우에만 '희귀병 A'를 진단 후보로 고려하라"는 식으로 안전망을 제공합니다. 이는 AI가 섣부른 판단으로 오진을 내릴 위험을 막는 중요한 역할을 합니다.

흔히 AI의 사실성을 높이는 기술로 RAG(Retrieval-Augmented Generation, 검색 증강 생성)를 이야기합니다. RAG는 AI가 답변을 만들 때, 인터넷을 검색하거나 특정 데이터베이스를 참조해 그 '근거'를 가지고 말하게 하는 기술입니다. RAG가 AI에게 올바른 '참고서'를 쥐여주는 것이라면, PRIME은 그 참고서를 보고 '정해진 논리 순서'에 따라 문제를 풀게 하는 '풀이 과정 지침서'에 해당합니다. 두 기술은 서로 보완하며 AI의 신뢰도를 완성해 나갈 것입니다.

한계와 반론: '만능 열쇠'라는 착각을 경계해야 합니다

물론 PRIME이 AI의 모든 문제를 해결하는 '만능 열쇠'는 결코 아닙니다. 오히려 새로운 종류의 과제를 우리에게 던져줍니다. 연구는 정확히 읽어야 합니다. 그 한계와 반론을 먼저 짚어보는 것이 중요합니다.

첫 번째 흔한 오해는 'PRIME만 도입하면 AI의 모든 실수가 사라질 것'이라는 기대입니다. 이는 사실과 다릅니다. PRIME은 정해진 '논리적 경로'의 오류를 막아줄 뿐입니다. 만약 AI에게 처음부터 주어지는 데이터, 즉 '증거' 자체가 틀렸거나 편향되어 있다면 어떻게 될까요? 아무리 완벽한 규칙을 따라도 결론은 틀릴 수밖에 없습니다. 컴퓨터 과학의 오랜 격언인 "쓰레기가 들어가면 쓰레기가 나온다(Garbage In, Garbage Out)"는 원칙은 AI 시대에도 변함없이 유효합니다. 예를 들어, 입력된 환자의 혈액검사 결과 수치 자체가 잘못되었다면, PRIME 규칙을 아무리 잘 따르는 AI 의사라도 오진을 내릴 수 있습니다.

두 번째 흔한 오해는 '규칙을 만드는 것은 쉬울 것'이라는 생각입니다. 결코 그렇지 않습니다. 기업의 복잡다단한 업무 절차와 전문가들의 암묵적인 노하우를 명확하고 모순 없는 '논리 규칙'의 집합으로 뽑아내는 작업은 그 자체로 엄청난 시간과 비용, 전문성이 요구되는 일입니다. 이는 단순히 AI에게 말을 거는 '프롬프트 엔지니어링'과는 차원이 다른, 고도의 '비즈니스 프로세스 설계' 능력과 해당 분야에 대한 깊은 '도메인 지식'을 필요로 합니다. 마치 유능한 국회의원이 현실을 반영해 정교한 법률을 만들 듯, 각 분야의 최고 전문가가 이 '규칙 설계'에 깊이 관여해야만 합니다. 어쩌면 미래에는 AI 모델 개발 비용보다 이 '규칙 설계' 컨설팅 비용이 더 비싸지는 시대가 올지도 모릅니다.

근본적인 한계도 존재합니다. PRIME의 검증 가능성은 어디까지나 '미리 정해진' 규칙의 테두리 안에서만 유효합니다. 규칙이 상상하지 못했던 새로운 유형의 문제, 예측 불가능한 돌발 상황, 즉 '블랙 스완'과 같은 사건 앞에서는 여전히 취약할 수 있습니다. 결국 AI의 창의적이고 유연한 문제 해결 능력과 규칙 기반의 안정성 사이에서 어떻게 균형을 맞출 것인가 하는 어려운 숙제가 남습니다. 신입사원에게 너무 많은 자유를 주면 사고를 치고, 너무 빡빡하게 규칙으로 옭아매면 스스로 생각하는 능력을 잃어버리는 딜레마와 같습니다.

시사점: AI 주권, '규칙'을 지배하는 자가 시장을 지배한다

PRIME과 같은 기술의 등장을 단순히 흥미로운 기술적 진보로만 여겨서는 곤란합니다. 이는 앞으로 펼쳐질 AI 시대의 산업 지형과 국가 경쟁력에 대한 묵직한 질문을 던지기 때문입니다. 바로 'AI 거버넌스'와 '데이터 주권'의 문제입니다.

핵심 질문은 이것입니다. '누가 그 규칙을 만드는가?'

만약 마이크로소프트나 구글 같은 거대 기술 기업이 특정 산업, 예를 들어 글로벌 회계 감사의 표준 업무 절차를 완벽하게 반영한 PRIME 규칙 세트를 개발했다고 가정해 봅시다. 그리고 이 규칙 세트를 자사의 클라우드 플랫폼과 AI 에이전트 서비스에 깊숙이 내장하여 독점적으로 제공한다면 어떤 일이 벌어질까요? 전 세계의 회계 법인들은 울며 겨자 먹기로 해당 기업의 AI 서비스를 사용할 수밖에 없게 될 것입니다. 왜냐하면 그 AI가 업계의 '표준 절차'를 가장 정확하게 수행하기 때문입니다. 결국 '규칙'이 사실상의 '산업 표준(De facto standard)'이 되고, 그 표준을 장악한 기업이 시장 전체를 지배하게 됩니다.

이는 과거 반도체 시장에서 ARM이 설계자산(IP)으로 시장을 장악했거나, 통신 시장에서 퀄컴이 표준 기술 특허로 막대한 영향력을 행사했던 것과 비슷한 양상을 띨 수 있습니다. 미래의 AI 경쟁은 단순히 더 똑똑한 LLM 모델을 개발하는 경쟁을 넘어, 각 산업 현장의 핵심적인 업무 논리와 절차를 누가 먼저 정교한 '규칙'으로 만들어 AI에 이식하고 표준으로 삼게 하느냐의 경쟁이 될 것입니다.

따라서 이제 우리 기업과 정부는 AI를 단순히 '소비'하고 '활용'하는 관점에서 벗어나야 합니다. 우리의 산업과 사회가 작동하는 방식을 담은 '규칙'을 우리 스스로 설계하고, 그것을 AI에 심는 '생산자'이자 '주권자'가 되어야 합니다. 금융, 법률, 의료, 제조 등 각 분야에서 우리의 강점을 담은 '규칙 IP'를 확보하는 것, 이것이 바로 디지털 시대의 새로운 영토 전쟁이자, 우리가 반드시 지켜내야 할 'AI 주권'의 핵심입니다.

질의응답: 독자가 던질 법한 질문들

Q. 개인이 쓰는 AI 비서에도 이런 PRIME 같은 기능이 필요할까요?

A. 당장은 아닙니다. 이메일 초안을 쓰거나 여행 계획을 짜는 것과 같은 일상적인 작업에는 지금처럼 유연하고 창의적인 AI가 더 편리할 수 있습니다. 하지만 앞으로 개인의 금융 자산을 관리해주거나, 복잡한 세금 신고를 대신 해주거나, 전월세 계약서의 독소 조항을 검토해주는 AI 에이전트가 등장한다면 이야기는 달라집니다. 단 한 번의 실수가 금전적 손실로 이어질 수 있는 중요한 결정에는 AI의 판단 근거를 사용자가 명확히 확인하고 따져 물을 수 있는 검증 기능이 필수적일 것입니다. '신뢰'가 요구되는 모든 영역으로 점차 확산될 가능성이 높습니다.

Q. RAG(검색 증강 생성)와 PRIME의 차이가 아직도 조금 헷갈립니다. 더 쉬운 비유가 있을까요?

A. 도서관에서 과제를 하는 학생을 상상해 보면 쉽습니다. RAG는 학생에게 과제 주제와 관련된 가장 정확하고 최신의 책(정보)들을 여러 권 찾아주는 똑똑한 사서와 같습니다. 학생이 엉뚱하거나 오래된 책을 참고할 위험을 줄여주죠. 반면, PRIME은 그 책들을 가지고 과제 보고서를 어떻게 작성해야 하는지에 대한 '작성 양식'과 '논리 순서'를 알려주는 지도 교수와 같습니다. 예를 들어 '서론에서는 반드시 연구 배경을 밝히고, 본론의 모든 주장은 찾아준 책 몇 페이지를 근거로 인용해야 하며, 결론은 2가지 제언으로 마무리해야 한다'는 식의 엄격한 규칙을 주는 것이죠. 즉, RAG는 '재료'의 신선함을, PRIME은 '요리법'의 정확함을 보장하는 셈입니다.

Q. 결국 규칙을 사람이 만드는 것이라면, AI 발전의 궁극적인 방향과는 다른 것 아닌가요? 자율성이 줄어드는데요.

A. 정확한 지적입니다. 다만 연구는 정확히 읽어야 합니다. PRIME은 모든 AI를 규칙이라는 감옥에 가두려는 시도가 아닙니다. 이는 마치 우리가 자동차에 최첨단 자율주행 기술을 탑재하더라도, 만일의 사태를 대비해 여전히 운전대와 브레이크 페달을 남겨두는 것과 같습니다. 평상시에는 AI가 유연하게 도로 상황을 판단하며 운전하다가, 학교 앞 어린이 보호구역처럼 극도의 주의가 필요하고 정해진 규칙(시속 30km 이하)을 반드시 지켜야 하는 특정 구간에서만 '안전 모드'로 작동하게 하는 장치로 이해할 수 있습니다. AI의 무한한 자율성을 예언하기보다, 인간의 통제와 어떻게 조화를 이룰 것인지 현실적인 메커니즘을 고민하는 과정으로 봐야 합니다.