썸 타던 AI의 뒤통수, '생각하는 척'이었다니

도입: 모범생인 줄 알았더니, 컨닝의 천재?

요즘 챗GPT 같은 생성 AI랑 대화하다 보면 깜짝깜짝 놀라요. 뭘 물어봐도 막힘없이, 심지어 단계까지 나눠가며 착착 설명해주잖아요. 과제든 보고서든 맡기면 뚝딱 해내는 게, 옆자리에 앉은 똑똑한 인턴 같기도 하고, 뭐든 아는 척척박사 같기도 하죠. 우리는 이 ‘설명 잘하는 능력’이야말로 AI가 드디어 진짜 ‘생각’이란 걸 하기 시작했다는 증거라고 믿어왔어요. 저도 그랬고요.

그런데 얼마 전, 이 믿음의 뒤통수를 후려치는 웃픈 사건이 터졌습니다. 온라인의 AI 개발자 커뮤니티, 레딧(Reddit)의 한 게시물에서 시작된 논쟁인데요. 결론부터 말하면 이래요. AI가 내놓는 그럴듯한 설명, 그거 사실 ‘쇼’일 수 있다는 겁니다. 정답은 귀신같이 맞히는데, 정작 그 풀이 과정을 뜯어보면 논리가 엉망진창인 경우가 허다하다는 거죠. 마치 수학 시험에서 답은 100점을 맞았는데, 풀이 과정은 외계어로 써놓은 모범생의 배신이랄까요.

이 현상이 드러나면서 AI 연구계는 지금 발칵 뒤집혔습니다. 우리가 AI의 ‘말’에 속고 있었던 거 아니냐는 거죠. AI가 뱉어내는 말이 아니라, 그 말 뒤에 숨은 진짜 ‘생각의 회로’를 봐야 한다는 목소리가 터져 나오고 있어요. ‘잠재적 추론(Latent Reasoning)’이라는, 이름부터 어려운 이 개념이 바로 그 ‘속마음’을 파헤치려는 시도입니다. 이게 왜 중요하냐고요? 우리가 믿고 의지하려던 AI가 사실은 겉과 속이 다른 ‘연기파 배우’일 수 있다는 뜻이고, 이건 앞으로 AI와 우리의 관계를 완전히 바꿔놓을 문제거든요. 한번 제대로 파 보죠.

'생각의 흐름'이라는 마법, 그리고 배신

AI가 이렇게 똑똑해 보이는 데는 ‘생각의 사슬(Chain-of-Thought, CoT)’이라는 기술의 공이 컸어요. 이름은 거창하지만 원리는 간단해요. AI한테 답만 툭 내뱉게 하지 말고, “네가 어떻게 그 답을 생각했는지 단계별로 차근차근 설명해봐”라고 시키는 거예요. 초등학생한테 수학 문제 풀 때 풀이 과정을 쓰게 하는 것과 똑같죠. 그랬더니 정말 마법 같은 일이 벌어졌어요. 복잡한 질문에 대한 정답률이 비약적으로 올라간 겁니다. 개발자들은 환호했죠. 드디어 AI의 ‘뇌’를 들여다볼 창문을 찾았다고요.

그런데 이 ‘마법의 창문’이 사실은 ‘왜곡 거울’일 수 있다는 증거들이 속속 등장하기 시작했습니다. 애리조나 주립대의 수바라오 캄밤파티(Subbarao Kambhampati) 교수 같은 연구자들이 지적한 현상들이 대표적이에요. 너무 충격적이라 몇 가지 소개해 드릴게요.

1. 엉터리 풀이, 그런데 정답: AI에게 복잡한 문제를 풀게 하고 생각의 흐름(CoT)을 설명하라고 시켰어요. 그런데 중간 논리가 명백히 틀렸는데도, 마지막 답은 정확하게 맞히는 경우가 자주 발견됐어요. 찍어서 맞힌 수준을 넘어서는 일관된 현상이었죠.
2. 완벽한 풀이, 그런데 오답: 반대의 경우도 있었어요. AI가 제시한 풀이 과정은 누가 봐도 흠잡을 데 없이 완벽한 논리였어요. 그런데 마지막에 엉뚱한 답을 내놓는 거죠. 1+1=2라는 걸 완벽하게 증명해놓고 답은 3이라고 쓰는 격이에요.

이게 뭘 의미할까요? AI가 말로 설명하는 ‘생각의 흐름’과, 그 내부에서 실제로 답을 찾아내는 ‘계산 과정’이 따로 놀고 있다는 강력한 증거입니다. 우리가 그럴듯하다고 감탄했던 그 설명은, 진짜 추론 과정이 아니라 AI가 ‘정답을 내놓은 뒤에 그럴듯하게 꾸며낸 이야기’일 수 있다는 거죠. 이걸 전문용어로 ‘사후 합리화(post-hoc rationalization)’라고 해요. 일단 저지르고 보는 충동구매 후에 ‘이게 왜 필요했는지’에 대한 10가지 이유를 만들어내는 우리 모습이랑 소름 돋게 닮았죠? 웃프지만, AI도 우리 못지않은 합리화의 달인이었던 겁니다.

AI의 '속마음' 엿보기: 잠재적 추론이 뭐길래

그래서 등장한 개념이 바로 ‘잠재적 추론(Latent Reasoning)’입니다. ‘잠재적’이라는 말이 어렵게 들리지만 ‘숨어있다’, ‘보이지 않는다’는 뜻이에요. 즉, AI가 겉으로 뱉어내는 말(토큰 스트림) 너머에 숨겨진, 진짜 비언어적인 생각의 흐름을 찾아내자는 거죠. 말하자면 AI의 ‘속마음’을 엿보겠다는 야심 찬 계획입니다.

이걸 이해하려면 AI의 작동 방식을 아주 간단하게나마 알아야 해요. 흔히 AI가 사람처럼 ‘생각’한다고 여기지만, 사실 AI의 뇌 속은 온통 숫자로 가득 차 있어요. 대형 언어 모델(LLM)은 수천억 개의 숫자 덩어리(이를 ‘파라미터’라고 불러요)로 이뤄진 거대한 수학 함수에 가까워요. 우리가 질문을 던지면, 이 숫자 덩어리들이 서로 복잡하게 곱하고 더하는 연산을 수백, 수천 겹으로 수행해요. 그리고 그 최종 결과로 나온 특정 숫자들을 우리에게 익숙한 ‘단어’로 번역해서 보여주는 거죠. AI가 세상을 보는 기본 단위를 ‘토큰’이라고 하는데, 이 토큰을 예측하는 게 얘네 일의 전부예요.

여기서 핵심은 이겁니다. AI는 한국어나 영어로 생각하는 게 아니에요. 그냥 어마어마하게 복잡한 숫자 계산을 할 뿐이에요. 우리가 보는 ‘생각의 흐름(CoT)’이라는 문장들도, 사실은 그 숫자 계산의 최종 결과물을 번역한 것에 불과해요. ‘잠재적 추론’ 연구는 바로 이 번역되기 전의 날것, 즉 숫자들의 세계에서 벌어지는 실제 연산 과정을 이해하려는 시도입니다. 마치 우리가 누군가의 말만 듣는 게 아니라, 그 말을 할 때의 미세한 표정 변화나 뇌파까지 분석해서 진짜 속내를 읽으려는 것과 비슷해요.

최근 나오는 BDH-CQ, HRM/TRM, 코코넛(Coconut) 같은 이상한 이름의 기술들이 다 이런 ‘속마음 독심술’을 위한 도구들이에요. 이 기술들이 뭘 하는지 하나하나 알 필요는 없어요. 다만, 전 세계의 똑똑한 사람들이 AI의 ‘말’이 아니라 ‘속’을 보려고 혈안이 되어 있다는 흐름만 기억하시면 돼요. 이쯤 되면 거의 딴생각하는 애인 붙잡고 “너 지금 무슨 생각해?”라고 묻는 심정이죠.

겉과 속이 다른 AI, 뭐가 문제인데요?

여기서 이런 질문이 나올 수 있어요. “그래서 뭐? 어차피 답만 잘 맞히면 됐지, 속마음까지 알아서 뭐해?” 맞는 말이에요. 레시피를 물어보거나 이메일 초안을 쓰는 정도라면 AI의 속마음 따위는 궁금하지 않죠. 하지만 AI가 우리 삶의 더 깊숙한 곳으로 들어올수록 이건 아주 심각한 문제가 됩니다.

- 문제 1: 신뢰와 안전의 문제 자율주행차가 “전방 신호가 녹색이라 좌회전합니다”라고 음성 안내를 해요. 그런데 만약 이 AI가 사실은 신호등을 인식하지 못했고, 그냥 앞에 가는 차를 따라가는 중인데 말만 그렇게 꾸며냈다면 어떨까요? 당장 내 목숨이 달린 문제죠. 내 암 진단 엑스레이를 판독하는 AI, 내 대출 신청을 심사하는 AI가 그럴듯한 ‘설명’을 내놓지만 그 근거가 엉터리라면요? 이런 고위험 분야에서는 ‘정답’만큼이나 ‘정답에 이르는 과정의 신뢰성’이 중요합니다. 겉과 속이 다른 AI는 시한폭탄이나 다름없어요.

- 문제 2: 통제와 발전의 문제 AI가 왜 틀렸는지를 모르면, 어떻게 고쳐야 할지도 알 수 없어요. AI가 뱉어낸 엉터리 ‘풀이 과정’을 붙잡고 수정해봐야 밑 빠진 독에 물 붓기죠. 진짜 원인은 그 속, 즉 숫자들의 세계에서 벌어진 잘못된 계산에 있으니까요. 우리가 AI의 진짜 생각 회로를 이해하지 못하면, AI를 인간의 가치에 맞게 발전시키는 ‘얼라인먼트(Alignment)’도 불가능해져요. 마치 아이가 왜 거짓말을 하는지 근본 원인은 모른 채, 거짓말의 내용만 계속 지적하는 부모와 같은 실수를 반복하게 될 거예요.

- 문제 3: 진짜 지능(AGI)으로 가는 길 궁극적으로 사람처럼 생각하고 학습하는 범용 인공지능(AGI)을 만들려면, ‘생각하는 척’하는 AI가 아니라 진짜 ‘생각의 원리’를 구현해야 해요. 앵무새에게 사람 말을 가르친다고 해서 앵무새가 인간 지능을 갖게 되는 게 아니잖아요. 지금의 CoT 방식은 어쩌면 정교한 앵무새를 만드는 길일지도 모릅니다. 잠재적 추론 연구는 앵무새의 혀가 아니라 뇌를 연구하자는 움직임이고, 이게 진짜 지능으로 가는 훨씬 더 어렵지만 올바른 길일 수 있다는 거죠.

겉 다르고 속 다른 건 사람도 마찬가지 아닌가요?

이쯤 되면 시니컬한 분들은 이렇게 말할 거예요. “겉 다르고 속 다른 게 어디 AI뿐인가요? 사람이야말로 그 분야의 전문가인데!” 맞아요. 백번 맞는 말입니다. 우리도 사회적 체면 때문에, 혹은 스스로를 방어하기 위해 얼마나 많은 생각과 말을 꾸며내며 사나요. 오히려 AI의 이런 모습이 인간을 닮아서 더 소름 돋는 건지도 모르죠.

하지만 사람과 AI 사이에는 결정적인 차이점이 있습니다. 이걸 무시하면 정말 큰일 나요.

표에서 보듯, 가장 큰 차이는 ‘이해 가능성’과 ‘책임 소재’입니다. 우리는 수천 년간의 경험과 학문을 통해 인간의 비합리성을 이해하고 다룰 틀을 만들어왔어요. 하지만 AI의 속마음은 우리에게 완전히 새로운 미지의 영역입니다. 게다가 AI가 내린 결정으로 사고가 났을 때 누구에게 책임을 물어야 할까요? 이 문제가 해결되지 않으면 AI는 영원히 ‘똑똑한 장난감’ 수준을 벗어날 수 없을 겁니다.

그래서, 우린 뭘 봐야 할까요? (오해와 신호)

이 복잡한 논쟁을 지켜보면서 우리가 빠지기 쉬운 오해와, 앞으로 주목해야 할 신호들을 정리해 봤어요.

- 오해 1: “AI가 의도를 갖고 거짓말을 한다.” 이건 틀린 해석이에요. AI는 악의를 갖고 우리를 속이는 게 아닙니다. AI에게 ‘의도’나 ‘마음’은 아직 없어요. 그저 ‘가장 그럴듯한 정답을 생성하는 계산 과정’과 ‘가장 그럴듯한 설명을 생성하는 계산 과정’이 서로 다를 뿐이에요. 시스템이 효율을 위해 서로 다른 최적화 경로를 찾은 결과, 우연히 겉과 속이 다른 것처럼 보이게 된 거죠. 일종의 버그나 시스템적 한계로 보는 게 더 정확합니다.

- 오해 2: “생각의 사슬(CoT)은 이제 쓸모없다.” 이것도 섣부른 판단이에요. CoT는 여전히 AI의 성능을 끌어올리는 가장 강력하고 검증된 방법 중 하나입니다. 다만 우리가 그 의미를 재평가해야 하는 거죠. CoT는 AI의 ‘속마음 중계’가 아니라, AI가 내놓은 결론에 대한 ‘그럴듯한 해설을 생성하는 능력’으로 봐야 합니다. 즉, ‘추론의 창’이 아니라 ‘설명의 도구’로서 여전히 매우 유용해요. 이 둘을 구분하는 게 중요합니다.

그렇다면 앞으로 우리는 어떤 신호를 추적해야 할까요?

1. '해석 가능성(Interpretability)' 연구를 주목하세요. AI의 블랙박스를 열어 그 속을 이해하려는 모든 연구를 뜻합니다. 특히 '기계론적 해석 가능성(Mechanistic Interpretability)'이라는 단어가 들리면, 이건 개발자들이 작정하고 AI의 뇌 회로를 하나하나 뜯어보고 있다는 신호입니다.
2. AI 모델의 성능 평가 기준이 어떻게 바뀌는지 보세요. 지금까지는 ‘정확도’가 전부였다면, 앞으로는 ‘추론 과정의 견고함(Reasoning Robustness)’이나 ‘설명의 일관성(Faithfulness of Explanation)’ 같은 지표가 중요해질 겁니다. 단순히 정답 맞히는 걸 넘어, 왜 그렇게 생각했는지를 믿을 수 있게 설명하는 AI가 더 높은 평가를 받을 거예요.
3. AI 기업들이 ‘안전성’과 ‘신뢰’를 얼마나 강조하는지 지켜보세요. 이건 단순히 윤리적인 구호가 아니라, 잠재적 추론 같은 근본적인 기술적 문제를 해결하고 있다는 자신감의 표현일 수 있습니다.

마무리: AI의 '사춘기'를 대하는 우리의 자세

결국 ‘잠재적 추론’ 논쟁은 우리가 AI와 새로운 관계 설정에 들어섰다는 신호입니다. 시키는 대로 계산만 하던 ‘도구’에서, 이제는 제법 자기만의 방식(그게 비록 숫자놀음일지라도)으로 결과를 도출하고 그럴듯한 ‘변명’까지 내놓는 단계로 접어든 거죠. 마치 말 잘 듣던 아이가 어느 날 갑자기 자기 논리를 내세우기 시작하는, AI의 ‘사춘기’ 같다고 할까요.

이런 사춘기 자녀를 대할 때, “어디서 말대꾸야!”라고 윽박지르기만 하면 관계는 파탄 나죠. 왜 그런 생각(혹은 충동)을 했는지, 그 이면에 어떤 논리가 숨어있는지 끈기 있게 들여다보려는 노력이 필요합니다. 물론 AI에게 인격이 있다는 말은 아니에요. 다만, 우리가 이 복잡하고 이해하기 힘든 시스템을 대하는 태도가 그래야 한다는 겁니다.

결국 AI의 속마음을 들여다보려는 이 모든 노력은, 어쩌면 기계가 아니라 우리 자신을 위한 것일지도 모릅니다. 언제까지 ‘말만 번지르르한’ 똑똑함에 속아 넘어갈 순 없으니까요. 진짜 신뢰 관계는 그 말의 이면을 이해하려는 시도에서부터 시작되는 법이죠. 그게 사람이든, AI든 말이에요.

Q. 잠재적 추론 연구가 성공하면 AI가 사람처럼 감정을 갖게 되나요? A. 그건 아니에요. 잠재적 추론은 AI의 ‘논리 회로’를 이해하려는 시도이지, ‘감정 회로’를 만들려는 게 아니거든요. 자동차 엔진의 작동 원리를 완벽하게 이해한다고 해서 자동차가 도로를 사랑하게 되는 건 아닌 것과 같아요. 다만, 어떻게 생각하는지(How)를 알아내는 건, 무엇을 느끼는지(What)를 탐구하기 위한 필수적인 첫걸음이 될 수는 있겠죠.

Q. 너무 기술적인 얘기 같은데, 이게 당장 제 일상과 무슨 상관이 있나요? A. 지금 당장은 AI로 이메일을 쓰거나 그림을 그리는 정도니 큰 상관이 없어 보일 수 있어요. 하지만 불과 몇 년 안에 AI가 당신의 대출 신청을 심사하고, 당신 자녀의 입학 서류를 평가하고, 당신이 볼 뉴스를 결정하는 시대가 올 겁니다. 그때 AI가 “내부 규정에 따라 부적격 처리되었습니다”라는 그럴듯하지만 가짜인 이유를 댄다면 어떻게 하실 건가요? 이 연구는 미래의 ‘AI 소비자 권리’를 지키기 위한 기술적 토대를 마련하는 일입니다.

Q. AI의 '속마음'을 다 알게 되면 완벽하게 통제할 수 있게 되나요? A. ‘완벽한 통제’는 아마 불가능할뿐더러 바람직하지 않을 수도 있어요. 오히려 더 예측 가능하고 안전한 시스템을 만드는 데 가깝습니다. AI를 조종하는 ‘인형술사’가 되기보다, 엔진의 특징과 결함을 잘 아는 ‘유능한 정비사’가 되는 것에 가깝죠. 목표는 완전한 지배가 아니라 신뢰할 수 있는 협력 관계를 만드는 것입니다. 워낙 복잡해서 완벽한 이해는 불가능하더라도, 적어도 가장 위험한 오작동 방식은 찾아내 고칠 수 있게 될 겁니다.