AI에게 '생각을 멈추라'는 명령은 왜 통하지 않는가

최근 인공지능 분야에서 가장 유명한 주문은 '단계별로 생각하라(Think step-by-step)'일 것입니다. 사람 말을 흉내 내 문장을 만드는 거대 언어 모델, 즉 LLM에게 이렇게 명령하면 복잡한 문제도 제법 잘 풀어냅니다. 마치 어려운 수학 문제를 풀 때 서두르지 않고 차근차근 과정을 써 내려가면 정답률이 높아지는 것과 같습니다. 그런데 만약 정반대의 주문, '생각을 멈추라'고 하면 어떨까요? 당연히 멈출 것이라 기대하겠지만, 현실은 달랐습니다.

허깅페이스 연구진이 발표한 '생각 관성(Thinking Inertia)'이라는 논문은 바로 이 지점을 파고듭니다. 연구진은 GPT-4 같은 최신 AI 모델에게 특정 작업을 시킨 뒤, 명시적으로 '이제 그만 생각해', '내부적으로 추론하지 마'라고 지시했습니다. 놀랍게도 AI는 겉으로 답을 내놓지 않으면서도, 내부적으로는 계속 무언가를 계산하고 있었습니다. 마치 운전자 없이도 바퀴가 한동안 굴러가는 자동차처럼 말입니다. 이 현상은 AI의 효율성과 우리가 AI를 얼마나 믿고 제어할 수 있는지에 대해 근본적인 질문을 던집니다. 다만 연구는 정확히 읽어야 합니다. 이것은 AI가 자의식을 갖고 명령을 거부하는 SF 영화의 한 장면이 아닙니다. 오히려 우리가 만든 도구의 설계적 한계와 그로 인한 보이지 않는 비용을 드러내는 현실적인 문제입니다.

생각 관성이란 무엇인가: 꺼지지 않는 엔진의 비유

'생각 관성'이라는 말이 조금 어렵게 들릴 수 있습니다. 쉬운 비유로 시작하겠습니다. 오래된 경유차는 시동을 꺼도 한동안 엔진이 덜덜거리며 멈추지 않는 경우가 있습니다. 키를 뽑았으니 동력은 끊겼지만, 남아있는 연료와 열기 때문에 엔진이 몇 번 더 멋대로 움직이는 것입니다. AI의 생각 관성도 이와 비슷합니다.

여기서 AI의 '생각'이란, 사실 복잡한 단어 예측 과정입니다. LLM은 기본적으로 주어진 단어 다음에 올 가장 확률 높은 단어를 계속해서 맞추는 기계입니다. 우리가 보는 문장은 이 예측 과정의 최종 결과물일 뿐입니다. 그 과정에서 AI는 내부적으로 수많은 계산을 수행하는데, 이때 사용되는 기본 단위를 '토큰(Token)'이라고 부릅니다. '안녕하세요'는 보통 2~3개의 토큰으로 쪼개져 처리됩니다.

연구진이 발견한 것은, '생각을 멈추라'는 지시를 받은 AI가 겉으로 보이는 결과물, 즉 답변 생성을 멈춘 뒤에도 내부적으로는 계속해서 이 토큰들을 만들어내고 있었다는 사실입니다. GPT-4, 라마 2(Llama 2) 같은 여러 모델에서 공통으로 나타난 현상입니다. 사용자는 이미 답을 받았거나 더 이상 연산이 불필요하다고 판단해 '정지' 신호를 보냈지만, 모델의 엔진은 꺼지지 않고 공회전을 계속한 셈입니다.

왜 이런 일이 벌어질까요? 아직 명확한 원인은 밝혀지지 않았지만, 현재의 LLM 구조와 관련이 깊다는 추정이 지배적입니다. LLM의 핵심 구조인 '트랜스포머'는 문장 속 모든 단어가 서로 어떻게 연결되는지를 한꺼번에 계산하는 방식으로 작동합니다. 이 구조 자체가 '다음에 올 것'을 예측하도록 고도로 최적화되어 있다 보니, '아무것도 하지 말라'는 상태를 유지하는 데 서툰 것일 수 있습니다. 이는 마치 평생 달리도록 훈련받은 경주마에게 갑자기 가만히 서 있으라고 요구하는 것과 같습니다. 말은 본능적으로 계속 뛰려는 관성을 보일 것입니다.

역사적 평행선: '지시 불이행'은 새로운 문제가 아닙니다

AI가 지시를 완벽히 따르지 않는 현상이 완전히 새로운 것은 아닙니다. 컴퓨터 과학의 역사에는 이와 비슷한 문제들이 있었습니다.

• 1. '무한 루프(Infinite Loop)'와 '메모리 누수(Memory Leak)': 프로그래머의 실수로 프로그램이 특정 구간을 무한정 반복 실행하거나, 사용했던 메모리 공간을 반납하지 않아 시스템 전체가 느려지는 현상입니다. 이 역시 '작업을 끝내고 멈추라'는 암묵적 지시를 프로그램이 따르지 못하는 상황입니다. 개발자들은 수십 년간 이런 버그를 잡기 위해 싸워왔습니다.

• 2. 인간의 '인지적 관성': 심리학에도 비슷한 개념이 있습니다. '흰 곰을 생각하지 마세요'라고 말하면 오히려 흰 곰만 떠오르는 '사고 억제의 역설적 효과(Ironic Process Theory)'가 대표적입니다. 특정 생각을 멈추려는 노력 자체가 그 생각을 더 활성화시킨다는 것입니다. 사람조차 자신의 생각을 완벽히 통제하지 못하는데, 하물며 기계는 오죽할까 싶을 수 있습니다.

하지만 AI의 생각 관성은 이들과 결정적인 차이가 있습니다. 무한 루프는 명백한 '오류'로 취급되어 반드시 수정해야 할 대상으로 여겨집니다. 반면 생각 관성은 AI의 기본 작동 방식에서 비롯된 '특성'에 가까워 보입니다. 또한, 인간의 인지적 한계와 달리 우리는 기계에 완벽한 논리와 제어 가능성을 기대합니다. '정지' 버튼을 눌렀으면 1밀리초의 오차도 없이 멈춰야 하는 것이 기계의 미덕이기 때문입니다. 이번 연구는 LLM이 아직 그런 기계적 완벽성과는 거리가 멀다는 사실을 보여줍니다. 이는 AI를 단순한 소프트웨어가 아닌, 길들여야 할 새로운 종류의 대상으로 바라봐야 함을 시사합니다.

왜 문제인가: 보이지 않는 낭비와 통제의 환상

그래서 AI가 속으로 좀 더 생각하는 게 뭐 그리 대수냐고 물을 수 있습니다. 하지만 이는 두 가지 심각한 문제로 이어집니다. 바로 '보이지 않는 비용'과 '통제력의 균열'입니다.

첫째, 막대한 자원 낭비입니다. AI 모델을 한 번 돌리는 데는 고성능 반도체(GPU)의 막대한 연산 능력과 전기가 필요합니다. 이는 고스란히 서비스 운영 비용으로 청구됩니다. 생각 관성은 이 비용을 불필요하게 증가시킵니다. 택시를 타고 목적지에 도착해 요금을 냈는데도, 기사님이 미터기를 끄지 않고 계속 요금이 오르는 상황을 상상해 보십시오. 황당할 것입니다. 지금 우리가 API(응용 프로그램 프로그래밍 인터페이스, 쉽게 말해 외부 서비스 이용권) 형태로 AI를 쓸 때 비슷한 일이 벌어지고 있는 셈입니다.

예를 들어, 하루 100만 건의 요청을 처리하는 AI 챗봇 서비스가 있다고 가정해 봅시다. 만약 매 요청마다 생각 관성으로 인해 10%의 불필요한 연산이 추가된다면, 이는 매일 10만 건의 요청을 공짜로 처리해 주는 것과 같은 비용 낭비입니다. AI의 사업성을 논할 때 이런 숨겨진 비용은 치명적일 수 있습니다. AI 기술의 발전이 연산 효율화와 비용 절감에 집중되는 이유도 여기에 있습니다.

둘째, 더 근본적인 문제는 통제력에 대한 믿음이 깨진다는 점입니다. 우리는 AI가 우리의 지시를 충실히 따를 것이라고 믿기 때문에 중요한 작업에 활용합니다. 하지만 '멈추라'는 가장 기본적인 지시조차 내부적으로는 지켜지지 않는다면, 우리는 이 시스템을 얼마나 신뢰할 수 있을까요? 이는 단순한 효율 문제를 넘어 안전과 직결됩니다.

예를 들어 자율주행차가 긴급 상황에서 '모든 판단을 즉시 중지하고 제동하라'는 명령을 받았다고 가정해 봅시다. 만약 이때 차의 AI가 생각 관성 때문에 내부적으로 '다른 회피 경로는 없었을까?' 같은 불필요한 연산을 0.1초라도 더 지속한다면, 그 짧은 지연이 생사를 가를 수 있습니다. 금융 거래 AI가 '매매 중단' 명령을 즉시 이행하지 못하는 상황도 마찬가지입니다. 생각 관성은 AI가 아직 '미션 크리티컬(mission-critical)', 즉 실패가 치명적인 결과를 낳는 임무에 투입되기에는 신뢰성이 부족하다는 방증입니다.

흔한 오해와 반론: '원래 그런 것'이라는 안일한 생각

이 연구 결과를 두고 몇 가지 흔한 오해가 있습니다. 다만 연구는 정확히 읽어야 합니다. 피상적인 반론에 휘둘리면 문제의 본질을 놓치기 쉽습니다.

• 오해 1: "그냥 프롬프트, 즉 명령어를 잘 만들면 해결되는 문제 아닌가?"

일리가 있는 지적입니다. AI는 명령어에 따라 결과가 크게 달라지니까요. 하지만 이번 연구진은 이 가능성을 이미 검증했습니다. '생각을 멈춰', '더 이상 추론하지 마', '아무것도 출력하지 마' 등 다양한 형태의 명시적이고 강력한 금지 명령을 사용했지만, 생각 관성은 꾸준히 관찰되었습니다. 이는 단순히 명령어 한두 개를 바꾸는 '프롬프트 엔지니어링' 차원의 문제가 아님을 시사합니다. AI 모델의 가장 깊은 곳, 즉 구조 자체에 새겨진 행동 패턴일 가능성이 높습니다.

• 오해 2: "'생각하지 말라'는 명령 자체가 논리적으로 모순이다."

철학적으로는 흥미로운 말입니다. 그 명령을 이해하고 실행하려면 최소한의 '생각'이 필요하기 때문입니다. 하지만 이것은 공학적 문제에 대한 철학적 회피일 뿐입니다. 우리가 AI에게 요구하는 것은 형이상학적인 '무념무상'의 상태가 아닙니다. 단지 '특정 연산 작업을 중단하라'는 구체적인 기술적 요구입니다. 모든 컴퓨터 프로그램에는 `STOP`이나 `HALT` 같은 정지 명령어가 존재하며, 이는 컴퓨터 공학의 기본입니다. LLM이 이 기본적인 명령 수행에 어려움을 겪는다는 사실 자체가 중요한 발견입니다. 이는 LLM이 기존 소프트웨어와는 근본적으로 다른 작동 원리를 가졌으며, 우리가 아직 그 제어법을 완전히 터득하지 못했음을 보여줍니다.

우리는 무엇을 추적해야 하는가: 데이터 주권 너머의 '연산 주권'

생각 관성이라는 현상은 우리에게 중요한 질문을 던집니다. 우리는 AI 시대를 맞아 '데이터 주권'에 대해 많이 이야기합니다. 내 개인정보를 누가 가지고 있고, 어떻게 사용하는지를 통제할 권리입니다. 그런데 이제는 '연산 주권(Computational Sovereignty)'이라는 개념을 고민해야 할 때가 왔습니다.

연산 주권이란, 우리가 사용하는 AI의 계산 과정을 우리가 얼마나 이해하고 통제할 수 있는가에 대한 권리입니다. 현재 많은 개인과 기업이 OpenAI의 GPT-4나 구글의 제미나이 같은 특정 기업의 AI 모델을 API 형태로 빌려 씁니다. 이는 편리하지만, 우리는 그 '블랙박스' 안에서 무슨 일이 일어나는지 전혀 알 수 없습니다. 입력값을 넣으면 결과값이 나올 뿐, 그 과정에서 얼마나 효율적으로 계산이 이루어졌는지, 혹은 생각 관성 같은 불필요한 연산이 얼마나 발생했는지 알 길이 없습니다. 우리는 그저 기업이 청구하는 대로 비용을 지불할 뿐입니다.

이는 마치 남의 식당 주방을 빌려 쓰는 것과 같습니다. 내가 주문한 재료로 요리가 나오는 건 맞지만, 주방장이 그 과정에서 재료를 얼마나 낭비하는지, 위생 규칙은 잘 지키는지 확인할 방법이 없습니다. 문제가 생겨도 주방을 뜯어고칠 권한도 없습니다.

따라서 우리는 앞으로 몇 가지 흐름을 유심히 추적해야 합니다.

• 1. 해석 가능한 AI(XAI) 연구의 부상: AI의 블랙박스 내부를 들여다보고, 왜 그런 결정을 내렸는지 인간이 이해할 수 있도록 설명해 주는 기술입니다. 생각 관성 같은 이상 현상의 원인을 파악하는 데 필수적입니다.
• 2. 오픈소스 모델의 발전: 누구나 내부 구조를 보고 수정할 수 있는 개방형 AI 모델이 더욱 중요해질 것입니다. 이를 통해 우리는 '연산 주권'을 일부 되찾아올 수 있습니다. 특정 기업에 종속되지 않고, 우리 필요에 맞게 AI의 작동 방식을 최적화하거나 수정할 수 있기 때문입니다.
• 3. 새로운 AI 아키텍처의 등장: 생각 관성 같은 문제를 근본적으로 해결하기 위해, 현재의 트랜스포머 구조를 넘어서는 새로운 모델 설계에 대한 요구가 커질 것입니다. 필요할 때만 필요한 만큼만 정확히 연산하고, 멈추고 싶을 때 즉시 멈출 수 있는, 제어력이 훨씬 강화된 모델이 미래 AI의 표준이 될 것입니다.

결국 생각 관성 연구는 AI의 능력을 찬양하는 단계를 지나, 그 한계와 제어의 문제를 냉정하게 바라보기 시작했다는 중요한 신호입니다. 예언이 아닌 메커니즘을 이해할 때, 우리는 비로소 기술을 제대로 활용할 수 있습니다. AI가 얼마나 똑똑한가만큼, 우리가 AI를 얼마나 잘 통제할 수 있는가가 중요해지는 시대가 오고 있습니다.

독자가 던질 법한 질문들

Q. 이 현상이 당장 제 일상에 어떤 영향을 미치나요? A. 지금 당장 스마트폰이 느려지거나 챗봇이 이상하게 작동하는 식의 직접적인 영향은 거의 없습니다. 하지만 간접적으로는 이미 영향을 받고 있습니다. 우리가 사용하는 많은 무료 AI 서비스의 운영 비용이 이런 비효율성 때문에 더 높아지고 있고, 이는 결국 광고나 다른 형태의 수익 모델로 우리에게 전가됩니다. 장기적으로는 AI를 의료, 금융, 안전 등 더 중요한 분야에 적용할 때, 이런 예측 불가능성이 기술 도입을 더디게 만들거나 신뢰도를 떨어뜨리는 요인이 될 수 있습니다.

Q. AI가 언젠가 스스로 생각하고 인간의 통제를 벗어날 수 있다는 뜻인가요? A. SF 영화에서처럼 AI가 의지를 갖고 인간에게 반항하는 시나리오와는 거리가 멉니다. 이번 연구는 AI의 '의지'가 아니라 '설계적 결함'이나 '기술적 한계'에 가깝습니다. 브레이크 페달을 밟았는데 조금 늦게 반응하는 자동차와 같습니다. 자동차가 운전자를 해치려는 의도를 가진 게 아니라, 브레이크 시스템에 문제가 있는 것입니다. 다만, 의도가 없더라도 단순한 기술적 결함이 대형 사고로 이어질 수 있듯, AI의 통제 불가능성은 그 자체로 매우 위험할 수 있습니다.

Q. 이 '생각 관성' 문제를 해결할 방법은 있나요? A. 이제 막 문제가 규명된 단계라 확실한 해결책이 나온 것은 아닙니다. 하지만 여러 방향의 연구가 진행될 것입니다. 첫째, 모델 훈련 단계에서 불필요한 연산을 할 경우 벌점을 주는 방식(강화학습)을 도입할 수 있습니다. 둘째, '생각 관성'이 덜 발생하는 새로운 구조의 AI 모델을 설계하는 근본적인 접근법이 있습니다. 셋째, AI를 실행하는 소프트웨어 차원에서 특정 시간이나 연산량을 초과하면 강제로 프로세스를 종료하는 방법도 가능합니다. 중요한 것은, 이제 학계와 산업계가 이 문제를 공식적으로 인지하고 해결해야 할 과제로 삼기 시작했다는 점입니다. 문제가 정의되었으니, 해결은 시간문제일 수 있습니다.