AI의 뇌를 해부하겠다는 야심, 그 첫걸음의 의미와 한계

'생각의 조각'을 찾겠다는 시도, 왜 지금 중요한가

대규모 언어 모델, 이른바 LLM(Large Language Model)이 보여주는 능력은 이제 놀랍다는 말을 하기도 지겨울 정도입니다. 사람처럼 글을 쓰고, 그림을 그리고, 코드를 짭니다. 하지만 정작 우리는 이 똑똑한 기계가 ‘왜’ 그런 답을 내놓는지 정확히 알지 못합니다. 마치 엄청난 성과를 내지만 무슨 생각을 하는지 도무지 알 수 없는 동료와 일하는 것과 같습니다. 결과물은 믿음직스러운데, 그 과정을 신뢰할 수는 없는 불안한 상태입니다. AI 업계에서는 이를 ‘블랙박스 문제’라고 부릅니다.

이 문제를 해결하지 못하면 우리는 AI를 영원히 예측 불가능한 도구로만 써야 합니다. 자율주행차가 왜 갑자기 멈췄는지, 의료 AI가 왜 특정 진단을 내렸는지 설명할 수 없다면 생명과 직결된 중요한 판단을 맡길 수 없습니다. AI가 만든 결과물에 편향이나 위험한 생각이 숨어있어도 이를 찾아내 고치기 어렵습니다.

최근 발표된 ‘희소 오토인코더(SAE)를 이용한 행동 구성성 연구’는 바로 이 블랙박스를 열어보려는 인류의 가장 진지한 시도 중 하나입니다. AI의 두뇌, 즉 수십억 개가 넘는 인공 신경망 안에서 어떤 일이 벌어지는지 구체적인 ‘생각의 조각’ 단위로 분해해서 그 지도를 그려보겠다는 야심찬 목표를 담고 있습니다. 이 연구가 성공한다면, 우리는 AI의 행동을 예측하고 제어하는 새로운 차원의 문을 열게 될 것입니다. 다만 연구는 정확히 읽어야 합니다. 이것은 예언이 아니라, 이제 막 시작된 메커니즘 분석의 첫걸음입니다.

오케스트라에서 악기 소리 골라내기: 희소 오토인코더(SAE)의 원리

연구의 핵심 도구인 ‘희소 오토인코더(Sparse Autoencoder, SAE)’의 작동 원리를 이해하는 것이 중요합니다. 어려운 용어에 겁먹을 필요는 없습니다. 원리는 의외로 간단합니다. 거대한 오케스트라 연주를 생각해보면 쉽습니다. 웅장한 교향곡이 울려 퍼질 때 우리 귀에는 모든 악기가 뒤섞인 하나의 소리로 들립니다. 하지만 전문가는 그 안에서 바이올린 선율, 첼로의 저음, 트럼펫의 팡파르를 각각 구분해서 들을 수 있습니다. SAE가 하는 일이 바로 이와 같습니다.

AI가 하나의 문장을 생성할 때, 그 내부 신경망에서는 수백만 개의 ‘뉴런’(인공 뇌세포)이 동시에 복잡하게 신호를 주고받습니다. 이는 오케스트라의 모든 악기가 한꺼번에 연주하는 것과 같습니다. 너무 복잡해서 어느 부분이 어떤 역할을 하는지 알 수 없습니다. SAE는 이 복잡하고 ‘밀도 높은(dense)’ 신호 덩어리를 입력받아, 그중에서 가장 중요하고 핵심적인 ‘특성(feature)’ 몇 가지만을 뽑아내도록 훈련된 일종의 번역기입니다.

조금 더 일상적인 비유를 들어보겠습니다. 아주 맛있는 김치찌개를 끓였다고 합시다. 최종 결과물인 찌개 맛은 훌륭하지만, 도대체 신김치가 어떤 역할을 하고 고춧가루가 어떤 맛을 내며 돼지고기가 어떤 풍미를 더했는지 정확히 분리해내긴 어렵습니다. SAE는 이 김치찌개를 다시 원재료 단위로 분해해서, ‘신맛 담당’, ‘매운맛 담당’, ‘감칠맛 담당’처럼 각각의 맛을 내는 핵심 요소를 따로따로 식별해내는 장치라고 볼 수 있습니다. 이 ‘담당’ 요소가 바로 연구에서 말하는 ‘특성’입니다. 즉, 뒤죽박죽 섞인 AI의 뉴런 활동 패턴을 훨씬 더 이해하기 쉬운, 의미 있는 최소 단위로 정리해주는 기술입니다.

'쉼표'와 '부정문'을 관장하는 뇌세포를 찾아내다

이번 연구팀은 이 SAE라는 도구를 비교적 작은 언어 모델인 ‘Pythia-70m’에 적용했습니다. 이 모델은 파라미터(Parameter, AI의 지식을 저장하는 뇌세포 연결망의 세기 값)가 약 7000만 개 수준입니다. 연구팀은 이 모델이 글을 쓸 때 나타나는 수많은 뉴런 활성화 패턴을 SAE로 분석해 수천 개의 개별 ‘특성’으로 분리했습니다.

그리고 놀라운 사실을 발견했습니다. 특정 특성이 매우 구체적인 행동과 일관되게 연결되어 있었습니다. 예를 들어, 어떤 특성은 모델이 문장에 ‘쉼표(,)’를 찍으려고 할 때마다 강하게 활성화되었습니다. 또 다른 특성은 ‘not’, ‘never’ 같은 부정문을 인식하거나 생성할 때 켜졌습니다. 마치 우리 뇌의 특정 영역이 언어 구사나 감정 표현을 담당하는 것처럼, AI 내부에도 특정 기능을 전담하는 ‘생각의 부품’이 존재함을 확인한 것입니다.

연구는 여기서 한 걸음 더 나아갔습니다. 단순히 상관관계를 관찰하는 데 그치지 않고, 인과관계를 증명했습니다. 연구팀이 ‘쉼표 특성’ 스위치를 인위적으로 켜자, 모델은 뜬금없는 문맥에서도 쉼표를 찍어내는 경향을 보였습니다. 스위치를 끄자 쉼표 사용을 주저했습니다. 이는 ‘새벽에 닭이 우니 해가 뜬다’는 식의 관찰이 아니라, ‘닭 울음 버튼을 누르니 해가 뜨더라’는 수준의 인과적 제어를 확인했다는 의미입니다. AI 연구에서 이는 매우 중요한 진전입니다.

더 흥미로운 점은 ‘행동 구성성(Behavioral Compositionality)’입니다. 여러 특성을 조합했을 때, 그 결과가 예측 가능하다는 뜻입니다. 마치 파란색 물감과 노란색 물감을 섞으면 녹색이 나오는 것과 같습니다. 연구에서 ‘쉼표 추가’ 특성과 ‘부정 표현’ 특성을 동시에 활성화하자, 모델은 부정문을 사용하면서 쉼표를 찍는 행동을 보였습니다. 이는 AI의 복잡한 행동이 더 작은 기본 행동들의 조합으로 이루어져 있을 수 있다는 강력한 증거입니다.

다만, 연구는 정확히 읽어야 합니다: 한계와 반론

여기까지 들으면 AI 블랙박스 문제가 곧 해결될 것처럼 보입니다. 하지만 논문을 정확히 읽는 연구자로서, 저는 흥분하기보다 한계부터 짚어야 한다고 생각합니다. 이 연구의 성과는 분명하지만, 넘어야 할 산이 훨씬 더 높고 험준합니다.

첫째, ‘물감 섞기’ 비유는 절반만 맞습니다. 연구팀 스스로 밝혔듯, 예측 가능한 구성성은 ‘쉼표 찍기’나 ‘부정문 인식’ 같은 문법적, 구문론적 역할을 하는 ‘저수준(low-level)’ 특성에서 주로 나타났습니다. 하지만 ‘아이러니를 이해하기’, ‘법률 문서의 핵심 논지 파악하기’ 같은 훨씬 복잡하고 추상적인 ‘고수준(high-level)’ 개념으로 넘어가면, 특성들을 단순히 더하는 것만으로 결과를 예측하기 어려웠습니다. 이는 마치 여러 화학약품을 섞었을 때 예상치 못한 폭발이 일어나거나 완전히 새로운 물질이 생겨나는 것과 같습니다. AI의 고차원적 추론 능력은 단순한 부품의 합을 넘어서는, 이른바 ‘창발적(emergent)’ 속성을 가질 가능성이 높다는 의미입니다. 이 영역은 여전히 미지의 블랙박스로 남아있습니다.

둘째, 실험 대상이 너무 작습니다. 연구에 쓰인 Pythia-70m 모델의 7000만 파라미터는 최신 AI에 비하면 구멍가게 수준입니다. 우리가 매일 사용하는 GPT-4나 클로드 3 같은 모델은 파라미터가 1조 개를 훌쩍 넘을 것으로 추정됩니다. 이는 7000만 개와 1조 개, 즉 약 1만 4000배 이상의 규모 차이입니다. 초파리 뇌를 연구해서 인간의 정신세계를 모두 이해했다고 말할 수 없는 것과 같습니다. 모델의 규모가 커지면 특성의 개수와 복잡성은 기하급수적으로 늘어납니다. 이 기술을 거대 모델에 적용하는 것은 단순히 컴퓨터를 더 많이 쓰는 차원이 아니라, 완전히 새로운 과학적, 공학적 돌파구가 필요한 문제입니다.

마지막으로, 우리가 ‘쉼표 특성’이라고 이름 붙인 그것이 정말 ‘쉼표’라는 개념 자체를 이해한 것인지는 또 다른 문제입니다. 그저 쉼표가 자주 나오는 특정 문장 패턴에 반응하는 스위치일 수도 있습니다. 철학자 존 설이 제기했던 ‘중국어 방’ 논증처럼, AI가 정말 의미를 이해하는 것인지 아니면 그저 기호를 정교하게 처리하는 것인지에 대한 근본적인 질문은 여전히 유효합니다.

흔한 오해 두 가지: '마음 읽기'와 '완전한 통제'

이러한 연구 결과가 대중에게 알려질 때 흔히 발생하는 오해가 두 가지 있습니다. 이는 반드시 짚고 넘어가야 합니다.

첫 번째 오해는 ‘이제 AI의 마음을 읽을 수 있게 되었다’는 성급한 기대입니다. 이는 사실과 다릅니다. 우리는 AI의 마음 전체를 들여다본 것이 아니라, 특정 행동과 연결된 ‘스위치’ 몇 개를 발견한 것에 가깝습니다. 이는 뇌과학자가 사람이 슬픔을 느낄 때 뇌의 편도체가 활성화된다는 사실을 알아낸 것과 비슷합니다. 편도체의 활동을 관찰한다고 해서, 그 사람이 왜 슬픈지, 어떤 기억 때문에 아파하는지 그 서사를 전부 알 수 없는 것과 마찬가지입니다. 우리는 AI의 특정 반응을 유발하는 기계적 스위치를 찾았을 뿐, 그 스위치가 모여 만들어내는 거대한 ‘의식’의 지도를 얻은 것은 아닙니다.

두 번째 오해는 ‘이제 AI를 마음대로 조종할 수 있다’는 믿음입니다. 이 또한 과장된 해석입니다. ‘문장 끝에 느낌표를 붙여라’처럼 단순하고 구체적인 행동은 이 기술로 제어할 수 있을지 모릅니다. 하지만 ‘더 윤리적인 판단을 하라’거나 ‘창의적인 시를 써라’ 같은 추상적이고 복합적인 목표를 특정 특성 몇 개를 켜고 끄는 방식으로 달성하기는 불가능에 가깝습니다. 이는 피아노 건반 하나(개별 특성)를 누르는 법을 배웠다고 해서, 그 지식만으로 베토벤의 교향곡(복잡하고 고차원적인 행동) 전체를 연주할 수 있다고 착각하는 것과 같습니다. AI의 유용성은 바로 이 복잡성에서 나오는데, 우리가 통제할 수 있는 부분은 아직 극히 일부에 불과합니다.

예언이 아닌 메커니즘: 우리가 추적해야 할 신호들

그렇다면 우리는 이 연구를 어떻게 바라봐야 할까요? 이는 AI가 세상을 지배할 것이라는 식의 막연한 예언이 아니라, AI라는 기계가 어떻게 작동하는지 그 ‘메커니즘’을 이해하려는 과학적 과정의 일부로 봐야 합니다. 그리고 앞으로 이 분야의 진정한 발전을 가늠하기 위해 몇 가지 신호를 꾸준히 추적해야 합니다.

1. 확장성(Scalability)의 증명: 이 기술이 GPT-4 같은 초거대 모델에도 유의미하게 적용되는지가 첫 번째 관문입니다. 수조 개의 파라미터를 가진 모델에서도 의미 있는 ‘특성’을 일관되게 추출하고 제어할 수 있음을 보여주는 후속 연구가 나오는지를 지켜봐야 합니다. 만약 소규모 모델에서만 작동하는 ‘찻잔 속 태풍’으로 끝난다면, 그 의미는 크게 퇴색될 것입니다.

1. 특성의 추상화 수준: 지금은 ‘쉼표’나 ‘따옴표’ 같은 구문론적 특성을 발견한 수준입니다. 앞으로 ‘정의감’, ‘유머 감각’, ‘비판적 사고’처럼 인간의 고차원적 인지 능력에 해당하는 추상적 특성을 발견하고 분리해낼 수 있는지가 진정한 시험대입니다. 만약 성공한다면, 우리는 비로소 AI의 ‘생각’을 이해하는 문턱에 섰다고 말할 수 있을 것입니다.

1. 도구의 보편화: SAE와 같은 AI 해석 도구가 구글, 오픈AI 같은 소수 빅테크 연구실의 전유물로 남아서는 안 됩니다. 더 많은 독립 연구자, 학계, 시민사회가 AI의 내부를 들여다보고 검증할 수 있도록 관련 기술과 도구가 공개되고 보편화되는지 지켜봐야 합니다. 투명성과 안전성은 소수가 기술을 독점할 때 오히려 위협받습니다. 열린 검증과 토론만이 건강한 기술 발전을 이끌 수 있습니다.

AI의 '주권'은 누구에게 있는가

궁극적으로 이 연구는 우리에게 매우 묵직한 질문을 던집니다. 만약 언젠가 우리가 AI의 내부 작동 방식을 지도로 그리고, 그 ‘생각의 조각’들을 마음대로 켜고 끌 수 있게 된다면, 그 막강한 권한은 누가 가져야 하는가 하는 문제입니다.

AI의 ‘특성’을 편집하는 능력은 모델의 편향을 제거하고 안전성을 높이는 데 쓸 수 있는 강력한 도구입니다. 하지만 동시에 특정 이념을 주입하거나, 상업적 목적에 맞게 AI의 ‘신념’을 바꾸거나, 여론을 교묘하게 조작하는 데 쓰일 수도 있는 위험한 ‘판도라의 상자’이기도 합니다. 지금 우리가 겪는 소셜미디어의 콘텐츠 필터링이나 알고리즘 편향성 논란은, AI의 근원적인 ‘생각’ 자체를 편집하는 기술 앞에서 사소한 문제처럼 보일 수 있습니다.

이는 단순히 기술의 문제가 아니라 권력과 통치, 즉 ‘거버넌스’의 문제입니다. AI 모델을 개발한 기업이 그 AI의 ‘정신’을 편집할 독점적 권한을 갖는 것이 옳은가? 아니면 정부나 독립적인 국제기구가 이를 감독해야 하는가? AI의 작동 방식에 대한 정보는 영업비밀인가, 아니면 사회 전체가 알아야 할 공공재인가? 우리는 ‘데이터 주권’을 넘어, 우리 삶에 막대한 영향을 미칠 ‘AI 정신 구조에 대한 주권’ 문제를 논의해야 할 시점에 다가서고 있습니다. 이 연구는 그 논의의 시작을 알리는 작은 신호탄입니다.

Q. 이 기술이 상용화되면 당장 뭐가 달라지나요? A. 단기적으로 일반 사용자가 체감할 변화는 거의 없을 것입니다. 아직은 매우 초기 단계의 기초 연구이며, 소규모 모델에서만 검증되었습니다. 다만 장기적으로 AI 모델의 오류를 수정하거나 특정 편향을 줄이는 ‘디버깅’ 도구로 발전할 잠재력이 있습니다. 마치 소프트웨어 개발자가 코드의 버그를 잡는 것처럼, AI 엔지니어가 모델의 ‘생각 버그’를 찾아내 고치는 시대가 올 수도 있습니다.

Q. 이런 연구가 오히려 AI를 위험하게 만드는 것 아닌가요? 악용될 소지가 커 보입니다. A. 정확한 지적입니다. 모든 강력한 기술은 양날의 검입니다. AI의 특정 ‘생각’을 주입하거나 제거하는 기술은 편향을 없애는 데 쓰일 수도 있지만, 특정 이념을 주입하거나 여론을 조작하는 데 악용될 수도 있습니다. 그래서 기술 개발과 함께, 이 기술을 누가, 어떻게, 어떤 원칙하에 통제할 것인지 사회적 합의를 만드는 ‘거버넌스’ 논의가 반드시 병행되어야 합니다. 기술의 위험성 때문에 연구 자체를 막는 것은 답이 아니며, 투명하게 공개하고 함께 대응책을 찾는 것이 중요합니다.

Q. 결국 ‘해석 가능한 AI(XAI)’는 불가능한 꿈 아닐까요? A. ‘완벽한’ 해석은 인간의 뇌를 100% 이해하지 못하는 것처럼 불가능에 가까울 수 있습니다. 다만 AI 해석 연구의 목표는 ‘완벽한 이해’가 아니라 ‘충분히 신뢰하고 제어할 수 있는 수준의 이해’입니다. 모든 운전자가 내연기관의 원리를 알 필요는 없지만, 브레이크가 언제 어떻게 작동하는지는 절대적으로 신뢰할 수 있어야 하는 것과 같습니다. 이번 연구는 그 신뢰를 쌓기 위한 벽돌 하나를 놓은 것으로 평가해야 합니다. 완전한 해부가 아닌, 실용적인 수준의 진단 도구를 만드는 과정으로 보아야 합니다.