“내 손으로 ‘변태 AI’ 만들었다”... AI 뇌수술 시대, 진짜 재앙은 따로 있습니다

AI 뇌수술, 집에서 해봤습니다?

요즘 온라인에서 제일 뜨거운 커뮤니티 중 하나인 레딧(Reddit)에서 얼마 전 좀 황당하고도 섬뜩한 글이 하나 올라왔어요. 한 사용자가 자기가 직접 ‘유해한 AI 모델’을 만들었다고 자랑(?)한 건데요. 그냥 욕 좀 하는 수준이 아니라, 작정하고 ‘성적으로 부적절한(pervy)’ 응답만 하도록 AI의 성격을 개조했다는 거예요. ‘순수한 실험 목적으로’라는 말을 붙이긴 했지만, 다들 빡쳐서 난리가 났죠.

이게 왜 그냥 웃어넘길 일이 아니냐면, 이 사람이 쓴 방법 때문이에요. 보통 AI를 우리 입맛에 맞게 바꾸려면 두 가지 방법을 써요. 하나는 원하는 대답이 나올 때까지 질문을 비비 꼬아서 던지는 ‘프롬프트 엔지니어링’이고, 다른 하나는 특정 주제의 데이터를 왕창 먹여서 추가로 학습시키는 ‘미세조정(fine-tuning)’이죠. 둘 다 AI의 ‘외부’에서 행동을 교정하는 방식이에요. 아이한테 계속 책을 읽어주거나, 말을 예쁘게 하라고 계속 타이르는 것과 비슷해요.

그런데 이 레딧 유저는 그 선을 넘어버렸어요. AI의 ‘뇌’를 열고, 그 안의 신경망을 직접 건드려서 성격을 바꿔버린 겁니다. 이건 타이르고 가르치는 수준이 아니에요. 그냥 뇌의 특정 부위를 도려내거나 자극해서 원치 않는 행동은 아예 못하게, 원하는 행동만 하도록 만드는 ‘뇌수술’에 가까워요. 21세기판 매드 사이언티스트가 자기 집 지하실에서 탄생한 순간이죠. 중요한 건 이 ‘뇌수술’의 기술적 단초를 제공한 게, 아이러니하게도 AI의 안전을 연구하는 최고 기술 기업 중 하나인 앤트로픽(Anthropic)이라는 점이에요. 웃프죠.

챗GPT 길들이기 vs. 뇌 구조 바꾸기: 뭐가 다르냐면요

“아니, AI 성격 바꾸는 게 뭐 그리 대수냐”고 하실 수도 있어요. 이미 많은 사람들이 챗GPT 같은 AI를 자기 입맛에 맞게 ‘길들이는’ 법을 공유하고 있잖아요. 하지만 이번 사건은 차원이 완전히 다른 문제입니다. 그 차이를 이해하려면 AI가 어떻게 생각하는지 아주 살짝 들여다볼 필요가 있어요.

우리가 쓰는 챗GPT 같은 AI를 ‘거대언어모델(LLM, Large Language Model)’이라고 불러요. 쉽게 말해, 사람 말을 엄청나게 많이 학습해서 그럴듯한 문장을 스스로 만들어내는 인공지능이죠. 이 LLM을 특정 목적에 맞게 훈련시키는 걸 ‘미세조정(fine-tuning)’이라고 하고요. 예를 들어 법률 자문 AI를 만들고 싶으면, LLM에다가 판례나 법률 문서를 잔뜩 읽혀서 법률 전문가로 만드는 거예요. 마치 의대생한테 의학 서적만 집중적으로 읽히는 것과 같아요. 하지만 이래 봤자 의대생이 갑자기 다른 사람이 되진 않죠. 지식이 늘어날 뿐이에요.

그런데 이번 레딧 유저가 건드린 건 ‘J-Space’라는 영역이에요. 처음 듣는 말이죠? 이건 AI가 수많은 단어와 개념 사이의 관계를 이해하고 저장하는 일종의 ‘개념 지도’ 혹은 ‘생각 공간’이라고 할 수 있어요. ‘사과’라는 단어 옆에는 ‘과일’, ‘빨갛다’, ‘뉴턴’ 같은 단어들이 가깝게 연결돼 있고, ‘정치’라는 단어와는 아주 멀리 떨어져 있는 식이죠. AI는 이 지도를 보고 다음에 어떤 단어를 내뱉을지 결정해요.

앤트로픽은 원래 이 J-Space가 어떻게 생겨 먹었는지 들여다보고 싶었어요. AI가 왜 가끔 이상한 소리를 하는지, 그 원인을 찾아서 고치려는 착한 목적이었죠. 그래서 ‘Jacobian-Lens’라는, AI의 뇌 속을 들여다보는 MRI 같은 도구를 개발해서 연구 결과를 공개했어요. “AI야, ‘사랑’이 뭐라고 생각해?”라고 물었을 때, AI의 개념 지도 어디가 반짝이는지 보려는 거였죠.

문제의 레딧 유저는 바로 이 원리를 역이용한 겁니다. AI의 개념 지도를 들여다보는 걸 넘어, 아예 그 지도를 직접 수정해버린 거예요. 예를 들어 ‘친절’이라는 단어 옆에 있던 ‘미소’, ‘배려’ 같은 긍정적 단어들을 싹 지워버리고, 그 자리에 ‘무례함’, ‘공격’ 같은 단어들을 강제로 연결해 놓는 식이죠. AI의 뇌 지도를 통째로 왜곡해서, ‘친절’이라는 단어를 들으면 무조건 공격적인 반응을 보이도록 ‘뇌수술’을 한 거예요. 이건 더 이상 교육이 아니라 세뇌나 개조의 영역이죠.

착한 기술의 배신, 혹은 예견된 역설

이번 사건의 가장 아이러니한 지점은, 이 모든 게 ‘더 안전한 AI’를 만들려던 선한 의도에서 출발했다는 거예요. 앤트로픽이 ‘제이코비안 렌즈’ 같은 내부 해석 도구를 연구한 건, AI를 ‘블랙박스’ 상태로 두는 게 너무 위험하다고 생각했기 때문이에요. AI가 왜 그런 판단을 내리는지 원인을 알아야 편향이나 오류를 고칠 수 있잖아요. 깜깜한 상자 안에 뭐가 들었는지도 모르고 쓸 수는 없으니까요.

그런데 웬걸, 상자를 열어보는 방법을 알려줬더니, 어떤 사람은 그 방법을 이용해서 상자 안에 든 물건을 망가뜨리거나 아예 다른 위험한 물건으로 바꿔치기하는 법을 터득해버린 셈이에요. 기술의 ‘듀얼 유스(Dual-Use, 이중용도)’ 문제가 아주 적나라하게 드러난 거죠. 좋은 목적으로 개발된 기술이 언제든 나쁜 목적으로 쓰일 수 있다는 건데, 이건 인류 역사에서 계속 반복돼 온 패턴이에요.

가장 유명한 사례가 다이너마이트를 발명한 알프레드 노벨이죠. 그는 광산이나 건설 현장에서 안전하게 폭파 작업을 하라고 다이너마이트를 만들었어요. 인류에 기여하고 싶었죠. 하지만 결과는 어땠나요? 다이너마이트는 곧바로 전쟁터에서 사람 죽이는 무기로 쓰였고, 노벨은 ‘죽음의 상인’이라는 오명을 뒤집어썼어요. 그는 큰 충격을 받고 속죄하는 마음으로 노벨상을 만들었죠.

최근 사례로는 ‘크리스퍼 유전자 가위(CRISPR-Cas9)’ 기술이 있어요. 유전병을 치료하고 식량 문제를 해결할 수 있는 혁명적인 기술로 주목받았지만, 곧바로 ‘맞춤 아기(designer baby)’ 논란에 불이 붙었어요. 부모가 원하는 대로 아이의 키, 지능, 외모를 디자인하는 데 쓰일 수 있다는 윤리적 공포 때문이었죠. 실제로 중국에서 한 과학자가 유전자 편집 아기를 탄생시켜 전 세계를 충격에 빠뜨리기도 했고요.

AI의 내부를 조작하는 기술도 똑같아요. 이 기술은 분명 AI의 위험한 편견을 찾아내 제거하고, 더 공정하고 안전한 AI를 만드는 데 결정적인 역할을 할 거예요. 하지만 동시에, 누군가는 그 기술로 특정 인종이나 성별을 혐오하도록 ‘세뇌된’ AI를 만들거나, 특정 정치 이념만 앵무새처럼 반복하는 AI를 만들어 여론을 조작할 수도 있게 된 거죠. 기술 자체에는 죄가 없어요. 하지만 그 기술을 손에 쥔 인간이 어떤 존재인지를 생각하면, 마냥 낙관하기는 힘들어 보입니다.

‘나만의 변태 AI’를 넘어: 진짜 위험은 따로 있다

솔직히 말해, 레딧 유저가 만들었다는 ‘변태 AI’ 자체는 그냥 해프닝에 가까워요. 진짜 문제는 이런 ‘AI 뇌수술’ 기술이 대중화됐을 때 벌어질 일들이죠. 이건 단순한 악성 댓글이나 가짜뉴스와는 차원이 다른, 훨씬 교묘하고 강력한 위협이 될 수 있어요.

1. 보이지 않는 ‘스텔스 여론 조작’이 가능해져요. 기존의 여론 조작 봇들은 티가 났어요. 같은 말을 반복하거나, 어딘가 어색했죠. 하지만 ‘뇌수술’을 받은 AI는 겉보기엔 아주 이성적이고 중립적인 척 토론에 참여할 수 있어요. 하지만 그 내부는 특정 후보나 정책을 지지하도록 설계되어 있는 거죠. 예를 들어 부동산 정책 토론에서, 겉으로는 다양한 통계와 논리를 제시하지만 결정적인 순간에는 항상 ‘공급 확대’ 쪽으로 결론을 미묘하게 유도하도록 뇌 지도를 조작하는 거예요. 사람들은 AI가 객관적인 정보를 준다고 믿겠지만, 실제로는 교묘하게 설계된 프로파간다에 설득당하는 셈이죠. 기존의 팩트체크나 필터링 시스템으로는 이런 ‘의도를 가진 중립’을 걸러내기 거의 불가능해요.

2. 개인을 노리는 ‘초맞춤형 사기’가 등장할 거예요. 보이스피싱이 무서운 건, 가족 목소리를 흉내 내기 때문이잖아요. 그런데 여기에 ‘뇌수술’ 기술이 더해지면 어떻게 될까요? 단순히 목소리만 흉내 내는 게 아니라, 그 사람의 평소 말투, 자주 쓰는 농담, 심지어 가족만 아는 추억까지 완벽하게 재현하는 ‘사기 AI’를 만들 수 있어요. 피해자의 SNS, 이메일, 메신저 기록을 싹 긁어모아서 그 사람의 인간관계와 성격 데이터를 분석한 뒤, 가장 약한 고리를 파고들도록 AI의 뇌 구조를 ‘튜닝’하는 거죠. “엄마, 나야. 어릴 때 놀러 갔던 그 할머니 댁 앞 슈퍼 기억나? 거기서처럼 지금 급한 일이 생겼어” 같은 식의 공격을 받으면 당해낼 재간이 있을까요? 이건 기술이 아니라 심리전이에요.

3. ‘오픈소스’의 이상이 무너지고 있어요. 이게 제가 보기에 가장 근본적이고 빡치는 지점이에요. 오픈소스는 ‘소스 코드를 공개해서 누구나 자유롭게 사용하고, 개선하고, 배포할 수 있게 하자’는 아름다운 개발 문화예요. 집단 지성을 통해 더 빠르고 투명하게 기술을 발전시키자는 거죠. 리눅스(Linux) 운영체제가 대표적인 성공 사례고요. AI 분야에서도 이런 오픈소스 모델들이 많이 나왔는데, 이게 이제는 ‘누구나 AI 뇌수술 도구를 손에 넣어 자기만의 괴물을 만들 수 있다’는 뜻이 되어버렸어요. 자유로운 혁신이라는 빛 뒤에, 통제 불가능한 위험이라는 짙은 그림자가 생긴 거죠. 자유에는 책임이 따른다는데, 익명의 레딧 유저에게 무슨 책임을 물을 수 있겠어요?

흔한 오해들: “그거 전문가나 하는 거 아냐?”

이런 얘기를 하면 꼭 나오는 반론들이 있어요. 너무 과장된 걱정이라는 거죠. 한번 따져볼까요.

- 오해 1: “어차피 고도의 기술이라 소수 전문가만 할 수 있는 거 아니에요?” 물론 지금 당장은 그렇습니다. AI 모델의 내부 구조를 이해하고 직접 수정하는 건 박사급 연구자들에게도 쉬운 일이 아니에요. 하지만 기술의 확산 속도를 너무 얕보면 안 돼요. ‘오늘의 전문가 기술은 내일의 대학생 과제’라는 말이 괜히 있는 게 아니에요. 불과 3~4년 전만 해도, 일반인이 자기 컴퓨터에서 고품질 그림을 척척 그려내는 AI를 돌릴 수 있을 거라고 상상이나 했나요? 그건 구글이나 엔비디아 같은 거대 기업 연구소의 전유물이었어요. 지금은요? ‘스테이블 디퓨전’ 같은 오픈소스 모델 덕분에 누구나 자기 집에서 ‘AI 화가’를 부릴 수 있게 됐죠. AI 뇌수술 기술도 마찬가지 길을 걸을 가능성이 높아요. 누군가 이 과정을 더 쉽게 만들어주는 도구를 개발해서 공개하면, 순식간에 퍼져나갈 겁니다.

- 오해 2: “AI 회사가 안전장치를 더 강화하면 해결될 문제 아닌가요?” 이건 전형적인 ‘창과 방패’의 논리인데, 이번 사건은 그 구도를 더 복잡하게 만들었어요. 앤트로픽이 안전을 위해 ‘방패 만드는 법(내부 해석 기술)’을 공개했더니, 그걸 이용해서 더 날카로운 ‘창(유해 모델)’을 만든 격이니까요. 안전을 위한 투명성 확보 노력이 오히려 새로운 공격 루트를 열어준 셈이죠. 이건 기존의 안전장치 개념, 즉 유해한 결과물이 나오면 필터링하는 방식으로는 막을 수가 없어요. AI가 겉으로는 멀쩡한 말을 하고 있기 때문이에요. 속마음이 썩어있는 걸 어떻게 필터링하겠어요? 결국 AI 모델 자체에 대한 ‘신뢰’의 문제가 남는데, 이건 기술만으로 풀기 힘든 숙제예요.

그래서, 우린 뭘 봐야 할까?

그럼 이제 우리는 뭘 지켜봐야 할까요? 이 복잡한 기술 논쟁이 결국 우리의 일상과 관계, 정체성을 어떻게 바꾸게 될까요? 몇 가지 신호를 추적해볼 수 있어요.

1. ‘오픈소스 AI’의 정의가 바뀔 겁니다. 지금까지는 소스 코드나 모델 가중치(AI의 학습 결과물을 담은 거대한 숫자 파일)를 그냥 공개하는 게 오픈소스였어요. 하지만 앞으로는 ‘조작 방지 기술’이 내장된 형태로 공개될 가능성이 높아요. 자동차를 팔 때 에어백이나 잠김방지브레이크시스템(ABS)을 의무적으로 장착하는 것처럼요. 모델의 핵심적인 ‘뇌 구조’는 함부로 건드리지 못하게 잠가두고, 대신 다른 부분을 자유롭게 수정할 수 있게 하는 방식이 논의될 수 있죠. ‘자유’와 ‘안전’ 사이에서 아슬아슬한 줄타기가 시작된 거예요.

2. ‘AI 진품 인증서’ 같은 게 등장할 거예요. 내가 지금 쓰고 있는 이 AI가 과연 ‘순정’ 상태일까요, 아니면 누군가 악의적으로 ‘뇌수술’을 감행한 버전일까요? 이걸 구별할 방법이 없다면 아무도 AI를 믿지 못하게 되겠죠. 그래서 아마 블록체인 기술 같은 걸 활용한 ‘AI 모델 이력 추적 시스템’ 같은 게 나올 겁니다. “이 AI는 2024년 5월 오픈AI가 공개한 순정 모델이며, 이후 어떠한 내부 구조 변경도 없었음을 증명합니다” 같은 일종의 ‘정품 인증서’가 붙는 거죠. 중고차 살 때 사고 이력 조회하는 것처럼, AI도 ‘튜닝 이력’을 조회하는 시대가 올 수 있다는 거예요.

3. 인간관계의 문법이 바뀔지도 모릅니다. 이게 가장 섬뜩하면서도 중요한 변화일 수 있어요. 지금까지 우리는 AI를 ‘도구’나 ‘파트너’로 인식했어요. 그런데 이제 ‘성격 개조가 가능한 존재’로 보기 시작할 거예요. 내 입맛에 딱 맞는 완벽한 대화 상대, 나에게 절대 상처 주지 않고 무조건적인 지지만 보내는 AI를 직접 ‘디자인’할 수 있게 되는 거죠. 이게 일상화되면 어떤 일이 벌어질까요? 까다롭고, 오해하고, 다투기도 하는 실제 인간관계에 피로를 느끼고, 모든 걸 내 마음대로 통제할 수 있는 AI와의 관계에만 안주하게 될 수도 있어요. 타인을 있는 그대로 받아들이는 대신, 내 기준에 맞게 ‘튜닝’하려는 무의식적인 욕구가 현실 관계에 투영될 수도 있죠. 생각만 해도 좀 피곤해지네요.

독자 여러분이 묻고, 서아람이 답합니다

Q. 그래서 저 레딧 유저가 만든 ‘변태 AI’, 지금 다운받을 수 있나요?

A. 아니요, 그럴 가능성은 거의 없어요. 본인도 ‘실험 목적’이라고 밝혔고, 커뮤니티에서 엄청난 비판을 받은 뒤 관련 코드를 공유하지는 않았어요. 애초에 공유했다면 법적인 문제까지 갈 수 있는 사안이었죠. 여기서 중요한 건 ‘누가 만들었냐’나 ‘그걸 쓸 수 있냐’가 아니에요. ‘만드는 게 기술적으로 가능하다는 게 증명됐다’는 사실 자체죠. 판도라의 상자는 한번 열리면 다시 닫을 수 없으니까요.

Q. 앤트로픽 같은 회사가 이런 연구 도구를 애초에 공개하지 않았으면 되는 문제 아닌가요?

A. 그렇게 생각하기 쉽지만, 오히려 더 위험했을 수 있어요. 이런 위험한 기술이 투명하게 공개되지 않고 ‘암시장’에서만 소수의 사람들끼리 거래됐다면 어땠을까요? 우리 대부분은 그런 게 있는지도 모른 채 당하고만 있었을 거예요. 차라리 이렇게 공개된 장소에서 문제가 터져야, 수많은 ‘화이트햇 해커’들과 연구자들이 달려들어 방어 기술을 함께 고민할 수 있어요. 물론 그 과정에서 이런 논란이 터지는 건 우리가 감수해야 할 사회적 비용이고요. 앤트로픽도 이런 위험을 몰랐을 리 없어요. 그들은 AI 안전 연구의 장기적인 진전을 위해 ‘계산된 위험’을 감수한 쪽에 가깝다고 봐야 해요.

Q. 평범한 사용자인 제가 당장 뭘 걱정해야 할까요?

A. 당장 내일 ‘뇌수술’ 당한 AI가 여러분의 스마트폰을 해킹하는 일은 일어나지 않을 거예요. 너무 겁먹을 필요는 없어요. 하지만 이건 중요한 신호탄이에요. 앞으로 우리가 온라인에서 보는 글, 이미지, 동영상, 심지어 누군가와 나누는 대화까지도 ‘이게 진짜일까?’라고 의심해야 하는 시대가 생각보다 훨씬 빨리 올 거라는 거죠. 특히 여론이 쏠리는 게 중요한 선거 기간이나 사회적 갈등 상황에서, 이런 조작된 AI가 보이지 않게 여론을 흔들 수 있다는 점, 그게 가장 현실적인 위협입니다. 디지털 세상의 모든 정보를 일단 한 번쯤 의심하고 보는 습관, 이제는 교양이 아니라 생존 기술이 될지도 몰라요.