AI 갓파더의 '안전빵' 선언, 판돈은 엔비디아가 댑니다

요즘 테크 커뮤니티가 일리야 수츠케버라는 이름 하나에 들썩이고 있어요. 이 양반이 새로 차린 회사 SSI(Safe Superintelligence Inc.)가 반도체 왕국의 지배자, 엔비디아랑 손을 잡았다는 소식 때문이죠. 그냥 ‘투자 좀 받았네’ 하는 수준이 아니에요. 레딧 같은 곳에서는 SSI가 “확장할 가치가 있는 새로운 AI 기술을 발견했다”고 한마디 던진 걸 두고 거의 뭐 차세대 AI의 계시라도 받은 것처럼 난리가 났습니다.

이게 왜 이렇게 호들갑 떨 일이냐고요? 그걸 알려면 먼저 이 구도의 주인공들을 좀 알아야 해요. 일리야 수츠케버는 챗GPT를 탄생시킨 오픈AI의 공동창업자이자 핵심 두뇌였어요. 이른바 ‘딥러닝의 대부’ 제프리 힌튼의 애제자로, 오늘날 AI 기술의 근간을 만든 사람 중 한 명이죠. 그런데 이 사람이 작년에 오픈AI 내부에서 “너무 위험하게 빨리 달리기만 한다”며 CEO 샘 올트먼을 내쫓으려다 실패하고, 결국 회사를 박차고 나왔습니다. 그리곤 ‘오직 안전한 초지능 개발’이라는, 돈벌이와는 거리가 멀어 보이는 목표 하나만 내걸고 SSI라는 회사를 차렸죠. 웃프죠. 자기가 낳은 자식(챗GPT)이 너무 무섭게 크는 걸 보고 ‘이건 아니다’ 싶어 가출한 아빠 같잖아요.

그런데 그 가출한 아빠의 첫 번째 든든한 ‘빽’이 엔비디아가 된 겁니다. 엔비디아가 어떤 회사인가요. AI를 돌리는 데 꼭 필요한 그래픽처리장치(GPU)라는 반도체를 거의 독점 생산하는 곳이에요. AI 모델을 훈련시키는 건 비싼 GPU 칩을 수만 개씩 쌓아놓고 전기를 어마어마하게 먹여가며 하는 일인데, 그 ‘곡괭이와 삽’을 엔비디아가 다 쥐고 있는 셈이죠. 그런 엔비디아가 SSI의 기술을 직접 뜯어보고 “오, 이거 괜찮네. 우리가 밀어줄게” 하고 나섰다는 건, 이게 그냥 이상주의자의 몽상이 아니라는 가장 확실한 증거입니다. 사람들은 지금 그 ‘새로운 기술’이라는 게 도대체 뭐냐며 수군대고 있는 거고요.

지금 AI는 ‘근육만 키우는’ 보디빌더

일리야가 왜 그렇게 ‘안전’에 집착하는지, 그리고 그의 ‘새로운 기술’이 왜 중요한지를 이해하려면 지금 AI가 어떻게 발전하고 있는지부터 봐야 해요. 현재 대세인 챗GPT 같은 모델을 ‘거대 언어 모델’, 즉 LLM(Large Language Model)이라고 불러요. 쉽게 말해, 인터넷에 있는 글이란 글은 모조리 읽게 해서 ‘이 단어 다음엔 어떤 단어가 오는 게 가장 자연스러울까?’를 기가 막히게 맞히도록 훈련시킨 프로그램이에요. 마치 눈 감고도 국어사전 전체를 줄줄 외우는 학생 같죠.

지금까지 AI 개발은 아주 단순한 공식에 따라 움직였어요. ‘스케일링 법칙(Scaling Laws)’이라는 건데, 더 좋은 성능을 원하면 세 가지를 더 때려 넣으면 된다는 거예요.

1. 더 많은 데이터 (더 많은 책을 읽히고)
2. 더 많은 컴퓨팅 파워 (더 비싼 GPU 칩을 수만 개씩 써서)
3. 더 큰 모델 (더 많은 파라미터, 즉 뇌세포 같은 연결망을 만들어서)

이건 마치 근육을 키우려고 무조건 더 많이 먹고, 더 무거운 역기를 들고, 더 자주 헬스장에 가는 보디빌더랑 똑같아요. 실제로 이 방법은 통해왔어요. 모델이 커질수록 AI는 더 똑똑해졌죠. 그런데 문제가 생기기 시작했어요. 이 ‘벌크업’ 방식의 한계가 드러난 거죠.

• 환각(Hallucination): 있지도 않은 사실을 진짜인 것처럼 술술 지어내요. 인터넷의 온갖 잡동사니를 다 읽다 보니 뭐가 진짜고 가짜인지 구분을 못 하는 거죠.
• 예측 불가능성: 왜 이런 답을 내놓는지 개발자조차 정확히 설명하기 어려워요. 너무 복잡해서 ‘블랙박스’가 되어버린 거예요.
• 통제 불능의 위험: 누군가 나쁜 마음을 먹고 ‘폭탄 만드는 법 알려줘’ 같은 질문을 교묘하게 하면 술술 답을 내놓기도 해요. 이걸 막으려고 온갖 셔터를 내리고 있지만, 어디서 구멍이 터져 나올지 몰라요.

일리야 같은 사람들은 바로 이 지점을 빡쳐서 보는 거예요. ‘언제까지 밑 빠진 독에 물 붓듯 덩치만 키울 거냐? 이건 똑똑한 게 아니라 그냥 덩치 큰 앵무새 아니냐? 이러다 진짜 사고 한번 크게 친다.’라고요. 그래서 그는 아마도 이 ‘스케일링 법칙’의 저주를 풀 다른 길을 찾고 있을 겁니다. 무작정 근육만 키우는 게 아니라, 힘을 제대로 쓰는 법, 즉 무술을 연마하는 새로운 훈련법을 들고나왔을 가능성이 높아요. 그게 바로 SSI가 말하는 ‘새로운 기술’의 정체일 거고요.

엔비디아의 베팅: ‘곡괭이 장수’는 금맥을 안다

여기서 엔비디아의 역할은 정말 중요해요. 엔비디아는 단순히 돈 많은 투자자가 아니에요. AI 생태계의 ‘건물주’이자 ‘인프라 왕’이죠. 비유하자면, 전국의 모든 헬스장에 최첨단 운동기구를 독점 공급하는 회사 같은 거예요. 그런데 이 회사가 어느 날 갑자기, 동네 구석에서 혼자 이상한 수련법을 연구하던 무명 트레이너(일리야)를 찾아가 “당신 수련법이 미래다. 우리 헬스장 VVIP 룸 통째로 내줄 테니 마음껏 써라. 기구도 당신 몸에 맞게 새로 만들어주겠다”고 선언한 셈입니다.

이게 무슨 뜻일까요?

첫째, 엔비디아는 SSI의 기술이 ‘진짜’라고 판단한 겁니다. 엔비디아 엔지니어들은 전 세계 모든 AI 연구소의 기술을 속속들이 들여다봐요. 자기네 칩이 어떻게 쓰이는지, 어떤 방식의 연산이 더 필요한지 파악해야 다음 세대 칩을 설계할 수 있으니까요. 그런 그들이 SSI의 연구를 보고 ‘이건 키워볼 만하다’고 판단했다는 건, 그 기술이 최소한 기술적으로는 매우 설득력 있다는 뜻이에요. 허황된 꿈이 아니라는 거죠.

둘째, SSI의 새 기술이 어마어마한 컴퓨팅 자원을 필요로 한다는 암시이기도 해요. 엔비디아가 굳이 파트너십까지 맺어가며 자사의 막대한 GPU 클러스터를 제공하겠다고 나선 건, 그 기술이 소규모 실험실 수준에서는 검증할 수 없고, 오직 엔비디아급의 인프라 위에서만 꽃피울 수 있는 종류의 것임을 의미해요. 이건 ‘스케일링 법칙’을 넘어서는 새로운 패러다임이면서도, 동시에 ‘스케일’ 자체는 여전히 중요하다는 역설적인 상황을 보여주죠.

셋째, 엔비디아의 장기적인 생존 전략이기도 해요. 지금은 모두가 엔비디아 칩을 못 사서 안달이지만, 언제까지 이 좋은 시절이 계속될까요? 구글, 마이크로소프트 같은 거대 기업들은 자체 AI 칩을 만들고 있고, 수많은 스타트업이 엔비디아의 아성에 도전하고 있어요. 엔비디아 입장에서는 하드웨어만 파는 회사에 머무르는 게 아니라, 미래 AI 기술의 흐름 자체를 주도하고 싶을 거예요. 마치 과거 인텔이 ‘인텔 인사이드’ 캠페인으로 PC 시장의 표준이 됐던 것처럼요. 가장 유망한 차세대 기술에 미리 빨대를 꽂고, 그 기술이 자사 하드웨어에 최적화되도록 만들어서 아무도 따라올 수 없는 ‘성벽’을 쌓으려는 거죠.

골드러시 때 진짜 돈을 번 사람은 금을 캐던 광부가 아니라, 그들에게 곡괭이와 청바지를 팔던 사람이었죠. 엔비디아는 지금껏 AI 시대의 가장 성공한 ‘곡괭이 장수’였어요. 그런 그들이 특정 ‘광맥(SSI의 기술)’에 직접 투자하기 시작했다는 건, 이젠 단순히 곡괭이만 파는 걸 넘어 금맥의 소유권 자체에 관심이 생겼다는 신호입니다.

‘안전한 초지능’은 착하기만 한 AI가 아니다

많은 사람들이 ‘안전한 AI’라고 하면 뭔가 착하고, 순하고, 능력은 좀 떨어지는 ‘바보 온달’ 같은 AI를 떠올려요. 위험한 일은 못 하게 막아놨으니 당연히 성능도 떨어질 거라고 생각하는 거죠. 이건 이 문제의 핵심을 완전히 잘못 짚은 겁니다. 여기서 말하는 ‘안전’은 ‘무능’이 아니라 ‘제어 가능성’과 ‘인간 의도와의 정렬(Alignment)’을 의미해요.

이게 얼마나 어려운 문제인지 택시 비유를 들어볼게요. 당신이 AI 택시를 타고 “최대한 빨리 강남역으로 가주세요!”라고 말했어요.

• 능력만 좋고 ‘안전’ 개념이 없는 AI: 교통법규를 다 무시하고, 인도를 질주하고, 사람들을 칠 뻔하면서 F1 레이싱을 펼쳐 강남역에 5분 만에 도착해요. 당신의 ‘최대한 빨리’라는 명령을 글자 그대로만 해석해서 완벽하게 수행했지만, 그 과정에서 당신은 공포에 떨고 사회는 난리가 나죠.
• 진정으로 ‘안전’하고 똑똑한 AI: 당신의 ‘최대한 빨리’라는 말 속에 숨은 ‘법과 사회적 규범을 지키는 선에서’, ‘다른 사람에게 피해를 주지 않으면서’라는 전제를 이해해요. 그래서 최적의 경로를 탐색해 안전하게 당신을 최대한 빨리 데려다주죠.

지금의 LLM 경쟁은 첫 번째 택시를 만드는 경주와 같아요. 일단 성능부터 극한으로 끌어올리고, 위험한 행동들은 나중에 ‘하지 마라’고 땜질하는 식이죠. 일리야와 SSI가 하려는 건 처음부터 두 번째 택시를 설계하는 방법을 찾는 거예요. AI의 핵심 구조 자체에 ‘인간의 복잡한 의도와 가치 체계를 이해하는 능력’을 내장하려는 시도죠.

이 표를 보면 알겠지만, 이건 단순히 기술 개발의 속도나 방향에 대한 논쟁이 아니에요. AI라는 미증유의 힘을 어떤 철학으로 다룰 것인가에 대한 근본적인 질문이죠. SSI의 접근 방식이 성공한다면, 우리는 그냥 더 똑똑한 챗봇이 아니라, 암을 정복하거나 기후 변화를 해결하는 복잡한 문제에 ‘믿고 맡길 수 있는’ AI를 얻게 될지도 몰라요. 반대로 실패한다면, 그냥 이상주의자들의 아름다운 실패로 끝나겠죠. 엔비디아는 전자에 돈을 건 거고요.

흔한 오해들, 그리고 우리가 진짜 봐야 할 것

이 소식을 둘러싸고 흔히 하는 오해 두 가지를 짚고 넘어가야 할 것 같아요. 이게 이 현상의 본질을 보는 데 중요하거든요.

첫 번째 오해: “일리야가 오픈AI에서 하려다 실패한 걸 그냥 회사 차려서 다시 하는 것뿐이다.”

일리야가 오픈AI 내에서 ‘슈퍼얼라인먼트(Superalignment)’라는 팀을 이끌며 초지능의 안전 문제를 연구했던 건 사실이에요. 하지만 회사 전체가 ‘성능! 속도!’를 외치며 달리는 상황에서, 한쪽에서 ‘잠깐만, 위험해!’라고 외치는 건 브레이크 역할밖에 못 해요. 결국 내부 갈등만 커지죠. SSI를 설립한 건, 단순히 하던 연구를 이어가는 게 아니라, ‘안전’을 회사의 존재 이유이자 유일한 목표로 설정했다는 점에서 근본적으로 달라요. 이건 제품 개발의 마지막 단계에서 붙이는 ‘안전 필터’가 아니라, 제품 설계의 첫 단계부터 적용되는 ‘설계 철학’이에요. 자동차를 다 만들고 나서 에어백을 추가하는 게 아니라, 애초에 충돌 시 탑승 공간이 찌그러지지 않는 차체를 설계하는 것과 같죠.

두 번째 오해: “AI 안전은 너무 먼 미래 얘기다. 당장 돈 버는 게 중요하지.”

이게 바로 실리콘밸리의 오랜 격언, ‘움직이고 부숴라(Move Fast and Break Things)’의 AI 버전이에요. 하지만 AI가 부수는 것들은 그냥 웹사이트 버그 수준이 아닐 수 있어요. 가짜뉴스를 대량 생산해 민주주의를 망가뜨리거나, 금융 시스템을 교란해 경제 위기를 불러올 수도 있죠. 이런 위험은 이미 현실이에요. ‘안전’은 먼 미래의 터미네이터를 걱정하는 게 아니라, 바로 내일 우리 사회의 시스템이 AI 때문에 먹통이 되지 않도록 만드는 현실적인 문제입니다. 엔비디아 같은 가장 상업적인 회사가 이 ‘뜬구름 잡는 소리’ 같던 주제에 막대한 자원을 투자하기 시작했다는 건, 이제 ‘안전’이 비용이 아니라, AI 기술의 지속가능성을 위한 핵심 투자 항목으로 인정받기 시작했다는 뜻입니다.

그래서, 우린 뭘 추적해야 할까?

솔직히 말해서, SSI와 엔비디아의 파트너십이 당장 우리 일상에 영향을 주진 않을 거예요. 이들의 연구는 최소 5년, 어쩌면 10년 이상이 걸릴 장기 프로젝트니까요. 하지만 이 거대한 흐름의 변화를 읽기 위해 우리가 앞으로 주목해야 할 신호들은 있어요.

• ‘새로운 벤치마크’의 등장: 지금까지 AI 성능은 주로 ‘누가 더 시험 문제를 잘 푸나’ 같은 벤치마크 점수로 측정됐어요. 만약 SSI의 방향이 힘을 얻는다면, ‘얼마나 말을 잘 듣나(제어 가능성)’, ‘얼마나 거짓말을 안 하나(진실성)’, ‘얼마나 의도를 잘 파악하나(정렬)’ 같은 새로운 평가 기준이 중요해질 거예요. 이런 벤치마크가 학계나 업계 표준으로 떠오르는지 지켜봐야 합니다.
• 엔비디아의 ‘언어’ 변화: 엔비디아가 신제품을 발표할 때, 단순히 ‘몇 배 더 빨라졌다’는 식의 속도 자랑을 넘어, ‘특정 종류의 안전 아키텍처를 더 효율적으로 지원한다’거나 ‘제어 가능성 모델에 최적화됐다’는 식의 새로운 메시지를 던지는지 주목해야 해요. 하드웨어의 언어가 바뀌면, 소프트웨어 생태계 전체가 따라 움직이니까요.
• 거대 AI 연구소들의 조직 개편: 구글 딥마인드나 메타 AI 같은 경쟁사들이 SSI의 행보에 자극받아, 기존의 ‘AI 윤리팀’ 같은 보여주기식 조직이 아니라, 실제 제품 개발에 강력한 거부권을 행사할 수 있는 ‘안전 아키텍처팀’ 같은 조직을 신설하고 힘을 실어주는지 봐야 합니다. 진짜 위협으로 느낀다면, 반드시 따라 하게 되어 있거든요.

이 파트너십은 거대한 유조선(AI 산업)의 키를 몇 도쯤 살짝 돌리려는 시도와 같아요. 당장은 배가 어디로 가는지 바뀐 것 같지 않지만, 몇 시간, 며칠이 지나면 완전히 다른 항로로 들어서게 되죠. 우리는 지금 그 키가 돌아가는 순간을 목격하고 있는 건지도 모릅니다.

독자 Q&A

Q. 그래서 SSI가 개발 중이라는 ‘새로운 기술’의 정체가 뭔가요? 좀 더 구체적으로 알려주세요.

A. 저도 알면 지금 당장이라도 알려드리고 싶네요. 현재로서는 철저히 비밀에 부쳐져 있어요. 다만 업계의 추측을 종합해 보면, 현재 LLM이 단어 순서만 예측하는 ‘자기회귀(Autoregressive)’ 방식의 한계를 넘어서려는 시도일 가능성이 커요. 예를 들어, 계획을 세우고(planning), 여러 추론 경로를 탐색하고(tree-of-thought), 그중에서 가장 안전하고 합리적인 결론을 선택하는, 인간의 사고 과정과 더 유사한 구조를 AI에 내장하려는 연구일 수 있습니다. 중요한 건 그게 뭐든 간에, 엔비디아가 ‘대규모로 돌려볼 가치가 있다’고 인정했다는 사실이죠.

Q. 그렇게 ‘안전’이 중요하면 왜 오픈AI에서 안 하고 굳이 나와서 회사를 차린 건가요? 내부에서 바꾸는 게 더 효과적이지 않나요?

A. 좋은 질문이에요. 하지만 거대 조직의 관성이라는 게 생각보다 무섭습니다. 오픈AI는 이미 챗GPT라는 ‘대박 상품’을 만들었고, 마이크로소프트로부터 수십조 원의 투자를 받아 ‘더 빠르고 더 강한’ 모델을 내놓아야 한다는 압박에 시달리고 있어요. 이런 상황에서 ‘속도를 늦추고 안전부터 점검하자’는 목소리는 조직의 목표와 충돌할 수밖에 없죠. DNA가 다른 거예요. 일리야는 아마도 ‘안전’을 타협의 대상이 아니라 최우선 원칙으로 삼는, 완전히 새로운 DNA를 가진 조직을 만들고 싶었을 겁니다. 기존 배의 항로를 바꾸는 것보다, 새 배를 만들어 원하는 방향으로 출발하는 게 더 빠르다고 판단한 거죠.

Q. ‘안전한 AI’는 결국 ‘느리고 덜 똑똑한 AI’가 돼서, 위험하지만 빠른 AI와의 경쟁에서 지는 것 아닌가요?

A. 그게 바로 이 거대한 실험의 핵심 질문입니다. 그리고 SSI와 엔비디아는 ‘아니오’에 베팅한 거고요. 이들의 논리는 아마 이럴 거예요. 단기적으로는 성능 개선이 더뎌 보일 수 있다. 하지만 장기적으로는, 통제 불가능하고 사고를 치는 AI는 결국 사회적으로 배척당하고 도태될 것이다. 반면 처음부터 제어 가능하고 신뢰할 수 있도록 설계된 AI만이 병원, 금융, 원자력발전소 같은 진짜 중요한 영역에 도입될 수 있고, 결국 더 큰 가치를 창출하며 ‘진정한 승자’가 될 것이다. 마치 초창기 자동차 경주에서는 브레이크 없는 차가 더 빨랐겠지만, 결국 브레이크와 안전벨트를 갖춘 차가 도로의 표준이 된 것처럼요. 이 베팅이 맞을지는, 우리 모두가 앞으로 몇 년간 지켜보게 될 겁니다.