AI '안전' 논쟁, 사실은 밥그릇 싸움입니다

저도 '위험한' AI를 돌려봤습니다

며칠 전, 제 개인 컴퓨터에다 최신 오픈소스 AI 모델 하나를 설치해봤습니다. 오픈소스란 설계도(소스코드)가 공개되어 누구나 가져다 쓰고 뜯어고칠 수 있는 방식을 말하는데, 요즘은 AI의 핵심인 거대언어모델(LLM)도 이렇게 공개되는 추세입니다. 메타(옛 페이스북)가 공개한 ‘라마(Llama)’ 같은 모델이 대표적이죠. 제가 설치한 것도 라마를 기반으로 누군가 입맛에 맞게 개조한 모델이었습니다.

설치는 생각보다 간단했습니다. 전문가가 아니어도 약간의 구글링 실력만 있으면 하루 안에 끝낼 수 있는 수준입니다. 성능은 어땠을까요? 꽤 놀라웠습니다. 웬만한 유료 AI 서비스 못지않은 글솜씨를 보여줬습니다. 궁금해졌습니다. 소위 ‘안전장치’가 얼마나 허술할까. 그래서 일부러 좀 짓궂은 질문을 던져봤습니다. 특정인의 말투를 흉내 내어 그럴듯한 가짜 편지를 써달라고 시켰습니다. 챗GPT나 앤스로픽의 클로드 같은 상용 서비스라면 “윤리적이지 않은 요청”이라며 단칼에 거절했을 겁니다.

결과는 어땠을까요? 이 오픈소스 AI는 1초도 망설이지 않고 그럴듯한 가짜 편지를 만들어냈습니다. 물론 제가 악의적인 목적으로 쓴 건 아니지만, 섬뜩한 기분이 든 건 사실입니다. 마음만 먹으면 이걸로 누군가를 사칭해 돈을 빌리거나, 가짜뉴스를 만들어 여론을 조작하는 게 불가능하지 않겠다는 생각이 들었기 때문입니다. 바로 이 지점이 최근 AI 업계의 가장 뜨거운 논쟁 거리입니다. 앤스로픽처럼 AI의 위험성을 경고하며 통제된 개발을 외치는 쪽과, 메타처럼 기술의 개방을 통해 혁신을 추구해야 한다는 쪽의 대립 말입니다.

'안전'이라는 이름의 성벽 쌓기

앤스로픽이라는 회사는 유독 ‘안전’을 강조합니다. 이들은 오픈AI에서 ‘인류에게 안전한 AI’를 만들겠다며 갈라져 나온 사람들로 구성된 곳입니다. 이들이 내세우는 대표적인 기술이 ‘헌법적 AI(Constitutional AI)’입니다. 말이 좀 어렵지만, 원리는 간단합니다. AI에게 미국 헌법처럼 절대로 어겨서는 안 되는 기본 원칙들을 미리 가르쳐두는 겁니다. 예를 들어 ‘인간에게 해를 끼치지 마라’, ‘불법적인 활동을 돕지 마라’ 같은 규칙을 AI의 뼈대 깊숙이 심어놓는 거죠. AI가 사용자의 질문에 답을 만들기 전에, 스스로 이 헌법에 위배되지 않는지 검토하고 수정하게 만드는 방식입니다.

이런 회사 입장에서 보면, 누구나 마음대로 가져다 쓸 수 있는 고성능 오픈소스 AI는 재앙의 씨앗처럼 보일 겁니다. 통제 불능의 AI가 세상에 풀리면 어떤 일이 벌어질지 모른다는 불안감입니다. 이들은 구체적으로 이런 위험을 거론합니다.

• 1. 정교한 악성코드 제작: 해킹 경험이 없는 사람도 AI의 도움을 받아 특정 시스템을 공격하는 프로그램을 순식간에 만들 수 있습니다.
• 2. 생화학 무기 개발: AI에게 관련 논문들을 학습시킨 뒤, 새로운 독성 물질을 설계하라고 시키는 시나리오도 더는 영화 속 이야기가 아닙니다.
• 3. 대규모 여론 조작: 진짜와 구분하기 힘든 가짜 뉴스, 이미지, 영상을 무한정 생산해 사회 전체를 혼란에 빠뜨릴 수 있습니다.

이들의 논리는 ‘성벽론’으로 요약할 수 있습니다. 강력한 힘을 가진 기술은 소수의 책임감 있는 전문가들이 높은 성벽 안에서 안전하게 관리해야 한다는 믿음입니다. 성 밖의 ‘야만인’들 손에 들어가 세상이 불바다가 되는 걸 막아야 한다는 사명감이죠. 일견 타당해 보입니다. 누구도 AI가 만든 생화학 무기를 보고 싶지는 않을 테니까요.

40년 전에도 똑같은 싸움이 있었습니다

그런데 이 구도가 어쩐지 낯설지 않습니다. 시간을 40년 전쯤으로 돌려보면, 소프트웨어 개발 업계에서 아주 비슷한 논쟁이 있었습니다. 바로 ‘케이스(CASE) 도구’의 등장입니다.

CASE는 ‘컴퓨터 지원 소프트웨어 공학(Computer-Aided Software Engineering)’의 약자입니다. 이름은 거창하지만, 쉽게 말해 ‘프로그래밍을 자동화해주는 비싼 소프트웨어’였습니다. 당시 프로그래머들이 C언어 같은 날것의 도구로 코드를 짜다 보니 버그도 많고 개발 속도도 들쭉날쭉했습니다. 그러자 몇몇 기업들이 “우리가 만든 이 도구를 쓰면, 복잡한 코딩 없이 그림을 그리듯 프로그램을 ‘설계’만 하면 알아서 코드가 뚝딱 나온다. 버그도 없고 안전하다”고 주장하며 나섰습니다.

이 CASE 도구의 철학은 지금의 ‘폐쇄형 AI’ 진영과 놀랍도록 닮았습니다. 개발자의 자유분방함을 위험 요소로 보고, 중앙에서 통제하는 표준화된 도구로 ‘안전하고 예측 가능한’ 개발을 하자는 것이었죠. 하지만 결과는 어땠을까요? CASE 도구는 처참히 실패했습니다. 너무 비싸고, 경직적이었으며, 무엇보다 현장의 변화 속도를 따라가지 못했습니다. 개발자들은 값비싼 CASE 도구 대신, 자유롭지만 때로는 위험한 C언어와 유닉스(Unix) 운영체제, 그리고 이후에 등장한 수많은 오픈소스 라이브러리를 선택했습니다. 혼란스럽고 비효율적으로 보였던 그 ‘개방형 생태계’가 결국 세상을 지배하고 오늘날의 인터넷과 스마트폰을 만들어냈습니다.

역사는 반복되는 걸까요? 앤스로픽과 같은 폐쇄형 AI 진영은 새로운 CASE 도구를 만들고 있는 것일지도 모릅니다. 반면 메타의 라마 같은 오픈소스 AI는 새로운 C언어와 유닉스의 역할을 하고 있습니다. 어느 쪽이 결국 살아남을지는 아직 알 수 없지만, 역사는 개방성과 자율성의 손을 들어준 경우가 많았습니다.

'위험'의 실체와 흔한 오해들

물론 40년 전과 지금은 위험의 스케일이 다릅니다. C언어로 만든 프로그램에 버그가 좀 있다고 인류가 멸망하지는 않지만, AI가 설계한 바이러스는 정말 그럴 수도 있으니까요. 하지만 이 ‘위험’이라는 것을 좀 더 차분히 들여다볼 필요가 있습니다. 여기에는 몇 가지 흔한 오해가 존재합니다.

오해 1: “오픈소스 AI가 풀리면, 동네 중학생도 핵무기 설계도를 얻게 될 것이다.”

이는 과장입니다. 고성능 오픈소스 모델을 실제로 다운받아 ‘추론(inference, AI가 질문에 답을 생각하는 과정)’을 실행하는 것만으로도 수백, 수천만 원짜리 고성능 그래픽카드(GPU)가 여러 장 필요합니다. 모델을 입맛에 맞게 ‘파인튜닝(fine-tuning, 추가 학습으로 AI를 특정 분야에 맞게 개조하는 것)’하려면 비용은 훨씬 더 불어납니다. 즉, 오픈소스는 기술 접근의 문턱을 낮추는 것이지, 없애는 게 아닙니다. 동네 식당 주방장에게 미쉐린 3스타 레시피를 쥐여준다고 해서, 당장 똑같은 요리가 나오는 게 아닌 것과 같습니다. 물론, 그중 몇몇 재능 있고 돈 많은 주방장은 결국 비슷한 맛을 내는 데 성공하겠죠. 바로 그 지점이 문제입니다만, 적어도 ‘누구나’ 위험한 AI를 만들 수 있다는 건 현실과 다릅니다.

오해 2: “폐쇄형 AI는 성벽 안에 있으니 안전하다.”

과연 그럴까요? 성벽은 외부의 적을 막아줄지는 몰라도, 내부의 배신자나 무능한 지도자에게는 취약합니다. 폐쇄형 모델을 개발하는 회사에 악의를 품은 직원이 있다면 얼마든지 기술을 유출하거나 악용할 수 있습니다. 국가가 나서서 특정 기업의 AI를 해킹하거나, 압력을 넣어 백도어를 심으라고 요구할 수도 있습니다. 더 현실적인 위험은, 기업이 이윤을 위해 ‘안전장치’의 수위를 스스로 낮추는 경우입니다. 경쟁사보다 더 자극적이고 재미있는 답변을 내놓기 위해 슬그머니 기준을 완화하는 식이죠. 폐쇄된 시스템의 ‘안전’은 투명하게 검증될 수 없기에, 그저 ‘그럴 것이라는 믿음’에 불과할 수 있습니다. 마치 회계 감사를 받지 않는 회사의 재무제표처럼 말입니다.

결국 위험은 기술의 개방 여부에만 달린 문제가 아닙니다. 나쁜 마음을 먹은 사람이나 집단은 AI가 오픈소스든 아니든 어떻게든 원하는 것을 만들어낼 겁니다. 오히려 모든 것이 공개된 오픈소스 생태계에서는 전 세계 수많은 개발자들이 ‘매의 눈’으로 잠재적 위험을 찾아내고 함께 해결책을 모색할 수 있습니다. 이를 ‘많은 눈의 원칙(Many-eyes principle)’이라고 합니다. 혼자 몰래 지키는 것보다, 여러 사람이 함께 지킬 때 더 안전할 수 있다는 뜻입니다.

진짜 싸움은 '통제권'을 누가 쥐느냐다

이쯤 되면 ‘안전 대 개방’이라는 구도가 사실은 다른 무언가를 가리기 위한 연막이 아닌가 하는 의심이 듭니다. 저는 이 논쟁의 본질이 고상한 철학 다툼이 아니라, AI라는 거대한 시장의 ‘통제권’을 누가 쥐느냐의 문제라고 봅니다. 더 노골적으로 말하면, ‘밥그릇 싸움’입니다.

앤스로픽, 오픈AI, 구글 같은 폐쇄형 모델 기업들의 핵심 사업 모델은 ‘API(Application Programming Interface)’ 판매입니다. API를 쉽게 비유하면 ‘AI를 빌려 쓰는 수도꼭지’입니다. 우리가 집에서 전기를 쓰기 위해 발전소를 짓지 않고 한국전력에 전기요금을 내는 것처럼, 개발자들은 비싼 AI를 직접 만드는 대신 이들 회사에 API 사용료를 냅니다. 글자 수, 즉 ‘토큰(token, AI가 처리하는 단어 조각 단위)’을 얼마나 썼느냐에 따라 매달 요금이 청구되는, 일종의 ‘AI 월세’ 모델입니다. 이 사업이 유지되려면, 사람들이 월세를 내고서라도 쓸 만큼 매력적인 AI를 독점적으로 제공해야만 합니다.

그런데 메타 같은 회사가 갑자기 “공짜로 쓰세요”라며 월세방 못지않은 근사한 ‘자가 주택(오픈소스 모델)’을 시장에 풀어버린 겁니다. 물론 아직은 자가 주택을 관리(모델 운영)하는 데 돈이 많이 들지만, 기술이 발전할수록 비용은 계속 내려갈 겁니다. 만약 웬만한 기업이나 개발자들이 자기 컴퓨터에 직접 고성능 AI를 설치해 쓸 수 있게 된다면, 누가 비싼 월세를 내고 싶을까요? 폐쇄형 API 비즈니스는 심각한 타격을 입을 수밖에 없습니다.

결국 ‘안전’ 담론은 이 경쟁 구도에서 아주 효과적인 무기가 됩니다. “저들이 푸는 공짜 주택은 사실 부실공사라 언제 무너질지 모릅니다. 위험하니 국가가 나서서 금지해야 합니다. 안전이 검증된 우리 아파트에 계속 월세 내고 사시는 게 현명합니다.” 이런 논리인 셈입니다. 물론 그들의 우려에 진심이 담겨 있다는 점을 부정하진 않습니다. 하지만 그들의 신념이 자신들의 핵심 비즈니스 모델을 지키는 방향과 정확히 일치한다는 점은 우연으로 보기 어렵습니다.

결국, '판단의 값'이 비싸진다

이 싸움의 승자가 누가 될지는 아직 모릅니다. 정부 규제가 변수가 될 수도 있고, 예상치 못한 기술적 돌파구가 나올 수도 있습니다. 하지만 한 가지는 분명합니다. 좋든 싫든, AI 기술은 이제 실험실을 나와 우리 일상 속으로 퍼져나가고 있습니다. 오픈소스가 이 흐름을 더욱 가속화하고 있고요. 이제 와서 이 흐름을 막는 것은 댐을 쌓아 쓰나미를 막으려는 것과 같습니다.

그렇다면 우리에게 남은 것은 무엇일까요? 저는 이 모든 변화가 결국 ‘판단의 값’을 극적으로 끌어올리는 방향으로 귀결될 것이라고 봅니다. AI가 글을 쓰고, 그림을 그리고, 코드를 짜주는 시대에 인간의 역할은 무엇일까요? 바로 그 결과물을 ‘판단’하는 것입니다.

• 프로그래머는 AI가 1초 만에 짜준 코드를 보고, 이 코드가 우리 시스템에 조용히 숨어들어올 보안 위협은 없는지, 장기적으로 유지보수하기에 적합한 구조인지 판단해야 합니다.
• 기자는 AI가 요약해준 보고서를 보고, 이 내용이 특정 관점에 치우치지는 않았는지, 혹시 교묘하게 조작된 정보는 아닌지 판단해야 합니다.
• 우리 모두는 인터넷에서 마주치는 그럴듯한 글과 이미지를 보고, 이것이 사람의 진솔한 경험인지, 아니면 여론을 조작하기 위해 AI가 대량 생산한 콘텐츠인지 판단해야 합니다.

과거에는 정보를 생산하는 능력 자체가 경쟁력이었습니다. 하지만 이제 생산은 AI 덕분에 거의 공짜가 되어가고 있습니다. 대신, 그 생산물의 진위, 가치, 위험을 분별하는 ‘판단’의 가치가 천정부지로 치솟고 있습니다. AI는 판단을 자동화해주지 않습니다. 오히려 판단해야 할 것들을 폭발적으로 늘려, 우리 판단의 값을 더욱 비싸게 만들 뿐입니다. AI를 통제해야 한다는 목소리가 커질수록, 역설적으로 AI를 제대로 판단하는 능력은 더 중요해지고 있습니다. 앞으로의 시대는 ‘AI를 잘 쓰는 사람’이 아니라, ‘AI의 결과물을 잘 의심하고 판단하는 사람’이 지배하게 될 겁니다.

독자가 던질 법한 질문들

Q. 앤스로픽의 주장이 결국 자기들 사업을 지키려는 변명이라는 뜻인가요? A. 전적으로 그렇다고 단정할 순 없습니다. 진심으로 AI의 미래를 걱정하는 똑똑하고 선의를 가진 사람들이 모인 곳이니까요. 하지만 어떤 집단이든 자신의 생존 논리와 신념을 완벽하게 분리하기는 어렵습니다. 그들이 외치는 ‘안전’이라는 신념이, 그들의 핵심 사업인 ‘API 월세 모델’의 생존 방식과 정확히 일치한다는 점은 우리에게 많은 것을 생각하게 합니다.

Q. 그래도 생화학 무기 설계 같은 극단적 위험은 막아야 하지 않나요? 오픈소스를 법으로 막는 게 유일한 길 아닌가요? A. 좋은 질문입니다. 하지만 우리는 자동차가 사람을 죽일 수 있다고 해서 자동차를 금지하지 않습니다. 대신 면허 제도, 신호등, 안전벨트, 음주운전 단속 같은 다층적인 사회적, 기술적 안전장치를 만듭니다. 강력한 AI 모델에 출처를 증명하는 ‘디지털 워터마크’를 의무적으로 새기거나, 모델을 훈련하고 운영하는 데 필요한 막대한 컴퓨팅 자원을 추적 관리하는 등 다른 방식의 규제도 충분히 논의할 수 있습니다. 특정 기술 자체를 금지하는 방식은 역사적으로 대부분 실패했습니다. 나쁜 마음을 먹은 사람은 어떻게든 방법을 찾기 때문입니다. 차라리 기술을 투명하게 공개하고 다 함께 감시하며 대응책을 만들어가는 편이 현실적인 대안일 수 있습니다.

Q. 개발자로서, 혹은 일반 사용자로서 이 흐름에 어떻게 대처해야 하나요? A. 둘 다 써봐야 합니다. 앤스로픽이나 챗GPT 같은 폐쇄형 API는 편리하고 안정적이지만, 내 데이터가 어디로 가는지, 왜 그런 편향된 답변을 하는지 알 수 없는 ‘블랙박스’입니다. 편리한 월세 아파트와 같죠. 반면 오픈소스 모델은 내 컴퓨터에 직접 설치해야 해서 번거롭고 때로는 말썽을 부리지만, 모든 것을 내 통제하에 둘 수 있습니다. 손볼 곳 많은 자가 주택과 같습니다. 정답은 없습니다. 각자의 장단점을 직접 겪어보고, 내가 하려는 일의 성격에 맞춰 ‘이 AI를 어디까지 믿을 수 있는가’를 스스로 판단하는 능력을 기르는 것이 중요합니다. 결국 모든 것은 당신의 선택과 책임의 문제입니다.