트럼프의 '초지능'과 실리콘밸리의 '셀프 규제', 고양이에게 맡긴 생선 가게의 미래

최근 흥미로운 AI 서비스를 하나 테스트해봤습니다. 복잡한 해외 논문을 넣으면 핵심만 요약해준다는 물건이었습니다. 결과요? 그럴듯했지만, 결정적인 숫자와 출처를 제 마음대로 지어냈더군요. 이걸 믿고 보고서에 썼다가는 망신은 둘째치고 프로젝트 전체가 흔들릴 뻔했습니다. 이처럼 AI는 아직 사소한 판단도 위태로운데, 세상은 온통 '초지능'이니 '특이점'이니 하는 거창한 이야기뿐입니다.

급기야 도널드 트럼프 전 대통령까지 AI 기업 총수들을 불러 모아놓고 '초지능'의 위험을 논했다고 합니다. 불과 얼마 전까지 AI 안전 문제를 '민주당의 조작'이라던 사람이 말입니다. 정치인의 말바꾸기는 새로울 것 없지만, 이 장면은 AI가 이제 기술의 영역을 떠나 정치와 권력의 한복판으로 들어왔음을 보여주는 상징적인 사건입니다. 그리고 이 논의의 핵심에는 어김없이 '자율 규제'라는 단어가 등장합니다. 기업들이 스스로 알아서 잘하겠다는 약속, 정부는 그걸 믿고 지켜봐 주겠다는 그림입니다. 과연 이 약속을 믿어도 되는 걸까요. 결론부터 말하자면, 저는 고양이에게 생선 가게를 맡기는 것보다 나을 게 없다고 봅니다.

'자율 규제'의 작동 방식, 혹은 작동하지 않는 방식

'자율 규제'라는 말은 근사하게 들립니다. 기업들이 자발적으로 윤리 위원회를 만들고, AI 개발 원칙을 발표하고, 안전 보고서를 내놓겠다는 것입니다. 정부가 법으로 윽박지르기 전에 스스로 채찍질하며 건전한 생태계를 만들겠다는 선언처럼 보입니다. 하지만 엔지니어의 시선으로 한 꺼풀만 벗겨보면, 이 구조는 애초에 제대로 작동하기 어렵게 설계되어 있습니다.

핵심은 이해상충입니다. 기업의 제1 목표는 이익 창출입니다. 예를 들어 소셜미디어 회사의 AI 알고리즘을 생각해 봅시다. 이 AI의 목표는 단 하나, 사용자가 앱에 더 오래 머물게 하는 것입니다. 이를 위해선 어떻게 해야 할까요? 더 자극적이고, 더 분열적이고, 더 눈길을 끄는 콘텐츠를 계속해서 추천해야 합니다. 그 결과 사회적 갈등이 깊어지든 가짜뉴스가 퍼지든, 그건 AI의 평가 지표에 들어가지 않습니다. 엔지니어들은 '참여율(engagement)'이라는 지표를 높이라는 임무를 받고, 그에 맞춰 알고리즘을 최적화할 뿐입니다.

이런 상황에서 회사가 '자율 규제'를 한다며 윤리 위원회를 연다고 합시다. 위원회는 분기마다 모여 '알고리즘의 사회적 영향'에 대해 논의하고 보고서를 낼 겁니다. 하지만 그 보고서가 회사의 핵심 비즈니스 모델, 즉 '참여율 극대화'라는 목표 자체를 바꿀 수 있을까요? 천만에요. 그건 마치 월세 수입으로 먹고사는 건물주에게 '세입자들의 주거 안정을 위해 월세를 자발적으로 내리라'고 권고하는 것과 같습니다. 듣기 좋은 말이지만, 자신의 이익과 정면으로 배치되는 권고를 꾸준히 따를 사람은 없습니다.

결국 기업의 자율 규제란 이런 식입니다.

1. 문제가 터진다: AI가 편향된 결과를 내놓거나, 가짜뉴스를 확산시켜 사회적 비판에 직면합니다.
2. '자율 규제'를 약속한다: CEO가 직접 나서서 '책임을 통감한다'며 'AI 윤리 원칙' 같은 것을 발표합니다. 외부 전문가 몇 명을 영입해 자문단도 꾸립니다.
3. 시간을 번다: 대중의 관심이 식고, 정부의 본격적인 규제 논의가 흐지부지될 때까지 내부 보고서를 만들고 몇몇 안전 기능을 추가하는 시늉을 합니다. 핵심 비즈니스 모델은 절대 건드리지 않습니다.
4. 다시 문제가 터진다: 1번으로 돌아갑니다. 이 순환이 반복됩니다.

이것은 기업이 악해서가 아닙니다. 이익을 추구해야 하는 기업이라는 시스템의 본질적 속성입니다. 따라서 시스템 외부의 강제력, 즉 법과 제도를 통한 규제 없이는 근본적인 변화를 기대하기 어렵습니다.

4세대 언어와 CASE 도구의 데자뷔

지금의 AI 광풍과 '자율 규제' 논의를 보고 있으면, 저는 1980년대와 90년대 소프트웨어 업계를 휩쓸었던 'CASE 도구' 유행이 떠오릅니다. CASE(Computer-Aided Software Engineering)는 말 그대로 컴퓨터의 도움을 받아 소프트웨어 개발을 자동화하는 도구입니다. 당시 컨설팅 회사와 도구 판매 업체들은 '이제 코딩의 시대는 끝났다'고 선언했습니다. 개발자가 없어도, 현업 담당자가 마우스 클릭 몇 번으로 정교한 프로그램을 뚝딱 만들어낼 수 있는 시대가 온다고 했습니다.

결과는 어땠을까요? 수많은 기업이 비싼 돈을 주고 CASE 도구를 도입했지만, 대부분 창고에서 먼지만 쌓이는 신세가 됐습니다. 이 도구들은 너무 복잡하고 비쌌으며, 정작 만들 수 있는 프로그램은 지극히 단순하고 정형화된 것에 불과했습니다. 조금이라도 복잡한 비즈니스 논리를 구현하려면 결국 숙련된 개발자가 처음부터 코드를 짜는 게 훨씬 빨랐습니다. '코딩 없는 개발'이라는 구호는 허상이었던 겁니다.

최근 몇 년간 유행한 '노코드(No-Code)'나 '로우코드(Low-Code)' 플랫폼도 마찬가지입니다. 간단한 웹사이트나 내부 관리용 앱 정도는 코딩 없이 만들 수 있게 해준 훌륭한 도구입니다. 저도 간단한 프로토타입을 만들 때 즐겨 씁니다. 하지만 이들 역시 '개발자 없는 세상'을 만들지는 못했습니다. 정해진 틀을 벗어나는 기능을 추가하거나, 대규모 사용자를 감당해야 하거나, 다른 시스템과 복잡하게 연동해야 하는 순간, 어김없이 전문 개발자의 손길이 필요해집니다.

AI를 둘러싼 지금의 논의도 정확히 같은 패턴을 보입니다. '초지능'이라는 말로 환상을 부풀리고, '자율 규제'라는 말로 책임을 회피합니다. CASE 도구 업체들이 '우리 도구만 쓰면 모든 게 해결된다'며 규제의 필요성을 일축했던 것처럼, 지금의 AI 기업들도 '우리가 가장 잘 아니 우리에게 맡겨달라'고 말합니다. 하지만 과거의 역사가 보여주듯, 기술은 만병통치약이 아니며 기술을 만든 자의 선의에만 기댈 때 그 결과는 늘 실망스러웠습니다.

고양이에게 생선 가게를 맡길 수 없는 이유

AI 기업들이 자율 규제를 제대로 할 수 없는 가장 근본적인 이유는 '이해상충' 때문이라고 말씀드렸습니다. 조금 더 구체적인 비교를 통해 이 문제를 명확히 해보겠습니다. 우리가 신뢰하는 대부분의 안전장치는 외부의 강제 규제에서 비롯됐습니다. 자동차 회사가 자발적으로 에어백을 달고 안전벨트를 의무화하지 않았습니다. 정부가 법으로 강제하고, 충돌 테스트 결과를 투명하게 공개하도록 압박했기 때문입니다.

이 표가 모든 것을 말해줍니다. 업계의 자율 규제는 '캠페인'에 가깝습니다. 좋은 의도를 보여주고 사회적 책임을 다하는 듯한 인상을 주지만, 실제 구속력이나 강제력은 거의 없습니다. 반면 법과 제도에 기반한 강제 규제는 명확한 기준과 처벌 규정을 통해 기업이 따를 수밖에 없는 '규칙'을 만듭니다. '착한 기업이 되자'는 구호와 '과속하면 벌금 5만 원'이라는 표지판 중 어느 쪽이 더 효과적일지는 명백합니다.

물론 AI 기술은 복잡하고 빠르게 변합니다. 정부 관료들이 이 모든 기술을 속속들이 이해하고 완벽한 규제를 만드는 것은 불가능에 가깝습니다. AI 기업들이 '혁신을 저해하는 과도한 규제'를 우려하는 데도 일리는 있습니다. 하지만 그렇다고 해서 운전대를 통째로 맡겨버리는 것은 답이 될 수 없습니다. 필요한 것은 정부와 업계, 학계, 시민사회가 함께 참여하는 사회적 합의체를 만들고, 최소한의 '가드레일'을 세우는 일입니다. 예를 들면 이런 것들입니다.

• AI 모델의 학습 데이터 출처와 구성을 투명하게 공개할 의무
• 채용, 대출 심사 등 개인의 삶에 중대한 영향을 미치는 AI의 결정 과정에 대한 설명 요구권
• AI로 생성된 콘텐츠(이미지, 영상, 텍스트)에 대한 워터마크 표시 의무화
• AI 시스템으로 인해 발생한 피해에 대한 명확한 배상 및 책임 주체 규정

이런 최소한의 규칙조차 '자율'에 맡겨두어서는 제대로 지켜질 리가 없습니다.

흔한 오해 두 가지: '혁신 저해'와 '전문가의 영역'이라는 변명

자율 규제를 옹호하는 측에서는 주로 두 가지 논리를 폅니다. 이 주장들이 왜 현실과 다른지 짚어볼 필요가 있습니다.

첫 번째 오해: "정부 규제는 혁신을 저해한다." 얼핏 들으면 그럴듯합니다. 까다로운 규제가 생기면 개발 속도가 느려지고 비용이 늘어날 테니 말입니다. 하지만 긴 호흡으로 보면, 오히려 잘 설계된 규제는 산업의 건전한 성장을 촉진하고 진짜 혁신을 이끌어 냅니다. 앞서 말한 자동차 산업이 대표적입니다. 엄격한 안전 및 환경 규제는 단기적으로 자동차 회사에 부담이었지만, 결과적으로 더 안전하고 효율적인 자동차를 만드는 기술 혁신을 촉발했습니다. 무엇보다 중요한 것은, 소비자들이 '자동차는 믿을 만하다'는 신뢰를 갖게 되어 시장 자체가 커졌다는 사실입니다. AI도 마찬가지입니다. 사람들이 AI를 믿지 못하면 아무리 뛰어난 기술도 결국 외면받습니다. 명확한 규제를 통해 '최소한의 안전과 공정성은 보장된다'는 사회적 신뢰를 쌓는 것이야말로 지속 가능한 혁신의 토대입니다.

두 번째 오해: "AI는 너무 복잡해서 전문가인 기업이 알아서 해야 한다." 이것은 새로운 기술이 등장할 때마다 업계가 규제를 피하기 위해 써먹던 아주 오래된 변명입니다. 원자력 발전소의 안전 규제를 논할 때, 모든 규제 담당자가 핵물리학 박사일 필요는 없습니다. 그들은 발전소의 설계 원리, 안전 절차, 비상 대응 계획이 합리적인지 판단할 전문가 집단의 도움을 받아 사회적 기준을 설정합니다. 금융 상품을 규제할 때도 마찬가지입니다. 복잡한 파생상품의 수학 공식을 모두 이해하지 못하더라도, 그 상품이 시장 전체에 미칠 위험을 평가하고 투자자 보호 장치를 마련할 수는 있습니다. AI 규제 역시 AI 모델의 소스코드 한 줄 한 줄을 감사하자는 게 아닙니다. AI가 어떤 데이터로 학습했고, 어떤 편향을 가질 수 있으며, 사회의 어떤 영역에서 어떻게 사용될 때 위험한지를 평가하고 통제하는 체계를 만들자는 것입니다. '너무 어려우니 우리에게 맡기라'는 말은, '투명한 감시를 받기 싫다'는 말의 다른 표현일 뿐입니다.

결국 모든 것은 '판단의 값'으로 귀결됩니다

저는 칼럼을 쓸 때마다 비슷한 결론에 도달하곤 합니다. 새로운 기술은 결국 '판단의 값'을 올린다는 것입니다. AI는 인간이 하던 수많은 반복적이고 기계적인 작업을 자동화할 겁니다. 글의 초안을 쓰고, 코드를 짜고, 이미지를 생성하는 일들 말입니다. 그러면 인간에게 남는 일은 무엇일까요? 바로 '판단'하는 일입니다.

• AI가 제안한 수많은 초안 중 어떤 것이 가장 적절한지 선택하는 판단
• AI가 생성한 코드가 비즈니스 요구사항에 맞는지, 잠재적 버그는 없는지 검토하는 판단
• AI의 분석 결과를 토대로 어떤 사업적 결정을 내릴지 선택하는 판단
• 그리고 가장 중요하게는, 이 AI를 사용하는 것이 윤리적으로 옳은지, 어떤 사회적 결과를 낳을지 결정하는 판단

기술이 발전할수록 이 판단의 무게는 점점 더 무거워집니다. AI가 내뱉는 결과물을 무비판적으로 수용했을 때의 파급 효과가 과거와는 비교할 수 없이 커지기 때문입니다. 제가 겪었던 논문 요약 AI의 사례처럼, 작은 실수가 거대한 실패로 이어질 수 있습니다. AI 시대에 개인과 조직의 경쟁력은 누가 더 좋은 AI를 가졌느냐가 아니라, 누가 AI를 더 잘 '판단'하고 책임질 수 있느냐에 따라 갈릴 겁니다.

트럼프와 빅테크 CEO들의 '자율 규제' 합의는 바로 이 '판단과 책임'의 문제를 교묘하게 회피하려는 시도입니다. AI가 일으킨 문제의 책임을 기업의 자율적인 노력이라는 안갯속으로 밀어 넣으려는 것입니다. 하지만 우리는 알아야 합니다. 세상에 공짜 점심은 없듯, 책임 없는 기술도 없습니다. 우리는 '초지능'이라는 막연한 공포나 '자율 규제'라는 달콤한 약속에 현혹될 것이 아니라, 지금 우리 앞에 놓인 AI라는 강력한 도구의 '책임 설명서'를 사회적으로 함께 써 내려가야 합니다. 그 책임의 첫 줄은, '기술을 만든 자가 일차적 책임을 진다'가 되어야 할 것입니다.

독자 여러분이 던질 법한 질문들

Q. 그래도 정부가 너무 강하게 규제하면 미국이 중국과의 AI 경쟁에서 뒤처지는 것 아닐까요? A. 매우 자주 나오는 질문입니다. 하지만 이 경쟁의 본질을 속도가 아니라 '지속 가능성'으로 봐야 합니다. 무분별하게 속도만 내다가 대형 사고를 일으켜 기술 전체에 대한 사회적 신뢰를 잃는다면, 그게 더 큰 패배입니다. 안전벨트를 매느라 1초 늦게 출발하는 차가, 안전벨트 없이 과속하다 전복되는 차보다 결국 목적지에 먼저 도착합니다. 신뢰와 안전이라는 토대 위에서만 장기적인 기술 패권도 가능하다고 봅니다.

Q. AI는 만든 기업이 가장 잘 알 텐데, 외부인이 규제하는 게 비효율적이지 않을까요? A. 그 논리대로라면 식품 회사가 스스로 식품 안전 기준을 정하고, 제약사가 스스로 신약 허가 여부를 결정해야 합니다. 우리는 그렇게 하지 않습니다. 왜냐하면 기업의 이익과 공공의 안전이 항상 일치하지는 않기 때문입니다. 전문성은 당연히 존중해야 합니다. 규제 과정에 업계 전문가들의 참여는 필수적입니다. 하지만 최종적인 결정권과 감독 권한은 독립적인 외부 기관이 가져야만 그 공정성을 담보할 수 있습니다.

Q. 저는 평범한 직장인/학생인데, 이런 거대 담론이 저와 무슨 상관이 있나요? A. 앞으로 여러분의 이력서를 거르는 것도, 은행 대출 심사를 하는 것도, 인터넷에서 보게 될 뉴스를 추천하는 것도 모두 AI가 될 가능성이 높습니다. 그 AI가 어떤 기준으로 나를 판단하는지, 그 판단이 불공정할 때 어디에 이의를 제기할 수 있는지, AI가 만든 가짜 정보에 속지 않으려면 어떻게 해야 하는지가 모두 이 '규제' 논의에 달려 있습니다. 이건 더 이상 기술 전문가나 정치인들만의 이야기가 아니라, 우리 모두의 일상과 권리에 직결된 문제입니다.