구글의 AI 칩 독립 선언, 엔비디아의 건물주 놀이는 끝나는가

구글이 ‘프로즌 v2(Frozen v2)’라는 자체 AI 칩을 만든다는 소식에 시장이 잠시 들썩였습니다. 많은 이들이 이를 엔비디아에 대한 도전으로 해석하지만, 저는 이것을 ‘독립 선언’으로 읽습니다. AI라는 화려한 파티의 비용 청구서가 슬슬 날아들기 시작하자, 가장 큰 손 중 하나인 구글이 더는 비싼 술을 주문하지 않겠다고 나선 셈입니다. 이 움직임의 본질은 기술 과시가 아니라, 돈 문제입니다. AI 시대의 진짜 승자는 가장 똑똑한 AI를 만든 회사가 아니라, AI를 굴리는 비용을 가장 싸게 만든 회사가 될 것이기 때문입니다.

AI 시대의 건물주, 엔비디아의 ‘월세’는 너무 비쌌다

AI의 작동 방식을 아주 간단하게 비유해 보겠습니다. 훌륭한 AI 모델 하나를 개발하는 것은 서울 강남역 사거리에 멋진 레스토랑을 여는 것과 같습니다. 문제는 이 레스토랑의 월세와 관리비가 상상을 초월한다는 점입니다. 여기서 건물주 역할을 하는 것이 바로 엔비디아입니다.

현재 대부분의 AI는 엔비디아가 만드는 GPU(Graphics Processing Unit)라는 반도체 위에서 돌아갑니다. GPU는 원래 게임의 화려한 3D 그래픽을 처리하기 위해 만들어진 ‘만능 일꾼’인데, 수많은 계산을 동시에 처리하는 능력이 AI 개발에 아주 적합하다는 사실이 발견되면서 AI 시대의 핵심 부품으로 떠올랐습니다. 구글 역시 일찍이 TPU(Tensor Processing Unit)라는 자체 칩을 만들어왔습니다. 이는 AI 연산만 하도록 특별히 훈련시킨 ‘전문 일꾼’에 가깝습니다.

하지만 시장의 압도적인 지배자는 엔비디아입니다. 이유는 하드웨어 자체보다 ‘쿠다(CUDA)’라는 소프트웨어 생태계에 있습니다. 쿠다는 개발자들이 엔비디아의 GPU를 사용해 쉽게 AI 프로그램을 만들 수 있도록 돕는 도구 모음입니다. 지난 10여 년간 대부분의 AI 연구자와 개발자들이 쿠다에 익숙해졌습니다. 이는 마치 전 세계 요리사들이 특정 브랜드의 주방 기구 사용법만 배워서, 다른 주방에서는 제 실력을 발휘하기 어려운 것과 마찬가지입니다. 이 강력한 ‘잠금 효과’ 덕분에 엔비디아는 AI 인프라 시장에서 사실상의 표준이 되었고, 부르는 게 값인 ‘건물주’의 지위를 누려왔습니다. 빅테크 기업들은 울며 겨자 먹기로 엔비디아에 막대한 GPU 구매 비용, 즉 ‘월세’를 내야만 했습니다.

‘맞춤 양복’은 왜 ‘기성복’보다 효율적인가: 자체 칩의 경제학

구글의 ‘프로즌 v2’는 이런 비싼 월세 구조에서 벗어나려는 시도입니다. 엔비디아의 GPU가 어떤 AI 모델이든 잘 돌릴 수 있는 최고급 ‘기성복’이라면, 구글의 자체 칩은 자사의 AI 모델인 ‘제미나이(Gemini)’의 몸에 완벽하게 맞춰 제작하는 ‘맞춤 양복’입니다.

기성복은 누구에게나 어느 정도 맞지만, 어딘가 모르게 불편한 구석이 있기 마련입니다. 팔 길이가 남거나 어깨가 끼는 식입니다. 반면 내 몸에 맞춰 지은 양복은 군더더기 없이 딱 맞아 활동이 편하고 보기에도 좋습니다. 반도체도 마찬가지입니다. 특정 AI 모델의 작동 방식과 데이터 처리 흐름을 처음부터 반도체 설계도에 새겨 넣으면, 불필요한 기능을 빼고 핵심 기능만 극대화할 수 있습니다.

이것이 바로 주문형 반도체(ASIC)의 원리이며, ‘프로즌 v2’의 핵심 아이디어입니다. ‘제미나이’라는 AI가 가장 자주 하는 계산, 가장 선호하는 데이터 이동 경로 등을 하드웨어 수준에서 구현하는 것입니다. 마치 단골 운전사의 운전 습관에 맞춰 엔진과 변속기를 완벽하게 조율한 자동차를 만드는 것과 같습니다. 이렇게 하면 어떤 장점이 있을까요?

• 비용 절감: 특정 작업에 최적화되어 있어 전기를 훨씬 덜 먹습니다. 대량으로 생산하면 개당 제작 단가도 범용 칩보다 낮출 수 있습니다. AI 데이터센터 비용의 절반 가까이가 전기요금이라는 점을 감안하면, 이는 엄청난 이점입니다.
• 속도 향상: 불필요한 연산을 건너뛰고 필요한 계산만 빠르게 처리하니, AI의 응답 속도가 빨라집니다. 이는 사용자 경험과 직결되는 문제입니다.
• 공급망 통제: 더 이상 엔비디아의 신제품 출시를 기다리거나, 비싼 값에 칩을 사기 위해 줄을 설 필요가 없습니다. 필요할 때 원하는 만큼 칩을 만들어 쓸 수 있는 ‘생산의 독립’을 이루는 것입니다.

결국 자체 칩 개발은 ‘우리 집’을 직접 지어서 비싼 월세살이에서 벗어나겠다는 선언입니다. AI 파티를 계속하려면, 파티 비용 자체를 줄여야 한다는 냉정한 계산이 깔려 있습니다.

역사는 반복된다: 닷컴 버블의 ‘다크 파이버’를 기억하는가

실리콘밸리의 역사를 돌아보면 지금과 비슷한 광경이 있었습니다. 1990년대 후반 닷컴 버블 시기, 통신 회사들은 앞으로 인터넷 사용량이 폭발적으로 증가할 것이라며 앞다퉈 땅속에 광케이블을 묻었습니다. 수요 예측이 너무 장밋빛이었던 탓에, 실제 사용되지 않고 땅속에서 잠자는 케이블, 이른바 ‘다크 파이버(Dark Fiber)’가 넘쳐났습니다. 결국 이들 중 상당수는 천문학적인 투자 비용을 감당하지 못하고 파산했습니다. 물론 인터넷 시대는 왔지만, 그 속도와 수익성은 투자자들의 기대와는 달랐습니다.

지금의 AI 인프라 경쟁이 바로 21세기판 ‘다크 파이버’가 될 수 있습니다. 구글, 아마존, 마이크로소프트 등 거대 기술 기업들은 AI라는 새로운 고속도로를 깔기 위해 수십, 수백조 원을 쏟아붓고 있습니다. 너도나도 자체 데이터센터를 짓고 자체 AI 칩을 개발합니다. 이 고속도로가 미래에 필수적이라는 점은 누구도 부정하지 않습니다. 하지만 질문은 이것입니다. ‘그 위를 달릴 수익성 있는 자동차는 과연 얼마나, 또 언제쯤 나타날 것인가?’

현재 AI 시장의 매출 상당수는 일종의 ‘회전문 거래’처럼 보이기도 합니다. 예를 들어 마이크로소프트가 오픈AI에 130억 달러를 투자하면, 오픈AI는 그 돈으로 마이크로소프트의 애저(Azure) 클라우드 서비스를 이용해 챗GPT를 운영합니다. 구글이 앤스로픽에 20억 달러를 투자하면, 앤스로픽은 그 돈으로 구글 클라우드를 씁니다. 거대 기술 기업이 AI 스타트업에 뭉칫돈을 쥐여주고, 그 돈이 고스란히 자신의 클라우드 매출로 잡히는 구조입니다. 겉보기에는 양쪽 모두 성장하는 것처럼 보이지만, 실은 왼쪽 주머니의 돈을 오른쪽 주머니로 옮기는 것과 크게 다르지 않습니다. 자체 칩 개발은 이 회전문의 ‘운영 비용’이라도 줄여서, 이 돈잔치를 좀 더 지속 가능하게 만들려는 필사적인 노력입니다.

숫자 뒤에 숨은 진짜 싸움: 평가액이 아닌 ‘총소유비용(TCO)’

우리는 종종 어떤 기업의 가치가 얼마인지, 주가가 얼마나 올랐는지 같은 화려한 숫자에 집중합니다. 하지만 지금 AI 시장의 진짜 싸움은 눈에 보이지 않는 ‘총소유비용(Total Cost of Ownership, TCO)’을 누가 더 낮추느냐에 달려 있습니다.

총소유비용이란 단순히 칩을 사는 가격뿐만 아니라, 그 칩을 평생 운영하는 데 드는 전기요금, 냉각 비용, 관리 인력 인건비, 수리 비용 등을 모두 더한 금액을 말합니다. 자동차로 치면 차량 가격에 유류비, 보험료, 수리비, 세금을 모두 합친 것과 같습니다. 빅테크 기업들이 자체 칩에 수조 원을 쏟아붓는 이유는, 초기 개발비가 아무리 비싸도 장기적으로 총소유비용을 극적으로 낮출 수 있다고 보기 때문입니다.

이 싸움을 보며 흔히 하는 오해 두 가지를 짚고 넘어가야 합니다.

첫째, ‘구글의 자체 칩이 성공하면 엔비디아는 망한다’는 생각입니다. 이는 지나치게 단순한 결론입니다. 엔비디아의 쿠다 생태계라는 성벽은 상상 이상으로 높고 단단합니다. 전 세계 개발자들의 습관을 바꾸는 데는 수년, 혹은 수십 년이 걸릴 수도 있습니다. 또한 AI 시장 자체가 폭발적으로 성장하고 있어, 구글이 가져가는 몫이 생기더라도 엔비디아가 먹을 파이는 여전히 클 수 있습니다. 구글의 칩은 기본적으로 외부 판매용이 아닌, ‘자급자족’을 위한 것입니다.

둘째, ‘자체 칩이 무조건 더 싸다’는 생각입니다. 이는 사실이 아닙니다. 하나의 칩을 설계하고 개발하는 데는 수조 원의 연구개발비와 엄청난 인력이 필요합니다. 구글이나 아마존처럼 전 세계에 수십 개의 거대한 데이터센터를 운영하며, 셀 수 없이 많은 서버에 칩을 박아 넣을 정도의 ‘규모의 경제’를 달성할 수 있는 회사만이 시도할 수 있는 전략입니다. 어지간한 기업은 그냥 속 편하게 엔비디아 칩을 사서 쓰는 것이 훨씬 경제적입니다.

독자가 추적해야 할 신호: ‘추론 비용’과 ‘클라우드 마진’

이 복잡한 전쟁의 향방을 가늠하기 위해, 일반 독자들이 추적할 수 있는 신호는 무엇일까요? 저는 두 가지를 제안합니다: ‘추론 비용’과 ‘클라우드 영업이익률’.

AI를 만드는 과정을 ‘훈련(Training)’이라고 하고, 만들어진 AI에게 질문하고 답을 얻는 과정을 ‘추론(Inference)’이라고 합니다. 훈련은 AI 모델을 처음 만들 때 한 번에 큰 비용이 드는 ‘건축비’와 같습니다. 반면 추론은 우리가 챗GPT에 질문을 던질 때마다, 번역기를 돌릴 때마다 계속해서 발생하는 ‘수도요금’이나 ‘전기요금’ 같은 비용입니다. AI 서비스로 돈을 벌려면, 결국 이 추론 비용을 낮춰야 합니다. 자체 칩 개발의 궁극적인 목표도 바로 이것입니다.

앞으로 아래 신호들을 주시하시기 바랍니다. AI 칩 전쟁의 진짜 승패는 여기에 나타날 것입니다.

1. 구글 클라우드(GCP)의 분기별 영업이익률: 자체 칩의 효율성이 실제로 발휘된다면, 구글 클라우드 사업부의 비용은 줄고 이익률은 개선되어야 합니다. 이것이 구글 전략의 진짜 성적표입니다. 주가나 AI 모델의 성능 발표보다 더 정직한 숫자입니다.
2. 제미나이 API 가격 정책: 구글이 자체 칩의 효율성을 무기로, 기업들이 제미나이를 빌려 쓰는 서비스(API)의 가격을 경쟁사인 마이크로소프트-오픈AI 연합보다 눈에 띄게 낮춘다면, 이는 기술적 자신감의 표현이자 시장 점유율을 뺏어오려는 본격적인 공격 신호입니다.
3. 엔비디아의 차세대 칩 가격 및 할인 정책: 만약 엔비디아가 경쟁을 의식해 차세대 칩 가격을 예상보다 낮게 책정하거나, 특정 거대 고객사에게 큰 폭의 할인을 제공한다는 소문이 들리기 시작한다면, 빅테크의 ‘독립’ 시도가 실제로 엔비디아의 아성에 균열을 내고 있다는 가장 확실한 증거가 될 것입니다.

결론: 잔치는 계속되지만, 청구서는 쌓이고 있다

AI 혁명이라는 거대한 잔치는 계속될 것입니다. 하지만 세상에 공짜 점심은 없습니다. 누군가는 이 화려한 잔치의 비용을 치러야 합니다. 자체 AI 칩 개발 경쟁은 그 청구서의 주인을 바꾸려는 시도입니다. 이는 19세기 철도 회사들이 각자의 노선을 깔아 물류를 장악하려 했던 경쟁과도 닮았습니다. 자기만의 철도를 가진 자가 결국 상거래의 흐름을 통제하게 됩니다.

단기적으로 엔비디아의 파티는 계속될 것입니다. 하지만 장기적으로는 AI 운영 비용이라는 보이지 않는 전쟁에서 승리하는 기업, 즉 자체 칩을 통해 운명의 키를 스스로 쥔 기업만이 살아남을 것입니다. 이 돈잔치의 청구서는 결국, 핵심 인프라를 남에게 의존하는 기업들의 몫으로 돌아갈 가능성이 높습니다. 구글의 작은 칩 하나가 던지는 질문의 무게가 결코 가볍지 않은 이유입니다.

Q. 그래서 구글 주식을 지금 사야 합니까? A. 저는 투자 자문을 하지 않습니다. 다만, 이 뉴스를 보고 ‘엔비디아의 시대는 끝났다’고 단정하는 것은 섣부릅니다. 오히려 구글이 AI 시대의 막대한 비용 구조를 얼마나 진지하게 고민하고 있는지를 보여주는 신호로 해석해야 합니다. 단기 주가보다 클라우드 사업의 장기적인 비용 구조 개선 가능성에 주목하는 것이 본질에 가깝습니다.

Q. 삼성전자나 SK하이닉스 같은 한국 반도체 기업에는 어떤 영향이 있을까요? A. 복합적이지만, 대체로 긍정적인 측면이 많습니다. 빅테크가 자체 칩을 설계하더라도 생산은 TSMC나 삼성전자 같은 파운드리(반도체 위탁생산) 기업에 맡겨야 합니다. 삼성 파운드리 사업부에는 새로운 대형 고객을 확보할 기회입니다. 또한, 이 모든 AI 칩은 고대역폭 메모리(HBM)를 대량으로 필요로 하므로, HBM 시장의 절대 강자인 SK하이닉스와 삼성전자 메모리 사업부에는 엄청난 기회가 계속될 것입니다. 빅테크의 칩 설계가 ‘탈(脫) 엔비디아’일지는 몰라도 ‘탈(脫) 메모리’는 아니기 때문입니다.

Q. 일반인 입장에서 이 복잡한 싸움을 왜 알아야 하나요? A. 우리가 매일 쓰는 검색, 번역, 사진 앱부터 앞으로 나올 모든 AI 서비스의 가격과 품질이 이 싸움의 결과에 따라 결정되기 때문입니다. AI가 전기처럼 보편적인 서비스가 되려면, 전기요금처럼 저렴해져야 합니다. 빅테크들이 자체 칩을 만드는 이유는 결국 이 ‘AI 전기요금’을 낮춰 수익성을 확보하기 위해서입니다. 이들의 성공 여부가 미래 AI 서비스의 대중화 속도와 결국 우리 모두의 지갑 사정을 좌우하게 될 것입니다.