AI, 게임으로 이사 가다: 인터넷 고시원 탈출기

1. 챗GPT에게 계란 프라이를 시켜봤습니다

얼마 전 챗GPT 최신 모델에게 아주 간단한 질문을 던졌습니다. “계란 프라이 만드는 법을 5살 아이도 이해하게, 단계별로 알려줘.” 제법 그럴싸한 답변이 돌아왔습니다. ‘1. 프라이팬을 약한 불에 올려요. 2. 기름을 조금 둘러요. 3. 계란을 톡 깨서 넣어요…’ 하지만 제가 정말 궁금했던 건 이게 아니었습니다. 그래서 다시 물었습니다. “계란을 깼는데 노른자가 터졌어. 왜 터졌을까? 어떻게 하면 안 터뜨릴 수 있지?”

여기서부터 AI의 답변은 꼬이기 시작합니다. ‘계란이 신선하지 않아서’, ‘너무 높은 곳에서 떨어뜨려서’, ‘껍데기가 날카로워서’ 같은 확률 높은 답변들을 나열할 뿐, 정작 핵심을 짚지 못합니다. 제가 겪은 상황, 즉 프라이팬 모서리에 너무 세게 부딪쳐 금이 간 상태에서 힘을 주어 깼기 때문이라는 구체적인 물리적 상호작용을 AI는 모릅니다. 당연합니다. AI는 계란을 한 번도 직접 깨본 적이 없기 때문입니다.

이것이 오늘날 가장 발전했다는 대규모 언어 모델, 즉 LLM(Large Language Model)의 현주소입니다. LLM은 쉽게 말해 인터넷의 모든 글을 읽고, 특정 단어 뒤에 어떤 단어가 나올지 확률적으로 가장 잘 예측하도록 훈련된 ‘문장 짓기 기계’입니다. 인간의 언어를 놀라울 정도로 유창하게 구사하지만, 그 지식은 텍스트에만 머물러 있습니다. 세상 모든 요리책을 외운 요리사지만, 정작 자기 부엌은 없는 셈입니다. 이 ‘경험의 부재’라는 치명적 한계를 넘기 위해, 엔지니어들은 지금 AI를 비디오 게임 속으로 밀어 넣고 있습니다.

2. 인터넷이라는 고시원, 게임이라는 기숙사

지금까지 LLM은 인터넷이라는 거대한 도서관, 혹은 고시원에서 살았습니다. 좁은 방(알고리즘) 안에서 벽을 가득 채운 책(웹페이지, 논문, 뉴스 기사)만 죽어라 읽었습니다. 그 결과 세상의 모든 ‘사실’과 ‘정보’를 텍스트로 요약하고 재구성하는 데는 도가 텄습니다. 하지만 문밖 세상이 어떻게 돌아가는지는 모릅니다. 비가 오면 땅이 젖는다는 문장은 수억 번 봤지만, 빗방울이 아스팔트에 부딪히는 느낌, 젖은 흙냄새, 미끄러운 길바닥의 감각은 전혀 모릅니다.

비디오 게임은 이런 AI에게 ‘세상 체험’을 시켜줄 수 있는 가장 현실적인 대안입니다. 여기서 게임이란 단순히 오락이 아닙니다. AI에게는 일종의 상호작용 가능한 ‘기숙사’나 ‘안전한 놀이터’와 같습니다. 왜 그럴까요?

• 첫째, 게임 세계에는 ‘규칙’, 즉 물리 법칙이 있습니다. 물론 현실과 똑같지는 않습니다. 하지만 중력이 있고, 마찰이 있고, 물체가 서로 부딪히면 튕겨 나갑니다. AI는 이 가상 세계 안에서 수억 번의 시행착오를 겪으며 ‘행동’과 ‘결과’ 사이의 인과관계를 몸으로 체득할 수 있습니다. 텍스트로 ‘사과를 놓으면 떨어진다’고 배우는 것과, 게임 속에서 사과를 직접 떨어뜨려 보는 경험은 질적으로 다릅니다.

• 둘째, 모든 것이 데이터로 기록됩니다. 현실 세계에서 아이가 걷는 법을 배울 때, 우리는 그 모든 근육의 움직임과 균형 잡는 과정을 데이터로 기록할 수 없습니다. 하지만 게임 안에서는 가능합니다. 캐릭터의 3차원 좌표, 속도, 가속도, 시선 방향, 주변 사물과의 거리 등 모든 정보가 한 치의 오차도 없이 로그(log) 파일로 저장됩니다. AI에게는 이보다 더 좋은 교과서가 없습니다.

• 셋째, 목표가 명확하고 즉각적인 피드백이 있습니다. ‘벽돌을 쌓아 집을 지어라’, ‘미로를 탈출하라’ 같은 명확한 목표를 주고, 성공과 실패에 대한 점수를 즉시 알려줄 수 있습니다. 이는 AI가 자신의 행동을 스스로 평가하고 개선해나가는 강화 학습(Reinforcement Learning)에 최적의 환경입니다.

마치 전월세만 전전하던 사람이 드디어 자기 집을 얻어 가구도 들여놓고 못질도 해보는 것과 비슷합니다. 인터넷이라는 텍스트 공간은 그저 남의 집을 구경만 하는 것이었다면, 게임이라는 가상 세계는 AI가 직접 공간을 꾸미고 상호작용하며 ‘자기 것’으로 만드는 첫걸음인 셈입니다.

3. 데자뷔: 4세대 언어와 CASE 도구의 유령

그런데 이런 이야기를 듣고 있으면 왠지 모를 기시감이 듭니다. 저 같은 30년 차 엔지니어에게는 더욱 그렇습니다. ‘복잡한 현실 문제를 잘 정제된 가상 환경에서 해결한 뒤, 현실에 적용하겠다’는 구상은 이번이 처음이 아니기 때문입니다.

1980년대와 90년대, 소프트웨어 업계에는 ‘4세대 언어(4GL)’와 ‘CASE(Computer-Aided Software Engineering) 도구’라는 것이 있었습니다. 당시의 약속은 매혹적이었습니다. 프로그래머가 복잡한 코드를 한 줄 한 줄 짜는 대신, 관리자나 기획자가 화면에 네모, 동그라미를 그려가며 업무 흐름을 설계하면, 컴퓨터가 알아서 완벽한 프로그램을 만들어준다는 것이었습니다.

결과는 어땠을까요? 처참한 실패로 끝났습니다. 이런 도구들은 회계 장부 처리처럼 아주 정형화되고 규칙이 명확한 일부 영역에서는 성공했지만, 현실 세계의 지저분하고 예측 불가능한 요구사항을 감당하지 못했습니다. 고객의 변덕, 예외 상황, 부서 간의 알력 다툼 같은 ‘비정형적’ 문제들 앞에서 속수무책이었습니다. 결국 프로그래머들은 다시 복잡한 코드가 가득한 현실로 돌아와야 했습니다.

게임 데이터로 AI를 훈련시키려는 시도 역시 비슷한 함정에 빠질 수 있습니다. 게임 속 물리 법칙은 현실을 ‘흉내 낸’ 것일 뿐, 현실 그 자체가 아닙니다. 게임 <마인크래프트>에서 수억 개의 블록을 쌓아 올리는 법을 배운 AI가, 현실 세계에서 질감도, 무게도, 마찰력도 제각각인 실제 벽돌을 제대로 쌓을 수 있을까요? 게임 <GTA>에서 백만 번의 가상 운전을 한 AI가, 갑자기 도로에 뛰어드는 고양이나 수신호를 무시하는 취객 같은 ‘시뮬레이션에 없던’ 변수를 마주했을 때 과연 안전하게 대처할 수 있을까요?

이 ‘시뮬레이션과 현실의 간극(Sim-to-Real Gap)’을 메우는 문제가 해결되지 않는 한, 게임으로 똑똑해진 AI는 결국 ‘게임만 잘하는 AI’로 남을 수 있습니다. 4세대 언어가 그랬던 것처럼 말입니다.

4. 그래서, 무엇이 달라졌나: 데이터의 양과 질

물론 30년 전과 지금은 모든 것이 다릅니다. 가장 큰 차이는 압도적인 컴퓨팅 파워와 데이터의 규모입니다. 4세대 언어가 약속을 지키지 못한 이유 중 하나는 당시 컴퓨터가 너무 느리고 비쌌기 때문입니다. 하지만 지금은 다릅니다. 우리는 AI에게 게임 속 세상을 수십억, 수백억 시간 동안 경험하게 할 수 있습니다. 현실에서는 불가능한 규모의 ‘반복 학습’이 가능해진 것입니다.

구체적으로 어떤 데이터를, 어떻게 활용한다는 걸까요? 단순히 게임 플레이 영상을 보여주는 수준이 아닙니다. 예를 들어, 오픈AI는 <마인크래프트>를 2만 4천 시간 플레이한 영상을 학습시켜 다이아몬드 곡괭이를 만드는 AI를 훈련시켰습니다. 여기서 중요한 것은 그냥 영상만 본 게 아니라는 점입니다. 영상과 함께 플레이어의 키보드 입력, 마우스 클릭 데이터까지 함께 학습했습니다. ‘이런 화면에서는 이런 행동을 해야 한다’는 것을 짝지어 배운 것입니다.

더 나아가, 최근에는 아예 게임 엔진 자체를 AI 훈련용으로 사용합니다. 유니티(Unity)나 언리얼 엔진(Unreal Engine) 같은 상용 게임 엔진은 현실적인 물리 시뮬레이션 기능을 제공합니다. 연구자들은 이 안에서 수백만 가지의 다른 시나리오를 자동으로 생성해 AI를 훈련시킵니다. 예를 들어, 로봇 팔이 물건을 집는 법을 가르친다면,

1. 물체의 모양, 크기, 무게, 질감을 수천 가지로 바꿔가며 시도하게 합니다.
2. 조명의 밝기, 방향, 색깔을 계속 바꿔서 시각적 혼동을 줍니다.
3. 로봇 팔의 시작 위치나 각도를 미세하게 틀어서 예외 상황에 대처하는 법을 배우게 합니다.

이는 마치 한 명의 학생에게 수백만 명의 각기 다른 과외 선생님이 붙어서, 온갖 기상천외한 방식으로 쪽지 시험을 보게 하는 것과 같습니다. 이런 ‘극한 훈련’을 거친 AI는 단순히 게임 공략법을 외우는 수준을 넘어, 물리적 상호작용에 대한 깊은 ‘직관’을 형성하기 시작합니다.

표에서 보듯, 게임 데이터는 인터넷 데이터와 현실 데이터의 장단점을 절충하는 아주 영리한 선택지입니다. 현실 세계처럼 비싸고 위험하지 않으면서, 텍스트보다는 훨씬 더 현실에 가까운 상호작용을 가르칠 수 있기 때문입니다.

5. 흔한 오해 두 가지, 그리고 진짜 병목

이 지점에서 흔히 생기는 오해 두 가지를 짚고 넘어가야 합니다.

첫 번째 오해는 “그럼 우리 아이가 <로블록스> 하는 게 미래 AI 개발에 기여하는 건가요?” 하는 질문입니다. 결론부터 말하면 전혀 아닙니다. AI 훈련에 쓰이는 데이터는 우리가 즐기는 게임 플레이 그 자체가 아닙니다. 연구자들이 특정 목적을 위해 설계한 가상 환경에서, 통제된 방식으로 수집되는 방대한 양의 로그 데이터입니다. 오히려 수많은 사람들이 게임을 하며 남긴 ‘지저분한’ 데이터는 AI 셔플링을 하는 데 방해가 될 수도 있습니다. 이것은 개인의 창작 활동이 아니라 거대한 데이터 센터에서 벌어지는 산업적 규모의 데이터 정제 작업에 가깝습니다.

두 번째 오해는 “AI가 <콜 오브 듀티> 같은 전쟁 게임으로 학습하면 폭력적으로 변하는 것 아닌가요?”라는 우려입니다. 영화 <터미네이터>의 스카이넷을 떠올리는 분들도 있습니다. 하지만 이 역시 기우에 가깝습니다. AI는 게임의 서사나 윤리적 맥락을 이해하지 못합니다. 그저 ‘타겟(목표물)이 나타나면 특정 좌표에 조준점을 옮겨 클릭한다’는 식의 물리적 동작과 결과의 패턴을 학습할 뿐입니다. AI에게 총을 쏘는 법을 가르칠지, 아니면 벽돌을 쌓는 법을 가르칠지 결정하는 것은 결국 인간 개발자의 몫입니다.

그렇다면 진짜 병목은 어디에 있을까요? 데이터도 아니고, 컴퓨팅 파워도 아닙니다. 바로 ‘판단’의 문제입니다. 어떤 가상 세계가 현실을 충분히 잘 모사하는지, 시뮬레이션과 현실의 간극을 어떻게 메울 것인지, AI에게 어떤 목표와 보상을 주어야 원하는 행동을 이끌어낼 수 있는지, 이 모든 것을 설계하고 판단하는 인간의 능력이 그 어느 때보다 중요해졌습니다. 도구가 좋아질수록, 그 도구를 쓰는 목수의 안목과 손재주가 더 중요해지는 것과 같은 이치입니다.

6. 최종 목적지: ‘세계 모델’을 향하여

비디오 게임 데이터 활용은 사실 더 큰 그림을 위한 중간 단계입니다. 궁극적인 목표는 AI가 ‘세계 모델(World Model)’을 갖게 하는 것입니다. 세계 모델이란, 말 그대로 세상이 어떻게 돌아가는지에 대한 내적인 시뮬레이션 모델을 AI 스스로 구축하는 것을 말합니다.

예를 들어보겠습니다. LLM에게 “유리컵을 바닥에 떨어뜨리면 어떻게 될까?”라고 물으면 “깨질 가능성이 높습니다”라고 답할 겁니다. 수많은 텍스트에서 ‘유리컵’과 ‘깨지다’가 함께 등장했기 때문입니다. 하지만 세계 모델을 가진 AI는 다릅니다. 이 AI는 머릿속으로 ‘유리컵’이라는 객체의 속성(단단함, 깨지기 쉬움), ‘바닥’의 속성(딱딱함), 그리고 중력의 법칙을 시뮬레이션해본 뒤, 그 결과를 바탕으로 ‘깨진다’고 ‘예측’합니다. 전자가 암기라면, 후자는 이해와 추론에 가깝습니다.

페이스북의 AI 수장인 얀 르쿤(Yann LeCun) 같은 석학들이 이 세계 모델의 중요성을 계속해서 강조하는 이유가 여기에 있습니다. 진정한 지능은 과거의 데이터를 요약하는 능력이 아니라, 미래를 예측하고 그 예측을 바탕으로 최적의 행동을 계획하는 능력에서 나오기 때문입니다. 비디오 게임은 이 세계 모델을 구축하기 위한 가장 효율적인 훈련장인 셈입니다. 앞으로 AI 관련 뉴스를 볼 때, 단순히 ‘무엇을 맞혔다’는 결과보다 ‘어떻게 예측하고 행동했는가’의 과정에 주목해야 하는 이유입니다. 스스로 주변 환경을 탐색하고, 실험하고, 그 결과를 통해 자신의 세계 모델을 수정해나가는 AI가 보인다면, 그것이 바로 진짜 특이점의 시작일 수 있습니다.

결국 우리가 만들고 싶은 AI는 단순히 말을 잘하는 앵무새가 아니라, 세상의 이치를 깨닫고 행동하는 ‘에이전트(Agent)’입니다. 인터넷이라는 텍스트의 감옥에서 벗어나, 게임이라는 가상 세계를 거쳐, 현실 세계와 상호작용하는 법을 배우려는 이 기나긴 여정은 이제 막 첫걸음을 뗀 셈입니다. 이 여정의 끝에서 AI는 무엇을 대체하고, 무엇은 끝내 대체하지 못할까요? 분명한 것은, 이 모든 과정에서 ‘어떤 게임을 시킬지’, ‘어떤 규칙을 가르칠지’ 결정하는 인간의 ‘판단’의 가치는 오히려 점점 더 올라가리라는 사실입니다.

독자가 던질 법한 질문들

Q. 그렇다면 이제 텍스트 데이터는 중요하지 않게 되는 건가요?

A. 아닙니다. 오히려 그 반대입니다. 텍스트, 즉 언어는 인간이 수천 년에 걸쳐 축적한 추상적 지식의 정수입니다. 물리 세계를 이해하는 것만큼이나, 그 세계를 설명하고 개념화하는 언어 능력을 갖추는 것은 중요합니다. 앞으로의 AI는 텍스트를 통해 지식의 뼈대를 세우고, 시뮬레이션을 통해 그 지식을 실제와 연결하는 ‘하이브리드’ 형태가 될 가능성이 높습니다. 책으로 이론을 배우고, 실습실에서 실험하는 이공계 학생을 생각하면 이해하기 쉽습니다. 둘 중 하나만으로는 반쪽짜리 전문가가 될 뿐입니다.

Q. 아무 게임이나 다 쓸 수 있나요? 예를 들어 2D 도트 게임 같은 것도 AI 훈련에 도움이 되나요?

A. 이론적으로는 어떤 게임 데이터든 학습에 사용할 수 있습니다. 2D 게임조차도 객체의 상호작용, 행동과 보상 같은 기본적인 인과관계를 학습하는 데는 도움이 될 수 있습니다. 하지만 현실 세계와 유사한 물리적 직관을 가르치려면 아무래도 현실적인 3D 물리 엔진을 갖춘 게임이 훨씬 효과적입니다. 중요한 것은 게임의 그래픽이나 인기가 아니라, AI 훈련에 필요한 데이터(좌표, 속도, 상호작용 로그 등)를 얼마나 깨끗하고 풍부하게 추출할 수 있느냐입니다. 따라서 연구자들은 종종 훈련용으로 특별히 개조되거나 제작된 게임 환경을 사용합니다.

Q. 이런 방식의 AI 개발은 너무 비싸서 결국 빅테크 기업들의 독점이 심화되는 것 아닌가요?

A. 날카로운 지적입니다. 실제로 대규모 시뮬레이션 환경을 구축하고 AI를 훈련시키는 데는 엄청난 양의 컴퓨팅 자원, 즉 GPU와 전기료가 필요합니다. 현재로서는 구글, 메타, 마이크로소프트, 오픈AI 같은 거대 기업이나 대규모 투자를 받은 스타트업이 주도할 수밖에 없는 구조입니다. 이는 초기 클라우드 컴퓨팅 시장과 비슷합니다. 다만, 기술이 성숙하고 시뮬레이션 도구가 표준화되면, 언젠가는 개인 개발자나 소규모 팀도 클라우드 서비스를 통해 저렴하게 이런 훈련 환경을 빌려 쓸 수 있는 날이 올 수 있습니다. 기술의 발전이 항상 그랬듯이, 초기에는 집중되지만 결국에는 점차 확산되고 민주화되는 경향을 보일 것으로 기대합니다.