AI, 슬롯머신 사기꾼을 이기는 법을 배우다

AI에게 가장 어려운 시험, '악의에 찬 세상'

어떤 AI가 수많은 선택지 앞에서 고민하고 있다고 상상해 봅시다. 마치 우리가 점심 메뉴를 고르거나, 어떤 주식에 투자할지 결정하는 것처럼 말입니다. AI 연구자들은 이 문제를 오랫동안 ‘멀티 암드 밴딧(Multi-Armed Bandit)’이라는 틀로 설명해 왔습니다. 카지노에 있는 수많은 슬롯머신(one-armed bandit) 중 어떤 기계의 레버를 당겨야 가장 많은 돈을 딸 수 있을지 알아내는 문제와 같아서 붙은 이름입니다.

기존의 AI는 각 슬롯머신이 저마다 고유한 확률로 돈을 뱉는다고 가정했습니다. 어떤 기계는 10% 확률로, 다른 기계는 3% 확률로 잭팟이 터지는 식입니다. AI의 과제는 여러 번 레버를 당겨보면서 어떤 기계가 가장 돈을 잘 주는지(탐색), 그리고 돈 잘 주는 기계를 집중적으로 공략해 수익을 극대화하는 것(활용) 사이에서 현명한 줄타기를 하는 것이었습니다.

그런데 만약 이 게임의 전제가 틀렸다면 어떻게 될까요? 슬롯머신이 정해진 확률로 움직이는 게 아니라, 카지노 주인이 뒤에서 실시간으로 확률을 조작하고 있다면 말입니다. 내가 특정 기계에서 돈을 좀 따기 시작하면 주인이 그 기계의 확률을 확 낮춰버리고, 내가 다른 기계로 옮겨가면 또 그곳의 확률을 바꾸는 식입니다. 이런 환경은 단순히 불확실한 것을 넘어 '적대적(Adversarial)'이라고 부릅니다. 내가 어떤 선택을 하든 최악의 결과가 나오도록, 누군가 의도적으로 판을 흔드는 상황입니다. 예측 불가능한 주식 시장의 변동이나 경쟁사의 예측불허 전략이 바로 이런 적대적 환경에 해당합니다.

최근 발표된 한 논문은 바로 이 지독한 환경, 즉 '사기꾼'이 존재하는 게임에서 AI가 어떻게 최선의 전략을 구사할 수 있는지에 대한 새로운 해법을 제시합니다. 이것은 AI가 단순히 주어진 데이터를 학습하는 수준을 넘어, 자신을 방해하는 능동적인 존재를 상정하고 그에 맞서는 법을 배우기 시작했다는 의미입니다. 세상이 내게 항상 호의적이지 않다는, 어쩌면 당연한 사실을 AI가 수학적으로 받아들이기 시작한 것입니다.

하나의 선택이 모든 것을 바꾼다: '피드백 그래프'의 세계

이 연구가 다루는 문제는 여기서 한 걸음 더 나아갑니다. '피드백 그래프(Feedback Graphs)'라는 개념을 도입해 현실 세계의 복잡성을 더했습니다. 이름은 어렵지만 개념은 의외로 우리 일상과 가깝습니다.

처음 가보는 중국집에서 메뉴를 고르는 상황을 떠올려 봅시다. 수많은 메뉴 앞에서 고민하다 '짜장면'을 시켰는데, 맛을 보니 너무 짰습니다. 이 경험은 단지 '이 집 짜장면은 짜다'는 정보 하나로 끝나지 않습니다. 우리는 자연스럽게 추론을 합니다. '아, 같은 주방에서 같은 소스를 쓸 테니 짬뽕도 짜겠구나. 하지만 만두는 다른 곳에서 쪄서 나올 테니 괜찮을지도 몰라.'

이것이 바로 피드백 그래프의 핵심입니다. 내가 한 '짜장면 주문'이라는 선택이, 내가 선택하지 않은 '짬뽕'의 맛에 대한 정보까지 덤으로 알려주는 상황 말입니다. 짜장면과 짬뽕은 '같은 주방'이라는 보이지 않는 연결고리(그래프)로 묶여 있기 때문입니다. 반면 짜장면과 만두는 서로 연결되어 있지 않을 가능성이 높습니다.

이러한 관계는 세상 모든 곳에 존재합니다. - 주식 시장에서 삼성전자 주식을 매수하는 결정은, 반도체 산업이라는 연결고리를 통해 SK하이닉스 주가의 향방에 대한 정보도 일부 제공합니다. - 온라인 쇼핑몰에서 특정 스포츠카 광고를 클릭하는 행동은, 광고주에게 '이 사용자는 사치품에 관심이 있다'는 정보를 주어 다른 명품 시계 광고의 효율을 높이는 데 쓰입니다.

이 논문이 다루는 문제는 바로 이 두 가지 복잡성, 즉 '적대적 환경'과 '피드백 그래프'가 결합된 상황입니다. 다시 말해, 밉살궂은 주방장이 내 입맛에 일부러 안 맞게 음식을 만들려고 방해하는 와중에, 나는 메뉴판의 음식들 사이에 어떤 숨겨진 연관 관계(주방 동선, 소스 공유 등)가 있는지 눈치껏 파악하며 최선의 주문을 해야 하는 극악의 난이도 게임인 셈입니다.

후회는 적게, 학습은 빠르게: '1차 후회'라는 똑똑한 저울

이런 복잡한 게임에서 AI의 성능을 어떻게 평가할 수 있을까요? 연구자들은 '후회(Regret)'라는 독특한 잣대를 사용합니다. 후회란, '내가 실제로 내린 선택들로 얻은 총 보상'과 '만약 처음부터 모든 정답을 알고 최선의 선택만 했을 경우 얻었을 이상적인 총 보상' 사이의 차이를 말합니다. 즉, 나의 어리석은 선택들 때문에 얼마나 손해를 보았는지를 나타내는 지표입니다. 후회가 적을수록 AI가 더 똑똑하게 학습하고 있다는 뜻입니다.

과거에는 이 후회를 주로 전체 게임 시간(T), 즉 슬롯머신 레버를 당긴 총 횟수에 비례해 측정했습니다. '1000번 플레이하는 동안 후회가 얼마나 쌓였나'를 보는 식이었습니다. 하지만 이 방법은 문제의 근본적인 난이도를 반영하지 못하는 한계가 있었습니다.

예를 들어 두 학생 A와 B가 똑같이 50점짜리 시험지를 받았다고 해봅시다. 점수만 보면 둘의 실력은 같아 보입니다. 하지만 A가 치른 시험이 아주 쉬운 초등학교 수준이었고, B가 치른 시험은 극도로 어려운 대학원 수준이었다면 어떨까요? 우리는 B 학생이 훨씬 뛰어나다고 평가할 것입니다.

이번 논문이 주목한 '1차 후회(First-order Regret)'가 바로 이런 접근법입니다. AI의 후회를 단순히 게임 횟수(T)로만 평가하는 대신, 그 게임의 근본적인 난이도, 즉 '최고의 전문가가 플레이했어도 어쩔 수 없이 발생했을 손실(L)'에 비례해서 평가하는 것입니다. 논문에 등장하는 `sqrt((kappa+1) L)` 이라는 수식이 바로 그것을 의미합니다. 만약 판 자체가 어려워 신도 어쩔 수 없이 큰 손실(높은 L)을 보는 게임이었다면, 내 AI가 어느 정도 후회를 기록하더라도 관대하게 평가해주는 훨씬 정교하고 공정한 저울인 셈입니다.

그리고 이 논문은, 이처럼 지독하게 복잡한 환경에서도 AI가 이론적으로 달성할 수 있는 거의 최저 수준의 '1차 후회'에 근접하는 알고리즘을 실제로 설계하고 그 성능을 수학적으로 증명해냈다는 데 큰 의의가 있습니다. 이는 AI가 사기꾼과 다름없는 적대적 환경 속에서도 거의 신의 경지에 가까운 효율적인 의사결정을 내릴 수 있는 길을 열었다는 뜻입니다.

이론과 현실의 간극: 이 연구의 진짜 한계는 무엇인가

다만 연구는 정확히 읽어야 합니다. 이 연구가 모든 문제를 해결하는 만능 열쇠처럼 이야기되는 것은 경계해야 합니다. 특히 연구의 가장 중요한 전제조건이자 명백한 한계부터 짚고 넘어가야 합니다. 바로 AI가 '고정되고 알려진 피드백 그래프(fixed and known feedback graph)'를 가지고 게임을 시작한다는 점입니다.

이것이 무슨 의미일까요? 앞서 든 중국집 비유로 돌아가 봅시다. 이는 우리가 식당에 들어서자마자, 주방의 모든 레시피와 재료 공유 관계, 동선이 완벽하게 그려진 '주방 설계도'를 손에 쥐고 메뉴를 고르는 것과 같습니다. 어떤 메뉴가 어떤 메뉴와 소스를 공유하는지, 어떤 재료가 함께 보관되는지를 훤히 알고 있다는 뜻입니다. 현실에서 이런 경우는 없습니다. 우리는 짜장면을 먹어보고 나서야 짬뽕 맛을 어렴풋이 '추측'할 뿐, 그 관계를 미리 알지 못합니다.

이 가정은 연구의 이론적 토대를 굳건히 하는 데는 필수적이지만, 현실 적용성을 크게 제약하는 요소입니다. 실제 세상의 피드백 그래프는 고정되어 있지도 않고, 처음부터 알려져 있지도 않습니다. 오히려 부딪히고 깨지면서 그 관계를 그려나가는 것 자체가 학습의 중요한 일부입니다. 이 연구의 알고리즘은 그 '탐험'의 과정을 생략한 채, 이미 완성된 지도를 들고 가장 빠른 길을 찾는 방법에만 집중합니다. 물론 이는 그 자체로도 대단히 어려운 수학적 난제이며, 이 문제를 해결한 것만으로도 큰 학문적 성취입니다. 하지만 이 기술을 당장 현실 세계의 복잡한 문제에 그대로 적용하기는 어렵다는 점을 분명히 인식해야 합니다.

또 한 가지 흔한 오해는 이런 연구가 AI의 '예측' 능력을 키운다는 생각입니다. 이 연구는 미래를 예언하는 수정 구슬을 만드는 방법이 아닙니다. 오히려 정해진 게임의 규칙(피드백 그래프) 안에서, 상대방(적대자)이 나를 어떻게 방해하든 간에 나의 피해를 최소화하고 최선의 방어 전략을 짜는 '메커니즘'에 가깝습니다. 메커니즘과 예언은 반드시 구분해야 합니다.

슬롯머신을 넘어 데이터 주권으로: 우리가 주목할 신호

그렇다면 이토록 이론적이고 제약이 명확한 연구가 왜 중요할까요? 이 연구의 진짜 가치는 슬롯머신을 이기는 법을 넘어, 미래 AI 시스템의 설계 철학과 맞닿아 있기 때문입니다.

생각을 확장해 봅시다. 우리 삶 속에서 '적대적 환경'을 만드는 주체는 누구일까요? 시장의 경쟁자나 사이버 공격에만 국한될까요? 어쩌면 우리가 매일 사용하는 거대 플랫폼 자체가 우리에게는 '적대적 환경'일 수 있습니다.

예를 들어, 당신이 온라인 쇼핑 플랫폼에서 최고의 가성비를 가진 상품을 찾고 싶어 한다고 합시다. 이것이 당신의 목표입니다. 하지만 플랫폼의 목표는 다릅니다. 플랫폼은 자사 브랜드(PB) 상품이나, 자신들에게 더 많은 수수료를 내는 판매자의 상품을 당신에게 노출시켜 이익을 극대화하고 싶어 합니다. 당신의 목표와 플랫폼의 목표는 서로 충돌합니다. 이 상황에서 플랫폼의 추천 알고리즘은 당신의 합리적인 선택을 방해하는 '적대자' 역할을 할 수 있습니다.

이러한 관점에서 이번 연구는 중요한 시사점을 던집니다. AI가 단순히 주어진 환경에 순응하는 것을 넘어, 자신에게 불리하게 작용하는 환경의 구조를 이해하고 그 안에서 자신의 목표(사용자의 목표)를 지키며 최선의 선택을 할 수 있는 기술적 가능성을 보여주었기 때문입니다. 이는 개인의 '알고리즘 대리인(Algorithmic Agent)'이 거대 플랫폼의 영향력으로부터 독립적으로 사용자의 이익을 대변할 수 있는 시대로 나아가는 첫걸음이 될 수 있습니다.

결국 이 연구는 '데이터 주권'이라는 묵직한 화두로 연결됩니다. 나의 데이터와 선택을 기반으로 작동하는 AI가 과연 진정으로 나를 위해 일하고 있는가? 아니면 플랫폼의 이익을 위해 나를 조종하는 '적대자'로 작동하고 있는가? 이 근본적인 질문에 답하기 위한 기술적, 철학적 논의가 바로 이런 기초 연구에서부터 시작됩니다. 앞으로 우리는 AI가 얼마나 똑똑해지는가 뿐만 아니라, 그 지능이 누구의 이익을 위해 복무하는지를 더욱 집요하게 질문해야 할 것입니다.

독자가 던질 법한 질문들

Q. 이 연구 결과는 AI가 이제 어떤 게임에서든 인간 고수를 이길 수 있다는 뜻인가요? A. 전혀 그렇지 않습니다. 이 연구는 '피드백 그래프'라는 게임의 규칙과 구조가 미리 알려져 있고, 상대방이 최악의 수만 둔다는 매우 특정한 수학적 모델에 국한됩니다. 인간의 직관, 심리전, 창의성, 혹은 규칙이 명확하지 않은 현실 세계의 복잡한 문제를 해결하는 능력과는 거리가 멉니다. 체스나 바둑처럼 규칙이 명확한 게임에서 AI가 인간을 넘어선 것과는 또 다른 차원의 이야기입니다.

Q. 넷플릭스나 유튜브의 추천 알고리즘과 어떻게 다른 건가요? 더 좋아지는 건가요? A. 현재의 추천 시스템은 대부분 '협업 필터링' 같은 확률적 모델에 기반합니다. 비슷한 취향의 사람들이 좋아한 것을 나에게도 추천해주는 방식이죠. 사용자의 행동이 어느 정도 일관성이 있다고 가정합니다. 반면 이 연구는 환경 자체가 나를 속이려 드는 '적대적' 상황을 다룹니다. 따라서 영화 추천보다는 금융 시장의 초단타매매, 사이버 보안 시스템의 공격 방어, 군사 작전에서의 실시간 자원 배분처럼 매 순간의 선택이 중요하고 상대방의 방해가 극심한 고위험 환경에 더 적합한 모델입니다.

Q. 이런 이론적인 연구가 우리 실생활에 적용되려면 얼마나 걸릴까요? A. 기초 과학 연구가 그렇듯, 수년에서 십수 년이 걸릴 수 있습니다. 물리학에서 새로운 입자를 발견했다고 해서 바로 다음 날 새로운 가전제품이 나오는 것이 아닌 것과 같습니다. 다만 이런 근본적인 알고리즘의 발전은 보이지 않는 곳에서부터 시스템의 효율과 안정성을 높이는 데 기여합니다. 향후 5~10년 안에 온라인 광고 입찰, 물류 최적화, 금융 파생상품 설계 등 고도로 전문화된 기업용(B2B) 솔루션에 먼저 그 원리가 녹아들 가능성이 높습니다. 우리가 스마트폰 앱으로 그 혜택을 체감하기까지는 더 많은 시간이 필요할 것입니다.