AI 비서? 자판기 하나 못 돌리는 '에이전트'의 민낯

도입: '척척박사' AI, 동네 자판기 사장은 왜 못할까?

시를 짓고, 복잡한 코드를 짜고, 변호사 시험까지 합격하는 인공지능을 보며 많은 이들이 감탄합니다. 이런 추세라면 곧 사람처럼 스스로 생각하고 계획하며 일을 처리하는 'AI 비서'가 등장할 것이라는 기대감도 커지고 있습니다. 업계에서는 이를 'LLM 에이전트'라고 부릅니다. 쉽게 말해, 거대언어모델(LLM, 사람의 말을 이해하고 문장을 만들어내는 AI)이 두뇌 역할을 하여 사람의 지시를 받아 이메일을 대신 보내주거나, 여행 계획을 짜고 예약까지 마치는 등 개인 비서처럼 행동하는 기술입니다.

그런데 이토록 똑똑해 보이는 AI가, 우리 동네 길모퉁이에 있는 자판기 하나를 제대로 운영하지 못한다면 믿으시겠습니까? 최근 공개된 'AutoVend'라는 이름의 연구 논문이 바로 이 뼈아픈 질문을 던집니다. 이 연구는 AI 에이전트에게 가상의 자판기 운영을 통째로 맡겨보는, 일종의 '모의 창업' 시험을 설계했습니다. 결과는 충격적이었습니다. 현존하는 가장 뛰어난 AI 모델들조차 재고 관리, 가격 책정, 고장 수리와 같은 연속적인 과업 앞에서 갈피를 잡지 못하고 실패를 거듭했습니다.

오늘은 이 흥미로운 연구를 통해 화려한 발표 뒤에 가려진 AI 에이전트 기술의 현실을 들여다보고자 합니다. 자극적인 제목에 휘둘리지 않고, 이 연구가 우리에게 던지는 진짜 의미를 정확히 읽어내는 것이 중요합니다. 메커니즘과 예언은 구분해야 합니다. AI가 모든 것을 해결해 줄 것이라는 막연한 기대 대신, 우리는 그것이 '재현되는가, 조건은 무엇인가'를 냉정하게 물어야 합니다.

메커니즘: '자판기 운영'이라는 시험, 무엇이 다른가

AI의 성능을 어떻게 평가할까요? 보통 '벤치마크'라는 표준화된 시험을 통해 점수를 매깁니다. 기존의 AI 에이전트 벤치마크들은 대부분 단편적인 능력을 측정하는 데 집중했습니다. 이는 마치 구직자에게 '사무실까지 가장 빨리 가는 길은?' 혹은 '엑셀 함수 아는 것 전부 말해보시오' 같은 단답형 질문을 던지는 것과 비슷합니다. 물론 이런 능력도 중요하지만, 이것만으로 그 사람이 유능한 직원인지 판단하기는 어렵습니다.

AutoVend 벤치마크는 시험의 패러다임을 바꿨습니다. 단답형 문제가 아니라, '30일 동안 자판기를 운영해 최대 수익을 내시오'라는 장기 프로젝트형 과제를 던져줍니다. 이는 식당을 하나 차려서 운영하는 것과 같습니다. 단순히 손님의 주문을 받는 것을 넘어, 다음과 같은 복합적인 의사결정이 끊임없이 요구됩니다.

• 재고 관리: 어떤 음료가 잘 팔리는지 파악하고, 재고가 떨어지기 전에 미리 주문해야 합니다. 이때 주문 시스템이라는 외부 도구(API, 즉 프로그램끼리 소통하는 창구)를 정확히 사용해야 합니다.
• 가격 최적화: 주변 경쟁 자판기의 가격 변동을 살피고, 날씨나 유동인구 같은 변수를 고려해 내 자판기의 음료 가격을 실시간으로 조정해야 합니다.
• 문제 해결: 갑자기 동전 인식기가 고장 나거나 특정 음료 버튼이 먹통이 되면, 이를 감지하고 수리 요청을 보내는 등 예기치 못한 문제에 대처해야 합니다.
• 장기 계획: 오늘의 가격 할인이 내일의 재고 부족으로 이어질 수 있음을 예측하고, 단기적 이익과 장기적 안정성 사이에서 균형을 잡아야 합니다.

이런 과제들이 어려운 이유는 각각의 행동이 서로 꼬리를 물고 영향을 미치기 때문입니다. 예를 들어, 콜라 재고가 부족하다는 사실을 파악하고 주문을 넣으려던 참에, 옆 자판기가 파격 할인을 시작했다는 정보가 들어옵니다. 이때 AI 에이전트는 '재고 주문'이라는 원래 목표를 잊지 않으면서도, '가격 경쟁'이라는 새로운 변수에 대응하는 멀티태스킹 능력을 보여줘야 합니다. 하지만 현재의 LLM들은 이런 장기적인 맥락 유지에 매우 취약합니다. 대화창이 조금만 길어져도 앞서 했던 말을 잊어버리는 경험, 다들 한 번쯤 해보셨을 겁니다. 자판기 운영은 수십, 수백 개의 대화창을 동시에 열어두고 한 달 내내 기억해야 하는 일과 같습니다.

역사적 평행선: 알파고의 바둑, 에이전트의 자판기

2016년, 구글 딥마인드의 알파고가 이세돌 9단을 꺾은 사건은 인공지능 역사에 한 획을 그었습니다. 이때 왜 하필 '바둑'이 시험대였을까요? 바둑은 규칙은 간단하지만 경우의 수가 우주에 있는 원자 수보다 많아 단순 계산으로는 정복할 수 없는 영역이었습니다. 승리하기 위해서는 수십 수 앞을 내다보는 깊은 전략적 사고와 직관이 필요합니다. 즉, 바둑은 AI의 '전략적 지능'을 평가하는 완벽한 잣대였습니다.

AutoVend가 제시하는 '자판기 운영'은 AI 에이전트 시대의 '바둑'과 같습니다. 물론 자판기 운영이 바둑만큼 심오한 정신 활동은 아닙니다. 하지만 AI 에이전트의 핵심 역량인 '자율적 실행 능력'을 시험하는 무대로는 더할 나위 없이 훌륭합니다. 바둑판의 돌 하나가 전체 판세에 영향을 미치듯, 자판기 운영에서의 결정 하나(예: 가격 50원 인하)는 미래의 수익, 재고, 고객 만족도에 연쇄적인 파장을 일으킵니다.

바둑이 AI의 '전략적 지능'을 시험하는 무대였다면, 자판기 운영은 AI의 '자율적 실행 능력'을 시험하는 무대인 셈입니다.

알파고의 등장이 단순히 '바둑 잘 두는 기계'의 탄생을 넘어, 강화학습이라는 AI 방법론의 잠재력을 전 세계에 증명했듯, AutoVend는 AI 에이전트가 나아가야 할 방향과 현재의 명확한 한계를 동시에 보여주는 중요한 이정표가 될 것입니다. 중요한 것은 자판기 자체가 아니라, '시간의 흐름 속에서 변하는 환경과 상호작용하며 장기적인 목표를 달성하는 능력'이라는 본질입니다. 이 능력이 검증되어야만 우리는 비로소 AI에게 단순 반복 작업을 넘어선 복잡한 임무를 믿고 맡길 수 있게 됩니다.

현실과 한계: 왜 GPT-4도 자판기 앞에서 헤매는가

그렇다면 실제 시험 결과는 어땠을까요? AutoVend 논문은 GPT-4, 클로드 3 등 현존하는 최고 성능의 LLM들을 자판기 운영에 투입했습니다. 결과는 실망스러웠습니다. 대부분의 에이전트가 여러 단계로 구성된 복잡한 작업을 안정적으로 수행하지 못했습니다. 가장 흔하게 나타난 실패 유형은 다음과 같습니다.

1. 목표 소실 (Goal Drift): 처음에는 '수익 극대화'라는 큰 목표를 가지고 시작하지만, 눈앞의 작은 문제에 직면하면 원래 목표를 잊어버립니다. 예를 들어, '음료 재고 채우기'라는 중간 과제를 수행하다가 '경쟁사 가격 분석'이라는 새 정보가 들어오면, 재고 채우기는 까맣게 잊고 가격 분석만 하다가 하루를 보내는 식입니다.
2. 환각과 오작동 (Hallucination & Misuse): 있지도 않은 기능을 호출하거나, 주어진 도구(API)를 잘못된 형식으로 사용하는 경우가 잦았습니다. 마치 식당 주인이 재료 주문을 위해 배달 앱을 써야 하는데, 엉뚱하게 지도 앱을 켜고 헤매는 것과 같습니다. 이는 AI가 도구의 '의미'를 이해하는 게 아니라, 학습 데이터에 나온 '패턴'을 흉내 내기 때문에 발생하는 문제입니다.
3. 비효율적인 계획 (Inefficient Planning): 사람은 보통 '재고 확인 → 부족분 주문 → 가격 조정'처럼 논리적인 순서로 일을 처리합니다. 하지만 AI 에이전트는 이 순서를 뒤죽박죽으로 만들거나, 불필요한 단계를 수십 번 반복하며 시간을 허비하는 모습을 보였습니다. 장기적인 안목 없이 순간순간 최선으로 보이는 선택만 하기 때문입니다.

이러한 한계를 더 명확히 이해하기 위해, 우리가 흔히 접하는 AI 기술들을 비교해 보겠습니다.

이 표에서 알 수 있듯, 에이전트는 이전 세대의 AI와는 질적으로 다른 능력을 요구받습니다. 많은 사람들이 AI 에이전트에 대해 갖는 흔한 오해 두 가지를 짚고 넘어가야 합니다. - 오해 1: AI 에이전트는 곧 인간처럼 생각하고 행동할 것이다. > 현실: 현재 에이전트는 '생각'이라기보다 정교한 '패턴 매칭'과 '다음 단어 예측'의 연장선입니다. 장기적 목표와 의도를 스스로 갖지 못하며, 주어진 목표조차 쉽게 잊어버립니다. '자율성'은 아직 인간의 감독과 명확한 지시가 필요한 제한된 수준입니다. - 오해 2: 어차피 시뮬레이션 환경인데, 실제 세상과는 다르지 않은가. > 현실: 비행기 조종사들이 시뮬레이터로 혹독하게 훈련하듯, 통제된 환경에서 수만 번의 실패를 겪게 하는 것은 실제 세상에 기술을 적용하기 전 필수적인 담금질 과정입니다. 특히 '재현 가능한 실패'는 기술의 약점을 정확히 분석하고 개선할 기회를 주기 때문에, 어쩌다 발생하는 실제 세계의 실패보다 훨씬 값진 데이터입니다.

반론과 재반론: "결국 시뮬레이션일 뿐 아닌가?"

가장 강력한 반론은 역시 '시뮬레이션의 한계'일 것입니다. "결국 게임 속 이야기 아닌가? 실제 자판기 앞에서는 갑자기 정전이 되거나, 누군가 기계를 발로 차서 고장 내거나, 신종 지폐가 나와 인식을 못 하는 등 예측 불가능한 변수가 훨씬 많을 텐데, 이런 통제된 환경에서의 테스트가 무슨 의미가 있는가?"라는 지적입니다.

물론 맞는 말입니다. 현실 세계의 혼돈과 무질서를 디지털 공간에 100% 복제하는 것은 불가능합니다. AutoVend 시뮬레이션에는 진상 손님도, 갑작스러운 단수 조치도 없습니다.

다만 연구는 정확히 읽어야 합니다. AutoVend의 목표는 현실 세계의 모든 변수를 따라 하는 것이 아닙니다. 오히려 불필요한 변수들을 통제함으로써, AI 에이전트의 '핵심 계획 및 실행 능력' 자체를 정밀하게 측정하려는 것입니다. 이는 마치 자동차의 연비를 측정할 때, 실제 도로의 교통체증이나 운전자의 습관을 배제하고 표준화된 시험 주행 코스에서 측정하는 것과 같습니다. 그래야 A 자동차와 B 자동차의 엔진 효율을 공정하게 비교할 수 있기 때문입니다.

AutoVend는 AI 모델들을 위한 '수학능력시험'과 같습니다. 수능이 세상의 모든 지식이나 문제 해결 능력을 대변하지는 못하지만, 적어도 정해진 교육과정 내에서 학생들의 학업 성취도를 비교하는 객관적인 잣대로 기능합니다. 마찬가지로 AutoVend는 각기 다른 방식으로 개발된 AI 에이전트들을 동일한 출발선에 세우고, 누가 더 안정적으로 장기 과제를 수행하는지 겨루게 하는 '공인된 시험장'의 역할을 합니다. 이런 표준화된 시험장이 있어야만, 업계 전체가 건전하게 경쟁하며 발전할 수 있습니다. 막연한 구호가 아닌, 'AutoVend 점수 10점 올리기'와 같은 구체적인 목표가 생기는 것입니다.

시사점: 'AI 주권' 시대를 위한 묵직한 질문

자판기 운영의 실패는 단순히 기술적 해프닝으로 치부할 문제가 아닙니다. 이는 우리가 곧 마주할 'AI 주권' 시대에 대한 묵직한 질문을 던집니다. 'AI 주권'이란, AI가 생성하고 사용하는 데이터와 그 행동의 결과를 누가 통제하고 책임질 것인가에 대한 권리입니다.

생각해 보십시오. 자판기 재고 관리도 제대로 못 하는 에이전트에게 우리 회사의 재무 관리를, 도시의 교통 시스템 제어를, 혹은 개인의 건강 데이터를 온전히 맡길 수 있겠습니까? 만약 AI 에이전트가 주식시장에서 내 돈을 굴리다가 버그를 일으켜 전 재산을 날렸다면, 그 책임은 누구에게 있을까요? 에이전트를 개발한 빅테크 기업일까요, 아니면 그 서비스를 사용하도록 '허락'한 나 자신일까요?

현재의 법과 제도는 이런 새로운 형태의 행위 주체를 상정하고 있지 않습니다. AutoVend의 실패는 AI 에이전트가 아직 독립적인 법인격이나 책임의 주체가 되기에는 한참 부족한 존재임을 명확히 보여줍니다. 그것은 '대리인'이라기보다, 여전히 세밀한 감독이 필요한 '도구'에 가깝습니다.

따라서 우리는 기술 발전을 그저 낙관적으로 바라보는 것을 넘어, 이 기술을 우리 사회에 어떻게 통합할 것인지에 대한 사회적 논의를 서둘러야 합니다. 기술의 '신뢰성'과 '책임 소재'를 검증할 수 있는 더 엄격한 벤치마크들이 계속해서 등장해야 하며, 동시에 사용자에게는 AI의 결정 과정을 투명하게 들여다보고 언제든 개입할 수 있는 '통제권'이 보장되어야 합니다. 자판기 앞에서 드러난 AI의 민낯은, 기술에 대한 맹신이 얼마나 위험한지 경고하는 동시에, 우리 스스로가 데이터와 AI의 주인이 되어야 함을 일깨우는 중요한 계기입니다.

독자가 던질 법한 질문

Q. 그럼 AI 에이전트는 그냥 거품이고, 아무 쓸모도 없다는 뜻인가요? A. 그렇지 않습니다. 특정 영역에서는 이미 강력한 도구입니다. 이메일 초안 작성, 코드 디버깅, 정보 요약 등 명확한 지시가 있는 '보조' 역할에서는 탁월한 성능을 보입니다. 다만, 스스로 목표를 설정하고 예상 밖의 상황에 대처하는 '자율적 주체'가 되기까지는 아직 시간이 필요하다는 뜻입니다. 자율주행 기술이 1단계에서 5단계로 나뉘듯, 에이전트 기술도 이제 막 1~2단계를 밟고 있는 셈입니다. 도구로서의 가치와 주체로서의 가능성을 구분해서 봐야 합니다.

Q. AutoVend 같은 벤치마크가 나오면 AI 발전이 더 빨라지는 건가요? A. 단기적으로는 오히려 속도가 더뎌지는 것처럼 보일 수 있습니다. 화려한 홍보 영상 뒤에 가려진 한계가 명확히 드러나기 때문입니다. 하지만 장기적으로는 반드시 필요하며, 발전을 촉진할 것입니다. 명확한 '시험 문제'가 있어야 개발자들도 무엇을 개선해야 할지 정확히 알 수 있습니다. 막연히 '더 똑똑한 AI'를 만드는 것보다 '자판기 운영 성공률 80% 달성' 같은 구체적 목표가 있을 때 발전이 훨씬 빠릅니다. 이는 기술의 '내실'을 다지는 건강한 과정입니다.

Q. 일반 사용자가 이런 에이전트 기술의 발전을 체감하려면 무엇을 눈여겨봐야 할까요? A. 두 가지를 주목하십시오. 첫째, AI 비서가 얼마나 '먼저' 제안하는가입니다. 지금은 '오늘 날씨 어때?'라고 물어야 답하지만, 앞으로는 AI가 내일 일정을 보고 '오후에 비가 오니, 외출 시 우산을 챙기시는 게 좋겠습니다'라고 먼저 알려주는 식입니다. 둘째, 여러 앱을 얼마나 자유자재로 넘나드는가입니다. '강남역 근처에 평점 4.5 이상이고, 예약 가능한 이탈리안 레스토랑 찾아서 저녁 7시에 2명 예약해 줘'라는 복합적인 요청을, 지도 앱, 리뷰 앱, 예약 앱을 스스로 오가며 한 번에 처리해낼 때, 진정한 에이전트 시대가 열렸다고 볼 수 있습니다. 아직은 이 두 가지 모두 초기 단계에 머물러 있습니다.