AI 에이전트도 회의는 줄여야 한다 — '언제 말할지'를 수학으로 결정하다

여러 AI가 함께 일하는 시대 — '언제 말하나'가 왜 핵심인가

수십 명이 한 팀으로 움직이는 대형 건물 경비 현장을 상상해 봅시다. 한쪽에선 정문을, 다른 쪽에선 주차장을, 또 다른 쪽에선 지하층을 각자 맡습니다. 이때 두 가지 극단이 있습니다. 첫 번째는 1분마다 무전으로 모두가 상황을 공유하는 것입니다. 쓸데없는 '이상 없음'이 끝없이 쌓이고, 정작 급한 순간에는 채널이 막힙니다. 두 번째는 아무도 소통하지 않다가 위기가 닥쳐서야 허둥지둥 연락하는 것입니다. 최선은 무엇일까요. '내 구역 상황이 동료가 알고 있는 것과 의미 있게 달라졌을 때만' 무전을 치는 것입니다.

이것이 최근 발표된 MARL, 즉 멀티 에이전트 강화학습(Multi-Agent Reinforcement Learning — 쉽게 말해 여러 AI가 함께 시행착오를 겪으며 협력하는 법을 배우는 방식) 연구가 풀려는 문제입니다. AI 에이전트(특정 목표를 달성하기 위해 스스로 판단하고 행동하는 소프트웨어 단위)가 여럿 붙어서 협력하는 시스템에서 '언제 정보를 주고받느냐'는 성능을 결정하는 핵심 변수입니다. 그리고 이번에 발표된 논문은 그 타이밍을 결정하는 새로운 수학적 기준을 제안합니다.

다만 연구는 정확하게 읽어야 합니다. 이 글은 그 기준을 가능한 쉽게 풀면서도, 논문이 아직 답하지 못한 부분을 솔직하게 짚겠습니다. 메커니즘과 예언은 구분해야 합니다. '이런 방식이 작동한다'는 것과 '이 방식이 실제 자율주행이나 로봇에 바로 쓰일 수 있다'는 것은 전혀 다른 주장입니다.

기존 두 방식의 한계 — 항상 떠들거나, 들쭉날쭉하게 배우거나

강화학습을 처음 접하는 분을 위해 잠깐 설명합니다. 강화학습은 AI가 시행착오를 거쳐 스스로 규칙을 터득하는 방식입니다. 어린아이가 자전거를 타면서 넘어지다 균형 잡는 법을 익히듯, AI도 수없이 시도하고 실패하며 '이럴 때는 이렇게 하면 점수가 올라가더라'를 학습합니다. MARL은 여기에 '여럿이서 함께'를 더한 것입니다. 한 명이 자전거를 타는 것이 아니라 여러 명이 팀을 이뤄 릴레이 경기를 하는 격입니다.

이 환경에서 통신은 두 가지 서로 반대되는 압력 사이에 낍니다. 통신이 많을수록 각 에이전트가 전체 그림을 잘 파악할 수 있지만, 동시에 대역폭(데이터가 오가는 통로의 용량)이 소모되고 처리해야 할 정보량이 늘어납니다. 이 딜레마에 대응해 온 기존 방식은 크게 두 가지였습니다.

첫 번째는 항시 통신(always communicate)입니다. 말 그대로 매 시간마다 모든 에이전트가 자신의 정보를 전부 공유합니다. 구현이 단순하고 에이전트 간 정보 불일치가 줄어든다는 장점이 있습니다. 그러나 에이전트 수가 늘어나면 통신량이 에이전트 수의 제곱에 비례해 폭발합니다. 5대의 로봇이 서로 통신하면 10쌍, 10대면 45쌍, 20대면 190쌍입니다. 상황이 조금도 변하지 않았는데도 쉬지 않고 '이상 없음'을 주고받는 셈입니다. 고속도로 위 자율주행차 수십 대가 매 0.1초마다 서로의 위치와 속도를 전부 공유한다면 통신 채널이 먼저 포화됩니다.

두 번째는 REINFORCE 기반 게이팅입니다. 게이팅이란 통신 여부를 선택적으로 열고 닫는다는 뜻이고, REINFORCE는 정책 경사법(policy gradient method)이라 불리는 강화학습 알고리즘입니다. 쉽게 말하면 '통신을 했을 때 결과가 좋았으면 그 선택을 더 자주 하도록 학습'하는 방식입니다. 원리는 그럴듯합니다. 그러나 문제는 이 학습 과정에서 분산(variance — 결과가 얼마나 들쭉날쭉한지를 나타내는 통계 개념)이 매우 높다는 점입니다. 주사위를 던져 나온 숫자에 따라 통신할지 말지를 결정하다 보면, 같은 상황에서도 어떤 때는 통신하고 어떤 때는 안 하는 예측하기 어려운 패턴이 만들어집니다. 왜 이 시점에 통신했는지, 왜 안 했는지 사람이 이해하기도 어렵습니다. 이른바 블랙박스 문제입니다.

핵심 아이디어 — 신념의 거리를 재서 말할 때를 결정한다

이 논문이 제안하는 접근은 두 개념의 결합입니다. 신념 분포(belief distribution)와 KL 발산(Kullback-Leibler divergence)입니다. 어렵게 들리지만 하나씩 풀어 보겠습니다.

신념 분포란 '에이전트가 현재 환경 상태에 대해 가지고 있는 확률적 추측'입니다. 쉽게 말해 각 AI가 품고 있는 상황 보고서인데, 단순한 숫자가 아니라 '이럴 가능성이 60%, 저럴 가능성이 30%, 그 외 10%'처럼 확률 형태로 표현된 보고서입니다. 날씨를 생각하면 이해하기 쉽습니다. 기상청이 '내일 비 올 확률 70%'라고 할 때 그것이 하나의 신념 분포입니다. '확실히 비가 온다'가 아니라 가능한 상태들에 확률을 배분한 것입니다.

창고를 지키는 AI 로봇 두 대를 예로 들겠습니다. 로봇 A는 동쪽 구역을 담당하고, 로봇 B는 서쪽을 담당합니다. 로봇 A는 자신이 관측한 것을 바탕으로 '현재 창고 전체 상황이 X일 가능성 70%, Y일 가능성 20%, Z일 가능성 10%'라는 신념 분포를 가집니다. 로봇 B 역시 자신의 관측을 바탕으로 비슷한 확률 보고서를 갖습니다. 두 로봇이 비슷한 구역을 비슷한 방식으로 관측하는 동안은 두 보고서가 크게 다르지 않을 것입니다. 그러나 B의 구역에서 이상한 일이 생기면 B의 신념 분포는 빠르게 바뀌는 반면, A의 신념 분포는 아직 이전 상태에 머뭅니다.

이제 KL 발산이 등장합니다. KL 발산은 두 확률 분포가 얼마나 다른지를 하나의 숫자로 나타내는 척도입니다. 두 보고서의 내용 차이를 계산하는 도구라고 생각하면 됩니다. KL 발산이 0이면 두 보고서가 완전히 같다는 뜻이고, 값이 클수록 두 보고서의 내용이 크게 다르다는 뜻입니다.

이 논문의 핵심 규칙은 간단합니다. A의 신념 분포와 B의 신념 분포 사이의 KL 발산이 미리 정해 놓은 임계값(threshold — 어떤 기준값)을 넘었을 때만 A와 B가 통신합니다. 두 로봇의 상황 인식이 의미 있게 달라졌을 때만 서로 이야기하는 것입니다. 작동 원리를 단계로 정리하면 다음과 같습니다.

1. 각 에이전트는 자신의 관측을 바탕으로 환경 상태에 대한 신념 분포를 실시간으로 유지합니다.
2. 에이전트들은 주기적으로 서로의 신념 분포 사이의 KL 발산을 계산합니다.
3. KL 발산 값이 미리 설정한 임계값보다 크면 통신을 시작합니다.
4. KL 발산 값이 임계값 이하이면 통신하지 않습니다. 둘이 비슷한 상황 인식을 공유하는 동안은 채널을 열 필요가 없습니다.
5. 통신이 이루어지면 각 에이전트는 받은 정보를 반영해 자신의 신념 분포를 업데이트합니다.

이 방식이 기존 방식보다 나은 이유는 세 가지입니다. 첫째, 통신의 근거가 명확합니다. '신념 분포의 차이가 임계값을 넘었으니 소통한다'는 수학적으로 정의된 기준이 있습니다. REINFORCE처럼 학습 과정에서 들쭉날쭉하게 결정되는 것이 아닙니다. 둘째, 불필요한 통신을 자연스럽게 걸러 냅니다. 두 에이전트가 비슷한 상황 인식을 유지하는 동안은 채널을 열지 않습니다. 셋째, 해석이 가능합니다. 왜 이 시점에 통신했는지를 '신념 분포 차이가 임계값을 넘었기 때문'이라고 설명할 수 있습니다.

역사적 평행선 — 이 문제는 AI보다 오래됐다

이 문제는 AI만의 것이 아닙니다. 조직과 시스템 설계에서 '언제, 누구에게, 무엇을 보고할 것인가'는 수백 년 된 숙제입니다.

군사 통신을 보면 좋은 선례가 있습니다. 2차 세계대전 당시 연합군은 무전 통신을 최소화하는 전술을 운영했습니다. 독일군이 무선 신호를 포착해 위치를 파악할 수 있었기 때문만이 아닙니다. 전장의 각 부대가 상황이 크게 바뀌었을 때만 상부에 보고하도록 훈련된 것은 통신 채널 포화를 막기 위한 설계이기도 했습니다. '현상 유지'는 보고하지 않고 '변화'가 생겼을 때만 보고한다는 원칙입니다. 이것이 KL 발산 게이팅의 직관과 정확히 일치합니다.

분산 컴퓨팅(여러 컴퓨터가 네트워크로 연결돼 함께 일하는 방식) 분야에서도 비슷한 고민이 있었습니다. 이벤트 기반(event-driven) 시스템은 '상태가 변할 때만 메시지를 보낸다'는 원칙에 기반합니다. 매 0.1초마다 '나는 살아 있다'고 신호를 보내는 대신, '내 상태가 변했다'는 사건이 생겼을 때만 메시지를 내보냅니다. 현대 클라우드 서비스가 대부분 이 방식으로 설계돼 있습니다. 카카오톡 서버가 여러분의 메시지를 처리하는 방식도, 배달 앱이 라이더 위치를 업데이트하는 방식도 모두 이 이벤트 기반 원칙 위에 있습니다.

기업 조직에서도 마찬가지입니다. 잘 설계된 조직은 매일 아침 전 직원 회의 대신 예외 상황 보고 체계를 운영합니다. 정상 범위 안에서 일이 흘러갈 때는 각자 자기 일을 하고, 예외가 생겼을 때만 상위 레이어에 알립니다. 이것을 경영학에서는 예외 관리(management by exception)라고 부릅니다. 토요타의 생산 라인에서 이상이 없을 때는 관리자가 따로 보고를 받지 않고, 불량이 감지됐을 때만 라인을 멈추고 보고가 올라가는 안돈(Andon) 시스템이 대표적 사례입니다.

이 논문이 제안하는 KL 발산 게이팅은 이 오래된 지혜를 AI에 수학적으로 구현한 것입니다. '얼마나 달라졌는가'를 직관이 아니라 정량화된 수치로 판단한다는 점이 인간 조직보다 나은 부분입니다.

반론과 한계 — 논문은 정확하게 읽어야 합니다

이쯤에서 한 발 물러서야 합니다. 이 연구가 아직 답하지 못한 부분을 솔직하게 짚겠습니다.

첫째, 신념 분포를 정확하게 유지하는 것 자체가 어렵습니다. 에이전트가 '현재 환경이 X일 확률 70%, Y일 확률 20%'처럼 정밀한 신념 분포를 실시간으로 갖는다는 전제부터 현실에서 만족시키기가 쉽지 않습니다. 실제 환경은 대단히 복잡합니다. 자율주행차가 마주하는 교통 상황, 로봇이 작업하는 공장 현장에는 상태 변수가 수백, 수천 개 이상입니다. 이 모든 것을 정밀한 확률 분포로 표현하고 실시간으로 업데이트하는 데는 계산 비용이 만만치 않습니다. 연구팀이 실험한 환경이 얼마나 복잡했는지, 실제 산업 현장과 얼마나 가까운지를 원논문에서 직접 확인해야 합니다.

둘째, 임계값 설정이 또 다른 문제를 만듭니다. KL 발산이 얼마를 넘었을 때 통신할 것인가, 즉 임계값을 어떻게 정하느냐는 쉬운 문제가 아닙니다. 임계값이 너무 낮으면 기존 항시 통신과 별 차이가 없습니다. 너무 높으면 정말 중요한 순간에도 통신이 일어나지 않을 수 있습니다. 이 임계값을 과제마다, 환경마다 손으로 조정해야 한다면 실용성이 크게 떨어집니다. 임계값을 환경에 맞게 자동으로 조정하는 방법론은 이번 논문이 해결한 것이 아니라 후속 연구 과제로 남아 있습니다.

셋째, 실험 환경과 실제 환경의 거리를 냉정하게 봐야 합니다. MARL 논문들은 대개 통제된 시뮬레이션 환경에서 성능을 측정합니다. 물리 법칙이 단순화되어 있고, 센서 노이즈나 통신 지연이 통제된 조건입니다. 실제 드론 군집이나 자율주행 차량 군단에 그대로 적용했을 때 같은 성능 개선이 재현될 것이라고 지금 단계에서 보장할 수 없습니다. 이것은 이 논문만의 문제가 아니라 MARL 분야 전체의 한계이기도 합니다.

넷째, '해석 가능하다'는 주장을 너무 넓게 읽어서는 안 됩니다. 'KL 발산이 임계값을 넘었으니 통신한다'는 기준은 REINFORCE보다 분명히 명확합니다. 그러나 각 에이전트가 어떤 신념 분포를 갖게 됐는지, 왜 그런 분포가 형성됐는지는 여전히 불투명할 수 있습니다. 통신 여부의 결정 기준은 투명해졌지만, 그 결정의 배경이 되는 내부 신념 자체는 여전히 복잡한 모델 안에 있습니다.

흔한 오해 두 가지를 짚겠습니다.

• 오해 1: KL 발산 방식은 항상 통신량을 줄인다. — 현실은 다릅니다. 임계값 설정에 따라 달라지고, 에이전트가 신념 분포를 유지하고 KL 발산을 계산하는 데도 계산 자원이 소모됩니다. 통신 비용 절감이 계산 비용 증가를 상쇄한다고 원논문이 명확하게 보여주는지 확인해야 합니다.
• 오해 2: 이 방식이 REINFORCE보다 항상 더 좋은 협업 성능을 낸다. — 통신 효율과 최종 협업 성능은 다릅니다. 통신을 줄였다고 해서 반드시 팀 전체의 목표 달성율이 높아지지는 않습니다. 어떤 벤치마크에서, 어떤 조건에서 개선됐는지를 세부적으로 확인해야 합니다.

이러한 한계들은 이 연구의 가치를 훼손하지 않습니다. 다만 '실험 논문이 제안한 것'과 '산업에 당장 적용 가능한 것'을 혼동해서는 안 됩니다. 메커니즘과 예언은 다릅니다. '이런 원리가 작동한다'는 것과 '이것이 내년 자율주행차에 쓰인다'는 것은 전혀 다른 주장입니다.

해석 가능성과 데이터 주권 — 더 큰 함의

이 연구가 던지는 더 큰 의미는 성능 지표를 넘어선 곳에 있습니다.

'AI의 행동이 이해 가능한가'는 AI 시스템이 실제 산업과 사회에 광범위하게 배치될수록 점점 더 중요해질 질문입니다. 유럽연합의 AI 법(AI Act)은 고위험 AI 시스템에 대해 결정 근거의 투명성을 요구합니다. 의료 진단, 신용 평가, 자율주행처럼 사람의 삶에 직접 영향을 미치는 영역에서 'AI가 왜 이렇게 행동했는지'를 설명할 수 없다면 법적으로도, 윤리적으로도 문제가 됩니다.

이 맥락에서 KL 발산 기반 통신 게이팅이 주는 해석 가능성의 향상은 단순한 기술적 개선이 아닙니다. AI 시스템이 '내가 왜 이 시점에 이 에이전트와 통신했는지'를 수학적으로 설명할 수 있다면, 사후 감사(audit)와 책임 추적이 가능해집니다. 사고가 났을 때 '그 순간 에이전트들의 신념 분포 차이가 얼마였고, 통신이 이루어졌는지 아닌지'를 기록으로 남길 수 있다는 뜻입니다. 이것은 자동차 사고의 블랙박스와 같은 역할입니다. 사고 자체를 막지는 못하지만, 사고 이후 원인 규명과 재발 방지를 가능하게 합니다.

데이터 주권 관점에서도 중요한 시사점이 있습니다. 멀티 에이전트 시스템이 광범위하게 배치될 미래에는, 에이전트가 어떤 정보를 누구와 공유했는지가 개인정보 및 기업 기밀 보호와 직결됩니다. 병원의 AI 시스템 여러 대가 환자 데이터를 공유하며 협력하는 상황을 생각해 봅시다. 매 시점 전체 데이터를 공유하는 방식과, 정말 필요한 순간에만 필요한 정보를 교환하는 방식은 개인정보 노출 위험의 크기가 다릅니다. 최소 필요 통신의 원칙은 기술적 효율성과 정보 보안을 동시에 만족시킬 수 있는 방향입니다.

물류 창고의 로봇 군단에서도 실용적 함의가 있습니다. 대형 창고에서 수백 대의 로봇이 동시에 움직이는 환경에서, 필요할 때만 통신하는 시스템은 네트워크 부하를 줄이고 긴급 신호에 대한 반응 속도를 높일 수 있습니다. 현재 자율주행 차량 간 통신(V2V, Vehicle-to-Vehicle) 표준들은 여전히 비교적 단순한 규칙에 의존합니다. 특정 반경 안의 차량과 주기적으로 데이터를 주고받는 방식이 대부분입니다. 에이전트들이 상황 인식의 차이를 기반으로 통신 타이밍을 스스로 조절할 수 있다면, 도심처럼 복잡한 환경에서 통신 채널 효율이 크게 향상될 수 있습니다. 다만 이것은 아직 추정입니다.

방향은 옳지만 길은 멀다

이 연구는 멀티 에이전트 AI 시스템이 더 지능적으로 협력하는 방향으로 나아가기 위한 원리적 기반 하나를 제안했습니다. '언제 말할지'를 수학적 기준에 따라 결정하는 이 접근은 기존 방식이 가진 두 가지 단점, 즉 항시 통신의 낭비와 REINFORCE 기반 방식의 불안정성을 동시에 해소하려는 시도입니다. 방향 자체는 옳습니다.

그러나 재현 가능한가, 실제 환경에서도 성립하는가, 임계값 설정 문제는 어떻게 해결하는가. 이 질문들에 후속 연구들이 답해 주기를 기다려야 합니다. 지금은 아직 연구실의 제안입니다. 연구실의 제안이 산업 현장의 표준이 되기까지는 수많은 검증과 실패와 수정이 필요합니다. 성급하게 '이제 AI 협업이 해결됐다'고 읽어서는 안 됩니다.

AI가 쓸데없이 떠들지 않고 꼭 필요한 순간에만 정확하게 소통하는 것. 사람에게도 어려운 일입니다.

Q. 이 방식이 자율주행이나 산업용 로봇에 당장 쓰일 수 있나요?

A. 현재는 시뮬레이션 환경에서의 검증 단계입니다. 실제 자율주행이나 산업용 로봇에 적용하려면 신념 분포를 실시간으로 유지하는 계산 비용 문제, 센서 노이즈가 있는 실제 환경에서의 안정성 검증, 임계값 자동 조정 방법 등 추가 연구가 필요합니다. 이 논문은 방향을 제시한 것이지, 완성된 제품을 내놓은 것이 아닙니다.

Q. KL 발산 임계값은 어떻게 정하나요? 환경마다 다르지 않나요?

A. 맞습니다. 임계값은 환경의 복잡도, 통신 비용, 요구되는 협업 정밀도에 따라 달라집니다. 이 논문의 제안은 임계값이라는 하나의 파라미터(조절 가능한 변수)로 통신 행동을 제어할 수 있다는 점에서 의미가 있지만, 그 최적값을 찾는 것 자체가 또 하나의 튜닝 문제입니다. 임계값을 환경에 맞게 자동으로 조정하는 적응형 방법론은 아직 연구 과제로 남아 있습니다.

Q. 기존 REINFORCE 방식보다 확실히 나은 방식이라고 볼 수 있나요?

A. '더 안정적이고 해석 가능한 통신 결정'이라는 점에서는 우위가 있습니다. 그러나 최종 협업 성능 지표, 예를 들어 목표 달성율이나 누적 보상의 총합이 모든 환경에서 REINFORCE를 앞서는지는 별도로 검증해야 합니다. 신념 분포 유지에 드는 추가 계산 비용이 통신 절감의 이익을 상쇄하지 않는지도 따져야 합니다. '더 좋다'는 주장은 항상 조건부입니다.