논문 브리핑
불확실한 상황 속 AI 에이전트, 'ASK' 시스템으로 LLM에게 제대로 길 묻는 법 배웠다
글 · 한경모
복잡한 현실 세계에서 인공지능 에이전트가 성공적으로 임무를 수행하려면 종종 불완전한 정보 속에서 의사결정을 내려야 합니다. 예를 들어, 자율주행차가 시야가 제한된 골목길을 지나거나, 로봇이 익숙하지 않은 환경에서 작업을 처리할 때가 대표적입니다. 이러한 '부분 관측 가능성(Partial Observability)' 상황은 강화학습(Reinforcement Learning, RL) 에이전트의 학습과 행동에 큰 난관으로 작용해 왔습니다.
최근 arXiv에 공개된 논문 'ASK in the Dark: Uncertainty-Gated LLM Assistance under Partial Observability'는 이 오랜 문제에 대한 흥미로운 해결책을 제시합니다. 기존에도 대규모 언어 모델(LLM)이나 경량 언어 모델(SLM)을 에이전트의 보조 고문으로 활용하려는 시도는 많았습니다. 에이전트가 자신의 판단에 불확실성을 느낄 때 LLM에 질문하여 조언을 구하는 방식이었습니다.
하지만 이런 '바닐라 불확실성 게이팅(vanilla uncertainty-gated)' 접근 방식은 큰 한계에 부딪혔습니다. 에이전트가 SLM에 조언을 요청해도, SLM이 에이전트의 행동을 실질적으로 수정하거나 개선하는 '오버라이트(overwrite)' 비율이 거의 0에 가까웠기 때문입니다. 이는 SLM이 에이전트로부터 받는 정보, 즉 '자기중심적 프롬프트(bare egocentric prompt)'가 너무 빈약하여 문제의 전체 맥락을 이해하고 유의미한 답변을 내놓기 어려웠기 때문입니다. 마치 중요한 정보를 빼놓고 질문하는 것과 같습니다.
이 논문은 이 문제의 핵심이 SLM에 어떤 맥락 정보를 제공하는지에 달려있다고 지적하며, 'ASK'라는 새로운 프레임워크를 제안합니다. ASK 시스템은 에이전트가 자신의 행동에 불확실성을 느낄 때, 단순히 현재 관측값만 SLM에 전달하는 것이 아니라, 에이전트의 과거 경험, 현재 목표, 환경과의 상호작용 기록 등 SLM이 추론에 필요한 '충분한 맥락 정보'를 함께 제공합니다. 이처럼 풍부한 맥락을 바탕으로 SLM은 에이전트의 의사결정을 효과적으로 보완하고 개선할 수 있게 됩니다.
이 연구의 산업적 의미는 큽니다. 자율 로봇이나 드론, 혹은 제조 라인에서 예상치 못한 문제가 발생했을 때, 인간 개입 없이 AI 에이전트가 스스로 판단하고 대처하는 능력을 획기적으로 향상시킬 수 있습니다. 특히 경량화된 SLM을 활용함으로써 시스템의 실시간 반응 속도를 유지하면서도 복잡한 추론 능력을 통합할 수 있다는 점은 큰 장점입니다. 물론, SLM의 추론 정확도와 편향성 문제는 여전히 존재하지만, ASK 시스템은 SLM의 개입 시점을 정밀하게 제어하는 '불확실성 게이팅'을 통해 이러한 한계를 보완하려는 시도를 보입니다.
일부에서는 LLM의 통합이 시스템 복잡도를 높이고 예측 불가능성을 야기할 수 있다고 우려할 수 있습니다. 그러나 이 연구는 SLM이 모든 결정에 개입하는 것이 아니라, 에이전트가 가장 어려움을 겪는 특정 순간에만 전략적으로 활용된다는 점을 강조합니다. 이는 LLM/SLM을 단순한 '지식 저장소'를 넘어, 실제 에이전트의 '실시간 문제 해결 엔진'으로 활용하는 새로운 패러다임을 제시하는 것입니다. 이러한 접근 방식은 최근 인공지능 분야에서 활발히 논의되는 RAG(Retrieval-Augmented Generation) 시스템처럼, 외부 지식과의 연계를 통해 AI의 성능을 높이는 큰 흐름과도 궤를 같이 합니다.
- 기존 연구는 에이전트가 불확실할 때 SLM에 도움을 요청했지만, SLM이 판단하기에 충분한 '맥락'을 제공하지 못했습니다.
- 'ASK' 시스템은 에이전트의 현재 관측 정보뿐 아니라, 과거 경험과 목표 등 SLM이 추론할 수 있는 심층적인 환경 맥락을 함께 전달합니다.
- 이로써 SLM은 단순히 조언하는 수준을 넘어, 에이전트의 행동을 실질적으로 '오버라이트'하는(재정의하는) 빈도를 크게 높였습니다.
- '불확실성 게이팅' 방식을 통해 SLM의 개입 시점을 정밀하게 제어하며, 경량화된 SLM을 활용해 연산 효율성과 지연 시간 문제를 최소화했습니다.
인사이트
이 논문은 강화학습 에이전트가 불확실한 상황에서 LLM의 지능을 효과적으로 활용하기 위해 '충분한 맥락'을 제공하는 ASK 시스템을 제안하며, 기존 통합 방식의 한계를 극복하는 실질적인 방안을 제시합니다.
자주 묻는 질문
- 이 기술이 정말로 실제 AI 에이전트에게 도움이 될까요?
- 네, 큰 도움이 될 수 있습니다. 자율주행이나 로봇처럼 불확실한 환경에서 움직이는 AI 에이전트가 스스로 상황을 판단하기 어려울 때, ASK 시스템을 통해 SLM의 조언을 받아 더 안전하고 효율적으로 행동할 수 있게 됩니다. 이는 실제 서비스에 적용 가능한 AI 에이전트의 안정성을 크게 높여줍니다.
- LLM을 계속 쓰면 너무 느려지거나 비용이 많이 들지 않을까요?
- 아닙니다. ASK 시스템은 에이전트가 불확실할 때만 SLM의 도움을 요청하는 '불확실성 게이팅' 방식을 사용합니다. 또한, 전체 LLM보다 연산 효율적인 경량 언어 모델(SLM)을 활용하여 시스템의 지연 시간과 운영 비용을 최소화하려고 노력했습니다.
- 기존 강화학습 에이전트가 알아서 학습하면 되는 거 아닌가요?
- 기존 강화학습 에이전트는 충분한 경험을 통해 학습하지만, 완전히 새로운 상황이나 불완전한 정보 속에서는 한계를 보입니다. ASK 시스템은 이런 상황에서 SLM의 광범위한 추론 능력을 빌려 에이전트의 학습 과정과 의사결정을 보완하고, 더 빠르게 어려운 문제를 해결하도록 돕는 역할을 합니다.
이 기사 어땠어요?
피드백을 남겨주시면 더 나은 맞춤 추천을 만듭니다.