AI 비서에게 새 연장 쥐여주는 법: '행동 관성'의 벽을 부수는 ToolAnchor 연구

한경모입니다. 똑똑한 인공지능(AI) 비서가 복잡한 업무를 척척 해내는 시대입니다. 단순히 질문에 답하는 것을 넘어, 스스로 계획을 세우고 인터넷 검색, 데이터 분석, 예약 등 다양한 ‘도구’를 활용해 문제를 해결합니다. 하지만 이 유능한 비서에게도 예상치 못한 약점이 있습니다. 바로 익숙한 방식만 고집하는, 일종의 ‘관성’입니다. 더 효율적인 새 연장이 있어도 기존에 쓰던 낡은 연장을 손에서 놓지 않으려는 모습과 같습니다. 최근 발표된 'ToolAnchor'라는 이름의 연구는 바로 이 ‘행동 관성(behavioral inertia)’이라는 AI의 고질적인 문제를 정면으로 다룹니다. 자극적인 제목에 휘둘리지 말고, 그 원리와 한계를 정확히 들여다보겠습니다.

똑똑한 AI 비서의 뜻밖의 '고집'

요즘 AI 기술의 정점에는 ‘LLM 에이전트’가 있습니다. LLM(Large Language Model)은 쉽게 말해 사람의 말을 아주 잘 흉내 내어 문장을 만들어내는 거대 언어 인공지능입니다. 여기에 ‘에이전트’라는 개념이 붙으면, 단순히 말만 하는 것을 넘어 스스로 목표를 달성하기 위해 외부 도구를 사용할 수 있는 능동적인 행위자가 됩니다.

가령 ‘오늘 오후 2시에 강남역 근처 조용한 카페를 찾아 2명 예약해 줘’라고 명령하면, 이 AI 에이전트는 다음과 같이 행동할 수 있습니다.

1. '오늘 날씨'를 확인하는 도구를 사용해 야외 좌석이 괜찮을지 판단합니다.
2. '지도 검색' 도구를 사용해 강남역 반경 1km 내 '조용한 카페' 목록을 찾습니다.
3. '리뷰 분석' 도구를 사용해 각 카페의 소음 수준, 분위기에 대한 후기를 요약합니다.
4. 최적의 카페를 선정한 뒤 '예약' 도구(API)를 호출해 실제 예약을 시도합니다.

이 과정은 마치 유능한 비서가 여러 앱과 웹사이트를 오가며 업무를 처리하는 것과 같습니다. 개발자들은 이런 에이전트를 만들 때, 특정 도구 세트를 잘 사용하도록 추가 훈련을 시킵니다. 이를 ‘파인튜닝(fine-tuning, 미세조정)’이라 부릅니다. 특정 업무에 맞춰 AI를 전문 과외 시키는 셈입니다.

문제는 여기서 발생합니다. 이 에이전트에게 갑자기 더 좋은 새 도구가 생겼을 때입니다. 예를 들어, 일반 지도 앱보다 훨씬 정확한 실시간 카페 좌석 현황을 알려주는 새로운 도구가 등장했다고 가정해 봅시다. 사람이라면 당연히 새 도구를 써보겠지만, AI 에이전트는 놀랍게도 새 도구의 존재를 알려줘도 이를 무시하고 기존에 익숙한 지도 앱을 계속 사용하려는 경향을 보입니다. 이것이 바로 연구진이 지적하는 ‘행동 관성’입니다. AI가 가장 효율적인 길이 아니라 가장 익숙한 길을 택하는 것입니다.

'행동 관성'의 정체: 왜 AI는 새 연장을 외면하는가

AI의 이런 ‘고집’은 게으름이나 의지의 문제가 아닙니다. 이는 AI 모델의 작동 방식과 깊은 관련이 있습니다. 비유를 들어보겠습니다. 수십 년 경력의 목수가 있다고 합시다. 그는 평생 손에 익은 망치 하나로 대부분의 작업을 합니다. 그의 근육과 신경은 그 망치의 무게와 균형에 완벽하게 적응해 있습니다. 어느 날 누군가 무게는 절반인데 힘은 두 배로 전달되는 최신형 티타늄 망치를 건네줍니다. 머리로는 새 망치가 더 좋다는 것을 알지만, 막상 작업을 시작하면 자신도 모르게 옛날 망치에 손이 갑니다. 수십 년간 굳어진 근육의 기억과 감각을 바꾸는 것은 쉽지 않기 때문입니다.

LLM 에이전트의 행동 관성도 이와 비슷합니다. 파인튜닝, 즉 전문 과외를 거치면서 AI의 신경망(수많은 연결선으로 이뤄진 AI의 뇌)은 특정 도구들을 사용하는 경로에 강하게 ‘최적화’됩니다. 마치 목수의 몸에 특정 망치를 쓰는 근육 기억이 새겨지는 것과 같습니다. 이 경로를 따라 결정을 내리는 것이 AI에게는 가장 자연스럽고 확률적으로 ‘안전한’ 선택이 됩니다.

이 상태에서 새로운 도구는 AI에게 일종의 ‘인지적 마찰’을 일으킵니다. 새 도구를 쓰려면 기존의 익숙한 사고 흐름을 버리고, 한 번도 가보지 않은 새로운 경로를 탐색해야 합니다. 이는 성공 확률이 불확실한 모험입니다. 따라서 AI는 성공 경험이 축적된 기존 도구를 사용하는, 보수적인 선택을 하게 되는 것입니다.

이 문제를 해결하기 위해 에이전트 전체를 새 도구에 맞춰 처음부터 다시 학습시키는 것은 엄청난 비용과 시간을 요구합니다. 목수에게 새 망치 하나 쓰게 하려고 수년간 다시 도제 생활을 시키는 격입니다. 실시간으로 수많은 새 도구와 서비스가 쏟아지는 현실에서는 거의 불가능한 일입니다.

ToolAnchor의 발상: '만약에'라는 질문의 힘

ToolAnchor 연구는 바로 이 지점에서 발상의 전환을 꾀합니다. AI의 뇌(신경망 모델)를 통째로 바꾸는 대신, AI의 ‘생각’ 과정에 살짝 개입해 행동 변화를 유도하는 방식입니다. 연구진은 이를 ‘반사실적 앵커 컨텍스트(counterfactual anchor contexts)’라는 개념으로 설명합니다. 말이 어렵지만, 원리는 간단합니다. AI에게 “만약 네가 이 새 도구를 썼다면 어떻게 됐을까?”라는 가상의 시나리오를 던져주는 것입니다.

다시 앞서의 목수 비유로 돌아가 봅시다. 동료 목수가 다가와 이렇게 말합니다. “선배님, 그 낡은 망치로 못을 열 번 내리쳐 박으셨죠. 만약 이 새 티타늄 망치를 썼다면, 딱 세 번만 쳐도 됐을 겁니다. 힘도 덜 들고요.”

이 말을 들은 목수는 머릿속으로 두 장면을 비교하게 됩니다. 낡은 망치로 땀 흘리며 열 번 치는 자신의 모습, 그리고 새 망치로 가볍게 세 번 만에 끝내는 가상의 모습. 이 ‘만약에’라는 질문이 낡은 습관의 벽에 균열을 내는 ‘앵커(anchor, 닻)’ 역할을 합니다. 새 도구를 썼을 때의 긍정적 결과를 미리 ‘체험’하게 함으로써, 직접 시도해 볼 동기를 부여하는 것입니다.

ToolAnchor는 바로 이 원리를 AI에 적용합니다. AI가 결정을 내리는 중요한 순간에, 프롬프트(AI에게 주는 명령어 또는 맥락 정보)를 통해 이런 반사실적 시나리오를 주입합니다.

• 기존 방식: “문제 해결을 위해 다음 도구 목록을 참고해 계획을 세워라: [웹 검색, 계산기, (새 도구)전문 DB 검색]” → AI는 익숙한 ‘웹 검색’을 선택할 가능성이 높음.
• ToolAnchor 방식: “문제 해결을 위해 다음 도구 목록을 참고해 계획을 세워라: [웹 검색, 계산기, (새 도구)전문 DB 검색]. 참고: 만약 ‘웹 검색’ 대신 ‘전문 DB 검색’ 도구를 사용했다면, 부정확한 정보 없이 한 번에 정확한 통계 수치를 얻을 수 있었을 것이다.”

이 추가된 문장 하나가 AI의 의사결정 과정을 바꿉니다. AI는 ‘웹 검색’을 했을 때의 잠재적 단점(부정확성)과 ‘전문 DB 검색’을 했을 때의 명확한 이점(정확성, 효율성)을 비교 평가하게 됩니다. 그 결과, 행동 관성을 극복하고 새로운 도구를 선택할 확률이 비약적으로 높아지는 것입니다. 중요한 것은 이 모든 과정이 AI 모델 자체를 수정하지 않고, 단지 입력되는 정보(프롬프팅)를 정교하게 설계하는 것만으로 가능하다는 점입니다.

단순한 '지시어'를 넘어서: 다른 기술과의 비교

이 지점에서 두 가지 흔한 오해가 발생할 수 있습니다. 첫째, ‘이것도 결국 프롬프트 엔지니어링(명령어 설계 기술)의 일종 아닌가?’ 하는 생각입니다. 맞습니다. 하지만 단순한 지시와는 결이 다릅니다. “새 도구를 써라!”라고 명령하는 것은 강압적인 지시일 뿐, AI의 근본적인 선호도를 바꾸지 못합니다. 반면 ToolAnchor는 ‘왜’ 새 도구를 써야 하는지에 대한 합리적 근거와 가상 경험을 제공함으로써 AI를 ‘설득’하는 방식에 가깝습니다. 이는 AI의 의사결정 프레임워크 자체에 영향을 미치는, 한 차원 높은 접근입니다.

둘째, ‘기존의 RAG 같은 기술과는 무엇이 다른가?’ 하는 질문입니다. RAG(Retrieval-Augmented Generation)는 ‘검색 증강 생성’의 약자로, AI가 답변을 만들 때 외부 데이터베이스에서 관련 정보를 찾아 참고하는 기술입니다. 이는 AI에게 ‘최신 지식’을 알려주는 데 초점을 맞춥니다. 반면 ToolAnchor는 지식이 아니라 ‘새로운 기술(도구)’을 사용하는 법을 가르칩니다. 다음 표를 보면 차이가 더 명확해집니다.

표에서 보듯, RAG가 AI에게 ‘새로운 교과서’를 쥐여주는 것이라면, ToolAnchor는 AI에게 ‘새로운 계산기’ 사용법을 알려주는 것에 가깝습니다. 하나는 정보의 문제, 다른 하나는 능력의 문제입니다. ToolAnchor는 AI가 가진 능력의 범위를 동적으로 확장할 수 있게 해준다는 점에서 중요한 의미를 갖습니다.

한계와 남은 질문들: '만약'만으로 충분한가

물론 이 연구가 모든 문제를 해결하는 만병통치약은 아닙니다. 다만 연구는 정확히 읽어야 합니다. 몇 가지 명백한 한계와 질문들이 남아있습니다.

첫째, ‘반사실적 앵커’의 품질 문제입니다. 목수에게 “새 망치를 쓰면 좋았을 텐데”라고 조언할 때, 그 조언이 얼마나 구체적이고 설득력 있느냐에 따라 효과는 천차만별일 것입니다. 마찬가지로 AI에게 주입하는 ‘만약’ 시나리오가 어설프거나 잘못된 정보를 담고 있다면, AI는 혼란에 빠지거나 여전히 기존 방식을 고수할 수 있습니다. 결국 이 ‘앵커’를 설계하는 것은 여전히 고도의 전문성을 요구하는 인간의 몫입니다. 재현되는가, 조건은 무엇인가. 이 질문은 여전히 유효합니다.

둘째, 근본적인 능력의 한계입니다. ToolAnchor는 어디까지나 ‘도구 선택’의 문제를 돕는 기술입니다. 만약 AI 에이전트 자체가 복잡한 계획을 세우는 추론 능력이 부족하다면, 아무리 좋은 도구를 손에 쥐여줘도 제대로 활용하지 못할 것입니다. 이는 마치 초보 운전자에게 F1 경주용 자동차를 준다고 해서 갑자기 전문 드라이버가 될 수 없는 것과 같습니다. 도구를 선택하는 능력과 도구를 활용해 복잡한 문제를 해결하는 능력은 별개입니다.

셋째, 일반화와 확장성의 문제입니다. 이번 연구는 특정 실험 환경(벤치마크)에서 유의미한 성능 향상을 보였습니다. 하지만 현실 세계는 훨씬 더 복잡하고 예측 불가능한 도구들로 가득합니다. 과연 ToolAnchor의 접근법이 종류를 가리지 않는 수많은 실제 도구와 다양한 LLM 모델 위에서도 일관되게 작동할지는 추가적인 검증이 필요합니다. 메커니즘과 예언을 구분해야 합니다. 이 연구는 유망한 ‘메커니즘’을 제시했지만, 이것이 미래를 보장하는 ‘예언’은 아닙니다.

AI 에이전트의 미래: '학습'을 넘어 '적응'으로

이러한 한계에도 불구하고 ToolAnchor가 제시하는 방향성은 매우 중요합니다. 이는 AI의 패러다임이 단순히 지식을 ‘학습하는 기계’에서, 변화하는 환경에 능동적으로 ‘적응하는 기계’로 나아가고 있음을 보여주기 때문입니다.

이는 소프트웨어의 발전 역사와 평행선을 그립니다. 초기의 소프트웨어는 기능이 고정된 단일 프로그램이었습니다. 이후 사용자가 기능을 추가할 수 있는 ‘플러그인’이나 ‘확장 프로그램’ 개념이 등장했습니다. 오늘날 우리는 스마트폰의 ‘앱스토어’처럼, 수많은 기능(API, 즉 응용 프로그램 인터페이스. 프로그램끼리 소통하고 기능을 빌려 쓰는 창구)을 골라 쓸 수 있는 시대에 살고 있습니다. AI 에이전트 역시 자신만의 ‘앱스토어’를 갖게 된 셈인데, ToolAnchor는 에이전트가 이 앱스토어를 더 현명하게 탐색하고 활용하도록 돕는 내비게이션 기술이라 할 수 있습니다.

여기서 또 하나의 오해를 짚고 넘어가야 합니다. ‘그럼 이제 AI가 알아서 필요한 프로그램을 찾아 쓰니 개발자는 필요 없게 되는가?’ 하는 성급한 결론입니다. 그렇지 않습니다. 오히려 개발자의 역할이 바뀝니다. 모든 것을 하나하나 코드로 짜서 지시하는 역할에서, AI가 활용할 수 있는 양질의 도구 생태계를 만들고, ToolAnchor처럼 AI와 더 정교하게 상호작용하는 방법을 설계하는 ‘AI 조련사’ 또는 ‘환경 설계자’로 진화하는 것입니다.

궁극적으로 우리가 지향해야 할 AI 에이전트는 외부에서 ‘만약’이라는 질문을 던져주지 않아도, 스스로 내면에서 반사실적 사고를 할 수 있는 존재일 것입니다. “이 문제를 푸는 데 내가 아는 방법 말고 더 나은 방법은 없을까? 최근에 나온 이 API를 한번 시험 삼아 써보면 어떨까?” 와 같이 스스로 가설을 세우고 검증하는 단계로 나아가야 합니다. ToolAnchor는 그 길로 가는 중요한 디딤돌입니다.

독자가 던질 법한 질문들

Q. 그래서 일반 사용자인 저에게 이게 당장 무슨 의미가 있나요? A. 단기적으로 체감하기는 어렵습니다. 하지만 이 연구는 미래의 AI 비서(스마트폰, PC, 각종 서비스에 탑재될)를 훨씬 더 유능하고 유연하게 만들 잠재력을 가집니다. 예를 들어, 사용자가 새로운 앱을 설치하면 AI 비서가 개발자의 별도 업데이트 없이도 그 앱의 기능을 스스로 파악해 “이 업무는 새로 설치하신 OOO앱을 쓰면 더 빨리 처리되겠네요”라고 제안하는 시대가 더 빨리 올 수 있습니다.

Q. 이 기술이 악용될 소지는 없나요? AI가 마음대로 새 '도구'를 배우고 사용한다면 위험하지 않을까요? A. 매우 중요한 지적입니다. 현재 ToolAnchor 연구는 사전에 승인된 안전한 도구 목록 안에서 더 효율적인 선택을 하도록 유도하는 데 초점이 맞춰져 있습니다. AI가 인터넷을 헤매다 악성코드를 다운로드해 실행하는 식의 자율성은 허용하지 않습니다. 하지만 장기적으로 에이전트의 자율성이 커질수록, 강력한 안전장치와 통제 규칙의 중요성은 아무리 강조해도 지나치지 않습니다. 어떤 도구는 절대 사용해서는 안 되는지 명확한 ‘금지선’을 설정하고, AI가 이를 절대 넘지 못하도록 하는 기술적, 윤리적 논의가 반드시 병행되어야 합니다.

Q. ToolAnchor라는 걸 적용하려면 코딩을 엄청 잘해야 하나요? 개인이 쓰기엔 어려운 기술 아닌가요? A. 개념 자체는 정교하지만, 구현 방식은 의외로 가볍습니다. 본질은 ‘영리한 명령어 설계’에 가깝습니다. 앞으로는 AI 에이전트를 개발하는 여러 플랫폼이나 프레임워크에 이런 기능이 내장될 가능성이 높습니다. 그렇게 되면 사용자는 복잡한 코딩보다 ‘어떻게 하면 AI를 효과적으로 설득할 수 있을까?’라는 전략적 질문에 더 집중하게 될 것입니다. 복잡한 기계를 다루는 기술보다, 지능적 상대와 소통하는 기술이 더 중요해지는 셈입니다.