논문 브리핑
AI 에이전트의 '지구력' 시험대: LHTB 2.0, 복잡한 장기 과제 수행 능력 평가의 새 기준 제시
글 · 한경모
최근 인공지능 분야는 단순히 특정 작업을 빠르게 처리하는 것을 넘어, 마치 사람처럼 여러 단계를 거쳐 복잡한 목표를 달성하는 '에이전트 AI'의 개발에 집중하고 있습니다. 하지만 지금까지의 AI 벤치마크들은 대부분 최종 결과만을 평가하는 단기적이고 이진적인 방식에 머물러, 실제 세상의 복잡하고 연속적인 문제 해결 능력을 제대로 측정하지 못한다는 한계가 있었습니다. 이러한 간극을 해소하기 위해 등장한 연구가 바로 'Long-Horizon-Terminal-Bench 2.0 (LHTB 2.0)'입니다.
LHTB 2.0은 이름에서 알 수 있듯이, AI 에이전트가 긴 시간 동안 연속적인 작업을 수행하며 진행 상황을 유지하는 능력을 측정하는 데 초점을 맞춘 벤치마크입니다. 기존 벤치마크들이 '최종 상태가 올바른가'라는 이진 체크(binary check)에 의존했다면, LHTB 2.0은 '과정 보상(process rewards)'을 통해 에이전트가 긴 작업 흐름(extended workflows)을 통해 꾸준히 진전을 이루고 있는지를 평가합니다. 이는 마치 마라톤 선수가 결승선을 통과했는지 여부만 보는 것이 아니라, 각 구간별 기록과 페이스 유지 능력을 종합적으로 평가하는 것과 같습니다.
이번 LHTB 2.0은 기존 46개의 벤치마크 과제를 그대로 유지하면서도, 평가 인프라의 결함(defects)을 수정하고 31개의 새로운 과제를 추가해 총 77개의 과제로 확장되었습니다. 이 과제들은 13개의 다양한 도메인과 8가지 과제 유형에 걸쳐 분포되어 있어, AI 에이전트의 범용성과 적응력을 더욱 엄격하게 시험할 수 있습니다. 특히 연구팀은 '체계적인 재구성-과제 파이프라인(systematic reconstruction-task pipeline)'을 통해 확장된 과제들을 만들어냈는데, 이는 단순히 과제 수만 늘린 것이 아니라, 각 과제의 복잡성과 실제 환경과의 유사성을 높이는 데 주력했음을 시사합니다.
이러한 장기 과제 벤치마크의 중요성은 에이전트 AI 연구의 현 단계와 밀접하게 연결됩니다. 오늘날 LLM 기반의 에이전트들은 특정 질의에 대한 답을 생성하거나 간단한 작업을 자동화하는 데 뛰어난 능력을 보이지만, 여러 단계를 거쳐야 하는 복잡한 문제나 예상치 못한 변수에 대응하며 장기적인 목표를 달성하는 데는 여전히 어려움을 겪고 있습니다. LHTB 2.0은 이러한 한계를 명확히 드러내고, 나아가 이를 극복할 수 있는 AI 모델과 학습 방법론 개발을 촉진할 것입니다.
업계 전문가들은 LHTB 2.0과 같은 벤치마크가 로봇 공학, 자율 시스템, 복잡한 소프트웨어 에이전트 등 실제 적용 분야에서의 AI 성능을 획기적으로 향상시킬 수 있는 기반을 제공할 것이라고 입을 모읍니다. 예를 들어, 공장 자동화 라인에서 여러 부품을 조립하는 로봇이나, 사용자의 복잡한 요구사항을 스스로 이해하고 처리하는 AI 비서 등은 모두 장기적인 관점에서 '과정을 유지하며' 작업을 수행해야 합니다. 현재의 AI 평가 방식으로는 이러한 시스템의 잠재력을 온전히 파악하기 어렵습니다.
LHTB 2.0의 주요 개선점은 다음과 같습니다.
- 기존 LHTB의 46개 과제를 보존하면서 과제 및 평가 인프라의 결함을 수정했습니다.
- 31개의 새로운 과제를 추가하여 총 77개의 과제로 벤치마크 규모를 대폭 확장했습니다.
- 13개 도메인과 8가지 과제 유형에 걸쳐 다양성을 확보하여 에이전트의 범용적 능력을 평가합니다.
- '체계적인 재구성-과제 파이프라인'을 도입하여 새로운 과제의 품질과 일관성을 높였습니다.
인사이트
LHTB 2.0은 AI 에이전트가 실제 세상의 복잡하고 장기적인 과제를 얼마나 꾸준히 수행할 수 있는지를 평가하는 새로운 벤치마크로, 기존의 단기적이고 이진적인 평가 방식의 한계를 극복하며 에이전트 AI의 발전 방향을 제시합니다.
자주 묻는 질문
- 왜 기존 AI 벤치마크로는 부족한가요?
- 기존 벤치마크는 대부분 AI가 특정 작업을 최종적으로 성공했는지 여부만 판단합니다. 하지만 실제 환경에서는 AI가 여러 단계를 거쳐 목표에 도달하고, 중간에 발생할 수 있는 문제에 유연하게 대응하며, 오랜 시간 동안 작업을 지속하는 능력이 중요하기 때문에 한계가 있었습니다.
- '프로세스 보상'은 구체적으로 무엇인가요?
- 프로세스 보상은 AI 에이전트가 최종 목표를 달성하는 과정에서 거치는 각 중간 단계의 성공이나 진전에 대해 보상을 주는 방식입니다. 이는 에이전트가 단순히 최종 결과에만 집착하지 않고, 장기적인 성공을 위한 올바른 절차와 행동을 학습하도록 유도합니다.
- 이 벤치마크가 어떤 분야에 가장 큰 영향을 줄까요?
- LHTB 2.0은 로봇 공학, 자율 주행 시스템, 복잡한 소프트웨어 개발을 돕는 코딩 에이전트, 그리고 다양한 산업 자동화 시스템과 같이 AI가 여러 단계를 거쳐 장기적인 목표를 달성해야 하는 분야에서 에이전트 AI의 발전과 실제 적용 가능성을 크게 높이는 데 기여할 것입니다.
이 기사 어땠어요?
피드백을 남겨주시면 더 나은 맞춤 추천을 만듭니다.