논문 브리핑
실행은 서툴러도 교사는 합격…JEV가 AI 성공률을 14.6%포인트 높인 방법
글 · 한경모
일을 잘 못하는 AI도 다른 AI를 잘 가르칠 수 있을까.
저장대·바이두의 Haochen Liu 등 연구진이 11월 12일 공개한 ‘Actor, Judge, or Teacher?’는 장기 작업 에이전트에서 실행 능력과 지도 능력이 다를 수 있음을 보여준다.
핵심은 더 똑똑한 모델을 투입하는 것만큼, 모델에게 언제 무엇을 묻느냐가 중요하다는 점이다.
의사결정 모델은 긴 문장 대신 후보별 확률이나 점수를 내놓으며, 다음 행동 선택부터 이미 끝난 행동의 평가까지 맡을 수 있다.
연구진은 전용 의사결정 모델 3개와 범용 LLM 3개를 가상 가사 환경 ALFWorld에서 비교하고, JEV를 교사로 쓰는 학습을 쇼핑 환경 WebShop까지 확장했다.
여러 단계를 거치는 작업에서는 최종 성공 보상만으로 어떤 행동이 실제로 기여했는지 가리기 어렵다는 것이 관련 강화학습 연구의 공통 문제의식이다.
가령 ‘데운 머그잔을 탁자에 놓기’에서는 가열이 먼저지만, 모델은 당장 쉬운 ‘탁자에 놓기’에 끌렸다.
JEV의 성공률은 독립적인 하위 목표에서는 70.8%였지만 순서가 필요한 목표에서는 14.7%로 낮아졌다.
이를 단순한 지식 부족으로 보기는 어려운데, 쉬운 목표를 지우자 필요한 상태 변화에 배정한 확률이 14.6%에서 77.6%로 뛰었기 때문이다.
연구진은 이 약점을 다음 세 역할로 나눠 살폈다.
- Actor: 결과를 보기 전에 다음 행동을 골라야 하므로, 지금 편한 선택이 나중에 만드는 문제까지 예상해야 한다.
- Judge: 완료된 실행 기록을 보고 각 행동이 목표 달성에 기여했는지 평가하면, 실행 당시 놓친 선행 단계의 가치를 알아볼 수 있다.
- Teacher: 그렇게 얻은 행동별 점수를 GRPO의 최종 결과 기반 학습 신호에 더해, 별도 에이전트가 유용한 행동을 배우도록 한다.
인사이트
에이전트 경쟁력은 실행 모델의 지능뿐 아니라 행동의 기여도를 구분하는 학습 신호에도 달려 있다. 실행 성적이 낮은 모델도 사후 평가 능력을 별도로 검증하면 유용한 교사가 될 수 있다.
자주 묻는 질문
- 자기도 못하는 일을 다른 AI에 가르칠 수 있어?
- 이번 실험에서는 가능했다. 행동을 고를 때는 결과를 예상해야 하지만, 교사는 완료된 기록에서 행동의 기여도를 평가하므로 필요한 정보와 능력이 다르다. [논문 원문](https://arxiv.org/html/2611.17167v1)
- 그냥 성공했는지만 채점하면 안 돼?
- 최종 성공 여부만으로는 같은 작업 안의 유용한 행동과 불필요한 행동을 구별하기 어렵다. ALFWorld에서 JEV에게 성공 여부를 묻는 방식의 학습 결과는 69.3%였지만, 행동의 기여도를 묻는 방식은 82.9%였다. [논문 원문](https://arxiv.org/html/2611.17167v1)
- 실제로 쓸 때도 교사 AI를 계속 불러야 해?
- 이 연구에서는 교사를 훈련 중 행동별 점수를 만드는 데 사용하고, 평가 시점에는 호출하지 않는다. 다만 가상 가사와 쇼핑 환경의 결과이므로 실제 업무에서도 같은 효과가 나는지는 검증해야 한다. [연구 코드](https://github.com/ZJU-REAL/decision-agents)
이 기사 어땠어요?
피드백을 남겨주시면 더 나은 맞춤 추천을 만듭니다.