논문 브리핑
AI의 실수 기록을 정답으로 바꿨더니, 복구율이 50%에서 44%로 떨어졌다
글 · 한경모
AI 에이전트의 실수 기록을 정답으로 고쳐주면 일을 더 잘할까, 실제 데이터가 그대로라면 오히려 실패가 늘 수 있다. 세일즈포스 AI 리서치의 Egor Pakhomov 등 6명은 11월 10일 공개한 논문에서 대화 기록과 외부 상태의 불일치를 실험했다. 핵심은 정답을 알려주는 것과 정답대로 작업을 마쳤다고 기록하는 것이 전혀 다른 개입이라는 점이다.
연구진은 작업 중인 에이전트와 실행 환경을 함께 저장한 뒤, 기록이나 데이터 상태를 바꾸고 후속 모델이 작업을 이어가게 했다. AgentCE-Bench에서는 잘못된 값이 저장된 319개 상태를 대상으로 기록 편집의 효과를 비교했다. 여기서 복구율은 남은 평가 대상 중 최종적으로 올바른 값을 갖춘 비율이며, 전체 작업 성공률과는 다르다.
- 오류를 남기고 올바른 값을 주석으로 덧붙이자 복구율은 중립적인 주석 조건의 51%에서 66%로 높아졌다.
- 같은 정답을 이미 실행한 행동처럼 기록하면 복구율은 원래 기록 조건의 50%에서 44%로 떨어졌다.
- AppWorld에서 데이터 변경이 없는데 성공했다고 표시하면 전체 작업 성공률은 실패 표시 조건의 45%에서 28%로 낮아졌다.
- 실제 변경이 존재하면 성공 표시가 유리해져, 성공률은 실패 표시 조건의 38%에서 49%로 높아졌다.
인사이트
에이전트의 기억은 다음 행동을 결정하는 업무 인계서다. 기업용 AI의 신뢰성을 높이려면 정답을 보존하는 것에 더해, 실행한 일과 아직 해야 할 일을 실제 데이터에 맞춰 구분해야 한다.
자주 묻는 질문
- 그럼 AI 대화 기록은 요약하면 안 되는 거야?
- 이 연구는 모든 요약이 해롭다는 결론을 내리지 않는다. 실제 오류가 남아 있는데 기록만 수정 완료처럼 바꾸는 방식의 위험을 보여준다.
- 정답까지 알려줬는데 왜 더 못하는 거야?
- 정답을 이미 실행한 행동으로 기록하면, 후속 에이전트가 필요한 수정을 끝난 일로 받아들일 가능성이 있다. 다만 연구에서는 메시지 역할과 위치도 함께 달라졌으므로, 이를 유일한 원인으로 확정할 수는 없다.
- 우리 회사 에이전트에는 뭘 적용하면 돼?
- 작업 인계 기록에 현재 상태, 목표 상태, 미완료 작업을 구분하고 중요한 변경은 실제 데이터로 확인하는 설계를 검토할 수 있다. 이는 연구에서 도출되는 실무적 제안이며, 특정 검증 절차의 효과를 이번 논문이 직접 입증한 것은 아니다.
이 기사 어땠어요?
피드백을 남겨주시면 더 나은 맞춤 추천을 만듭니다.