논문 브리핑
최고 모델도 성공률 53.4%…시각 AI에 ‘사용자의 다음 행동’을 묻다
글 · 한경모
카메라로 상황을 읽는 AI가 정답을 말해도, 사용자가 이미 실수한 뒤라면 도움이 될까.
워싱턴대·세일즈포스 AI Research 연구진이 11월 5일 공개한 Interactive Visual Gym(IVG)은 이 시간차와 행동의 변화를 평가 대상으로 삼았다.
공개 논문에서 가장 좋은 성적을 낸 Gemini 4 Argon조차 제한 시간 내 과제 완료율은 53.4%에 그쳤다. 논문
기존의 녹화 영상 기반 시험에서는 AI가 경고해도 영상 속 사람은 예정된 실수를 그대로 저지르므로, 조언의 실제 효과를 확인하기 어렵다.
IVG는 실행 가능한 가상 환경과 모의 사용자를 함께 만들어, AI의 안내가 다음 행동을 바꾸고 그 결과를 다시 관찰하는 ‘폐쇄 루프’를 구현했다.
핵심 기여는 영상 이해의 정확도에 더해, 사람과 주고받는 과정이 작업 성공으로 이어지는지 검증한다는 데 있다.
- 환경: CookSim의 요리, VH-Home의 집안 활동, ScreenSim의 스마트폰 설정이라는 세 영역을 다룬다.
- 사용자: 숙련도와 AI 신뢰도, 실행 속도, 개입 선호도를 바꾸고 실수나 계획 변경도 주입한다.
- 규모: IVG-Bench는 기본 사례 105개에 각각 세 가지 사용자 유형을 적용한 총 315개 상호작용 시나리오로 구성된다.
- 평가: 완료 여부뿐 아니라 오류 탐지와 상호작용 품질을 살피며, 요리·가정 환경에서는 실제 추론 지연을 반영한 비교도 제공한다. 평가 설계
인사이트
시각 AI의 제품 가치는 답변의 정확도가 사용자의 행동 개선으로 이어질 때 입증된다. IVG는 모델 선정과 서비스 설계의 평가 단위를 ‘답변 한 개’에서 ‘사람과 함께 끝낸 작업’으로 넓힌다.
자주 묻는 질문
- 성공률이 53.4%면 현실에서도 절반은 실패한다는 거야?
- 아니다. 53.4%는 IVG-Bench의 정해진 시나리오와 시간 제한 아래에서 최고 성능 모델이 기록한 과제 완료율이며, 실제 업무 전체의 실패율로 환산할 수 없다.
- 모의 사용자로 평가한 결과를 믿어도 돼?
- 인간 참여 실험에서 자동 상호작용 품질 지표와 참가자 선호는 78.5% 일치했다. 평가가 사람의 판단을 일부 반영한다는 근거지만, 모든 사용자와 현장에서 동일하게 유효하다는 보장은 아니다.
- 이 환경으로 작은 모델도 더 잘하게 만들 수 있어?
- 연구진은 요리 환경에서 Qwen3.5-4B를 GRPO로 훈련해 미학습 과제 성공률을 33.3%에서 42.2%로 높였다고 보고했다. 다만 특정 환경의 개념 검증 결과이므로 다른 작업에서도 같은 개선이 나타나는지는 추가 검증이 필요하다.
이 기사 어땠어요?
피드백을 남겨주시면 더 나은 맞춤 추천을 만듭니다.