논문 브리핑
공격 2,847개에서 대상 탈취 0건…SPILLWAY가 AI의 송금처를 지키는 법

AI에게 청구서 결제를 맡겼는데, 문서에 숨은 지시가 송금 계좌를 바꾼다면 무엇을 검사해야 할까.
SPILLWAY는 문장의 수상함을 판별하는 작업과 실제 행동의 수신처를 허용하는 결정을 분리한다.
SAINT Machines·KAIST·중앙대 소속 Woosang Lim, Yeseul Chang, Jaewoo Lee가 11월 4일 공개하고 16일 개정한 연구다.
핵심은 도구가 반환한 이메일 발신자·계좌 같은 구조화된 필드와 본문 속 자유 텍스트를 구별하는 데 있다.
문서에 적힌 주소라는 이유만으로 전송 권한까지 주지 않고, 사용자 요청과 도구 데이터의 출처를 대조한다.
기존 보안 연구에서도 데이터 출처와 권한을 추적하는 접근을 중시해 왔으며, SPILLWAY는 이를 실행 직전의 가벼운 검사로 구현한다.
- 대상 검사: 읽기 전용 도구의 지정 필드에서 수신처를 수집하고, 자유 텍스트에도 등장하는 값은 기본 허용에서 제외한다.
- 입력 정제: 고정 규칙으로 가짜 대화나 명령 구간을 제거하되, 삭제한 내용은 증거로 보관한다.
- 예외 복구: 거부된 작업 일부를 로컬 모델이 재검토하지만, 삭제 구간에 있던 대상은 이 재심 경로로 되살리지 못한다.
인사이트
SPILLWAY의 핵심은 AI가 읽을 수 있는 정보와 그 정보로 실행할 수 있는 권한을 분리하는 데 있다. 기업용 에이전트의 경쟁력에는 모델 성능뿐 아니라 도구 데이터의 출처를 확인하고 실행을 통제하는 설계도 포함된다.
자주 묻는 질문
- 공격 성공률 0%면 이제 안심해도 돼?
- 0%는 AgentDojo의 정형 공격에서 측정한 대상 탈취 성공률이다. PISmith 공격에서는 조건별 평균 0.5%가 보고됐으므로 모든 공격을 차단한다는 뜻은 아니다. [실험 결과](https://github.com/saintmachines/spillway)
- 보안 검사 때문에 AI가 느려지거나 일을 못 하는 거 아냐?
- 기본 대상 검사와 입력 정제는 고정 규칙으로 처리하고, 일부 거부된 작업에만 모델 재검토를 적용한다. 공개 결과에서 공격이 없는 상황의 과제 성공률은 방어 적용 시 53.9%, 미적용 시 54.0%였지만 실제 서비스의 지연 시간은 별도 검증이 필요하다. [구현·측정 조건](https://github.com/saintmachines/spillway)
- 우리 회사 에이전트에도 바로 붙일 수 있어?
- 연구진은 spillway-guard SDK와 코드를 공개했다. 다만 기본 설정에는 논문 실험에서 사용한 선택적 로컬 판정 모델과 대상 복구 기능이 꺼져 있으므로, 설치만으로 같은 실험 조건이 재현되지는 않는다. [SDK 안내](https://github.com/saintmachines/spillway)
이 기사 어땠어요?
피드백을 남겨주시면 더 나은 맞춤 추천을 만듭니다.