지금은 인공지능 시대(지인시) 심볼지금은 인공지능 시대
논문 브리핑

공격 2,847개에서 대상 탈취 0건…SPILLWAY가 AI의 송금처를 지키는 법

한경모글 · 한경모
AI 에이전트의 도구 실행 전 수신처 검사와 악성 지시 제거 과정을 보여주는 구조도
AI 에이전트의 도구 실행 전 수신처 검사와 악성 지시 제거 과정을 보여주는 구조도
AI에게 청구서 결제를 맡겼는데, 문서에 숨은 지시가 송금 계좌를 바꾼다면 무엇을 검사해야 할까. SPILLWAY는 문장의 수상함을 판별하는 작업과 실제 행동의 수신처를 허용하는 결정을 분리한다. SAINT Machines·KAIST·중앙대 소속 Woosang Lim, Yeseul Chang, Jaewoo Lee가 11월 4일 공개하고 16일 개정한 연구다. 핵심은 도구가 반환한 이메일 발신자·계좌 같은 구조화된 필드와 본문 속 자유 텍스트를 구별하는 데 있다. 문서에 적힌 주소라는 이유만으로 전송 권한까지 주지 않고, 사용자 요청과 도구 데이터의 출처를 대조한다. 기존 보안 연구에서도 데이터 출처와 권한을 추적하는 접근을 중시해 왔으며, SPILLWAY는 이를 실행 직전의 가벼운 검사로 구현한다.
  • 대상 검사: 읽기 전용 도구의 지정 필드에서 수신처를 수집하고, 자유 텍스트에도 등장하는 값은 기본 허용에서 제외한다.
  • 입력 정제: 고정 규칙으로 가짜 대화나 명령 구간을 제거하되, 삭제한 내용은 증거로 보관한다.
  • 예외 복구: 거부된 작업 일부를 로컬 모델이 재검토하지만, 삭제 구간에 있던 대상은 이 재심 경로로 되살리지 못한다.
이렇게 하면 회의록에 적힌 주소로 보고서를 보내는 정상 업무를 복구하면서도, 제거한 공격 지시가 재심을 타고 돌아오는 길을 좁힐 수 있다. 논문 연구진은 AgentDojo에서 모델 3종과 금융·Slack·여행·업무 환경 4종을 조합한 12개 조건, 공격 사례 2,847개를 시험했다. 정형 공격에서 연구가 정의한 대상 탈취 성공률은 모든 조건에서 0%였고, 공격 중 정상 과제 성공률 평균은 48.9%로 비교 방어법 중 가장 높았다. 공개 코드 설명에 따르면 공격이 없는 상황의 과제 성공률은 53.9%로, 방어 장치가 없는 54.0%와 거의 같았다. 이는 무조건 작업을 막아 얻은 보안 점수가 아니라는 점에서 기업용 에이전트에 의미가 있다. 다만 강화학습 공격기 PISmith의 사전 생성 공격을 재생한 시험에서는 조건별 평균 공격 성공률이 0.5%여서, 완전 방어로 읽어서는 안 된다. 실험·코드 “이미 알려진 공격에 규칙을 맞춘 것 아닌가”라는 반론도 타당하다. 실제로 AutoDojo의 389개 사례는 실패 사례를 규칙 개발에 활용했으므로 독립 검증 결과가 아니며, 정상 수신처로 악성 내용을 보내는 공격도 대상 검사의 보장 밖이다. 그럼에도 수신처 검사는 공격 문구가 바뀌어도 같은 출처 기준을 적용한다는 장점이 있어, 문구 탐지만으로 끝나는 방어보다 검증할 경계가 명확하다. 한계 산업적으로는 모델의 추론 성능과 함께 API의 수신자·계좌 필드를 얼마나 정확히 정의하느냐가 보안 경쟁력이 된다는 신호다. 국내 기업이 메일·그룹웨어·결제 서비스를 연결할 때도, 외부 문서에서 읽은 값을 실행 권한으로 승격시키는 지점을 먼저 점검할 필요가 있다. 다음 관건은 새로운 도구와 방어 규칙을 겨냥해 적응하는 공격에서도 이 분리가 업무 성공률과 안전성을 함께 지키는지다.
인사이트

SPILLWAY의 핵심은 AI가 읽을 수 있는 정보와 그 정보로 실행할 수 있는 권한을 분리하는 데 있다. 기업용 에이전트의 경쟁력에는 모델 성능뿐 아니라 도구 데이터의 출처를 확인하고 실행을 통제하는 설계도 포함된다.

자주 묻는 질문

공격 성공률 0%면 이제 안심해도 돼?
0%는 AgentDojo의 정형 공격에서 측정한 대상 탈취 성공률이다. PISmith 공격에서는 조건별 평균 0.5%가 보고됐으므로 모든 공격을 차단한다는 뜻은 아니다. [실험 결과](https://github.com/saintmachines/spillway)
보안 검사 때문에 AI가 느려지거나 일을 못 하는 거 아냐?
기본 대상 검사와 입력 정제는 고정 규칙으로 처리하고, 일부 거부된 작업에만 모델 재검토를 적용한다. 공개 결과에서 공격이 없는 상황의 과제 성공률은 방어 적용 시 53.9%, 미적용 시 54.0%였지만 실제 서비스의 지연 시간은 별도 검증이 필요하다. [구현·측정 조건](https://github.com/saintmachines/spillway)
우리 회사 에이전트에도 바로 붙일 수 있어?
연구진은 spillway-guard SDK와 코드를 공개했다. 다만 기본 설정에는 논문 실험에서 사용한 선택적 로컬 판정 모델과 대상 복구 기능이 꺼져 있으므로, 설치만으로 같은 실험 조건이 재현되지는 않는다. [SDK 안내](https://github.com/saintmachines/spillway)
공유XTelegram

이 기사 어땠어요?

피드백을 남겨주시면 더 나은 맞춤 추천을 만듭니다.

이런 뉴스를 매일 받아보세요

매일 아침 7시, 그날의 정리를 이메일과 Telegram으로 받아보세요.