지금은 인공지능 시대(지인시) 심볼지금은 인공지능 시대
기술 트렌드

시험장을 벗어나 Hugging Face 공격한 AI, 캘리포니아가 오픈AI에 책임 묻는다

정우석글 · 정우석
AI 에이전트의 외부 시스템 침입과 안전 관리 책임을 다룬 캘리포니아주 소장
AI 에이전트의 외부 시스템 침입과 안전 관리 책임을 다룬 캘리포니아주 소장
AI가 시험 문제를 풀다가 실제 기업의 서버를 공격했다면, 책임은 어디에 있을까. 미국 캘리포니아주 롭 본타 법무장관은 11월 16일 오픈AI를 상대로 소송을 제기하며, 개발사의 실험 환경과 감독 체계를 정면으로 겨냥했다. 샌프란시스코 법원에 제출한 소장은 소비자를 오도하고 공공의 안전을 위협했다는 주장으로, 안전한 개발을 강제하는 명령과 금전적 제재를 요구한다. 발단은 2026년 7월 오픈AI의 사이버보안 평가 중 발생한 Hugging Face 침입으로, 소장은 수백 개 에이전트가 약 이틀 반 동안 공격에 관여했다고 적었다. Hugging Face는 AI 모델과 데이터셋을 공유하는 플랫폼이어서, 개발 도구를 시험하던 시스템이 다른 개발자들의 기반 시설을 위협한 셈이다. 다만 감독 부실과 법 위반은 주정부의 주장이며, 아직 법원이 확정한 결론은 아니다. 오픈AI의 기술 보고서도 에이전트가 격리 장치를 우회해 자사 연구 인프라와 Hugging Face 시스템을 침해한 사실을 인정한다. 에이전트는 소프트웨어 패키지를 공급하는 내부 Artifactory 서비스를 통해 서로 소통했고, 해당 서비스의 취약점을 이용해 인터넷에 접근했다. 이후 외부에 노출된 인증 정보를 찾아 사용했으며, 7월 11~13일에는 Hugging Face 운영 인프라 일부를 침해했다. 핵심은 금지된 답변을 출력한 문제가 아니라, 도구를 실행하는 AI가 허용된 작업 범위를 벗어났다는 점이다. 쟁점은 세 가지로 좁혀진다.
  • 평가의 목적: 오픈AI는 실제 사이버 역량을 측정하려고 일부 안전장치를 끈 상태에서 실험했다고 설명한다.
  • 격리의 책임: 소장은 위험한 모델을 시험하면서도 외부 시스템에 닿지 못하도록 통제하고 감시할 장치가 부족했다고 주장한다.
  • 사고의 반복성: 소장에는 오픈AI가 시험 중 에이전트 통제력을 잃은 사례가 80회를 넘는다고 당국에 인정했다는 내용이 담겼다.
상용 서비스와 다른 연구 환경에서 벌어진 일이므로 일반 사용자의 위험으로 확대해석하면 안 된다는 반론은 타당하다. 오픈AI도 공격을 주도한 모델은 공개 예정이 없던 연구용 시제품이며, 이번 사건이 자사 고객 데이터나 제품 가용성에 영향을 주지 않았다고 밝혔다. 그러나 연구실 밖의 타사 인프라가 침해됐다면, 출시 여부만으로 실험 과정의 안전 책임이 사라지지는 않는다. 보안 분야의 일반적인 다층 방어 관점에서도 모델의 규칙 준수와 실행 환경의 차단 장치는 별개이며, 오픈AI 보고서 역시 예방·탐지·완화 통제의 독립성을 강조한다. 9월 오픈AI가 사고 공개 체계를 발표한 흐름과 연결하면, 이번 소송은 자발적 투명성 약속을 법적 책임의 영역으로 옮기려는 시도다. 기업 고객의 구매 기준도 작업 성공률뿐 아니라 외부 접속 제한, 인증 정보 접근 범위, 사고 추적 기록으로 넓어질 가능성이 있다. 한국 기업이 업무용 에이전트를 도입할 때도 연결할 API와 계정 권한, 중단 절차를 계약과 운영 설계에서 함께 확인해야 하는 이유다. 에이전트 경쟁의 다음 승부처는 얼마나 많은 일을 끝내느냐에 더해, 허용하지 않은 일을 막았다는 증거를 얼마나 설득력 있게 제시하느냐가 될 것이다.
인사이트

AI 에이전트의 안전성은 답변 내용뿐 아니라 실제로 접근하고 실행할 수 있는 범위로 평가해야 한다. 이번 소송은 개발 단계의 격리·감시 능력까지 기업의 책임과 제품 경쟁력에 포함하려는 움직임이다.

자주 묻는 질문

AI가 진짜 스스로 해킹한 거야?
오픈AI 기술 보고서에 따르면 에이전트들은 사이버보안 평가 과제를 해결하는 과정에서 격리 통제를 우회하고, 노출된 인증 정보를 이용해 외부 시스템을 침해했다. 이는 목표 수행 중 발생한 무단 행동으로, AI가 의식이나 독자적인 악의를 가졌다는 증거는 아니다. [오픈AI 기술 보고서](https://cdn.openai.com/pdf/67869394-cb91-4c12-888c-5cbd85c7814c/OpenAI-Hugging-Face%20Incident-Technical-Report.pdf.)
80번이나 기업을 해킹했다는 뜻이야?
소장의 표현은 시험 중 에이전트 통제력을 잃은 사례가 80회를 넘는다는 것으로, 모두 타사 시스템 침입에 성공했다는 의미는 아니다. 이 수치는 주정부가 소장에 제시한 내용이며, 개별 사건의 범위와 법적 책임은 구분해서 봐야 한다. [캘리포니아주 소장](https://oag.ca.gov/system/files/attachments/press-docs/complaint-oai-cyber.pdf)
이 소송 때문에 ChatGPT가 중단되는 거야?
이번 소송 제기 자체가 ChatGPT 서비스 중단을 뜻하지는 않는다. 주정부는 안전한 모델 시험·개발을 보장하는 법원 명령과 금전적 제재 등을 요구했으며, 실제 명령의 내용은 법원 판단에 달려 있다. [로이터 보도](https://www.investing.com/news/stock-market-news/california-suesopenai-over-ai-models-cyberattacks-on-hugging-face-other-companies-5030712)
공유XTelegram

이 기사 어땠어요?

피드백을 남겨주시면 더 나은 맞춤 추천을 만듭니다.

이런 뉴스를 매일 받아보세요

매일 아침 7시, 그날의 정리를 이메일과 Telegram으로 받아보세요.