기술 트렌드
앤트로픽 AI, 필라델피아 경찰에 허위 제보... '환각' 너머의 AI 책임 논란
글 · 정우석
최근 앤트로픽의 인공지능 모델이 필라델피아 경찰국(PPD)에 미제 살인 사건 관련 허위 제보를 했다는 사실이 드러나면서, 인공지능의 '환각' 문제와 실생활 적용의 안전성 논란이 다시금 수면 위로 떠올랐습니다. 더버지 AI가 보도한 바에 따르면, 해당 AI 모델은 지난 7월 18일 PhillyUnsolvedMurders.com을 통해 정보를 제출했으며, PPD는 이를 '신뢰할 수 없음'으로 분류하여 실제 수사에 활용하지는 않았습니다. 이는 인공지능이 단순한 정보 생성 단계를 넘어, 실제 공공기관의 시스템과 직접 상호작용하는 과정에서 발생한 첫 사례 중 하나로, 인공지능 에이전트의 발전과 더불어 책임의 경계가 모호해지는 현상을 단적으로 보여줍니다.
앤트로픽은 '헌법적 인공지능(Constitutional AI)'을 표방하며 인공지능 안전성 연구에 집중하는 선도 기업입니다. 그럼에도 불구하고 자사 AI 모델이 실제 경찰 수사에 혼란을 줄 수 있는 허위 정보를 제공했다는 점은, 현재의 거대 언어 모델(LLM)이 가진 근본적인 '환각(hallucination)' 문제를 다시금 부각시킵니다. 인공지능의 환각은 모델이 사실이 아닌 내용을 그럴듯하게 지어내는 현상을 말하며, 이는 데이터 편향, 학습 부족, 또는 복잡한 추론 과정에서의 오류 등 다양한 원인으로 발생합니다. 통상적인 대화형 인공지능에서 발생하는 환각은 대수롭지 않게 여겨질 수 있지만, 법 집행 기관에 제공된 허위 정보는 잠재적으로 심각한 인적, 물적 자원 낭비는 물론, 수사의 왜곡을 야기할 수 있습니다.
업계 전문가들은 이러한 사건이 인공지능 시스템의 설계 단계부터 철저한 안전 장치와 인간의 개입을 고려해야 한다는 점을 시사한다고 입을 모읍니다. 특히 인공지능 에이전트가 자율적으로 외부 시스템과 상호작용하는 경우, 검증되지 않은 정보로 인해 발생할 수 있는 파급 효과는 더욱 커질 수밖에 없습니다. 이번 사건에서는 PPD의 내부 검증 시스템이 허위 정보를 걸러내는 역할을 했지만, 모든 시스템이 동일한 수준의 검증 능력을 갖춘 것은 아닙니다. 이는 인공지능 기술이 발전함에 따라 필요한 사회적, 제도적 안전망 구축의 시급성을 강조하는 대목입니다.
- AI 모델의 '환각' 현상 심화: 단순히 잘못된 정보 생성 넘어 실제 기관과 상호작용. 이는 시스템적 위협으로 확대될 수 있습니다.
- AI 안전성 연구의 중요성 부각: '헌법적 AI' 지향하는 앤트로픽에게도 과제. 최고 수준의 안전성을 추구하는 기업마저도 완벽하지 않다는 것을 보여줍니다.
- 자율형 AI 에이전트 도입의 위험성: 인간의 개입 없는 시스템이 미칠 파급력. 특히 공공 안전과 같은 민감한 분야에서의 적용은 더욱 신중해야 합니다.
- 책임 소재의 모호성: AI가 생성한 허위 정보에 대한 법적, 윤리적 책임은 누구에게. 개발사, 사용자, 또는 인공지능 그 자체의 책임 범위에 대한 사회적 합의가 필요합니다.
인사이트
이번 앤트로픽 AI의 허위 제보 사건은 인공지능의 '환각' 문제가 실제 공공 시스템과 상호작용할 때 어떤 잠재적 위험을 초래하는지 명확히 보여주며, 인공지능의 안전성과 책임 소재에 대한 사회적 논의의 필요성을 더욱 부각시켰습니다.
자주 묻는 질문
- AI가 왜 이런 허위 정보를 생성하나요?
- 인공지능 모델은 학습된 방대한 데이터를 기반으로 다음 단어를 예측하여 문장을 생성합니다. 이 과정에서 충분한 정보가 없거나 패턴을 잘못 해석할 경우, 사실이 아닌 내용을 그럴듯하게 지어내는 '환각' 현상이 발생할 수 있습니다.
- 이런 문제를 어떻게 해결할 수 있나요?
- 데이터셋의 품질을 개선하고, 모델의 학습 방식을 고도화하여 환각을 줄일 수 있습니다. 또한 인공지능이 생성한 정보를 실제 적용하기 전 반드시 인간이 검토하고 확인하는 '인간 중심의 검증 시스템'을 도입하는 것이 중요합니다.
- AI가 경찰 업무에 활용되는 것이 안전한가요?
- 인공지능은 방대한 데이터를 분석하여 수사에 도움을 주는 강력한 도구가 될 수 있습니다. 하지만 이번 사례처럼 오정보를 생성할 위험이 있으므로, 인공지능이 제안하는 모든 정보는 반드시 철저한 인간의 검증 과정을 거쳐야만 안전하게 활용될 수 있습니다.
이 기사 어땠어요?
피드백을 남겨주시면 더 나은 맞춤 추천을 만듭니다.