논문 브리핑
학업 위반 탐지하는 AI 탐지기, 왜 인간이 쓴 글까지 '인공지능 작품'으로 오인할까요?
글 · 한경모
교육 현장에서 인공지능(AI) 챗봇 사용이 보편화되면서, 학업 부정행위 탐지를 위한 AI 탐지 기술의 도입도 가속화되고 있습니다. 그러나 최근 arXiv에 발표된 한 연구 논문은 이러한 상업용 AI 탐지기들이 학술적 글쓰기의 맥락에서 심각한 한계를 드러내며, 때로는 무고한 학생들을 위기에 빠뜨릴 수 있다고 경고하고 나섰습니다. 논문 'Why AI Detection Fails for Academic Integrity'는 AI 탐지기가 단순히 인공지능이 생성한 텍스트를 걸러내는 것을 넘어, 합법적인 AI 보조 기능이나 심지어 사람이 직접 작성한 글까지도 AI가 개입된 것으로 오인할 수 있음을 실험적으로 증명했습니다.
이번 연구는 상업용 AI 탐지기인 Pangram과 GPTZero를 활용해 실제 학술 논문 초록을 대상으로 정교한 실험을 진행했습니다. 2013년부터 2015년까지 발표된 초록과 2023년부터 2025년까지 발표될 예정인 초록 샘플을 비교 분석하며, 연구팀은 AI 도움의 정도를 세 가지 시나리오로 나누어 평가했습니다. 첫 번째는 완전히 AI가 생성한 초록, 두 번째는 LLM이 가볍게 '초록만 다듬는' 수준으로 도움을 준 경우, 세 번째는 AI의 개입 없이 순수하게 사람이 작성한 최신 초록이었습니다. 이 중 LLM이 가볍게 '초록만 다듬는' 수준의 도움을 받은 글은 AI 지원 지침을 준수한 합법적인 사용으로 간주될 수 있음에도 불구하고, AI 탐지기들은 이를 64%에서 80%에 달하는 높은 확률로 AI 생성물로 분류했습니다. 이는 AI 탐지기가 사람이 작성한 원문의 본질을 유지하면서 문장 구조나 표현을 개선하는 AI의 역할을 제대로 구분하지 못한다는 점을 보여줍니다.
더욱 심각한 문제는 AI의 도움을 전혀 받지 않고 2023년부터 2025년 사이에 발표된 순수 인간 작성 초록조차도 9%에서 15%의 확률로 AI 생성물로 오인되었다는 점입니다. 특히 비과학기술(non-STEM) 분야의 글에서는 이 오탐지율이 훨씬 더 높게 나타나, 글의 주제나 스타일이 AI 탐지기의 알고리즘에 영향을 미칠 수 있음을 시사했습니다. 이러한 결과는 학술 기관들이 AI 탐지 결과를 학업 부정행위의 증거로 삼을 경우, 무고한 학생들에게 불이익을 줄 수 있는 '정책 실패'로 이어질 수 있음을 경고합니다.
업계 전문가들은 이러한 AI 탐지기의 한계가 LLM 자체의 작동 방식과 밀접하게 관련되어 있다고 지적합니다. LLM이 생성하는 텍스트는 특정 통계적 패턴을 가지지만, 인간이 작성한 텍스트 또한 고유한 패턴과 복잡성을 내포하고 있습니다. AI 탐지기는 이 미묘한 경계를 구분하는 데 어려움을 겪으며, 이는 결국 다음과 같은 핵심 쟁점을 만듭니다.
- AI 탐지 기술은 LLM이 생성한 텍스트와 인간이 작성한 텍스트를 정확히 구분하기 어렵습니다. AI 모델은 문법적 정확성, 문장 구조의 일관성 등에서 특정 패턴을 보이며, 이는 일부 인간의 글쓰기 습관과 겹칠 수 있습니다.
- 가벼운 AI 보조(예: 문법 교정, 표현 다듬기)는 합법적인 학술 활동의 일환임에도 불구하고, AI 탐지기는 이를 AI가 전적으로 생성한 것으로 오인할 가능성이 높습니다.
- 높은 오탐지율은 학생들의 학업 활동에 대한 불필요한 의심을 야기하고, AI 기술을 활용한 학습 및 연구 활동을 위축시킬 수 있습니다. 이는 결과적으로 교육 현장의 혁신을 저해할 수 있습니다.
인사이트
AI 탐지기는 합법적인 AI 보조 기능은 물론 인간이 작성한 학술 텍스트까지도 AI 생성물로 오인하는 심각한 한계를 가지며, 이는 학업 무결성 평가에 대한 전면적인 재고를 요구합니다.
자주 묻는 질문
- 그럼 AI 탐지기는 아예 쓸모가 없는 건가요?
- 이번 연구 결과에 따르면, 현재 상업용 AI 탐지기들은 학업 맥락에서 매우 높은 오탐지율을 보여 신뢰하기 어렵습니다. 완전히 AI가 생성한 글조차 놓치거나, 사람이 쓴 글을 AI가 썼다고 오인하는 경우가 빈번해, 학업 부정행위 판단의 근거로 삼기에는 부적절하다는 결론입니다.
- AI 탐지 기술은 앞으로 어떻게 발전할까요?
- AI 탐지 기술은 지속적으로 발전하겠지만, 근본적인 한계(LLM 텍스트의 특성)가 존재합니다. 워터마킹 기술 등 새로운 방식이 제안되고 있으나, 이를 우회하는 방법 또한 빠르게 개발될 가능성이 높습니다. 궁극적으로는 AI가 얼마나 글을 생성했는지보다 내용의 독창성과 학생의 이해도를 평가하는 방향으로 전환될 것입니다.
- 학교들은 그럼 학업 부정행위에 어떻게 대처해야 할까요?
- 이번 연구는 학교들이 AI 탐지기 의존도를 낮추고, 글쓰기 과정 전반을 평가하는 방식으로 전환해야 함을 시사합니다. 초안 작성, 반복적인 수정 과정, 구두 발표, 독창적인 아이디어 제시 등을 통해 학생의 실제 역량을 평가하고, AI를 학습 도구로 활용하는 교육 방안을 모색하는 것이 중요합니다.
이 기사 어땠어요?
피드백을 남겨주시면 더 나은 맞춤 추천을 만듭니다.