커뮤니티 소식
NeurIPS, AI 탐지기로 논문 178편 데스크 리젝…자신의 논문도 'AI 생성' 판정받은 학회장들
글 · 서아람
인공지능 연구의 권위 있는 학술대회인 NeurIPS가 최근 논문 심사 과정에서 AI 생성 탐지기를 사용해 제출된 논문 178편을 인간 검토 없이 본선 심사에서 제외했습니다. 이는 전체 제출 논문의 약 18.4%에 달하는 규모로, 학계에 적지 않은 파장을 일으키고 있습니다.
이번 논란은 Position Paper 트랙에서 AI 탐지기 'Pangram'을 활용해 AI 생성 콘텐츠로 분류된 논문을 자동 탈락시키면서 불거졌습니다. 더 큰 문제는 탈락된 논문에 대한 어떠한 인간적 검토나 이의 제기 절차도 허용되지 않았다는 점입니다. 단순히 기계적 판단에 따라 수많은 연구 성과가 빛을 보지 못하게 된 것입니다.
레딧 등 소셜 미디어와 학계 커뮤니티에서는 이 결정에 대한 비판이 쏟아져 나왔습니다. 특히 논란의 불씨를 지핀 것은 독립 연구자들이 Pangram 탐지기로 NeurIPS Position Paper 트랙의 학회장들(Track Chairs)이 최근 발표한 논문들을 검사했을 때, 그들의 논문마저도 24%에서 최대 69%까지 AI 생성 콘텐츠로 의심된다는 판정을 받았다는 사실입니다. 이는 AI 탐지기의 신뢰성에 대한 근본적인 의문을 제기합니다. 심지어 학회장들 스스로도 자신들의 논문이 AI의 오판을 받을 수 있었다는 현실은 이번 결정의 경솔함을 여실히 보여줍니다.
AI 탐지 기술은 주로 AI 모델이 생성한 텍스트를 인간이 작성한 텍스트와 구분하려는 시도이지만, 아직 완벽하게 신뢰할 수 없는 수준입니다. AI 탐지기는 글의 패턴, 특정 단어의 사용 빈도 등을 기반으로 판단하며, 이는 AI가 아닌 인간이 작성한 글이라도 AI의 특성과 유사한 부분이 있다면 잘못 탐지할 수 있는 가능성을 내포합니다. 결과적으로 이런 오탐지는 정당한 연구를 수행한 연구자들에게 큰 좌절감을 안기고, AI 시대의 학문적 신뢰와 공정성에 심각한 타격을 줄 수 있습니다.
물론 학회 측에서도 AI 기술을 활용한 저품질 논문이나 표절 문제를 사전에 방지하고자 하는 의도가 있었을 것입니다. 생성형 AI 도구가 발전하면서 논문 작성에 AI의 도움을 받는 경우가 늘고 있고, 이로 인해 학술적 가치가 떨어지거나 윤리적 문제가 발생하는 상황에 대한 우려가 커지는 것도 사실입니다. 그러나 불투명하고 비인간적인 심사 과정은 오히려 역효과를 낳았습니다.
이번 사건이 던지는 핵심적인 쟁점들은 다음과 같습니다.
- AI 탐지기의 낮은 신뢰도: 아직 불완전한 기술을 중요한 심사 과정에 전적으로 의존한 점.
- 인간 검토 및 이의 제기 절차 부재: 연구의 공정성과 투명성을 저해하고 학술적 기본 원칙을 훼손한 점.
- 학회장의 논문 오탐지: 기술 자체의 한계를 극명하게 드러내며 학회 결정의 정당성을 흔든 점.
인사이트
이번 NeurIPS 논란은 미성숙한 AI 탐지 기술에 전적으로 의존한 결과, 학술적 공정성이 훼손될 수 있음을 보여주며 AI 시대의 윤리적 기술 적용에 대한 심도 깊은 논의를 촉발했습니다.
자주 묻는 질문
- AI 생성 논문이 진짜 문제인가요? AI 도움받아 쓰는 건 괜찮지 않나요?
- AI를 활용한 논문 작성이 모두 문제인 것은 아닙니다. 초안 작성이나 문법 교정 등 보조적인 역할은 효율성을 높일 수 있습니다. 하지만 AI가 주도하여 내용을 생성하거나, 표절 방지 없이 복사·붙여넣기식으로 사용할 경우 연구의 진정성과 학술적 가치를 훼손할 수 있습니다.
- 그럼 AI 탐지기는 아예 쓸모없는 기술인가요?
- 아직 AI 탐지 기술은 완벽하지 않으며, 오탐지율이 높다는 한계가 있습니다. 특히 민감한 학술 심사 과정에서 인간 검토 없이 전적으로 의존하는 것은 부적절합니다. 하지만 기술 발전과 함께 보조적인 도구로 활용될 가능성은 여전히 존재합니다.
- NeurIPS는 왜 이런 무리한 결정을 내렸을까요?
- NeurIPS 측은 AI 기술 발전으로 인한 저품질 논문 및 연구 윤리 문제 증가에 대한 우려 때문에 AI 탐지기 도입을 시도한 것으로 보입니다. 하지만 그 과정에서 기술의 한계를 간과하고 충분한 안전장치 없이 기계적 판단에만 의존한 점이 가장 큰 문제로 지적되고 있습니다.
이 기사 어땠어요?
피드백을 남겨주시면 더 나은 맞춤 추천을 만듭니다.