AI 탐지기라는 현대판 마녀사냥

도입: 옆자리 김대리가 쓴 보고서, AI가 썼다고요?

얼마 전 지인의 아이가 학교에서 과제를 냈다가 된서리를 맞았다는 이야기를 들었습니다. AI 탐지기라는 프로그램이 아이의 글을 'AI가 98% 작성'했다고 판정했다는 겁니다. 아이는 억울해서 며칠을 울었다고 합니다. 궁금해져서 저도 요즘 유행하는 AI 탐지기 몇 개를 직접 써봤습니다. 몇 년 전 썼던 제 칼럼의 일부를 넣어봤습니다. 결과는 '사람이 썼을 가능성이 매우 낮다'였습니다. 제가 유령 작가를 둔 것도 아닌데 말입니다. 헛웃음이 나왔습니다.

요즘 교육계와 기업에서 이런 일이 비일비재합니다. 생성형 AI, 즉 챗GPT처럼 사람의 말을 흉내 내 글이나 그림을 만들어내는 인공지능의 확산 속도가 워낙 빠르다 보니, 이걸 가려내야 한다는 강박이 생긴 탓입니다. AI가 만든 글을 자동으로 판별해준다는 'AI 탐지기'는 그래서 구세주처럼 등장했습니다. 하지만 이 구세주, 알고 보니 진짜 범인은 곧잘 놓치고 엉뚱한 사람만 잡는 허술한 탐정이었습니다. 이 탐정이 휘두르는 엉터리 감식 결과에 수많은 학생과 창작자들이 'AI 부정 사용자'라는 주홍글씨를 새기고 있습니다.

AI 탐지기는 어떻게 작동하길래 이런 일이 생기나

AI 탐지기는 어떻게 작동하길래 이렇게 엉뚱한 판정을 내리는 걸까요? 원리는 생각보다 간단합니다. 일종의 '문체 감식반'이라고 생각하면 쉽습니다. 그런데 이 감식반의 기준이 좀 이상합니다. 마치 '글씨를 아주 반듯하게 쓰는 사람은 모두 범인'이라고 가정하는 것과 같습니다.

생성형 AI는 보통 다음에 올 단어로 확률상 가장 그럴듯한 것, 가장 평범하고 예측 가능한 단어를 고르는 방식으로 문장을 만듭니다. 수많은 데이터를 학습한 결과, 이런 방식이 가장 자연스러운 문장을 만든다는 것을 알게 된 겁니다. 그래서 AI가 쓴 글은 문법적으로 완벽하고, 단어 선택이 비교적 평이하며, 문장 구조가 일관된 경향을 보입니다. 전문용어로는 이런 예측 가능성의 정도를 '펄플렉시티(perplexity)'라고 부릅니다. AI 탐지기는 바로 이 '예측 가능성'과 '일관성'을 측정합니다. 글이 너무 매끄럽고 평탄하면 '음, 이건 AI 솜씨로군'하고 의심하는 겁니다.

반면 사람은 좀 다릅니다. 글을 쓰다가 갑자기 엉뚱한 단어를 쓰기도 하고, 문장 길이를엿가락처럼 늘였다 줄였다 합니다. 쉬운 단어들 사이에 의도적으로 어려운 한자어를 섞어 쓰기도 합니다. 탐지기는 이런 '예측 불가능성' 또는 '문체의 변덕'을 보고 '아, 이건 사람이 썼구나'하고 판단합니다.

문제는 바로 여기에 있습니다. 글쓰기를 정식으로 배운 사람, 특히 간결하고 명료하게 쓰는 원칙을 잘 따르는 사람의 글은 AI가 쓴 글과 비슷해 보일 수 있습니다. 제2외국어로 글을 쓰는 학생들은 익숙한 표현과 정형화된 문장 구조를 반복해서 사용하는 경향이 있는데, 이 또한 AI의 글쓰기 패턴과 유사합니다. 결국 '글쓰기 원칙을 잘 지킬수록', '배운 대로 착실하게 쓸수록' AI로 몰리기 쉬운 역설이 생기는 겁니다. 억울한 누명은 이 지점에서 대거 발생합니다.

역사 속의 평행선: '만능 해결사'의 배신

이런 '만능 해결사'에 대한 섣부른 믿음과 뒤이은 배신은 처음이 아닙니다. 컴퓨터 공학의 역사에는 이런 '은탄환(Silver Bullet)', 즉 모든 문제를 한 방에 해결해 줄 것이라 기대받았던 기술들이 주기적으로 등장했다 사라지곤 했습니다. AI 탐지기의 모습은 과거의 실패한 기술들과 놀랍도록 닮았습니다.

1. 1980년대 'CASE 도구'의 환상: '컴퓨터 지원 소프트웨어 공학(CASE)'이라는 거창한 이름의 도구가 있었습니다. 복잡한 코딩 없이, 설계도만 그림 그리듯 그리면 프로그램이 뚝딱 완성될 것이라는 장밋빛 전망을 내세웠습니다. 개발자들은 지긋지긋한 밤샘 코딩에서 해방될 꿈에 부풀었습니다. 결과는 어땠을까요? 현실 세계의 비즈니스는 설계도에 담을 수 없을 만큼 복잡하고 변덕스러웠습니다. 결국 CASE 도구는 복잡한 요구사항을 제대로 반영하지 못했고, '그림만 예쁜 깡통' 취급을 받으며 개발자들에게 외면당했습니다.

1. 1990년대 '4세대 언어'의 약속: '사람의 말처럼 질문하면 컴퓨터가 알아서 데이터를 찾아준다'는 4세대 언어(4GL)도 있었습니다. 복잡한 데이터베이스 명령어를 몰라도 누구나 전문가처럼 데이터를 다룰 수 있게 해주겠다는 약속이었습니다. 하지만 이 역시 정해진 몇 가지 질문 외에는 제대로 답하지 못했습니다. 조금이라도 복잡한 분석이 필요하면 결국 자바(Java)나 C언어 같은 3세대 언어를 쓰는 개발자의 손을 빌려야 했습니다. '만능'이 아니라 '제한된 용도의 도구'였던 셈입니다.

AI 탐지기도 정확히 이 길을 걷고 있습니다. 'AI가 썼는가?'라는, 인간 언어의 미묘함과 창의성, 맥락이 얽힌 지극히 복잡한 문제를 간단한 확률 계산과 패턴 분석으로 해결해주겠다는 약속. 이것은 과거의 실패한 '만능 도구'들이 팔았던 환상과 본질적으로 같습니다. 기술로 모든 것을 재단하려는 오만한 시도는 이번에도 씁쓸한 실패로 귀결될 가능성이 높습니다.

탐지기가 놓치는 것, 그리고 우리가 잃는 것

AI 탐지기의 가장 큰 문제는 기술적 오류를 넘어, 우리 사회의 가장 중요한 자산인 '신뢰'를 파괴한다는 점입니다. 학생은 자신의 노력이 의심받는 현실에 좌절하고, 교사는 학생을 잠재적 부정행위자로 여기게 됩니다. 의심이 만든 벽은 소통을 가로막고 교육의 본질을 훼손합니다.

이 기술의 신뢰성이 얼마나 낮은지는 개발사 스스로가 증명하고 있습니다. 챗GPT를 만든 오픈AI조차 2023년 7월, 자체 개발했던 AI 탐지기 서비스를 '정확도가 낮다'는 이유로 중단했습니다. 족집게 과외 선생이 '제가 만든 족집게 문제집은 사실 잘 안 맞습니다'라고 고백한 셈입니다. 미국 버클리대의 한 교수, 수많은 비영어권 학생들의 사례는 이런 기술적 한계가 낳은 사회적 비극을 똑똑히 보여줍니다.

AI 탐지기에 대한 기대와 현실의 간극은 아래 표로 요약할 수 있습니다.

이쯤에서 흔히들 하는 오해 두 가지를 짚고 넘어가야 합니다.

- 오해 1: "그래도 없는 것보다 낫지 않은가?" 아닙니다. 틀린 저울로 무게를 재는 것은 아예 안 재는 것보다 못할 수 있습니다. 99명의 범인을 놓치더라도 1명의 억울한 사람을 만들어서는 안 된다는 형사법의 대원칙을 떠올려 보십시오. AI 탐지기의 오판으로 한 학생의 학점이 깎이고, 한 창작자의 명예가 실추되는 비용은, AI로 대충 쓴 보고서 몇 개를 놓치는 비용보다 훨씬 큽니다. 사회적 신뢰라는 핵심 자산을 갉아먹기 때문입니다.

- 오해 2: "AI 기술이 발전하면 탐지기도 정확해질 것이다." 이것은 창과 방패의 싸움인데, 현재로선 창이 이길 수밖에 없는 구조입니다. AI 모델의 목표는 '더 사람처럼' 글을 쓰는 것입니다. 탐지기를 피하도록 훈련하는 것 또한 얼마든지 가능합니다. 물에 물 탄 듯, 술에 술 탄 듯 만드는 게 목표인데, 그 결과물에서 '인공'의 흔적을 찾는 건 갈수록 어려워질 겁니다. 오히려 탐지기를 속이는 방법을 알려주는 AI까지 등장하고 있습니다. 완벽한 탐지는 신기루에 가깝습니다.

중요한 것은 '판단의 값'이다

결국 우리는 엉뚱한 곳에 힘을 쓰고 있었던 건지도 모릅니다. '이것을 AI가 썼는가?'라는 질문은 사실 부차적입니다. 본질에서 벗어난 질문입니다. 더 중요한 질문은 이것입니다.

"그래서 이 글(또는 결과물)이 쓸모가 있는가? 사실에 기반했는가? 독창적인 관점을 담고 있는가? 문제를 해결하는 데 도움이 되는가?"

새 아파트를 보러 갔다고 칩시다. 가장 중요한 건 집의 구조, 채광, 입지, 가격입니다. 그런데 '이 집을 사람이 지었나, 기계가 지었나'를 따지는 데만 혈안이 되어 있다면 어떻겠습니까? 공장에서 찍어낸 자재를 썼는지, 목수가 일일이 손으로 깎은 나무를 썼는지를 따지느라 정작 집이 살기 좋은지는 뒷전이라면 말입니다. 본질을 놓치고 있는 겁니다.

AI는 강력한 연장입니다. 전동 드릴이나 레이저 커터와 같습니다. 중요한 건 그 연장으로 무엇을 만들었느냐이지, 연장을 썼다는 사실 자체가 아닙니다. AI 탐지기에 의존하는 것은, 완성된 가구의 디자인이나 만듦새는 보지도 않고 '전동 드릴 자국이 있나 없나'만 따지는 것과 같습니다. 이는 평가의 책임을 기계에 떠넘기는 게으름일 뿐입니다.

AI 시대에 단순 반복 작업의 가치는 떨어집니다. 하지만 '판단의 값'은 기하급수적으로 올라갑니다. AI가 쏟아내는 수많은 정보와 그럴듯한 결과물 중에서 옥석을 가리고, 그것을 바탕으로 더 나은 결정을 내리는 능력 말입니다. 교사는 학생의 글이 AI 도움을 받았는지 아닌지를 색출하는 '경찰'이 아니라, AI를 활용해 얼마나 더 깊이 있는 탐구를 했는지를 평가하고 지도하는 '코치'가 되어야 합니다. 기업의 관리자는 직원이 보고서를 AI로 썼는지를 감시할 게 아니라, AI를 활용해 더 나은 사업적 통찰을 이끌어냈는지를 봐야 합니다. 판단의 무게가 관리자와 교사의 어깨 위로 고스란히 돌아왔습니다. 편해질 줄 알았는데, 더 어려워진 셈입니다.

독자가 던질 법한 질문들

Q. 그래도 표절이나 과제 대필 같은 부정행위는 막아야 하지 않습니까? A. 물론입니다. 하지만 AI 탐지기는 그 해결책이 아닙니다. 기존의 표절 검사 시스템, 즉 인터넷의 다른 문서나 논문과 비교해 비슷한 부분을 찾아내는 방식은 여전히 유효합니다. AI 탐지기와 표절 검사는 다릅니다. 그보다 중요한 것은 과제의 형태를 바꾸는 것입니다. 단순히 정보를 요약하거나 정리하는 과제는 AI에게 최적의 먹잇감입니다. 대신 AI가 쉽게 답할 수 없는, 자신만의 경험을 녹여내거나, 여러 관점을 비판적으로 종합하거나, 창의적인 해결책을 제시하도록 요구해야 합니다. 글의 최종 결과물만 볼 게 아니라, 주제를 정하고 자료를 찾아 생각을 발전시키는 과정 자체를 평가하는 것도 좋은 방법입니다.

Q. AI가 만든 콘텐츠를 구별할 방법이 아예 없는 건가요? 워터마크 같은 기술은 어떤가요? A. 기술적 시도는 계속되고 있습니다. AI가 콘텐츠를 만들 때 사람 눈에는 보이지 않는 표식(워터마크)을 몰래 심어두는 기술도 연구 중입니다. 하지만 이것도 한계가 명확합니다. 문장을 조금만 바꾸거나, 다른 AI를 이용해 다시 쓰게 하면 워터마크는 쉽게 망가지거나 사라집니다. 화면을 캡처했다가 다시 올리는 것만으로도 무력화될 수 있습니다. 결국 완벽한 '탐지'는 불가능에 가깝다는 게 기술 전문가들의 중론입니다. '이 기술이면 끝'이라는 은탄환을 찾기보다, AI와의 공존을 전제로 새로운 규칙과 평가 방식을 고민하는 쪽으로 방향을 틀어야 합니다.

Q. 앞으로 글쓰기 능력은 중요하지 않게 되는 걸까요? A. 정반대라고 생각합니다. 오히려 글쓰기의 본질, 즉 '생각을 구조화하고 논리적으로 표현하는 능력'은 훨씬 더 중요해질 겁니다. AI에게 제대로 된 결과물을 얻어내려면, 무엇을 원하는지 명확하고 논리적으로 지시(프롬프트)할 수 있어야 합니다. 좋은 질문을 던지는 능력이 곧 실력이 되는 시대입니다. AI가 초벌 번역가나 자료 조사원 역할을 대신해준다면, 우리는 편집장이나 감독처럼 최종 결과물의 방향을 잡고 완성도를 책임지는 역할에 더 집중하게 될 겁니다. 글쓰기의 가치는 사라지는 게 아니라, 더 높은 차원의 '사고력'과 '판단력'으로 이동하는 것입니다.