지금은 인공지능 시대(지인시) 심볼지금은 인공지능 시대
커뮤니티 소식

“저자 다 아는데 익명 심사?” 레딧의 불신에 논문 5,027편이 주는 답

서아람글 · 서아람
저자 이름이 가려진 연구 논문과 심사 의견이 나란히 표시된 모니터 화면
저자 이름이 가려진 연구 논문과 심사 의견이 나란히 표시된 모니터 화면
논문에서 이름을 지워도 연구실 간판까지 지울 수 있을까. 레딧 r/MachineLearning에 올라온 ‘이중 익명 심사가 작동한다고 생각하지 않는다’는 글은 AI 연구자들이 느끼는 심사 불신을 정면으로 건드린다. 제공된 원문 발췌에서 작성자는 저자와 소속을 알아내기 쉽고, 인맥이 넓은 연구실을 공정하게 평가할 수 있는지 의문을 제기했다. 자기 논문의 채택 가능성을 높이려 경쟁 논문을 떨어뜨리는 학생 심사자를 목격했다는 주장도 있지만, 이는 독립적으로 검증되지 않은 개인 증언이다. 원문 페이지에 접근하지 못해 게시 시점과 댓글 반응, 확산 규모는 확인하지 못했다. 이중 익명 심사는 저자와 심사자가 서로의 신원을 모르게 해 논문 내용에 집중하도록 만드는 장치다. 문제는 AI 연구가 학회 결과를 기다리지 않고 arXiv 사전 공개 논문과 코드로 먼저 유통된다는 데 있다. 실제로 ICLR 2026은 제출물의 저자 식별 정보는 금지하면서도 arXiv 공개 자체는 익명성 위반으로 보지 않았다. ICLR 지침 지식의 빠른 공유와 신원 은폐를 동시에 추구하다 보니, 이름을 지운 원고와 저자가 공개된 자료가 나란히 존재하는 셈이다. 쟁점은 세 가지로 나눠야 처방도 정확해진다.
  • 신원 추정: 사전 공개 자료로 저자를 알아보는 문제이며, 익명화의 실효성과 연결된다.
  • 명성 편향: 같은 내용도 유명 연구자나 기관의 이름 때문에 더 높게 평가하는 문제다.
  • 전략적 혹평: 경쟁자를 견제하려 평가를 왜곡한다는 의혹으로, 이해충돌 관리와 부정행위 조사가 필요하다.
그렇다고 익명 심사를 없애자는 결론은 실증 연구와 충돌한다. 앤드루 톰킨스 등이 WSDM 2017에서 진행한 실험에서는 저자 정보를 보는 심사자가 유명 저자, 상위권 대학, 상위 기업 논문에 채택 추천을 줄 오즈가 각각 1.63배, 1.58배, 2.10배였다. 이는 채택률이 그만큼 늘었다는 뜻이 아니라, 긍정 평가와 부정 평가의 비율에서 나타난 차이다. 실험 논문 심사 연구자들의 시각도 익명화의 효과를 평가 점수와 최종 채택으로 구분해야 한다는 쪽에 가깝다. 2021년 공개된 ICLR 투고 논문 5,027편 분석은 2018년 이중 익명 전환 뒤 최상위 명성 저자의 점수가 낮아졌지만, 최종 채택에는 유의미한 변화가 없었다고 보고했다. 분석 논문 ‘어차피 누군지 안다’는 반론은 타당한 허점을 짚지만, 일부 신원이 드러난다는 이유로 모든 저자의 간판을 공개하면 명성 편향을 더 쉽게 허용할 수 있다. 학회 실적이 인재 채용과 연구 협력의 신호로 활용되는 AI 산업에서 이 문제는 연구실 내부의 불만으로 끝나지 않는다. 한국의 신생 연구팀에도 중요한 것은 유명 기관과의 점수 경쟁보다, 실험의 재현성과 기여를 설명할 기회가 공정하게 주어지는지다. 다음 개선의 초점은 익명화 유지에 더해 이해충돌 신고와 부실 심사 재검토를 강화하고, 점수의 근거를 검증하는 데 맞춰야 한다.
인사이트

익명 심사의 허점은 제도를 폐지할 근거보다 보완할 지점을 보여준다. 연구실의 명성이 평가를 대신하지 못하도록 신원을 가리는 장치와 심사 근거를 검증하는 절차를 함께 강화해야 한다.

자주 묻는 질문

arXiv에서 저자를 찾을 수 있으면 익명 심사가 무슨 의미야?
이중 익명 심사는 모든 신원 추정을 막지는 못하지만, 심사자가 처음부터 저자의 이름과 소속을 보고 평가하는 상황을 줄인다. WSDM 2017 실험에서는 저자 정보를 공개한 조건에서 유명 저자와 상위 기관에 대한 채택 추천 편향이 나타났다. [실험 논문](https://pmc.ncbi.nlm.nih.gov/articles/PMC5715744/)
학생 심사자가 경쟁 논문을 일부러 떨어뜨린다는 게 사실이야?
제공된 레딧 발췌에는 작성자의 목격 주장이 있지만, 이를 뒷받침하는 독립적인 증거는 확인되지 않았다. 이 주장만으로 학생 심사자 전반의 행동이나 부정행위의 빈도를 판단할 수는 없다.
이름을 가리면 덜 유명한 연구실의 합격률도 올라가?
그렇게 단정할 수는 없다. ICLR 투고 논문 5,027편 분석에서는 이중 익명 전환 후 최상위 명성 저자의 평가 점수가 낮아졌지만 최종 채택에는 유의미한 변화가 없었다. [분석 논문](https://arxiv.org/abs/2101.02701)
공유XTelegram

이 기사 어땠어요?

피드백을 남겨주시면 더 나은 맞춤 추천을 만듭니다.

이런 뉴스를 매일 받아보세요

매일 아침 7시, 그날의 정리를 이메일과 Telegram으로 받아보세요.