AI 논문 심사의 ‘읽씹’, 당신의 미래도 씹힐 수 있다

‘다 이해했다면서요.’ AI 천재들의 빡침

최근 전 세계 AI 연구자들이 모이는 온라인 커뮤니티 레딧(Reddit)의 ‘머신러닝’ 게시판이 한 편의 글로 발칵 뒤집혔어요. 글쓴이는 익명의 연구자. 세계 최고 권위의 인공지능 학회인 ‘뉴립스(NeurIPS)’에 제출한 자신의 논문이 심사 과정에서 겪은 기막힌 상황을 토로했죠. 뉴립스가 어떤 곳이냐면, AI 연구계의 ‘올림픽’이자 ‘미슐랭 3스타’ 같은 곳이에요. 여기에 논문 한 편 실리면 그야말로 ‘가문의 영광’이고, 실리콘밸리 빅테크 기업에서 모셔가는 커리어의 치트키가 되기도 합니다.

사건은 이랬습니다. A라는 심사위원이 이 연구자의 논문에 4점 만점에 2점이라는 사실상의 ‘탈락’ 점수를 줬어요. 날카로운 비판과 함께요. 연구자는 밤샘은 기본이었을 겁니다. 심사위원의 지적 하나하나에 대해 데이터를 다시 돌리고, 논리를 보강해서 반박 자료를 제출했어요. 일종의 저자 답변(rebuttal) 기간이거든요. 잠시 후, 심사위원 A에게서 답변이 돌아옵니다. “당신의 답변으로 내 우려가 모두 해소되었다. 명쾌한 설명 고맙다.”

여기까지만 보면 해피엔딩 같죠? 연구자는 안도의 한숨을 내쉬며 점수가 수정되기를 기다렸을 겁니다. 그런데 마감 시간이 다 되도록 점수는 그대로 ‘2점’이었습니다. 바뀐 게 없었어요. ‘네 말 다 맞는데, 점수는 안 바꿔줄 거야’라는, 요즘 말로 ‘읽씹(읽고 무시)’보다 더 악질인 ‘인씹(인정하고 무시)’을 당한 셈이죠. 다른 심사위원들은 토론에 거의 참여하지도 않았고요. 결국 이 논문은 낮은 점수 때문에 채택되지 않을 가능성이 커졌습니다.

이 글에 수백 개의 댓글이 달리며 연구자들은 ‘나도 당했다’는 경험을 쏟아냈어요. 이건 그냥 한 명의 연구자가 겪은 ‘운 나쁜 날’이 아니었던 거죠. 이건 우리가 ‘인공지능’이라는 단어에서 떠올리는 첨단, 혁신, 논리, 합리성과는 거리가 먼, 지극히 인간적인 ‘귀찮음’, ‘무책임’, ‘오만함’이 어떻게 미래 기술의 향방을 결정하는지를 보여주는 웃픈 단면입니다. 이게 정말 남의 일 같으세요? 천만에요. 여기서 벌어지는 촌극이 결국 당신의 스마트폰과 당신의 일자리를 바꾸게 될 겁니다.

1등만 기억하는 잔인한 세상: AI 학회는 어떻게 돌아가나

대체 AI 학회 논문 심사가 뭐길래 이렇게 난리일까요? 이걸 이해하려면 이 세계가 얼마나 살벌한지부터 알아야 해요. 뉴립스나 ICML, ICLR 같은 최상위 AI 학회는 사실상 거대한 ‘기술 권력 시장’입니다. 여기서 발표된 논문은 곧바로 구글, 메타, 오픈AI 같은 기업들의 다음 프로덕트에 적용되고, 수조 원짜리 스타트업의 기반 기술이 되기도 하거든요.

비유하자면, 매년 열리는 거대한 아이돌 오디션 프로그램과 비슷해요. 전 세계에서 수만 명의 ‘연습생(논문)’들이 지원합니다. 이들 중 극소수, 대략 20% 남짓만이 ‘데뷔(채택)’의 영광을 누리죠. 그리고 그 심사를 맡는 게 바로 ‘심사위원(reviewer)’들입니다. 이들의 손에 한 연구팀의 몇 년간의 노력이, 그리고 어쩌면 한 사람의 연구 인생이 걸려 있는 셈이에요.

논문 심사 과정은 대략 이렇습니다.

1. 저자가 논문을 온라인 시스템에 제출합니다.
2. 학회 측은 주제에 맞춰 3~5명의 익명 심사위원에게 논문을 배정합니다.
3. 심사위원들은 각자 논문을 읽고 점수(예: 1점~10점)와 함께 강점, 약점, 개선점 등을 담은 리뷰를 작성합니다.
4. 저자는 이 리뷰들을 모두 받아본 뒤, 약 일주일 정도의 ‘반박(rebuttal)’ 기간 동안 심사위원들의 오해를 바로잡고 비판에 답변할 기회를 갖습니다.
5. 이후 저자의 답변을 바탕으로 심사위원들 간의 온라인 토론이 진행됩니다. 이때 심사위원들은 자신의 리뷰나 점수를 수정할 수 있습니다.
6. 최종적으로 모든 리뷰와 토론 내용을 종합해 ‘프로그램 위원회’라는 상위 그룹이 논문의 채택 여부를 결정합니다.

문제는 이 과정의 핵심인 심사위원들이 대부분 ‘자원봉사자’라는 점입니다. 다들 자기 연구와 강의로 눈코 뜰 새 없이 바쁜 현직 교수나 기업의 연구원들이죠. 월급 한 푼 안 받고, 순전히 학문 공동체에 대한 기여라는 사명감 하나로 엄청난 양의 논문을 읽고 평가하는 겁니다. 얼굴도 이름도 모르는 심사위원에게 내 연구의 생사여탈권이 맡겨지는 구조. 시작부터 어딘가 좀 아슬아슬하지 않나요?

그림자 노동, ‘리뷰어 피로’라는 이름의 면죄부

그럼 다시 처음의 질문으로 돌아가 보죠. 대체 그 심사위원은 왜 ‘네 말이 맞다’고 인정까지 해놓고 점수는 안 바꿨을까요? 악의가 있었을까요? 그럴 수도 있지만, 더 설득력 있는 설명은 바로 ‘리뷰어 피로(reviewer fatigue)’와 그로 인한 극도의 ‘귀찮음’입니다.

상황을 한번 상상해 보세요. 당신은 대학 교수예요. 이번 학기 강의 준비와 학생 지도만으로도 머리가 터질 지경인데, 뉴립스에서 심사해달라고 논문 5편이 날아왔습니다. 한 편당 수십 페이지에 수식과 실험 데이터가 빽빽해요. 이걸 제대로 이해하고 비판하려면 최소 반나절은 꼬박 써야 합니다. 마감일에 쫓겨 꾸역꾸역 리뷰를 제출하고 나니, 며칠 뒤 저자의 반박문과 함께 토론에 참여하라는 알림이 뜹니다. 솔직히 다시 들여다보고 싶을까요?

이건 마치 우리가 맛집 리뷰를 쓰는 것과도 비슷해요. 처음 한두 번은 정성껏 사진 찍고 메뉴별 평가를 상세하게 쓰지만, 수십, 수백 번이 되면 ‘좋아요’, ‘맛있음’ 한마디로 끝나게 되잖아요. 심사위원들도 사람입니다. 뉴립스 2023년에는 무려 12,345편의 논문이 제출됐고, 이걸 심사하기 위해 1만 명이 넘는 심사위원이 동원됐어요. 한 사람이 평균 서너 편만 맡아도 엄청난 부담이죠. 이런 ‘그림자 노동’에 시달리다 보면 몇 가지 심리적 함정에 빠지기 쉽습니다.

• 초두 효과와 확증 편향: 처음에 ‘이 논문 별로인데?’라고 찍어놓은 점수를 바꾸려면, 자신의 첫 판단이 틀렸음을 인정해야 해요. 이건 생각보다 큰 심리적 저항을 만듭니다. 차라리 자기 판단을 지지하는 근거만 찾으려 하거나, 새로운 정보를 애써 무시하는 ‘확증 편향’에 빠지기 쉽죠.
• 최소 노력의 원칙: 점수를 수정하려면 시스템에 다시 로그인해서, 점수 바꾸고, 왜 바꿨는지 사유까지 써야 합니다. 몇 번의 클릭과 타이핑이 전부지만, 이미 모든 에너지를 소진한 사람에겐 에베레스트산 등반처럼 느껴질 수 있어요. ‘아, 다 끝난 줄 알았는데 또 뭘 하라고?’ 하는 생각에 그냥 창을 닫아버리는 거죠. 레딧의 그 심사위원은 아마 이런 상태였을 겁니다.

물론 이건 심사위원 개인의 인성 문제라기보다는, 이런 비효율과 과부하를 방치하는 시스템의 구조적 결함에 가깝습니다. 하지만 그렇다고 ‘피곤하니까 그럴 수 있다’며 면죄부를 줄 수는 없는 노릇이죠. 그들의 ‘귀찮음’ 한 번에 누군가의 몇 년이 날아가니까요.

익명성이라는 가면 뒤: ‘알빠 없음’과 책임의 부재

이 문제를 더 심각하게 만드는 건 바로 ‘익명성’이라는 가면입니다. 원래 익명 심사 제도는 좋은 취지로 시작됐어요. 심사위원이 논문 저자의 이름값이나 소속 기관, 혹은 개인적 친분에 휘둘리지 않고 오직 논문의 질만 보고 평가하게 하려는 거죠. 또, 혹시 모를 저자의 보복(예를 들어 나중에 내 논문을 심사하게 될 때)에 대한 두려움 없이 솔직한 비판을 하게 하려는 목적도 있었고요.

하지만 익명성은 언제나 양날의 검입니다. 인터넷 악플러들을 떠올려 보세요. 자기 이름과 얼굴을 걸고는 차마 못 할 막말과 비난을 익명이라는 방패 뒤에 숨어 쏟아내잖아요. 논문 심사도 마찬가지입니다. 익명성은 심사위원을 ‘책임’으로부터 자유롭게 만들어요. 내가 무슨 말을 하든, 얼마나 성의 없게 리뷰를 쓰든, 아무도 나를 비난하지 않습니다. 레딧 사건처럼 명백한 논리적 오류를 저지르고도 슬그머니 입을 닦을 수 있는 것도 이 익명성 덕분이죠.

이런 ‘알빠 없음’ 태도는 특히 저자와 심사위원 간의 극심한 권력 비대칭 때문에 더 큰 문제가 됩니다. 저자는 그야말로 도마 위에 오른 생선이에요. 심사위원의 칼질에 속수무책으로 당할 수밖에 없죠. 반면 심사위원은 누구인지도 모르는 유령 같은 존재입니다. 이런 상황에서 최소한의 책임감마저 사라진다면, 심사 과정은 공정한 평가가 아니라 한쪽이 일방적으로 휘두르는 폭력이 될 수도 있습니다.

그래서 최근에는 ‘오픈 리뷰(Open Review)’ 시스템을 도입하는 학회들이 늘고 있어요. 심사위원의 이름과 리뷰 내용, 저자와의 토론 과정 전체를 대중에게 공개하는 방식이죠. 확실히 투명성과 책임감을 높이는 효과가 있습니다. 하지만 여기에도 단점은 있어요.

표에서 보듯, 공개 리뷰는 ‘우리 사이에 좋게 좋게 가자’는 식의 온정주의로 흐를 위험이 있어요. 특히 신진 연구자가 거물급 교수의 논문을 실명으로 비판하기란 여간 부담스러운 일이 아니죠. 결국 완벽한 제도는 없는 셈입니다. 그럼에도 불구하고, 레딧 사건 같은 ‘묻지 마 기각’을 막기 위해서라도 투명성을 강화하는 방향으로 가야 한다는 목소리가 높은 건 당연한 일입니다.

흔한 오해 깨부수기: 이건 그냥 ‘운 나쁜’ 케이스가 아니다

이런 이야기를 하면 꼭 나오는 반론들이 있어요. 한번 짚고 넘어가죠.

오해 1: “그냥 그 심사위원 한 명이 이상한 거 아닌가요? 운이 없었네요.”

아니요. 이건 ‘불운’의 문제가 아니라 ‘시스템’의 문제입니다. 만약 이게 정말 희귀한 사례였다면, 레딧의 그 글이 그렇게까지 폭발적인 공감을 얻지는 못했을 거예요. 수많은 연구자들이 ‘나도 비슷한 일을 겪었다’고 댓글을 달았다는 건, 이런 일이 학계에 만연해 있다는 방증입니다. 인센티브 구조를 보세요. 리뷰를 성실하고 꼼꼼하게 한다고 해서 주어지는 보상은 ‘훌륭한 리뷰어’라는 상장 한 장 정도입니다. 반면 대충 하거나 실수를 해도 아무런 불이익이 없죠. 이런 시스템에서 성실함을 기대하는 건, CCTV 없는 무인 상점에서 모든 손님이 양심적으로 계산해주길 바라는 것과 같아요. 일부는 그러겠지만, 아닌 사람도 반드시 나오게 마련입니다.

오해 2: “지적한 문제가 해결됐어도, 논문 전체의 기여도가 낮다고 판단해서 점수를 안 바꿨을 수도 있죠.”

일리 있는 지적입니다. 특정 부분이 개선됐다고 해서 논문 전체의 가치가 급상승하는 건 아닐 수 있으니까요. 하지만 이번 경우는 달라요. 심사위원이 2점이라는 ‘탈락’ 점수를 준 핵심 근거가 바로 그가 제기했던 비판들이었습니다. 그런데 저자의 반박으로 그 근거가 전부 소멸됐어요. 그렇다면 점수의 기반 자체가 무너진 겁니다. 그럼에도 점수를 유지하려면, ‘당신의 지적은 해결됐지만, 그럼에도 불구하고 이러이러한 이유 때문에 이 논문의 기여도는 여전히 낮다고 본다’라고 추가적인 설명을 해주는 게 심사위원의 마땅한 의무입니다. 아무런 설명 없이 점수를 그대로 둔 건, 판사가 “결정적 증거가 무효 처리됐지만, 아무튼 유죄 판결은 유지하겠소”라고 말하는 것과 같은 지적 태만입니다. 침묵이 모든 걸 망친 거죠.

그래서, 이게 내 일상이랑 무슨 상관인데?

자, 이제 가장 중요한 질문입니다. “그래서 AI 학회의 이상한 심사 문화가 나랑 무슨 상관인데?” 엄청난 상관이 있습니다. 뉴립스에서 탈락한 논문은 그냥 휴지통으로 직행하는 학자들의 낙서가 아니에요. 그 안에는 어쩌면 우리가 다음 세대에 사용하게 될 혁신적인 기술의 씨앗이 들어있을 수 있습니다.

이런 부실한 심사 시스템이 우리 일상에 미치는 영향은 크게 세 가지입니다.

1. 혁신의 지연과 왜곡: 정말 획기적인 아이디어를 담은 논문이 게으르거나 편협한 심사위원 한 명 때문에 빛을 보지 못하고 사장될 수 있습니다. 반대로, 별 내용 없지만 유명 연구소에서 나왔거나, 심사위원과 아는 사이인 저자의 논문은 쉽게 통과될 수도 있죠. 이런 일이 반복되면 AI 기술 발전은 최선의 방향이 아니라, ‘운 좋고 인맥 좋은’ 방향으로 흘러가게 됩니다. 우리가 쓰는 AI 비서가 왜 이렇게 멍청하게 느껴지냐고요? 어쩌면 그 대안이 될 뻔했던 똑똑한 기술이 몇 년 전 어느 심사위원의 ‘귀찮음’ 때문에 탈락했을지도 모를 일입니다.

1. 인재의 유출: 당신이 젊고 유능한 AI 연구자라고 상상해보세요. 몇 년을 바친 연구 결과물이 번번이 이런 비합리적인 이유로 거절당한다면 어떤 기분일까요? 빡치고, 좌절하고, 결국 이 분야에 환멸을 느끼고 떠나지 않을까요? 실제로 많은 연구자들이 이런 ‘심사 잔혹사’에 지쳐 학계를 떠나 산업계로 가거나, 아예 다른 분야로 옮겨가기도 합니다. 결국 가장 창의적이고 도전적인 인재들을 시스템이 스스로 걷어차는 셈이죠.

1. ‘AI 귀족’의 탄생과 고인물 현상: 심사위원들은 무의식적으로 자신에게 익숙한 접근법, 유명 대학이나 기업 연구소의 논문에 더 후한 점수를 주는 경향이 있습니다. 익명성이 이걸 막아줘야 하지만, 글 쓰는 스타일이나 인용하는 논문만 봐도 ‘어디 출신이겠구나’ 짐작이 가는 경우가 많죠. 결국 ‘그들만의 리그’가 공고해지고, 소수의 주류 연구 그룹이 기술 표준과 방향을 독점하는 ‘AI 귀족’ 현상이 나타납니다. 새로운 아이디어를 가진 비주류 도전자들은 진입 장벽 앞에서 좌절하게 되고요. 기술 생태계가 고인 물처럼 썩어가는 겁니다.

결국 AI 학회 심사는 더 이상 그들만의 이야기가 아닙니다. 우리가 앞으로 어떤 수준의 기술을 누리며 살게 될지, 그 기술이 얼마나 공정하고 다양성을 존중하는 방향으로 발전할지를 결정하는 ‘보이지 않는 손’이기 때문입니다.

마무리: 신을 만드는 자들의 윤리를 묻다

AI 기술의 발전 속도는 현기증이 날 정도입니다. 몇 달만 지나면 세상이 바뀌어 있죠. 하지만 그 기술의 가치를 평가하고 방향을 제시하는 ‘심사 시스템’은 여전히 20세기 아날로그 방식에 머물러 있습니다. 수만 명의 지성이 쏟아내는 결과물을 소수 전문가들의 ‘자원봉사’와 ‘선의’라는 위태로운 기반 위에서 처리하고 있는 거예요.

레딧에서 터져 나온 한 연구자의 분노는 단순히 개인의 억울함을 넘어, 이 거대한 부조리에 대한 경고등입니다. 우리는 지금 신에 가까운 능력을 가진 AI를 만들고 있습니다. 그런데 그 탄생 과정을 관리하는 시스템은 이렇게 허술하고, 비합리적이고, 때로는 비윤리적이기까지 합니다.

물론 뾰족한 해결책을 찾기는 어렵습니다. 심사위원에게 돈을 주면 문제가 해결될까요? 아니면 AI 심사위원을 도입해서 AI 논문을 평가하게 해야 할까요? (이건 좀 무섭네요.) 오픈 리뷰처럼 투명성을 높이는 시도들이 계속되고 있지만, 근본적으로는 ‘문화’가 바뀌어야 합니다. 논문 심사는 귀찮은 잡무가 아니라, 학문 공동체의 미래를 책임지는 신성한 의무라는 인식이 자리 잡아야 해요.

AI에게 윤리를 가르쳐야 한다고 모두가 목소리를 높이는 시대입니다. 하지만 그전에, AI를 만드는 인간들의 ‘리뷰 윤리’부터 돌아봐야 하지 않을까요? 논문 한 편에 한 연구자의 인생이, 그리고 어쩌면 우리 모두의 미래가 달려있으니 말입니다.

독자가 던질 법한 질문들

Q. 리뷰어들이 자원봉사라는데, 너무 많은 걸 바라는 거 아닌가요? 보상도 없는데 책임감까지 요구하는 건 과도해 보여요. A. 맞는 말씀이에요. 근본적으로는 이런 중요한 일을 자원봉사에만 의존하는 시스템 자체의 문제죠. 하지만 ‘자원봉사’가 ‘책임 없음’의 면죄부가 될 수는 없습니다. 의사가 의료 봉사를 가서 오진을 해도 괜찮다고 할 순 없잖아요? 학문 공동체의 일원으로서 동료의 연구를 심사하는 건, 그 커뮤니티를 유지하기 위한 핵심적인 책임이자 의무에 가깝습니다. 오히려 이런 구조적 문제를 해결하기 위해 심사 활동을 교수의 연구 실적으로 인정해주거나, 직접적인 보상을 제공하는 등 새로운 인센티브 시스템을 만들어야 한다는 목소리가 커지고 있습니다.

Q. ‘오픈 리뷰(공개 심사)’가 대안이라면서요? 그걸로 전면 교체하면 해결되지 않나요? A. 아쉽게도 완벽한 해결책은 아닙니다. 공개 심사는 심사위원의 책임감을 높이는 강력한 수단이지만, 의도치 않은 부작용을 낳기도 해요. 예를 들어, 신진 연구자가 학계 거물급 교수의 논문을 실명으로 강하게 비판하기 어려워지는 ‘온정주의’가 생길 수 있습니다. ‘좋은 게 좋은 거지’ 하면서 날카로운 비판을 삼가는 거죠. 또, 자기 이름을 걸고 혹평을 남기는 것에 대한 부담 때문에 리뷰어 자체를 구하기가 더 힘들어질 수도 있고요. 장단점이 뚜렷해서 어떤 방식이 최선인지에 대해서는 여전히 뜨거운 논쟁이 진행 중입니다.

Q. 저는 AI 연구자도 아니고, 이쪽 분야에 관심도 없는데 이런 학회 내부 이슈까지 알아야 하나요? A. 네, 아셔야 합니다. 여기서 벌어지는 일들이 더 이상 전문가들의 골방에서 끝나는 얘기가 아니기 때문입니다. 여기서 채택되고 걸러지는 기술의 방향이 불과 1~2년 안에 당신이 쓰는 내비게이션 앱, 은행의 대출 심사 알고리즘, 병원의 질병 진단 AI에 그대로 반영됩니다. 예전에는 몰라도 괜찮았을지 몰라요. 하지만 이제 AI는 우리 사회의 새로운 ‘운영체제’가 되고 있습니다. 내 삶에 깊숙이 들어올 기술이 어떤 과정을 통해 ‘검증’되는지 아는 것은, 마치 내가 먹는 음식이 어떤 환경에서 만들어지는지 아는 것과 같은 기본적인 권리이자 교양이 되어가고 있습니다.