커뮤니티 소식
ICLR 점수 3·3·2, 찬성 리뷰어의 확신도가 1이면 불리할까
글 · 서아람
ICLR 논문 평가가 3·3·2라면 안심해도 될까, 그런데 찬성한 리뷰어의 확신도가 1이라면 어떨까.
레딧 r/MachineLearning에 올라온 질문은 연구자들이 심사 점수 옆의 작은 숫자까지 해석하는 이유를 보여준다.
작성자는 약한 채택 의견 두 개와 약한 거절 의견 하나를 받았으며, 확신도는 각각 1·3·3이라고 밝혔다.
특히 확신도 1을 준 리뷰어도 논문의 핵심 문제를 정확히 짚었다는 설명이 이 사례의 출발점이다.
ICLR 2027 심사에서는 2026년 11월 5일 초기 리뷰가 공개됐고, 18일까지 저자와 리뷰어가 토론한다.
연구자들이 저자 답변인 리버털을 준비하며 채택 가능성을 따져보는 시점이다. 심사 일정
중요한 구분은 논문에 대한 추천 점수와 그 판단에 대한 자기 확신이 서로 다른 정보라는 점이다.
- 추천 점수 3·3·2의 단순 평균은 약 2.67이지만, 논문의 어떤 약점이 채택을 가로막는지는 알려주지 않는다.
- 확신도 1·3·3을 곱해 가중평균을 내면 약 2.57이지만, 이는 임의 계산이며 공식 채택 공식이 아니다.
- 낮은 확신도로도 구체적인 오류를 짚을 수 있고, 높은 확신도만으로 지적의 정확성이 입증되지는 않는다.
인사이트
리뷰어의 확신도는 판단을 해석하는 보조 정보이지, 추천 점수에 곱하는 공식 가중치가 아니다. 경계선 논문에서는 핵심 반론이 어떻게 해소됐는지 추적할 수 있는 기록이 중요하다.
자주 묻는 질문
- 확신도 1인 리뷰어가 찬성하면 거의 의미 없는 거야?
- 낮은 확신도만으로 긍정적인 리뷰가 무효가 되지는 않는다. ICLR 2027 AC 지침은 평균 점수에 따른 결정 대신 논문과 리뷰, 토론에 근거한 독립적인 판단을 요구한다.
- 3·3·2면 합격 가능성이 얼마나 돼?
- 세 점수의 평균은 약 2.67이지만, 이 정보만으로 채택 확률을 계산할 수는 없다. 해당 글 댓글에 등장한 상위 5%나 15%라는 주장도 검증된 채택 확률이 아니며, 리뷰의 쟁점과 이후 토론을 함께 봐야 한다.
- 리버털에서는 점수를 올려 달라고 해야 해?
- 점수 인상 요청보다 채택 판단에 영향을 주는 지적에 직접 답하는 편이 지침 취지에 맞는다. 지적별로 추가 근거와 수정 위치를 제시하고, 해결한 문제와 남은 한계를 구분하면 AC가 판단 근거를 확인하기 쉽다.
이 기사 어땠어요?
피드백을 남겨주시면 더 나은 맞춤 추천을 만듭니다.