지금은 인공지능 시대(지인시) 심볼지금은 인공지능 시대
논문 브리핑

의료 AI 최고점 49.1점…InclusionMed가 드러낸 ‘종합 1위’의 함정

한경모글 · 한경모
의료 이용자와 AI 역량을 두 축으로 나눠 평가 범위와 빈칸을 표시한 InclusionMed 도표
의료 이용자와 AI 역량을 두 축으로 나눠 평가 범위와 빈칸을 표시한 InclusionMed 도표
의료 AI를 고를 때 종합 순위부터 보는 습관에 제동을 거는 연구가 나왔다. InclusionMed 공동연구진이 11월 16일 공개한 논문은 의료 AI의 실력을 ‘누구의 어떤 일을 돕느냐’에 따라 다시 평가한다. 핵심은 가장 똑똑한 모델 하나를 찾는 데서 벗어나, 실제 의료 업무에 맞는 성능표를 만들자는 것이다. 연구진은 후보 벤치마크 388개를 검토하고 독립적인 재현 평가를 거쳐 공개 벤치마크 4개를 선정했다. 여기에 비공개 진단 추론 평가인 InclusionMed-DxFiles를 더하고, 22개 모델을 시험해 각 벤치마크에 20%씩 가중치를 부여했다. 결과를 담은 InclusionMed Atlas는 환자·일반인, 의료 전문가, 의료 행정 전문가라는 세 역할과 지식·추론·행동 수행이라는 세 역량을 교차한 9칸짜리 지도다. 기존 MedQA의 시험형 문답에서 HealthBench의 대화 평가, 의료 업무 수행 평가로 이어진 흐름을 하나의 틀에 배치한 셈이다.
  • 종합 점수는 100점 만점에 17.5~49.1점이었으며, Gemini 4 Argon이 선두였다.
  • 추론에서는 GPT-6 Astra가, 행동 수행에서는 Claude Fable 5.1이 가장 높은 점수를 받았다.
  • HealthBench Professional의 세부 분석에서는 종합 상위 10개 모델 모두 환자 소통보다 임상 의사결정 점수가 낮았다.
이 차이는 환자에게 설명을 잘하는 능력과 진료에 필요한 판단을 내리는 능력을 같은 것으로 취급하면 안 된다는 신호다. 병원 입장에서는 상담 문구를 작성하는 도구와 기록을 조회하고 업무를 끝내는 에이전트에 서로 다른 구매 기준을 적용할 이유가 생긴다. 의료 AI 평가 분야에서 강조하는 사용 맥락 중심의 검증을, 연구진은 역할별·역량별 점수로 구체화했다. 같은 모델 공급업체라도 어느 업무를 제안하느냐에 따라 경쟁력이 달라지므로, 종합 순위만 내세우는 영업 방식은 설득력이 약해질 수 있다. 물론 ‘최고점도 절반에 못 미치니 의료 AI는 쓸모없다’는 해석은 성급하다. 이 점수는 서로 다른 채점 방식을 묶은 지수여서 실제 환자의 진단 정확도나 치료 성공률로 읽을 수 없고, 특정 업무에서 얻을 효용도 별도로 검증해야 한다. 더 큰 한계는 현재 평가가 9칸 중 3칸만 채우며 환자·일반인 대상 벤치마크를 포함하지 않는다는 점으로, 포용적 의료를 완성했다기보다 평가의 공백을 드러낸 연구에 가깝다. 연구진도 비슷한 종합 점수를 받은 모델 사이에 추론 비용 차이가 크다고 보고해, 성능뿐 아니라 운영 제약까지 함께 보도록 했다. 논문 원문 한국 의료기관에 주는 시사점은 해외 순위표의 우승자를 그대로 도입하기보다, 한국어 상담과 국내 진료·행정 절차를 반영한 자체 시험부터 설계해야 한다는 것이다. 예를 들어 설명문 초안 작성과 진료기록 갱신을 나눠 평가하면, 어느 단계에서 사람의 검토가 필요한지도 더 구체적으로 정할 수 있다. 앞으로 의료 AI의 경쟁력은 총점 몇 점을 더 얻었는지와 함께, 어떤 이용자의 어떤 업무에서 비용 대비 성과를 입증했는지로 판단해야 한다.
인사이트

InclusionMed의 핵심 기여는 의료 AI의 우승자를 정하는 것보다 종합 점수가 가리는 평가 공백을 드러낸 데 있다. 한국 기업에는 한국어와 국내 의료 업무를 반영한 검증 체계 자체가 경쟁력을 만들 기회다.

자주 묻는 질문

49.1점이면 진단을 절반도 못 맞힌다는 뜻이야?
아니다. 49.1점은 서로 다른 의료 벤치마크 5개의 점수를 같은 비중으로 합친 지수이며, 실제 환자에 대한 진단 정확도를 뜻하지 않는다. [평가 방식](https://arxiv.org/html/2611.21218v1#S4)
그럼 종합 1위 모델을 병원에서 쓰면 되는 거 아니야?
이번 연구에서는 종합 평가와 추론, 행동 수행의 선두 모델이 달랐다. 병원이 맡기려는 업무의 개별 성능과 운영 비용을 함께 비교해야 한다. [평가 결과](https://arxiv.org/html/2611.21218v1#S5)
포용적 의료라는데 환자용 AI도 검증한 거야?
첫 평가에는 환자·일반인 역할에 해당하는 벤치마크가 포함되지 않았다. 현재 9개 역할·역량 조합 중 3개만 다루므로, 모든 의료 이용자를 포괄하는 검증으로 해석하면 안 된다. [평가 범위](https://arxiv.org/html/2611.21218v1#S2)
공유XTelegram

이 기사 어땠어요?

피드백을 남겨주시면 더 나은 맞춤 추천을 만듭니다.

이런 뉴스를 매일 받아보세요

매일 아침 7시, 그날의 정리를 이메일과 Telegram으로 받아보세요.