논문 브리핑
의료 AI 최고점 49.1점…InclusionMed가 드러낸 ‘종합 1위’의 함정

의료 AI를 고를 때 종합 순위부터 보는 습관에 제동을 거는 연구가 나왔다.
InclusionMed 공동연구진이 11월 16일 공개한 논문은 의료 AI의 실력을 ‘누구의 어떤 일을 돕느냐’에 따라 다시 평가한다.
핵심은 가장 똑똑한 모델 하나를 찾는 데서 벗어나, 실제 의료 업무에 맞는 성능표를 만들자는 것이다.
연구진은 후보 벤치마크 388개를 검토하고 독립적인 재현 평가를 거쳐 공개 벤치마크 4개를 선정했다.
여기에 비공개 진단 추론 평가인 InclusionMed-DxFiles를 더하고, 22개 모델을 시험해 각 벤치마크에 20%씩 가중치를 부여했다.
결과를 담은 InclusionMed Atlas는 환자·일반인, 의료 전문가, 의료 행정 전문가라는 세 역할과 지식·추론·행동 수행이라는 세 역량을 교차한 9칸짜리 지도다.
기존 MedQA의 시험형 문답에서 HealthBench의 대화 평가, 의료 업무 수행 평가로 이어진 흐름을 하나의 틀에 배치한 셈이다.
- 종합 점수는 100점 만점에 17.5~49.1점이었으며, Gemini 4 Argon이 선두였다.
- 추론에서는 GPT-6 Astra가, 행동 수행에서는 Claude Fable 5.1이 가장 높은 점수를 받았다.
- HealthBench Professional의 세부 분석에서는 종합 상위 10개 모델 모두 환자 소통보다 임상 의사결정 점수가 낮았다.
인사이트
InclusionMed의 핵심 기여는 의료 AI의 우승자를 정하는 것보다 종합 점수가 가리는 평가 공백을 드러낸 데 있다. 한국 기업에는 한국어와 국내 의료 업무를 반영한 검증 체계 자체가 경쟁력을 만들 기회다.
자주 묻는 질문
- 49.1점이면 진단을 절반도 못 맞힌다는 뜻이야?
- 아니다. 49.1점은 서로 다른 의료 벤치마크 5개의 점수를 같은 비중으로 합친 지수이며, 실제 환자에 대한 진단 정확도를 뜻하지 않는다. [평가 방식](https://arxiv.org/html/2611.21218v1#S4)
- 그럼 종합 1위 모델을 병원에서 쓰면 되는 거 아니야?
- 이번 연구에서는 종합 평가와 추론, 행동 수행의 선두 모델이 달랐다. 병원이 맡기려는 업무의 개별 성능과 운영 비용을 함께 비교해야 한다. [평가 결과](https://arxiv.org/html/2611.21218v1#S5)
- 포용적 의료라는데 환자용 AI도 검증한 거야?
- 첫 평가에는 환자·일반인 역할에 해당하는 벤치마크가 포함되지 않았다. 현재 9개 역할·역량 조합 중 3개만 다루므로, 모든 의료 이용자를 포괄하는 검증으로 해석하면 안 된다. [평가 범위](https://arxiv.org/html/2611.21218v1#S2)
이 기사 어땠어요?
피드백을 남겨주시면 더 나은 맞춤 추천을 만듭니다.