AI의 일기예보, ‘흐릴 확률 80%’까지 알려드립니다

AI 의사 선생님의 자신감, 어떻게 믿을 수 있습니까?

인공지능(AI) 의사가 엑스레이 사진을 판독한 뒤 진단을 내립니다. “암입니다.” 이 한마디에 환자와 보호자의 세상은 무너집니다. 그런데 만약 이렇게 되물어볼 수 있다면 어떨까요? “그 진단, 얼마나 확신하십니까?” AI가 “99.9% 확신합니다”라고 답할 수도, “51% 정도로 확신하며, 다른 가능성도 많습니다”라고 답할 수도 있습니다. 두 답변의 무게는 천지 차이입니다.

지금까지 우리는 AI에게서 주로 첫 번째 종류의 답, 즉 ‘단 하나의 정답’만을 받아왔습니다. 그리고 그 정답의 신뢰도를 ‘정확도 99%’ 같은 평균 점수로만 어림짐작해왔습니다. 이는 마치 반 전체 평균이 90점이라고 해서 모든 학생이 90점 맞았을 거라 생각하는 것과 같습니다. 누군가는 100점을, 누군가는 70점을 맞았을 수 있습니다. 마찬가지로 AI가 내놓은 특정 예측 하나가 100점짜리인지, 70점짜리인지 우리는 알 길이 없었습니다.

이런 문제를 AI의 ‘블랙박스(Black Box)’ 문제라고 부릅니다. 결과가 나오는 과정이 깜깜한 상자 속처럼 보이지 않아, 왜 그런 답을 내놓았는지, 그 답을 얼마나 믿어야 할지 알기 어려운 상태를 말합니다. 금융 대출 심사, 자율주행차의 경로 판단, 법원의 양형 예측처럼 사람의 인생을 좌우하는 중요한 결정에 AI가 쓰일수록 이 블랙박스 문제는 더욱 치명적인 약점이 됩니다.

최근 이러한 난제를 해결하겠다며 흥미로운 논문 한 편이 공개됐습니다. 클라우드 환경에서 AI 모델을 체계적으로 평가하고 감시하는 ‘EaaS(Evaluation-as-a-Service)’라는 시스템 설계도입니다. 이 시스템의 가장 큰 특징은 AI의 예측에 ‘컨포멀 보증(Conformal Guarantees)’이라는 통계적 품질 보증서를 붙여준다는 점입니다. 이제 AI는 “정답은 A입니다”라고 말하는 대신, “95% 확률로 정답은 {A, B, C} 중 하나입니다”라고 말할 수 있게 됩니다. AI의 자신감을 구체적인 숫자로 측정하고 보증하는 시대의 서막입니다.

‘컨포멀 예측’이라는 새로운 줄자

이 시스템의 핵심 원리는 ‘컨포멀 예측(Conformal Prediction)’이라는 다소 생소한 통계 기법입니다. 어렵게 들리지만, 일상의 비유를 통하면 의외로 쉽게 이해할 수 있습니다. 맞춤 정장을 제작하는 재단사를 떠올려 봅시다.

숙련된 재단사는 고객의 바지 길이를 잰 뒤 “고객님께 가장 잘 맞는 길이는 정확히 98.2cm입니다”라고 단정적으로 말하지 않습니다. 대신 이렇게 말할 가능성이 높습니다. “데이터를 보니, 고객님의 체형에는 97.5cm에서 98.5cm 사이의 길이가 가장 보기 좋고 편안할 겁니다. 이 범위 안에서 길이를 정하시면 95%는 만족하실 겁니다.”

단 하나의 숫자를 제시하는 대신, ‘신뢰할 수 있는 범위’를 제공하는 것입니다. 이 범위는 두 가지 중요한 정보를 줍니다. 첫째, 우리는 이 범위 안에서라면 안심하고 선택할 수 있습니다. 둘째, 범위의 넓이 자체가 ‘불확실성’의 크기를 알려줍니다. 만약 재단사가 “80cm에서 110cm 사이가 좋겠습니다”라고 말한다면, 우리는 그가 고객의 체형에 대해 매우 확신이 없다는 사실을 단번에 눈치챌 수 있습니다.

컨포멀 예측은 바로 이 재단사의 접근법을 AI에 적용한 것입니다. AI가 사진 속 동물을 보고 ‘고양이’라고 예측할 때, 컨포멀 예측은 다음과 같은 방식으로 작동합니다.

1. AI는 단순히 ‘고양이’라는 답 하나만 내놓지 않습니다. 대신 가능한 모든 정답(고양이, 개, 호랑이, 사자 등)에 대해 ‘이것이 정답일 가능성’을 점수로 매깁니다.
2. 그다음, 사전에 정한 신뢰 수준(예: 95%)을 만족시키기 위해 필요한 점수 커트라인을 계산합니다.
3. 이 커트라인을 넘는 모든 정답 후보들을 하나의 ‘묶음’으로 만듭니다. 이 묶음을 ‘예측 집합(Prediction Set)’이라고 부릅니다.

결과적으로 AI는 “95%의 신뢰 수준에서, 이 사진의 정답은 {고양이, 스라소니}라는 집합 안에 포함됩니다”와 같은 형태의 답을 내놓게 됩니다. 만약 이미지가 매우 명확한 고양이 사진이라면 예측 집합은 {고양이} 하나만으로 매우 작을 것입니다. 반면, 어둡고 흐릿해서 알아보기 힘든 사진이라면 {고양이, 개, 너구리, 여우}처럼 예측 집합이 커질 수 있습니다. 즉, 예측 집합의 크기 자체가 AI의 ‘자신감’을 드러내는 척도가 되는 것입니다. 이는 단순한 점수가 아니라, 통계적으로 ‘보증’된 신뢰도입니다. EaaS는 바로 이 복잡한 통계 계산을 클라우드 서비스 형태로 누구나 쉽게 쓸 수 있도록 포장한 것입니다.

레고 블록처럼 짓는 AI 감시탑, '마이크로서비스'

EaaS는 컨포멀 예측이라는 강력한 무기 외에 또 다른 중요한 특징을 가집니다. 바로 ‘클라우드 네이티브 마이크로서비스 아키텍처’라는 구조입니다. 말이 복잡하지만, 이 역시 ‘레고 블록’ 비유로 쉽게 풀 수 있습니다.

과거에 집을 지을 때는 모든 벽과 기둥이 하나로 연결된 ‘일체형 구조’로 짓는 경우가 많았습니다. 이런 집은 튼튼하지만, 주방 구조를 바꾸고 싶어도 집 전체를 허물어야 할 수 있을 만큼 유연성이 떨어집니다. 이것이 전통적인 소프트웨어 개발 방식인 ‘모놀리식(Monolithic) 아키텍처’입니다.

반면 ‘마이크로서비스(Microservices) 아키텍처’는 집을 레고 블록처럼 짓는 방식입니다. 주방, 욕실, 침실, 거실을 각각 독립된 규격의 블록으로 만듭니다. 각 블록은 제 역할만 충실히 하면 됩니다. 만약 더 넓은 주방이 필요하면, 기존 주방 블록만 떼어내고 새로운 주방 블록으로 갈아 끼우면 그만입니다. 다른 방에는 전혀 영향을 주지 않습니다. 확장성도 뛰어납니다. 방이 더 필요하면 새 블록을 옆에 붙이기만 하면 됩니다.

EaaS는 AI 모델을 감시하고 평가하는 여러 기능을 바로 이 레고 블록처럼 쪼개어 6개의 독립적인 서비스로 만들었습니다. 이 서비스들은 ‘쿠버네티스(Kubernetes)’라는, 쉽게 말해 ‘레고 블록(마이크로서비스)들을 효율적으로 관리하고 배치하는 아파트 관리사무소’ 같은 시스템 위에서 작동합니다.

• 컨포멀 예측 블록: AI의 예측 불확실성을 ‘신뢰 범위’로 측정하는 핵심 블록입니다.
• 캘리브레이션 평가 블록: AI가 스스로 매긴 ‘자신감 점수’가 실제 정확도와 얼마나 일치하는지 확인하는 ‘자기객관화’ 검사 블록입니다.
• 드리프트 탐지 블록: 현실 세계의 데이터가 변해서 AI가 배운 것과 달라지는 현상(예: 코로나 이후 마스크 쓴 얼굴 사진이 늘어나는 것)을 감지하는 ‘세상 변화 감시’ 블록입니다.
• 공정성 모니터링 블록: 특정 인종이나 성별 그룹에 대해 AI가 불리한 예측을 내놓지 않는지 감시하는 ‘차별 감시’ 블록입니다.
• 파이프라인 오케스트레이터 블록: 이 모든 블록들이 어떤 순서로, 어떻게 협력해서 일해야 할지 지시하는 ‘현장 감독’ 블록입니다.
• 결과 저장 API 블록: 모든 평가 결과를 체계적으로 기록하고 보관하는 ‘서기’ 블록입니다.

이런 구조 덕분에 기업들은 자신의 필요에 따라 원하는 평가 기능만 골라서 쓰거나, 수십 수백 개의 AI 모델을 동시에 감시해야 할 때 특정 기능의 블록 수만 늘려서 대응하는 등 놀라운 유연성과 확장성을 확보할 수 있습니다.

AI판 '품질 보증'의 역사: 단순 정확도에서 통계적 보증까지

EaaS의 등장은 AI를 평가하는 패러다임이 근본적으로 바뀌고 있음을 보여주는 상징적인 사건입니다. 이는 마치 제조업의 품질 관리(QC)가 발전해 온 역사와 평행선을 그립니다.

초기 공장의 품질 관리는 단순히 완성된 제품이 ‘작동하는지, 안 하는지’를 확인하는 수준이었습니다. AI의 역사에서 이는 모델의 ‘정확도’를 측정하던 1세대에 해당합니다. 고양이 사진 100장 중 95장을 맞히면 ‘정확도 95%’라고 부르는 식이었죠. 이는 마치 시험 점수처럼 직관적이지만, 왜 틀렸는지, 어떤 상황에서 잘 틀리는지에 대한 정보는 주지 못했습니다.

이후 제조업에서는 ISO 9001과 같은 표준화된 품질 경영 시스템이 등장했습니다. 정해진 절차와 기준에 따라 제품을 만들고 검증해야 한다는 개념입니다. AI 세계에서는 이미지넷(ImageNet)이나 GLUE 같은 표준화된 데이터셋, 즉 ‘AI 수능시험’이 등장하며 벤치마크 경쟁이 불붙었던 2세대가 이에 해당합니다. 누가 더 높은 점수를 받는지 경쟁하며 기술은 비약적으로 발전했지만, 여전히 ‘시험’ 점수가 ‘실전’ 능력을 보장해주지는 못한다는 한계가 있었습니다.

EaaS가 제시하는 3세대 패러다임은 여기서 한발 더 나아갑니다. 이제는 자동차의 ‘품질 보증서’와 같은 개념을 요구합니다. 이 차가 출고될 때 성능이 좋은 것은 물론, ‘보증 기간 동안, 특정 조건 하에서는 성능을 보장하며, 만약 문제가 발생하면 어떤 절차로 처리한다’는 약속까지 포함하는 것입니다. 컨포멀 예측이 제공하는 통계적 보증, 드리프트 탐지, 공정성 모니터링 등이 바로 이 품질 보증서의 세부 조항에 해당합니다.

이러한 변화는 AI가 실험실의 연구 대상을 넘어 우리 사회의 인프라로 자리 잡고 있음을 의미합니다. 다리나 건물에 내진 설계 기준이 필요하듯, AI에도 이제는 성능 점수를 넘어 사회가 수용할 수 있는 ‘신뢰성 기준’이 필요해진 것입니다.

다만 연구는 정확히 읽어야 합니다: 한계와 반론

물론 이 연구가 AI 신뢰성 문제의 만병통치약은 아닙니다. 장밋빛 전망에 취하기 전에, 언제나 그렇듯 한계부터 짚어야 합니다. 다만 연구는 정확히 읽어야 합니다.

첫째, ‘구현의 복잡성’이라는 거대한 산이 있습니다. 논문에서 제시된 EaaS 아키텍처는 말 그대로 ‘참조(Reference) 설계도’일 뿐, 실제 제품이 아닙니다. 이 설계도대로 시스템을 구축하려면 클라우드, 쿠버네티스, 마이크로서비스, 그리고 컨포멀 예측이라는 통계 기법 모두에 정통한 고급 엔지니어 팀이 필요합니다. 이는 마치 동네 빵집에 대기업용 전사적자원관리(ERP) 시스템을 도입하자고 하는 격일 수 있습니다. 초기 구축과 운영에 따르는 비용과 복잡성은 중소기업이나 소규모 팀에게는 상당한 부담입니다. 즉, 당분간은 자금과 인력이 풍부한 대기업이나 AI 전문 기업의 전유물이 될 가능성이 높습니다.

둘째, ‘쓰레기가 들어가면 쓰레기가 나온다(Garbage in, Garbage out)’는 데이터 과학의 제1원칙은 여기서도 유효합니다. 컨포멀 예측이 제공하는 통계적 보증은 AI가 학습하고 검증에 사용한 ‘데이터’의 품질에 절대적으로 의존합니다. 만약 처음부터 편향되거나 질 낮은 데이터로 모델을 학습시켰다면, 컨포멀 예측은 그저 ‘이 모델의 예측은 이만큼이나 불확실하고 믿을 수 없습니다’라는 사실을 정직하게 알려줄 뿐입니다. 근본적으로 잘못된 모델을 마법처럼 좋게 만들어주는 기술이 아닙니다. 불확실성을 ‘측정’하는 도구이지, 불확실성을 ‘제거’하는 도구는 아니라는 점을 명심해야 합니다.

이와 관련해 흔한 오해 두 가지를 바로잡을 필요가 있습니다.

- 오해 1: “컨포멀 예측은 AI의 예측을 100% 정확하게 만들어준다.” - 이는 사실이 아닙니다. 컨포멀 예측은 오히려 AI가 얼마나 ‘모르는지’를 알려줍니다. 예를 들어, 95% 신뢰 수준의 예측 집합이 {고양이, 개, 자동차, 비행기, 책상}처럼 매우 크게 나온다면, 이는 AI가 해당 입력에 대해 거의 아무것도 확신하지 못한다는 강력한 신호입니다. 정확도를 높이는 기술이 아니라, 신뢰도를 ‘측정’하는 기술입니다.

- 오해 2: “EaaS를 도입하면 AI 편향성 문제가 완전히 해결된다.” - 이 또한 사실이 아닙니다. EaaS의 공정성 모니터링 기능은 ‘화재경보기’와 같습니다. 집에 불이 났을 때(즉, AI가 특정 그룹에 편향된 예측을 내놓을 때) 시끄럽게 울려 위험을 알려주는 역할을 합니다. 하지만 경보기가 불을 직접 꺼주지는 않습니다. 결국 원인을 찾아 불을 끄는 것은 사람(개발자, 운영자)의 몫입니다. EaaS는 문제를 ‘드러내고’ 정량화할 뿐, 문제의 근본 원인을 해결하는 것은 여전히 인간의 영역입니다.

AI는 이제 '데이터 주권'의 시험대 위에 섰습니다

EaaS와 같은 중앙화된 평가 시스템의 등장은 기술적 문제를 넘어, ‘데이터 주권(Data Sovereignty)’이라는 묵직한 화두를 던집니다. AI를 운영하는 기업들은 이제 ‘누가 우리 AI의 성적표를 관리하고 열람하는가?’라는 질문에 답해야 합니다.

EaaS는 모델의 예측 결과뿐 아니라, 그 예측이 얼마나 신뢰할 만한지에 대한 모든 평가 기록, 즉 ‘메타데이터’를 체계적으로 생산하고 축적합니다. 이 데이터는 엄청난 가치를 지닙니다. AI 모델의 건강 상태, 약점, 잠재적 위험을 속속들이 담고 있는 ‘의무 기록’과도 같습니다.

미래에는 AI 관련 사고 발생 시 규제 당국이 이 평가 기록 제출을 요구할 수 있습니다. AI 시스템의 신뢰도를 기반으로 보험료를 산정하는 ‘AI 책임 보험’ 상품이 등장할 수도 있습니다. 특정 AI 서비스가 믿을 만한지 평가해 등급을 매기는 ‘AI 신용평가사’가 나올지도 모릅니다. 이 모든 시나리오의 근간이 되는 것이 바로 EaaS가 만들어내는 평가 데이터입니다.

여기서 데이터 주권 문제가 발생합니다. 만약 기업이 아마존(AWS)이나 구글 클라우드 같은 외부 클라우드 플랫폼에서 제공하는 EaaS와 유사한 서비스를 사용한다면, 우리 회사의 가장 민감한 AI 운영 기록을 클라우드 제공업체의 손에 맡기는 셈이 됩니다. 이는 단순히 데이터를 어디에 저장하느냐의 문제를 넘어, 우리 AI의 신뢰성에 대한 증명과 통제권을 누가 가질 것인가의 문제입니다. 앞으로 기업들은 AI 모델과 학습 데이터뿐만 아니라, 이 ‘평가 데이터’의 소유권과 통제권을 어떻게 확보하고 관리할지에 대한 전략을 심각하게 고민해야 할 것입니다.

결론: 예언이 아닌 계기판을 손에 쥐다

우리는 오랫동안 AI를 신비로운 예언을 내놓는 ‘오라클’처럼 대해왔습니다. 그저 AI가 던져주는 답을 믿거나 믿지 않거나, 둘 중 하나를 선택해야 했습니다. EaaS와 컨포멀 예측의 등장은 이러한 맹목적인 믿음의 시대에 종언을 고하고, 우리 손에 ‘계기판’을 쥐여주었다는 점에서 의미가 깊습니다.

이제 AI라는 자동차는 단순히 속도(정확도)만 표시하는 속도계만 달고 달리지 않습니다. 얼마나 더 갈 수 있는지 알려주는 연료계(데이터 드리프트), 엔진 과열을 경고하는 온도계(캘리브레이션), 그리고 목적지까지의 예상 경로 범위를 보여주는 내비게이션(컨포멀 예측 집합)까지 갖추게 된 것입니다. 우리는 이 계기판을 보며 AI라는 자동차의 상태를 정확히 파악하고, 위험을 예측하며, 한계를 인지한 채로 더 안전하게 운전할 수 있게 되었습니다.

궁극적인 목표는 절대 고장 나지 않는 완벽한 AI를 만드는 것이 아닐지도 모릅니다. 고속도로 한복판에서 차가 멈춰 서기 전에, ‘정비가 필요하다’고 미리 알려주는 똑똑한 계기판을 갖춘 AI를 만드는 것. 그것이 우리가 지금 추구해야 할 더 현실적이고 책임감 있는 방향일 것입니다.

독자가 던질 법한 질문들

Q. 이런 시스템은 너무 비싸고 복잡해서 대기업만 쓸 수 있는 것 아닌가요? A. 현재로서는 그렇습니다. 초기 도입 장벽이 높은 것은 사실입니다. 하지만 자동차의 에어백이나 ABS 브레이크 시스템처럼, 처음에는 고급 옵션이었지만 결국 안전 표준이 되어 모든 차에 보급된 역사를 기억해야 합니다. AI의 사회적 영향력이 커질수록 이런 신뢰성 보장 시스템은 규제와 시장의 요구에 따라 점차 보편화될 가능성이 높습니다.

Q. '컨포멀 예측'이 보장하는 95% 신뢰도라는 게 정확히 무슨 뜻인가요? 100번 예측하면 95번은 정답이 예측 집합 안에 들어있다는 뜻인가요? A. 네, 정확히 그 의미에 가깝습니다. 더 엄밀히 말하면, 장기적으로 수많은 예측을 수행했을 때, 실제 정답이 모델이 제시한 '예측 집합(가능한 정답들의 묶음)'에서 벗어나는 비율이 5%를 넘지 않도록 통계적으로 제어된다는 의미입니다. 이는 개별 예측 하나하나가 맞을 확률이 95%라는 뜻과는 미묘한 차이가 있지만, 실용적으로는 'AI가 제시한 범위는 95%의 확률로 믿을 만하다'고 해석할 수 있습니다. 중요한 것은 이 보증이 매우 엄격한 수학적 가정하에 성립한다는 점입니다.

Q. 우리 회사는 아직 이런 복잡한 모니터링 시스템을 도입할 단계가 아닙니다. 지금 당장 실무에서 적용해볼 만한 교훈이 있을까요? A. 물론입니다. 거창한 시스템 이전에 '생각의 전환'이 먼저입니다. 첫째, AI 모델의 성능을 단일 숫자(예: 정확도 99%)로만 보고하지 마십시오. 어떤 데이터를 틀렸는지, 특정 그룹에서 유독 성능이 낮은지 등 '실패 사례'를 분석하는 문화를 만들어야 합니다. 둘째, 모델이 예측을 내놓을 때 '확신도(confidence score)'를 함께 출력하도록 하고, 이 확신도가 실제 정확도와 얼마나 일치하는지(캘리브레이션)를 주기적으로 점검하는 것만으로도 큰 도움이 됩니다. EaaS의 핵심 철학은 'AI의 불확실성을 인정하고 관리하자'는 것이며, 이는 작은 조직에서도 충분히 실천할 수 있는 원칙입니다.