AI 판사가 다른 AI를 심문한다? '설명'의 품질을 재는 새로운 저울, XAI-아레나

'알파고'의 78수, 설명이 필요해진 시대

2016년, 이세돌 9단과 인공지능 알파고의 대국을 기억하실 겁니다. 전 세계가 숨죽여 지켜보던 4국에서 나온 알파고의 '78수'는 모든 전문가의 예상을 뒤엎는 묘수였습니다. 우리는 그 수에 경탄했지만, 누구도 알파고가 왜 하필 그곳에 돌을 놓았는지 명확히 설명하지 못했습니다. 그저 '인간의 직관을 넘어선 수'라고만 어림짐작할 뿐이었습니다. 당시에는 그것으로 충분했습니다. 바둑은 져도 그만이었기 때문입니다.

하지만 이제 인공지능은 바둑판을 떠나 우리 삶의 더 중요한 영역으로 들어오고 있습니다. 은행이 AI로 대출 심사를 하고, 병원에서 AI가 암 진단을 도우며, 법원에서는 AI가 양형 자료를 분석합니다. 만약 AI가 당신의 대출 신청을 거절했다면, 당신은 그저 'AI의 판단이니 어쩔 수 없다'고 받아들일 수 있겠습니까? '왜' 거절되었는지, 어떤 기준이 적용되었는지 알아야 항의를 하든 부족한 점을 보완하든 할 수 있습니다. 의사가 AI의 진단 결과를 바탕으로 치료 계획을 세운다면, 그 진단의 근거가 무엇인지 반드시 알아야 합니다.

이처럼 AI의 판단 과정과 근거를 사람이 이해할 수 있는 방식으로 제시하는 기술을 '설명 가능한 인공지능(Explainable AI, XAI)'이라고 부릅니다. 쉽게 말해, 수학 시험에서 답만 덜렁 쓰는 게 아니라 풀이 과정을 함께 제출하는 것과 같습니다. 풀이 과정을 보면 답이 어떻게 나왔는지 알 수 있고, 혹시 계산이 틀렸다면 어디서 틀렸는지 찾아내 고칠 수 있습니다. XAI는 AI에 대한 신뢰를 쌓고, 오류를 바로잡으며, 숨어있는 편향을 찾아내기 위한 필수적인 안전장치입니다.

심판관의 딜레마: 좋은 설명이란 무엇인가

문제는 '설명'이라고 다 같은 설명이 아니라는 데 있습니다. 어떤 설명이 '좋은' 설명일까요? 이 질문에 답하기는 생각보다 까다롭습니다. 지난 몇 년간 수많은 XAI 기술이 쏟아져 나왔지만, 그 설명들의 품질을 객관적으로 평가할 '자'가 없었습니다. 이는 마치 저마다 다른 기준으로 맛을 평가하는 음식 비평가들과 같습니다. 한 비평가는 재료의 신선도를, 다른 비평가는 조리법의 창의성을, 또 다른 비평가는 음식에 담긴 역사적 의미를 중요하게 볼 수 있습니다. 누구의 평가가 가장 '옳다'고 말하기 어렵습니다.

지금까지 XAI 평가도 비슷했습니다. 주로 사람이 직접 설명을 읽고 주관적으로 점수를 매기는 방식에 의존했습니다. 여기에는 세 가지 고질적인 문제가 따릅니다.

• 1. 일관성 부족: 같은 설명을 두고도 평가자 A와 B의 점수가 다를 수 있습니다. 어제와 오늘의 내 기분에 따라서도 평가가 흔들릴 수 있습니다. 평가의 신뢰성이 떨어지는 근본적인 원인입니다.
• 2. 확장성 한계: AI는 하루에도 수백만, 수천만 건의 판단을 내릴 수 있습니다. 이 모든 판단에 대한 설명을 사람이 일일이 검토하는 것은 불가능에 가깝습니다. 시간과 비용이 엄청나게 많이 듭니다.
• 3. 비교 불가능: A 연구실에서 개발한 XAI 기술과 B 연구실의 기술 중 어느 것이 더 우수한지 비교하기가 어렵습니다. 각자 다른 평가자와 다른 기준으로 '자체 평가'한 결과를 신뢰하기는 어렵기 때문입니다. 선수들은 많은데, 올림픽처럼 공인된 경기장과 심판이 없는 셈입니다.

이러한 상황에서 최근 'XAI-아레나(XAI-Arena)'라는 흥미로운 논문이 등장했습니다. 이 난제를 해결하기 위해 '인공지능'을 심판으로 쓰자는 제안입니다.

새로운 심판관의 등장, 'XAI-아레나'의 작동 원리

'XAI-아레나'의 핵심 아이디어는 간단합니다. 사람 대신 대규모 언어 모델(Large Language Model, LLM)에게 XAI 설명의 평가를 맡기는 것입니다. 여기서 LLM이란, 쉽게 말해 수많은 책과 인터넷 글을 읽고 사람처럼 말을 이해하고 만들어내는 인공지능을 말합니다. 챗GPT 같은 서비스가 바로 이 LLM을 기반으로 합니다.

연구진은 이 LLM 심판관이 기존 인간 평가의 한계를 극복할 수 있다고 주장합니다. 작동 방식은 이렇습니다. 먼저 어떤 AI가 특정 판단(예: '이 사진은 고양이다')을 내렸다고 가정해 봅시다. 그리고 두 개의 다른 XAI 기술(A, B)이 각각 그 이유를 설명하는 문장을 만들었습니다. XAI-아레나는 이 두 설명을 LLM 심판관에게 동시에 보여주고 '어느 쪽 설명이 더 나은가?'라고 묻습니다.

이는 마치 백일장에서 두 편의 글을 심사위원에게 주고 우수작을 뽑게 하는 것과 비슷합니다. 다만, 그냥 '네 느낌에 좋은 걸 골라봐'라고 하는 게 아닙니다. 아주 상세한 '채점 기준표'를 함께 줍니다. 이 기준표에는 다음과 같은 다차원적인 항목들이 포함될 수 있습니다.

• `충실성(Faithfulness)`: 이 설명이 AI의 실제 내부 작동 방식을 얼마나 정확하게 반영하는가? 혹시 그럴듯하게 꾸며낸 말은 아닌가?
• `이해가능성(Understandability)`: 이 설명을 보는 사람이 얼마나 쉽게 이해할 수 있는가? 전문 용어 없이 간결하고 명확하게 쓰였는가?
• `유용성(Usefulness)`: 그래서 이 설명이 사용자에게 실질적인 도움을 주는가? 예를 들어, 대출 거절 사유를 듣고 사용자가 다음 대출을 위해 무엇을 개선해야 할지 알 수 있는가?
• `이해관계자 민감성(Stakeholder Sensitivity)`: 이 설명을 누가 듣는가에 따라 평가가 달라집니다. 같은 암 진단이라도, 의사에게는 전문적인 의학 근거를 담은 설명이, 환자에게는 쉽고 비유적인 설명이 '좋은 설명'일 것입니다. LLM 심판관은 이런 맥락까지 고려해 점수를 매깁니다.

LLM은 이 채점 기준표에 따라 두 설명을 꼼꼼히 비교 분석한 뒤, 'A가 B보다 낫다', 'B가 A보다 낫다', 또는 '둘은 비슷하다'는 판정을 내리고 그 이유까지 설명해 줍니다. 이 과정을 수만 번 자동화하면, 어떤 XAI 기술이 통계적으로 더 우수한지 객관적인 순위를 매길 수 있게 됩니다. 이것이 바로 XAI-아레나가 꿈꾸는 '설명 품질을 재는 새로운 저울'의 모습입니다.

AI 재판관, 과연 공정한가? 한계부터 짚어보기

AI가 다른 AI를 심사한다는 발상은 흥미롭지만, 여기에는 함정이 있습니다. 다만 연구는 정확히 읽어야 합니다. LLM 심판관이 과연 공정하고 정확한 판결을 내릴 수 있을까요? 결론부터 말하면, 아직은 아닙니다. 이 접근법의 한계는 명확하며, 우리는 그 한계부터 직시해야 합니다.

첫째, '편향의 대물림' 문제입니다. LLM 심판관은 하늘에서 뚝 떨어진 존재가 아닙니다. 인간이 만든 방대한 텍스트 데이터를 먹고 자랍니다. 그 데이터 안에는 우리 사회의 온갖 편견과 차별이 그대로 녹아 있습니다. 만약 특정 인종이나 성별에 대한 부정적 편견을 학습한 LLM이라면, 그런 편견에 부합하는 설명을 '좋은 설명'이라고 판단할 위험이 있습니다. '쓰레기가 들어가면 쓰레기가 나온다(Garbage in, garbage out)'는 AI 분야의 오랜 격언은 여기서도 유효합니다. 판사 자신이 편향되어 있다면 재판의 공정성을 기대할 수 없는 것과 같습니다.

둘째, LLM은 '그럴듯한 거짓말'에 능합니다. LLM의 작동 원리는 확률적으로 가장 자연스러운 단어를 이어 붙이는 것이지, 사실관계를 검증하는 것이 아닙니다. 이를 '환각(Hallucination)' 현상이라고 부릅니다. LLM 심판관은 실제 AI의 작동 원리와는 전혀 다른 엉터리 설명이라도, 문장이 유창하고 논리적으로 보이면 속아 넘어갈 수 있습니다. 심지어 자신이 왜 그렇게 판단했는지에 대해 그럴듯한 거짓 이유를 만들어 낼 수도 있습니다.

셋째, 인간 고유의 영역을 침범할 수 없습니다. 어떤 설명이 윤리적으로 옳은지, 특정 사회적 맥락에서 어떤 파장을 일으킬지, 법적 책임은 누구에게 있는지 등을 판단하는 것은 고도의 사회적, 철학적 사유가 필요한 일입니다. 현재의 LLM은 이런 복잡한 가치 판단을 제대로 수행할 능력이 없습니다. AI 판사가 사형을 선고할 수 없는 것과 같은 이치입니다. 중요한 결정의 최종 책임은 결국 사람이 져야 합니다.

이러한 장단점을 표로 정리하면 다음과 같습니다.

표에서 보듯, LLM 평가는 속도와 일관성, 비용 면에서 압도적인 장점을 갖지만, 정확성과 윤리적 판단이라는 치명적인 약점을 안고 있습니다. 재현되는가, 조건은 무엇인가. 우리는 이 질문을 끊임없이 던져야 합니다.

흔한 오해 두 가지: '만능 해결사'와 '인간 대체'

새로운 기술이 등장하면 늘 그렇듯 과도한 기대와 오해가 뒤따릅니다. XAI-아레나 역시 마찬가지입니다. 우리가 경계해야 할 대표적인 오해 두 가지를 짚어보겠습니다.

오해 1: XAI-아레나가 모든 설명가능성 문제를 해결할 것이다.

이는 가장 흔한 착각입니다. XAI-아레나는 '설명' 자체를 똑똑하게 만들어주는 기술이 아닙니다. 이것은 설명의 품질을 측정하는 '평가' 도구, 즉 '저울'이나 '온도계' 같은 계측기일 뿐입니다. 좋은 저울이 있다고 해서 요리 실력이 저절로 늘지 않는 것처럼, XAI-아레나가 있다고 해서 AI가 갑자기 설명을 잘하게 되는 것은 아닙니다.

올바른 해석은 이렇습니다. XAI-아레나는 AI 개발자들에게 더 나은 설명을 만들도록 유도하는 '나침반' 역할을 할 수 있습니다. 자신의 XAI 기술이 어떤 점에서 부족하고 어떤 점을 개선해야 하는지 객관적인 피드백을 받을 수 있기 때문입니다. 좋은 계측기는 결국 좋은 제품을 만드는 데 기여합니다. XAI-아레나는 만능 해결사가 아니라, 더 나은 XAI 기술을 향한 경쟁을 촉진하는 '경기장'을 제공하는 것에 가깝습니다.

오해 2: 이제 XAI 평가에서 인간 전문가는 필요 없다.

효율성을 강조하다 보면 이런 결론에 이르기 쉽지만, 이는 위험한 생각입니다. XAI-아레나를 제안한 연구진조차 LLM이 인간을 '대체'하는 것이 아니라 '보완'한다고 강조합니다.

올바른 해석은 '역할 분담'과 '협업'입니다. 대규모의 반복적이고 정형화된 1차 평가는 LLM의 속도와 확장성을 활용해 처리하고, 인간 전문가는 그 결과를 바탕으로 더 미묘하고 복잡하며 윤리적인 판단이 요구되는 최종 검토에 집중하는 모델이 바람직합니다. 이는 판사가 모든 판례법을 머리에 외우는 대신 AI 기반 법률 검색 시스템의 도움을 받아 판결의 질을 높이는 데 집중하는 것과 같습니다. 인간의 깊이 있는 통찰력과 기계의 엄청난 처리 능력을 결합하는 것입니다.

메커니즘을 넘어, '데이터 주권'이라는 거대한 질문

지금까지는 XAI-아레나의 기술적 측면을 주로 살폈습니다. 하지만 한 걸음 더 들어가면 훨씬 더 중요하고 거대한 질문과 마주하게 됩니다. 바로 '표준'과 '주권'의 문제입니다.

만약 XAI-아레나와 같은 평가 방식이 업계 표준으로 자리 잡는다고 상상해 봅시다. 그리고 그 평가의 핵심인 'LLM 심판관'을 특정 거대 기술 기업(예: 구글, 오픈AI, 마이크로소프트)이 독점적으로 제공한다면 어떤 일이 벌어질까요? 이는 축구 경기의 규칙을 특정 팀이 마음대로 정하고 심판까지 독점하는 것과 같습니다.

모든 AI 개발사들은 자신들의 XAI 기술이 이 '공인 심판관'에게 좋은 점수를 받도록 최적화하기 시작할 것입니다. 이는 곧 심판관 LLM을 통제하는 기업의 '입맛'에 맞는 기술만 살아남고, 그렇지 않은 혁신적인 접근법은 도태될 수 있음을 의미합니다. 마치 전 세계의 식당들이 단 하나의 음식 비평가에게 잘 보이기 위해 똑같은 메뉴만 만들게 되는 것과 같습니다. 기술의 다양성이 사라지고 특정 기업에 대한 기술적 종속이 심화될 수 있습니다. 월세 사는 사람이 집주인 눈치를 보듯, AI 생태계 전체가 거대 기업의 눈치를 보게 될 수 있습니다.

결국 이 문제는 '누가 설명의 품질을 정의하는가'라는 권력의 문제, 즉 '데이터 주권' 또는 'AI 주권'의 문제로 귀결됩니다. 평가 기준과 도구가 투명하게 공개되고, 학계와 산업계, 시민사회가 함께 참여하여 관리하는 개방적인 거버넌스 구조가 없다면, XAI-아레나는 효율적인 평가 도구가 아니라 새로운 형태의 기술 독점을 강화하는 도구로 전락할 위험이 있습니다. 우리는 기술의 메커니즘뿐만 아니라, 그 기술이 작동하는 운동장의 규칙이 어떻게 만들어지는지를 예의주시해야 합니다. 예언이 아닌 메커니즘을 봐야 합니다.

독자가 던질 법한 질문들

Q. 그래서 당장 우리 회사에서 이 기술을 쓸 수 있나요? A. 아직은 초기 학술 연구 단계입니다. 실제 산업 현장에서 안정적으로 사용될 만큼 검증되거나 표준으로 자리 잡기까지는 상당한 시간이 걸릴 것입니다. 다만 AI의 설명 책임을 강조하는 규제(예: 유럽연합의 AI 법안)가 현실화되고 있으므로, 이러한 기술 흐름을 주시하고 내부적으로 소규모 실험을 시작해 보는 것은 좋은 준비가 될 수 있습니다. 기술을 도입하기 전에, 우리에게 '좋은 설명'이란 무엇인지부터 정의하는 것이 먼저입니다.

Q. LLM 심판관이 편향되었다면, 그 편향은 어떻게 바로잡나요? A. 매우 어려운 문제입니다. 현재로서는 완벽한 해결책이 없습니다. 여러 다른 종류의 LLM을 교차 검증하여 한쪽으로 치우친 판단을 걸러내거나(마치 1심, 2심, 3심 재판처럼), 특정 편향(예: 성차별적 표현)을 자동으로 감지하고 보정하는 기술을 추가로 개발하는 접근법을 생각해 볼 수 있습니다. 하지만 가장 중요한 것은 평가 기준 자체를 투명하게 공개하고, 다양한 배경을 가진 전문가들이 참여해 이 기준을 지속적으로 검토하고 개선하는 거버넌스 구조를 만드는 것입니다.

Q. XAI라는 것 자체가 결국 AI 개발사들의 '면피용' 기술 아닐까요? A. 날카로운 지적이며, 실제로 그럴 위험이 상존합니다. 복잡한 AI의 작동 방식을 제대로 설명하기보다는, 규제를 피하고 법적 책임을 회피하기 위해 그럴듯하게 보이는 형식적인 설명을 생성하는 데 그칠 수 있습니다. 바로 그렇기 때문에 XAI-아레나와 같은 '평가의 평가'가 중요합니다. 그 설명이 정말로 AI의 작동 방식을 정확히 반영하는지, 사용자를 오도하지 않는지를 검증하는 독립적인 장치가 없다면 XAI는 '투명성'이라는 구호에 그칠 것입니다. 재현되는가, 조건은 무엇인가. 우리는 항상 이 질문을 던져야 합니다.