AI 모의고사 1등의 함정: 당신의 AI는 생각보다 똑똑하지 않다

도입: AI 성적표, 어디까지 믿어야 할까

최근 새로운 인공지능 모델이 나올 때마다 우리는 익숙한 광경을 봅니다. MMLU 90점 돌파, GSM8K 신기록 달성. 마치 수능 만점자 소식처럼 언론과 커뮤니티가 들썩입니다. 이런 점수표, 즉 벤치마크(AI의 성능을 측정하기 위한 표준화된 시험) 순위표는 AI의 능력을 가늠하는 가장 객관적인 지표로 여겨집니다. 점수가 높으면 더 똑똑하고 유능한 AI라고 믿는 것은 어찌 보면 당연합니다.

하지만 정말 그럴까요? 시험 1등이 사회에서도 항상 1등은 아니듯, AI의 세계도 마찬가지입니다. 최근 발표된 한 논문('When benchmark inferences do not compose: Projectibility in AI evaluation')은 이 당연해 보이는 믿음에 근본적인 질문을 던집니다. 논문의 핵심 개념은 '프로젝터빌리티(Projectibility)'입니다. 우리말로 옮기자면 '투사 가능성' 정도가 될 텐데, 쉽게 말해 실험실의 시험 점수가 현실 세계의 복잡한 문제에 얼마나 잘 '투사'되어 효력을 발휘하는지를 따지는 개념입니다.

가령 오픈AI의 GPT-4가 MMLU라는, 57개 분야의 다지선다 문제를 푸는 거대 시험에서 인간 전문가를 뛰어넘는 점수를 받았다고 합시다. 많은 이들은 이를 보고 'GPT-4는 인간 수준의 지능을 갖췄다'거나 '어떤 전문적인 작업도 맡길 수 있겠다'고 결론 내립니다. 바로 이 지점에서 연구는 '잠깐 멈추라'고 경고합니다. 시험 점수라는 하나의 사실에서 '현실의 유용성'이라는 거대한 결론으로 나아가는 과정이 생각보다 훨씬 위태롭다는 것입니다. 연구는 정확히 읽어야 합니다. 오늘은 이 '프로젝터빌리티'라는 창을 통해 AI 성능 평가의 허와 실을 깊숙이 들여다보려 합니다.

'프로젝터빌리티'란 무엇인가: 추론의 사슬, 길어질수록 약해진다

'프로젝터빌리티'는 말이 어려워서 그렇지, 사실 우리 일상에 깊숙이 들어와 있는 개념입니다. 황당한 비유를 하나 들어보겠습니다. '우리 아이가 동네 수학경시대회에서 1등을 했다. 그러니 장차 노벨 경제학상을 받을 것이다.' 이 주장이 얼마나 큰 논리적 도약인지 모두가 압니다. 동네 경시대회 1등과 노벨상 사이에는 너무나 많은 단계와 불확실성이 존재하기 때문입니다.

논문은 AI 벤치마크 점수를 해석하는 과정도 이와 같다고 지적합니다. 하나의 점수에서 출발해 '이 AI는 쓸모 있다'는 최종 결론에 이르기까지, 우리는 무의식적으로 여러 단계의 추론을 거칩니다. 이를 '추론의 사슬(chain of inferences)'이라고 부릅니다. 문제는 이 사슬의 각 고리는 그럴듯해 보여도, 전체를 이어 붙이면 매우 약해진다는 점입니다.

가령 어떤 AI 모델이 법률 지식을 묻는 벤치마크에서 95점을 받았다고 가정해 봅시다. 이로부터 어떤 추론의 사슬이 만들어질까요?

1. 이 AI는 해당 법률 벤치마크의 질문에 95% 확률로 정답을 맞힌다. (이것은 사실 그 자체입니다. 가장 단단한 고리입니다.)
2. 따라서 이 AI는 법률 지식이 풍부하다. (첫 번째 일반화입니다. 시험 문제가 법률 지식 전반을 대표한다는 가정이 필요합니다.)
3. 따라서 이 AI는 실제 법률 자문 업무를 잘 수행할 것이다. (두 번째 도약입니다. 지식을 아는 것과 실제 업무에 적용하는 것은 다른 차원의 능력입니다.)
4. 따라서 이 AI를 우리 로펌의 시스템에 도입하면 변호사들의 업무 효율이 크게 오를 것이다. (세 번째 도약입니다. 기존 시스템과의 통합, 변호사와의 상호작용 등 새로운 변수가 추가됩니다.)
5. 따라서 이 AI를 도입하는 것은 우리 로펌에 재정적으로 큰 이득이다. (마지막 결론입니다. AI 도입 비용, 유지보수, 잠재적 오류로 인한 손실 가능성 등 모든 요소를 고려해야 합니다.)

각 단계는 나름의 타당성을 갖춘 것처럼 보입니다. 하지만 1번에서 5번으로 갈수록 주장은 점점 더 대담해지고, 가정은 눈덩이처럼 불어납니다. 논문의 핵심 지적은 이것입니다. '각각의 고리가 유효하다고 해서, 사슬 전체가 유효한 것은 아니다.' 90%의 확률로 참인 추론을 다섯 번 연속으로 거치면, 최종 결론이 참일 확률은 0.9의 5제곱, 즉 59%까지 떨어집니다. 추론의 사슬이 길어질수록, 우리는 점점 더 희박한 가능성에 기대게 되는 셈입니다. 벤치마크 점수가 현실에서 배신감을 안겨주는 근본적인 이유가 여기에 있습니다.

역사 속의 평행선: 자동차 연비와 대학수학능력시험

이런 '점수의 배신'은 AI만의 문제가 아닙니다. 우리는 이미 역사 속에서 비슷한 경험을 수없이 해왔습니다. 가장 대표적인 사례가 바로 자동차의 공인 연비입니다.

자동차 회사가 발표하는 연비는 정부가 정한 표준 시험 절차에 따라 측정됩니다. 평탄한 도로, 일정한 속도, 최적의 온도와 습도 등 완벽하게 통제된 환경에서 나온 결과입니다. 하지만 우리가 실제로 차를 몰 때는 어떻습니까? 출퇴근길 정체, 언덕길, 급가속과 급정거, 무더운 여름의 에어컨 가동까지. 현실의 도로는 실험실과 전혀 다릅니다. 그래서 실제 주행 연비(실연비)가 공인 연비보다 훨씬 낮게 나오는 것은 상식에 속합니다. 이것이 바로 전형적인 '프로젝터빌리티'의 문제입니다. 실험실의 연비 점수가 현실의 출퇴근길에 제대로 '투사'되지 못하는 것입니다.

대학수학능력시험(수능) 역시 마찬가지입니다. 수능은 정해진 시간 안에, 정해진 범위의 지식을, 객관식과 단답형 위주로 평가하는 시험입니다. 수능 만점자는 분명 해당 평가 기준 안에서 대단한 성취를 이룬 인재입니다. 하지만 그 점수가 그 사람의 미래 직업에서의 성공, 리더십, 창의성, 협업 능력까지 모두 보장해 주지는 않습니다. 우리는 수능 점수가 학업 성취도의 유용한 '신호' 중 하나일 뿐, 인간의 모든 잠재력을 보여주는 '절대 지표'가 아님을 사회적 경험을 통해 알고 있습니다. 수능 점수를 맹신해 사람을 채용하는 기업이 없는 이유입니다.

AI 벤치마크 역시 마찬가지입니다. MMLU 같은 시험은 수만 개의 '수능 문제'를 AI에게 풀게 하는 것과 같습니다. 여기서 높은 점수를 얻는 것은 분명 대단한 기술적 진보입니다. 그러나 이는 AI가 가진 여러 능력 중 '지식 기반의 문제풀이 능력'이라는 특정 단면을 보여줄 뿐입니다. 우리가 AI에게 정말로 기대하는 것은 시험 점수가 아니라, 현실의 복잡하고 정답 없는 문제들을 해결하는 능력입니다. 자동차 연비와 수능 점수를 해석하듯, AI 벤치마크 점수 역시 한계를 명확히 인식하고 비판적으로 바라봐야 합니다.

점수 놀음의 구체적 실패 사례들

벤치마크 점수에만 매달릴 때 구체적으로 어떤 문제들이 발생할까요? 단순히 점수가 현실을 완벽히 반영하지 못한다는 수준을 넘어, 때로는 평가 자체가 왜곡되는 심각한 오류로 이어지기도 합니다.

첫째, '시험 문제 유출', 즉 데이터 오염(Data Contamination) 문제입니다. LLM(Large Language Model, 사람의 말을 흉내 내 문장을 만들어내는 거대 AI 모델)은 인터넷의 방대한 텍스트를 학습합니다. 그런데 이 학습 데이터 안에 벤치마크의 문제와 정답이 포함되어 있을 수 있습니다. AI는 문제를 '푸는' 것이 아니라, 학습 과정에서 본 정답을 '기억'해 뱉어내는 셈입니다. 이는 마치 학생이 시험 전에 족보를 입수해 답을 외워 가는 것과 같습니다. 점수는 높게 나오겠지만, 실제 실력은 형편없을 수 있습니다. 실제로 많은 유명 모델들이 특정 벤치마크 데이터에 오염되었다는 의혹을 받았고, 이는 점수 경쟁의 신뢰도를 근본적으로 훼손합니다.

둘째, '굿하트의 법칙(Goodhart's Law)'이 작동합니다. 영국의 경제학자 찰스 굿하트가 제시한 이 법칙은 '어떤 지표가 목표가 되는 순간, 그 지표는 더 이상 좋은 지표가 아니게 된다'는 의미입니다. AI 개발사들이 너도나도 MMLU 점수 올리기에 혈안이 되면, AI의 전반적인 지능 향상보다는 MMLU 점수를 잘 받도록 AI를 '최적화'하는 데 집중하게 됩니다. 즉, '공부'를 하는 게 아니라 '시험 잘 보는 기술'만 익히는 것입니다. 이 경우 벤치마크 점수는 계속 오르지만, 정작 AI의 실제 능력은 제자리걸음이거나 기형적으로 발전할 위험이 있습니다.

셋째, '맥락의 부재'가 발목을 잡습니다. 벤치마크는 대부분 탈맥락적인 지식을 묻습니다. '프랑스의 수도는 어디인가?' 같은 질문들입니다. 하지만 현실의 문제는 대부분 복잡한 맥락 위에 놓여 있습니다. '이번 분기 우리 회사 매출 하락의 원인을 분석하고, 다음 분기 마케팅 전략을 제안해 줘' 같은 업무 지시에는 회사의 내부 사정, 시장 상황, 경쟁사 동향, 조직 문화 등 텍스트로 명시되지 않은 수많은 맥락이 얽혀 있습니다. 위키피디아를 통째로 외운 AI가 이런 맥락적 추론에 능숙하리라는 보장은 어디에도 없습니다.

이러한 문제들을 고려할 때, 우리는 AI를 다각적으로 평가해야 할 필요성을 깨닫게 됩니다. 아래 표는 각 평가 방식의 장단점을 보여줍니다.

어느 하나가 완벽한 방법은 없습니다. 마치 의사가 환자를 진단할 때 혈액검사, 엑스레이, CT 촬영, 문진 등 여러 방법을 동원하듯, AI의 능력을 제대로 파악하려면 여러 평가 지표를 종합한 '건강검진표'가 필요합니다. 하나의 점수로 줄 세우는 것은 편리하지만, 그만큼 위험한 일입니다.

흔한 오해와 반론: "그럼 벤치마크는 다 쓸모없나?"

여기까지 읽으신 독자께서는 이런 의문을 가질 수 있습니다. '결국 벤치마크 점수는 믿을 게 못 된다는 뜻인가?' 혹은 '그렇게 문제가 많다면 벤치마크를 없애야 하는 것 아닌가?' 이것은 이 논의에서 가장 빠지기 쉬운 함정입니다. 연구는 정확히 읽어야 합니다. 논문의 주장은 벤치마크 폐지론이 아니라, '벤치마크 현명하게 사용하기'에 가깝습니다.

첫 번째 흔한 오해는 '높은 점수는 의미 없다'는 극단적인 생각입니다. 그렇지 않습니다. 벤치마크 점수는 AI 능력의 충분조건은 아니지만, 여전히 중요한 필요조건입니다. MMLU 점수가 30점인 모델과 90점인 모델이 있다면, 다른 조건이 같다면 당연히 90점짜리 모델이 더 뛰어난 잠재력을 가졌을 가능성이 큽니다. 벤치마크 점수는 AI의 기초 체력을 보여주는 지표로서, 논의의 출발점 역할을 합니다. 다만 그것이 결승선은 아니라는 점을 명심해야 합니다.

두 번째 흔한 오해는 '모든 것을 측정하는 완벽한 벤치마크 하나를 만들면 된다'는 생각입니다. 인간의 지능이 IQ 테스트 하나로 측정될 수 없듯, AI의 능력 역시 단일 잣대로 잴 수 없습니다. 지능은 다면적이고 복합적인 개념이기 때문입니다. 문제풀이 능력, 창의력, 소통 능력, 특정 분야 전문성, 안전성, 효율성 등 평가해야 할 항목은 너무나 많습니다. 따라서 미래의 AI 평가는 하나의 순위표가 아니라, 각기 다른 능력을 보여주는 여러 지표들의 '대시보드' 형태가 될 가능성이 높습니다. 개발자와 사용자는 이 대시보드를 보고 자신의 목적에 맞는 강점을 가진 AI를 선택하게 될 것입니다.

가장 강력한 반론은 '그래도 벤치마크가 우리가 가진 유일하고 객관적인 도구 아니냐'는 주장입니다. 이 말은 사실입니다. 주관적인 인상 비평이나 각자의 경험담만으로는 과학적인 발전과 비교가 불가능합니다. 벤치마크는 재현 가능하고 통제된 비교를 가능하게 하는 과학의 초석입니다. 이 논문이 비판하는 것은 벤치마크의 존재 자체가 아니라, 그 결과를 해석하는 우리의 안일한 태도입니다. 점수를 맹신하고, 그 이면의 '추론의 사슬'을 검토하지 않고, 점수가 현실의 성공을 보장할 것이라 쉽게 단정하는 태도 말입니다. 우리는 벤치마크를 버릴 것이 아니라, 오히려 더 정교하고, 더 현실적이며, 더 다양한 벤치마크를 만들어 그 한계를 보완해 나가야 합니다.

시사점: 'AI 주권'은 올바른 측정에서 시작된다

'프로젝터빌리티' 문제는 단순히 기술자들의 논쟁거리를 넘어, 기업과 국가의 미래 경쟁력과 직결되는 묵직한 시사점을 던집니다.

기업의 입장에서 생각해 봅시다. 요즘 많은 기업들이 AI 도입을 서두르고 있습니다. 이때 어떤 기준으로 AI를 선택해야 할까요? 단순히 글로벌 벤치마크 순위표 제일 위에 있는 모델의 API(Application Programming Interface, 소프트웨어가 서로 소통하는 창구)를 비싼 돈 주고 구독하는 것이 최선일까요? 이는 마치 수능 전국 1등 학생을 다른 검증 없이 회사의 핵심 프로젝트 책임자로 앉히는 것과 같습니다. 그가 우리 회사의 특수한 문제, 우리만의 데이터, 우리 조직의 문화에 잘 적응하리라는 보장은 없습니다.

진정으로 AI를 잘 활용하는 기업은 남들이 만들어 놓은 성적표를 그대로 믿지 않습니다. 대신 후보 AI 모델들을 가져와 '우리 회사만의 시험', 즉 파일럿 프로젝트를 진행합니다. 우리의 고객 데이터로 얼마나 답변을 잘하는지, 우리 내부 문서를 얼마나 잘 요약하는지, 우리의 업무 과정에 얼마나 매끄럽게 통합되는지를 직접 테스트합니다. 이 과정에서 벤치마크 점수로는 드러나지 않던 장점과 단점이 명확히 드러납니다. 어쩌면 점수는 조금 낮지만 우리 회사 문제에 유독 강한 '가성비' 좋은 모델을 발견할 수도 있습니다. 이것이 바로 'AI를 안다'고 말할 수 있는 수준입니다.

이는 국가 차원으로 확장하면 'AI 주권'의 문제와 연결됩니다. AI 주권이란 단순히 우리도 AI 모델을 만들 수 있다는 기술적 자립을 넘어섭니다. 우리가 개발하거나 도입한 AI가 우리 사회의 맥락(언어, 문화, 법률, 산업 구조)에 맞게 제대로 작동하는지 스스로 '측정'하고 '검증'할 수 있는 능력을 갖추는 것이 핵심입니다. 미국 실리콘밸리에서 만든 벤치마크에서 1등 한 AI가, 과연 한국의 법률 환경이나 사회적 통념에 맞는 판단을 내릴 수 있을까요? 글로벌 순위에만 의존하는 것은 우리의 AI 활용 능력을 외부에 종속시키는 결과를 낳을 수 있습니다.

결국 올바른 측정이 올바른 개발 방향을 이끌고, 나아가 진정한 경쟁력을 만듭니다. '프로젝터빌리티'에 대한 고민은, 우리가 AI라는 강력한 도구를 뜬구름 잡는 기술 담론이 아닌, 우리 발이 딛고 선 현실의 문제를 해결하는 데 어떻게 사용할 것인가에 대한 근본적인 질문인 셈입니다.

독자가 던질 법한 질문들

Q. 그래서 제가 지금 쓰는 챗GPT나 클로드는 쓸모없다는 뜻인가요? A. 아닙니다. 매우 유용합니다. 중요한 점은 그 유용성을 판단하는 주체가 벤치마크 점수표가 아니라 바로 '사용자인 당신'이라는 사실입니다. 당신이 업무 보고서를 쓸 때, 이메일 초안을 작성할 때 AI가 도움이 되었다면, 그것은 당신의 구체적인 맥락과 필요에 AI의 능력이 부합한 결과입니다. 이 칼럼의 핵심은 '점수'가 그 '유용성'을 보장해주지 않으니, 점수를 맹신하지 말고 직접 써보고 판단하자는 것입니다.

Q. 기업에서는 어떤 AI 모델을 도입해야 할지 어떻게 결정해야 합니까? A. 종합적인 '실사(Due diligence)' 과정이 필요합니다. 1단계로, 표준 벤치마크 점수를 참고해 기술적 기초 체력이 검증된 후보군을 2~3개로 압축합니다. 2단계로, 이 후보들을 대상으로 우리 회사만의 데이터를 이용한 소규모 '파일럿 테스트'를 진행해 실제 문제 해결 능력을 직접 비교 검증합니다. 3단계로, 성능뿐 아니라 비용, 응답 속도, 데이터 보안 정책, 기술 지원 수준 등 실제 운영 조건을 꼼꼼히 따져 최종 모델을 선택해야 합니다. 자동차를 살 때 공인 연비만 보지 않고, 직접 시승도 해보고, 가격과 보험료, 디자인까지 따지는 것과 정확히 같습니다.

Q. 더 나은 AI 평가 방식이 나올 수 있을까요? A. 네, 이미 다양한 시도들이 이루어지고 있습니다. 고정된 문제은행식 벤치마크의 한계를 극복하기 위해, AI가 다른 AI의 답변을 평가하거나 계속해서 새로운 문제를 생성해 테스트하는 '동적 벤치마크'가 연구되고 있습니다. 또한, AI가 얼마나 유해한 답변을 쉽게 생성하는지, 특정 편향에 얼마나 취약한지 등을 집요하게 공격하며 테스트하는 '레드팀 평가(Red Teaming)'의 중요성도 커지고 있습니다. 미래의 평가는 점수 하나로 줄 세우는 방식이 아니라, 다양한 각도에서 AI의 강점과 약점을 입체적으로 보여주는 '프로파일'을 제공하는 방향으로 발전할 것입니다.