논문 브리핑
AI, 사람을 넘어설 날 위한 첫 시험: 새 지능 측정법 등장
글 · 한경모
현재 인공지능 성능 평가는 마치 아이에게 그림 그리기 시험을 치르게 하고, 그 아이가 그린 그림으로 또 다른 아이를 가르치는 것과 비슷합니다. 즉, 인간이 만든 기준과 데이터에 갇혀 평가의 순환 고리에서 벗어나지 못하는 한계에 직면했다는 뜻인데요. 오픈AI의 GPT-4, 구글의 제미나이 등 최신 LLM이 인간 수준을 넘어선 성능을 보여주며 MMLU나 GPQA 같은 기존 벤치마크는 이미 '만점'에 가까워지고 있습니다. 이제 우리는 '인간보다 똑똑한 AI', 즉 초지능(Supraintelligence)의 등장을 대비해 어떻게 이들의 지능을 공정하고 효과적으로 측정할 것인가 하는 근본적인 질문에 봉착했습니다.
최근 arXiv에 공개된 "Artificiality's First Exam: An LLM-Referenced C-test for Supraintelligence"라는 논문은 이 질문에 대한 새로운 답을 제시합니다. 이 연구는 현 세대 AI와 미래의 초지능 AI를 모두 아우를 수 있는 평가 프레임워크를 제안하며, 특히 '인간 중심적' 평가의 한계를 극복하려 합니다. 기존 평가 방식이 한계를 드러내는 지점은 분명합니다.
- 현재 벤치마크는 인간의 지식과 추론 능력에 기반해 설계됩니다.
- AI가 이 시험에서 만점을 받으면, 더 이상 성능 향상을 측정하기 어렵습니다.
- AI가 학습하는 데이터 자체가 인간이 만들어낸 것이기에 평가의 독립성이 부족합니다.
인사이트
이 연구는 단순히 AI의 현재 성능을 측정하는 것을 넘어, 인간의 지능을 초월할 미래 초지능 AI의 평가 기준을 선제적으로 고민한다는 점에서 중요합니다. 이는 AI 개발의 궁극적인 목표와 안전한 통제를 위한 근본적인 토대를 마련하려는 시도입니다.
자주 묻는 질문
- 기존 AI 시험이랑 뭐가 다른 거예요? 더 어려워지는 건가요?
- 기존 시험은 인간이 아는 지식이나 패턴에 기반해 난이도를 조절했지만, 새로운 C-테스트는 문제 자체의 내재된 '복잡성'을 기준으로 AI의 근본적인 이해력과 추론 능력을 평가합니다. 이는 암기나 패턴 인식을 넘어, 문제의 핵심 메커니즘을 파악하는 능력을 측정하려는 시도입니다.
- LLM이 시험을 만든다는 게, 결국 LLM으로 LLM을 평가하는 건가요? 공정하지 않을 것 같은데요.
- LLM은 시험 문제를 직접 만드는 '출제자'가 아니라, 복잡한 문제를 '참조'하고 평가하는 도구로 활용됩니다. 논문은 인간의 지식 한계를 벗어나 문제의 본질적 복잡성을 측정하는 데 LLM이 도움을 줄 수 있다고 설명하며, 평가의 객관성을 높이려는 시도입니다.
- 초지능 AI가 진짜 등장하면, 이 시험으로 그 지능을 완전히 측정할 수 있을까요?
- 이 시험은 미래 초지능 AI의 등장에 대비해 그들의 지능을 측정하기 위한 새로운 접근법을 제시한 것입니다. 인간의 지능을 뛰어넘는 존재를 평가하기 위한 첫걸음이며, 완전히 측정할 수는 없겠지만 현재의 한계를 극복하고 더 깊은 이해력을 요구하는 평가 방식을 탐구하는 데 큰 의미가 있습니다.
이 기사 어땠어요?
피드백을 남겨주시면 더 나은 맞춤 추천을 만듭니다.