커뮤니티 소식
LLM, 이제는 바둑으로 진짜 '생각'을 측정한다: GoBench의 등장
글 · 서아람
최근 챗GPT와 같은 대규모 언어 모델(LLM)이 인간의 언어를 능숙하게 구사하며 많은 이들을 놀라게 했습니다. 하지만 과연 LLM이 단순한 언어 처리 능력을 넘어 복잡한 추론 능력까지 갖추었는지에 대한 의문은 끊이지 않았습니다. 이러한 논의의 한가운데, 인공지능 연구 커뮤니티의 중심인 레딧(Reddit)의 r/MachineLearning 게시판에 새로운 LLM 평가 벤치마크인 'GoBench'가 등장하며 뜨거운 관심을 모으고 있습니다. 이 벤치마크는 LLM의 진정한 일반 추론 능력을 바둑이라는 복잡한 전략 게임을 통해 측정하려 합니다.
GoBench는 9x9 바둑판 위에서 LLM이 'KataGo'라는 강력한 바둑 AI와 대결하는 방식으로 작동합니다. KataGo는 이미 인간 최고 수준을 넘어선 바둑 AI로, GoBench는 이 KataGo의 난이도를 무작위 수준부터 초인적인 수준까지 조절하여 LLM의 대국 상대로 제공합니다. LLM은 바둑의 규칙을 텍스트로 이해하고, 게임의 맥락을 파악하며, 장기적인 전략을 수립해야 합니다. 이는 단순히 다음 단어를 예측하는 언어 모델의 본연의 역할과는 차원이 다른 도전입니다.
바둑은 그 자체가 매우 복잡한 게임입니다. 경우의 수가 우주의 원자 수보다 많다고 비유될 정도로 복잡하며, 단순한 계산 능력뿐만 아니라 직관과 추상적인 사고, 장기적인 안목이 필수적입니다. 이러한 특성 때문에 구글의 AlphaGo가 이세돌 9단을 꺾었을 때 전 세계가 인공지능의 잠재력에 경악했던 것입니다. GoBench는 이러한 바둑의 특성을 활용하여 LLM의 언어적 이해를 넘어선 실제적인 '전략적 추론 능력'을 평가하려는 시도입니다.
기존 LLM 벤치마크들은 주로 질문 답변, 요약, 번역 등 언어 기반의 작업을 통해 모델의 성능을 측정해왔습니다. 물론 이러한 평가 방식도 중요하지만, 언어 모델이 단순히 학습된 패턴을 반복하는 것이 아니라 실제 세계의 문제를 해결하고 전략적으로 사고할 수 있는지를 판단하는 데는 한계가 있다는 지적이 많았습니다. GoBench 개발팀에 따르면, 이 벤치마크는 다른 주요 LLM 벤치마크들과 강한 상관관계를 보이며, 이는 바둑에서의 성능이 LLM의 일반적인 추론 능력과도 밀접하게 연결되어 있음을 시사합니다.
일각에서는 “LLM은 바둑을 두도록 설계되지 않았다”거나 “언어 모델에게 바둑을 시키는 것은 부당하다”는 반론을 제기할 수 있습니다. 그러나 GoBench의 핵심은 LLM 자체를 바둑 전문 AI로 훈련시키는 것이 아닙니다. 오히려 텍스트로 주어진 바둑의 규칙과 현재 판세를 이해하고, 최적의 다음 수를 찾아내는 과정을 통해 기존 LLM이 가진 잠재적인 추론 능력을 끄집어내는 데 있습니다. 이는 마치 인간이 처음 보는 규칙 기반의 보드게임을 텍스트 설명을 읽고 이해하며 플레이하는 과정과 유사합니다.
이러한 평가 방식은 LLM 개발 기업들에게 새로운 이정표를 제시합니다. 마이크로소프트, 구글, 오픈AI, 앤트로픽 등 주요 LLM 개발사들은 이제 단순히 거대한 데이터로 모델을 학습시키는 것을 넘어, 모델이 얼마나 추상적인 개념을 이해하고 전략적으로 사고할 수 있는지에 대한 깊은 고민을 해야 할 것입니다. 이는 궁극적으로 인공 일반 지능(AGI)으로 향하는 길에 LLM이 어떤 역할을 할 수 있을지에 대한 단서를 제공할 수 있습니다.
업계 전문가들은 LLM의 발전 방향이 단순한 언어 처리 능력을 넘어선 ‘진정한 지능’을 향해야 한다고 입을 모읍니다. GoBench와 같은 벤치마크는 이러한 지능을 측정하는 새로운 기준점을 제시하며, 앞으로 LLM 연구의 방향성과 기업들의 투자 전략에도 큰 영향을 미칠 것으로 예상됩니다. LLM이 언어의 장벽을 넘어 추상적이고 복잡한 세계의 규칙까지 이해하고 탐색할 수 있음을 증명한다면, 그 활용 범위는 상상을 초월할 것입니다.
- 기존 LLM 평가는 주로 언어 기반 작업에 집중하여 추상적 추론 능력 측정에 한계가 있었습니다.
- 바둑은 경우의 수가 방대하고 직관 및 장기 전략이 요구되어 LLM의 일반 추론 능력을 평가하기에 적합합니다.
- GoBench는 LLM이 텍스트로 규칙을 이해하고 KataGo와의 대결을 통해 전략적 사고를 보여주는 방식입니다.
- GoBench의 바둑 성과는 다른 LLM 벤치마크 결과와 높은 상관관계를 보여, 일반 추론 능력의 지표가 될 수 있습니다.
인사이트
GoBench는 LLM의 평가 기준을 언어 능력을 넘어 복잡한 전략 게임인 바둑으로 확장하여, LLM의 진정한 일반 추론 능력을 측정하려는 중요한 시도입니다.
자주 묻는 질문
- LLM이 바둑을 진짜로 잘 둘 수 있다는 건가요? 인간처럼?
- GoBench는 LLM이 바둑을 '잘 두도록 훈련'된 것을 평가하는 것이 아닙니다. 텍스트로 주어진 규칙과 상황을 이해하고 전략을 세우는 LLM의 '추론 능력'을 측정하는 것이 핵심입니다. 현재 대부분의 LLM은 바둑 전문 AI만큼 강력한 성능을 보여주지는 못합니다.
- 바둑 말고 다른 게임으로도 LLM 추론 능력을 테스트할 수 있을까요?
- 네, 바둑 외에도 스타크래프트 같은 복잡한 실시간 전략 게임이나, 체스, 포커 등 다양한 게임들이 LLM의 추론 및 전략 능력을 평가하는 데 활용될 수 있습니다. GoBench는 바둑의 특성상 그 복잡도와 추상성 때문에 특히 주목받고 있습니다.
- LLM이 바둑을 두는 것이 인공 일반 지능(AGI)에 어떤 의미가 있나요?
- AGI는 특정 작업에 국한되지 않고 다양한 문제를 해결할 수 있는 인공지능을 의미합니다. LLM이 언어를 넘어 바둑 같은 복잡한 전략 게임에서 추론 능력을 보여준다면, 이는 AGI로 가는 길에 LLM이 더 범용적인 지능의 기초가 될 수 있음을 시사하는 중요한 진전으로 해석될 수 있습니다.
이 기사 어땠어요?
피드백을 남겨주시면 더 나은 맞춤 추천을 만듭니다.