AI 수학 천재의 비밀? 족보 달달 외운 모범생이었습니다

1. 묘하게 틀리는 AI, 코드를 짜다 생긴 일

얼마 전, 개발자 커뮤니티에서 화제가 된 AI 코딩 도우미를 한 일주일쯤 붙여서 써봤습니다. 소문대로 성능은 대단했습니다. “사용자 목록을 보여주는 웹페이지를 만들어줘”라고 던지면 눈 깜짝할 사이에 근사한 코드를 토해냈습니다. 귀찮은 반복 작업이 줄어드니 일이 편해지는 건 분명했습니다.

그러다 문득 짓궂은 생각이 들었습니다. 교과서적인 문제 말고, 제가 현업에서 겪었던 조금은 비틀린 문제를 던져보기로 했습니다. 여러 시스템이 복잡하게 얽혀있고, 예외적인 상황을 섬세하게 다뤄야 하는 문제였습니다. AI는 처음에는 제법 그럴듯한 답을 내놓았습니다. 하지만 제가 문제의 조건을 살짝 바꾸거나, 예상치 못한 입력을 추가하자 AI는 길을 잃기 시작했습니다. 어떨 때는 엉뚱한 코드를 내놓았고, 어떨 때는 아예 작동하지 않는 코드를 자신만만하게 내밀었습니다.

그 모습을 보며 기시감이 들었습니다. AI는 문제를 ‘이해’하고 푸는 게 아니었습니다. 인터넷에 존재하는 수많은 코드 조각과 질문-답변 쌍을 학습한 뒤, 제 질문과 가장 비슷한 패턴을 찾아 그럴싸하게 조합해 보여주는 것에 가까웠습니다. 마치 세상의 모든 수학 문제집을 달달 외운 학생에게, 문제집에 없는 신유형 문제를 던졌을 때의 반응과 같았습니다. 이 경험은 최근 AI의 수학 능력을 두고 벌어지는 논쟁의 핵심을 정확히 관통합니다. AI는 정말 ‘생각’을 하는 걸까요, 아니면 그저 뛰어난 ‘암기력’을 과시하는 걸까요.

2. '생각'이냐 '기억'이냐, 그것이 문제로다

최근 한 기술 저널리스트가 “AI는 수학자를 이기는 게 아니라, 더 잘 기억하는 것”이라는 분석을 내놓아 화제가 됐습니다. AI가 복잡한 미적분 문제를 푸는 것을 보면 경이롭기까지 하지만, 그 속을 들여다보면 인간의 ‘사고’ 과정과는 전혀 다르다는 주장입니다.

현재 AI 기술의 주류인 LLM(대규모 언어 모델)의 작동 방식을 알면 이 말이 더 쉽게 이해됩니다. LLM은 쉽게 말해, 문장 다음 단어를 기가 막히게 잘 맞히는 눈치 빠른 통계 기계입니다. ‘된장찌개에는’ 다음에는 ‘두부’, ‘김치찌개에는’ 다음에는 ‘돼지고기’가 나올 확률이 높다는 것을 수십억 개의 데이터를 통해 학습한 것입니다. 중요한 건, AI가 된장찌개의 구수한 맛이나 김치찌개의 칼칼함을 ‘이해’하고 답하는 게 아니라는 점입니다. 그저 방대한 텍스트에서 가장 많이 함께 등장한 단어의 조합, 즉 통계적 확률에 따라 다음 단어를 뱉어낼 뿐입니다.

이것을 수학 문제에 적용해 봅시다. AI는 인터넷에 공개된 수많은 수학 교과서, 논문, 연습문제 풀이 과정을 전부 ‘학습’했습니다. 우리가 AI에게 ‘∫ 2x dx’라는 문제를 주면, AI는 ‘적분’이라는 개념의 원리를 추론하는 게 아닙니다. 과거 학습 데이터 속에서 ‘∫ 2x dx’라는 문자열 뒤에는 ‘x² + C’라는 문자열이 올 확률이 압도적으로 높다는 것을 ‘기억’해내고, 그 결과를 출력하는 것입니다. 이 과정에서 AI가 사용하는 기본 단위를 ‘토큰(Token)’이라고 부릅니다. 토큰은 단어일 수도, 글자나 기호 하나일 수도 있는데, AI는 이 토큰들의 순서와 확률을 외우고 있는 셈입니다.

그러니 AI의 수학 풀이는 창의적인 문제 해결이라기보다는, 거대한 ‘족보’ 데이터베이스에서 가장 유사한 사례를 찾아 정답을 ‘검색’하는 과정에 가깝습니다. 물론 그 검색과 조합의 수준이 인간의 상상을 초월할 정도로 정교하고 빠르기 때문에, 우리 눈에는 마치 AI가 스스로 생각해서 푸는 것처럼 보일 뿐입니다.

3. 4세대 언어와 CASE 도구의 데자뷔

이런 현상은 기술의 역사에서 드문 일이 아닙니다. 저는 지금의 AI 열풍을 보며 1980~90년대 소프트웨어 업계를 뜨겁게 달궜던 ‘CASE 도구’와 ‘4세대 언어(4GL)’를 떠올립니다.

당시 사람들은 CASE(Computer-Aided Software Engineering) 도구가 프로그래머라는 직업을 없앨 것이라고 떠들었습니다. ‘컴퓨터가 소프트웨어 개발을 돕는다’는 이름처럼, 복잡한 코딩 없이 몇 가지 다이어그램을 그리거나 간단한 명령어를 입력하면 프로그램이 ‘자동으로’ 생성된다는 것이 핵심이었습니다. 마치 오늘날 “자연어로 말만 하면 AI가 코드를 짜준다”는 구호와 똑 닮았습니다.

저도 신입 엔지니어 시절, 그 꿈의 도구를 써 볼 기회가 있었습니다. 결과는 어땠을까요? 고객 관리 프로그램의 주소 입력 화면처럼 아주 정형화된 기능을 만들 때는 정말 편했습니다. 하지만 고객의 요구사항이 조금이라도 복잡해지거나, 기존 틀에서 벗어나는 독창적인 기능을 구현해야 할 때면 CASE 도구는 속수무책이었습니다. 결국 엔지니어들은 도구를 버리고, 다시 처음부터 코드를 짜내려가야 했습니다. 도구는 정해진 패턴을 ‘기억’하고 생성할 뿐, 새로운 문제를 ‘생각’해서 풀지는 못했기 때문입니다.

현재 AI의 모습이 바로 이와 같습니다. 이미 답이 알려진 문제, 정형화된 패턴을 따르는 문제에 대해서는 인간보다 빠르고 정확한 답을 내놓습니다. 그러나 아직 아무도 가보지 않은 길, 세상에 없던 새로운 문제를 해결하는 능력은 여전히 미지수입니다. AI는 훌륭한 ‘패턴 생성기’이지만, 아직은 ‘창의적인 문제 해결사’라고 부르기엔 이릅니다. 역사는 반복되고, 우리는 기술에 대한 과도한 기대를 경계하고 그 실체를 정확히 봐야 합니다.

4. AI가 잘하는 것과 끝내 못하는 것

그렇다면 우리는 AI의 능력을 어떻게 바라봐야 할까요? 중요한 것은 ‘만능 도구’라는 환상을 걷어내고, AI가 정말 잘하는 일과 그렇지 못한 일을 냉정하게 구분하는 것입니다.

AI가 압도적인 성능을 보이는 영역은 명확합니다.

• 정형화된 코드 생성: 웹사이트의 로그인 페이지, 데이터베이스에서 값을 읽어와 표로 보여주는 기능 등, 세상에 수백만 번은 반복됐을 법한 코드(Boilerplate code)를 만드는 데는 발군의 실력을 보입니다.
• 언어 번역: 파이썬 코드를 자바스크립트로 바꾸는 것처럼, 하나의 패턴을 다른 패턴으로 변환하는 작업에 능합니다. 이는 본질적으로 통계적 패턴 매칭에 해당하기 때문입니다.
• 지식 요약 및 검색: 방대한 문서의 내용을 요약하거나, 특정 정보를 찾아내는 일은 AI의 핵심 역량입니다. 수만 권의 책을 읽고 핵심을 짚어주는 비서와 같습니다.

반면, 현재의 AI가 명백한 한계를 보이는 지점도 있습니다.

• 새로운 아키텍처 설계: 완전히 새로운 비즈니스 모델을 위한 소프트웨어 시스템 구조를 구상하는 일은 AI의 능력 밖입니다. 여기에는 기술뿐만 아니라 비즈니스, 사람, 비용 등 수많은 비정형적 요소를 고려하는 ‘판단’이 필요하기 때문입니다.
• 복잡한 버그 수정: 여러 시스템이 복잡하게 얽혀서 발생하는, 인터넷 어디에도 기록된 적 없는 새로운 종류의 버그를 잡는 일은 여전히 인간 엔지니어의 몫입니다. 원인을 논리적으로 추적하고 가설을 세워 검증하는 과정은 단순한 패턴 매칭으로 해결되지 않습니다.
• 미지의 수학 문제 증명: 페르마의 마지막 정리처럼 수백 년간 풀리지 않았던 문제를 증명하는 일은 기존 지식의 조합만으로는 불가능합니다. 이는 인류 지성의 지평을 넓히는 ‘창조’의 영역입니다.

이를 표로 정리하면 다음과 같습니다.

결국 AI는 ‘지도에 표시된 길’을 가장 빠르게 찾아주는 내비게이션과 같습니다. 하지만 ‘새로운 길을 내는’ 탐험가의 역할은 여전히 인간의 몫으로 남아 있습니다.

5. 흔한 오해 두 가지, 그리고 진짜 능력

AI의 수학 능력에 대해 이야기할 때 자주 등장하는 오해가 두 가지 있습니다. 이 오해를 바로잡는 것은 AI의 본질을 이해하는 데 중요합니다.

첫 번째 오해는 “인간도 처음에는 암기로 시작하지 않는가?”라는 주장입니다. 맞는 말입니다. 우리 모두 구구단을 무작정 외웠습니다. 하지만 인간 학습의 진짜 가치는 그 다음 단계에 있습니다. 우리는 `2x3=6`이라는 구체적인 사실에서 ‘곱셈’이라는 추상적인 개념을 배웁니다. 그리고 이 개념을 확장해 방의 넓이를 구하거나, 주식 수익률을 계산하는 등 전혀 새로운 문제에 ‘응용’합니다. 즉, 구체적인 사례들로부터 일반적인 원리, 즉 ‘모델’을 만들어내는 능력이 있습니다. 반면 현재의 LLM은 세상에서 가장 큰 구구단표를 외우고 있을 뿐, 곱셈이라는 ‘개념’ 자체를 독립적으로 가지고 있지는 못합니다. 학습 데이터에 없던 낯선 문제에 취약한 이유가 여기에 있습니다.

두 번째 오해는 “데이터와 컴퓨팅 성능을 계속 늘리면 언젠가는 ‘생각’하게 되지 않을까?”라는 믿음입니다. 실제로 모델의 크기와 데이터 양을 늘리는 ‘스케일업(Scale-up)’ 전략은 지금까지 놀라운 성과를 보여줬습니다. 하지만 이는 사다리를 계속 높이 쌓아 달에 가려는 시도와 같을 수 있습니다. 어느 지점에서는 사다리가 아니라 ‘로켓’이라는 완전히 다른 접근법이 필요합니다. 많은 AI 연구자들이 단순히 데이터의 양을 늘리는 것을 넘어, AI가 논리적 추론을 할 수 있도록 기호주의 AI(Symbolic AI)를 결합하거나, AI 스스로 자신의 답변을 검증하고 수정하게 만드는 등 새로운 구조를 고민하는 이유도 이 때문입니다. 양이 질을 담보하지 않는 임계점이 분명히 존재합니다.

결국 현재 AI가 보여주는 능력은 ‘생각’이 아니라, 방대한 기억력에 기반한 ‘초고속 유사사례 검색 및 조합 능력’이라고 정의하는 것이 더 정확합니다. 이 능력을 과소평가할 필요는 없지만, 인간의 사고와 혼동해서도 안 됩니다.

6. 진짜 실력: ‘판단의 값’이 올라간다

그렇다면 AI가 점점 더 똑똑해지는 이 시대에, 인간의 역할은 무엇일까요? 저는 ‘판단의 가치’가 그 어느 때보다 중요해졌다고 생각합니다.

과거에는 정보를 많이 아는 것, 정답을 빨리 계산하는 것이 실력이었습니다. 하지만 이제 그런 일은 AI가 훨씬 더 잘합니다. AI에게 “A라는 문제를 해결할 방법 10가지를 알려줘”라고 하면, 순식간에 그럴듯한 목록을 뽑아줍니다. 문제는 그 10가지 방법이 모두 쓸 만하지는 않다는 것입니다. 어떤 것은 우리 상황에 맞지 않고, 어떤 것은 숨겨진 위험을 내포하고 있으며, 어떤 것은 기술적으로는 가능하지만 비용이 너무 많이 듭니다.

바로 이 지점에서 인간의 새로운 역할이 시작됩니다. AI가 쏟아내는 수많은 정보와 대안들 속에서 옥석을 가리고, 맥락을 파악하고, 장기적인 관점에서 최선의 선택을 내리는 ‘판단력’이 핵심 경쟁력이 됩니다. 이는 마치 수십 명의 유능한 인턴을 거느린 시니어 매니저와 같습니다. 인턴들이 자료 조사를 순식간에 해오면, 매니저는 그 자료들을 종합해 최종 의사결정을 내립니다. 이제 매니저에게 필요한 능력은 자료를 직접 찾는 능력이 아니라, 어떤 자료가 중요하고 어떤 자료가 쓰레기인지 판별하는 안목과 최종 책임을 지는 결단력입니다.

코딩의 세계에서도 마찬가지입니다. AI가 짜준 코드를 그대로 ‘복사-붙여넣기’ 하는 개발자는 머지않아 도태될 것입니다. 반면, AI가 제안한 여러 코드의 장단점을 비교 분석하고, 우리 시스템의 전체적인 구조와 철학에 맞는 최적의 코드를 선택하거나 수정해서 사용할 줄 아는 개발자의 가치는 오히려 더 높아질 것입니다. AI는 ‘답안지 후보’를 만들어주는 훌륭한 도구이지, ‘정답’을 알려주는 현자가 아닙니다. 그 후보들 중에서 진짜 정답을 선택하는 것, 그것이 바로 인간의 새로운 ‘실력’입니다.

결국 AI는 우리에게서 ‘노동’을 덜어주는 대신, 더 높은 수준의 ‘판단’을 요구하고 있습니다. 판단의 값은 떨어지지 않았습니다. 오히려 더 비싸졌습니다.

7. 독자들이 던질 법한 질문들

Q. 그럼 AI의 수학 능력이나 코딩 능력은 다 쓸모없다는 건가요?

A. 아닙니다. 정해진 틀 안에서 빠르고 정확하게 계산하고 코드를 생성하는 능력은 엄청난 생산성 도구입니다. 다만 그것이 ‘새로운 수학’을 창조하거나 ‘새로운 시스템’을 설계하는 것과는 다르다는 점을 알아야 합니다. 공학자가 계산기 없이 공학하지 않듯, 앞으로 수학자와 개발자도 AI를 매우 강력한 ‘계산기’이자 ‘조수’로 활용하게 될 것입니다. 이 도구를 얼마나 잘 활용하느냐가 개인의 경쟁력을 좌우할 겁니다.

Q. AI가 정말로 ‘생각’하게 되려면 무엇이 필요한가요?

A. 아무도 정확한 답은 모릅니다. 하지만 지금 학계와 산업계에서 논의되는 방향은 몇 가지가 있습니다. 세상이 어떻게 돌아가는지에 대한 상식적인 모델(World Model)을 갖추거나, 자신이 내놓은 답을 스스로 검증하고 논리적 오류를 수정하는 능력(Self-reflection)을 갖추는 것 등입니다. 단순히 텍스트만 학습하는 것을 넘어, 실제 세계와 상호작용하며 시행착오를 통해 배우는 ‘강화학습’ 같은 접근도 중요하게 여겨집니다. 아직은 가야 할 길이 멉니다.

Q. 제 업무는 결국 AI에 대체될까요?

A. 업무 중에서 반복적이고, 정해진 패턴을 따르는 부분은 AI나 자동화 도구로 대체될 가능성이 매우 높습니다. 이미 그렇게 되고 있습니다. 하지만 문제 자체를 새롭게 정의하고, 여러 대안의 숨겨진 장단점을 평가하고, 복잡한 이해관계 속에서 최종 결정을 내리는 ‘판단’의 영역은 오히려 그 가치가 더 커질 겁니다. AI를 비판적으로 활용해 내 판단의 정확도와 속도를 높이는 사람이 살아남을 것입니다. 엑셀을 잘 다루는 사람이 엑셀이 없는 사람보다 유리했던 것과 정확히 같은 이치입니다.