논문 브리핑
AI, '암기' 넘어 '이해'하는 순간을 정량화하다: 그로킹 현상의 스케일링 법칙 발견
글 · 한경모
인공지능 모델이 때로는 훈련 데이터를 지나치게 암기하는 것처럼 보이다가도, 특정 시점에 이르러서는 마치 깨달음을 얻은 듯 일반화 능력이 폭발적으로 증가하는 현상이 있습니다. 이를 '그로킹(Grokking)'이라 부르는데, 이는 딥러닝 연구자들 사이에서 오랫동안 흥미로운 수수께끼로 여겨져 왔습니다. 일반적으로 모델이 데이터를 암기하면 과적합(overfitting)으로 이어져 새로운 데이터에 대한 성능이 저하된다고 알려져 있기에, 이러한 그로킹 현상은 기존의 상식과는 거리가 멀었습니다.
그동안 많은 연구가 그로킹이 왜 발생하는지에 대한 이론적 설명을 제시했지만, 정작 '언제' 이 현상이 일어나는지에 대한 정량적인 이해는 부족했습니다. 최근 arXiv에 공개된 논문 'Quantifying the Memorization-to-Generalization Transition: Scaling Laws and Phase Structure in Grokking'은 바로 이 질문에 답을 제시하며 딥러닝의 근본적인 학습 메커니즘을 이해하는 데 중요한 진전을 이루었습니다.
이 연구팀은 두 개의 은닉층(hidden layer)을 가진 MLP(Multi-Layer Perceptron) 모델을 사용하여 모듈러 산술(modular arithmetic) 태스크를 수행하게 했습니다. 약 384가지의 다양한 하이퍼파라미터 구성을 탐색한 결과, 모델이 데이터를 암기하는 단계를 넘어 일반화 단계로 전환되는 시점, 즉 그로킹이 발생하는 훈련 시간(T_grok)에 대한 스케일링 법칙을 발견했습니다. 이는 마치 물리 법칙처럼 특정 변수들이 그로킹 발생 시간에 어떻게 영향을 미치는지 수식으로 설명해줍니다.
핵심적인 발견은 다음과 같습니다.
- 은닉층 크기(H)의 영향: 은닉층의 크기가 커질수록 그로킹 발생 시간이 빨라지는 경향을 보입니다. (H의 약 -0.27 제곱에 비례)
- 데이터셋 크기(D)의 영향: 훈련 데이터셋의 크기가 커질수록 그로킹 발생 시간이 현저히 빨라집니다. (D의 약 -2.04 제곱에 비례)
- 학습률(Learning Rate, eta)의 영향: 학습률 또한 그로킹 발생 시간에 중요한 영향을 미치며, 적절한 학습률은 일반화 도달 시간을 단축하는 것으로 나타났습니다.
인사이트
그로킹 현상이 언제 일어날지 예측 가능한 스케일링 법칙이 발견되면서, 인공지능 모델 훈련의 비효율성을 줄이고 일반화 능력의 근본적 이해를 돕는 새로운 길이 열렸습니다.
자주 묻는 질문
- 그로킹(grokking)이 정확히 무엇인가요?
- 인공지능 모델이 훈련 초기에 주어진 데이터를 단순히 암기하는 단계를 거친 후, 특정 시점에 갑자기 훈련 데이터에 없는 새로운 문제도 해결할 수 있는 일반화 능력을 획득하는 현상을 말합니다. 마치 오랜 암기 끝에 갑자기 깨달음을 얻는 것에 비유할 수 있습니다.
- 이 연구 결과가 인공지능 개발에 어떤 영향을 줄 수 있나요?
- 모델이 언제 일반화 단계에 도달할지 예측할 수 있는 스케일링 법칙을 제시함으로써, 비효율적인 장시간 훈련을 줄이고 모델 개발 시간을 단축하는 데 기여할 수 있습니다. 또한, 모델의 학습 메커니즘을 더 깊이 이해하는 토대가 됩니다.
- 이 연구가 모든 인공지능 모델에 적용될 수 있나요?
- 이 연구는 특정 MLP 모델과 모듈러 산술 문제에 초점을 맞췄지만, 그로킹 현상은 다양한 딥러닝 모델에서 관찰되고 있습니다. 이번 연구가 제시한 정량적 분석 방법론은 다른 복잡한 모델과 태스크에서도 그로킹을 예측하고 이해하는 데 중요한 출발점이 될 수 있습니다.
이 기사 어땠어요?
피드백을 남겨주시면 더 나은 맞춤 추천을 만듭니다.