논문 브리핑
자가 변형 신경망 'AutoHebb', 인간처럼 학습하는 AI의 지평을 열다
글 · 한경모
인공지능 연구에서 오랫동안 풀리지 않던 숙제가 있습니다. 바로 '제로샷 추론(Zero-Shot Inference, ZSI)'과 '연속 학습(Continual Learning, CL)'이라는 두 가지 강력한 인지 능력입니다. 인간과 동물은 단 한 번도 경험하지 못한 상황에서도 추론하고, 새로운 것을 배우면서도 과거 지식을 잊지 않는 놀라운 능력을 가지고 있습니다. 하지만 오늘날 대부분의 인공지능 모델들은 이 점에서 한계를 보이며, 이는 결국 AI가 진정으로 '지능적'이라고 불리기 위한 가장 큰 걸림돌 중 하나로 지목됩니다.
최근 arXiv에 공개된 'AutoHebb: Self-Modifying Neural Networks that Zero-Shot Infer and Continually Learn' 논문은 이 난제에 대한 새로운 해법을 제시합니다. 연구진은 기존 모델들이 가진 문제점, 즉 뇌의 핵심 요소인 강력한 귀납적 편향(inductive biases)과 학습에 대한 자율적 제어(autonomous control of learning)가 부족하다는 점을 지적합니다. 이 두 가지 요소가 결여되어 있어 AI는 새로운 상황에 대한 일반화 능력(ZSI)이나 지속적으로 학습하면서 지식을 통합하는 능력(CL)에서 인간을 따라가지 못한다는 것입니다.
AutoHebb는 이름에서 짐작할 수 있듯이, '자가 변형 신경망(Self-Modifying Neural Networks)'이라는 개념을 도입합니다. 이는 고정된 구조나 가중치를 가진 채 학습하는 것이 아니라, 학습 과정에서 신경망 스스로가 구조나 연결 강도를 조정하며 진화한다는 의미입니다. 특히 'Hebb'는 인공지능 분야의 고전적인 학습 규칙인 '헤비안 학습(Hebbian Learning)'에서 따온 것으로, 이는 뉴런들이 동시에 활성화될 때 그들 간의 연결 강도가 강화된다는 생물학적 원리에서 영감을 받았습니다. 즉, AutoHebb는 외부의 개입 없이, 내부의 경험과 원리에 따라 스스로 변화하며 학습하는 방식을 추구합니다.
이러한 접근 방식은 두 가지 중요한 이점을 가져옵니다.
- 제로샷 추론 능력 강화: 강력한 귀납적 편향을 내재화하여, 한 번도 보지 못한 데이터나 작업에 대해서도 효과적으로 일반화하고 추론할 수 있도록 돕습니다.
- 치명적 망각(Catastrophic Forgetting) 극복: 스스로 학습을 제어하고 네트워크를 재구성함으로써, 새로운 정보를 학습할 때 기존 지식을 덮어쓰는 '치명적 망각' 문제를 해결하고 지식을 축적해 나갑니다.
인사이트
AutoHebb는 신경망이 스스로 변화하며 학습하는 방식을 제시하여, AI의 오랜 숙제인 제로샷 추론과 연속 학습 문제를 해결하고 인간처럼 끊임없이 진화하는 인공지능의 가능성을 엿보게 합니다.
자주 묻는 질문
- 이게 정말 가능한 일인가요? AI가 스스로 학습 방식을 바꾼다는 게 신기하네요.
- AutoHebb는 뇌의 학습 원리 중 하나인 헤비안 학습에서 영감을 받았습니다. 뉴런 간의 연결 강도가 스스로 변화하듯이, AI 모델도 고정된 형태가 아니라 내부의 경험과 원리에 따라 스스로 구조나 가중치를 조정하며 학습하는 것이 핵심 아이디어입니다.
- 기존의 인공지능 모델들과는 뭐가 다른 건가요?
- 기존 모델들은 대부분 한 번 학습된 후에는 고정된 구조와 가중치를 가집니다. 하지만 AutoHebb는 학습 과정에서 네트워크 스스로가 변화하여 새로운 정보를 더 효율적으로 받아들이고, 기존 지식을 잊지 않으면서도 계속해서 새로운 것을 배울 수 있다는 점에서 차이가 있습니다.
- 이 기술이 언제쯤 상용화될 수 있을까요?
- AutoHebb는 아직 초기 단계의 기초 연구입니다. 하지만 이와 같은 생물학적 영감을 받은 연구는 궁극적으로 더 유연하고 효율적인 AI 시스템을 만드는 데 중요한 기반이 됩니다. 상용화까지는 시간이 걸리겠지만, 미래 AI 기술의 핵심적인 방향을 제시한다고 볼 수 있습니다.
이 기사 어땠어요?
피드백을 남겨주시면 더 나은 맞춤 추천을 만듭니다.