논문 브리핑
AI, '정보 차단'으로 더 똑똑해진다? 언어 모델의 예측 불가능한 학습 메커니즘 발견
글 · 한경모
인공지능 개발의 최전선에서는 방대한 데이터와 모델 규모 확장이 성능 향상의 핵심이라는 통념이 지배적이었습니다. 그러나 최근 arXiv에 발표된 한 연구는 이러한 상식에 정면으로 도전하며, 인공지능이 '볼 수 없는 것'을 통해 오히려 더 효과적으로 학습할 수 있다는 놀라운 결과를 제시했습니다. 'What You Can't See Is Still What You Learn: A Preregistered Sixty-Society Confirmation That Evidence Masking Drives Compositional Generalization'이라는 제목의 이 논문은 인공지능 모듈이 접근할 수 있는 정보를 의도적으로 제한하는 '증거 마스킹(evidence masking)' 전략이 복합적인 문제 해결 능력, 즉 구성적 일반화(compositional generalization)를 극적으로 향상시킬 수 있음을 입증했습니다.
구성적 일반화는 인간의 지능을 특징짓는 핵심 능력 중 하나로, 개별적으로 학습한 개념이나 규칙을 조합하여 이전에 보지 못한 새로운 상황이나 문제를 해결하는 능력을 의미합니다. 예를 들어, '파란색 원'과 '빨간색 사각형'을 본 적이 있다면, '빨간색 원'이나 '파란색 사각형'을 예측하거나 이해할 수 있는 능력과 같습니다. 현재 대규모 언어 모델(LLM)을 포함한 많은 인공지능 시스템이 이 구성적 일반화에서 취약점을 보여왔으며, 이는 AI가 겉으로만 그럴듯하게 보일 뿐 실제로는 패턴 암기에 가깝다는 비판의 주요 근거가 되기도 했습니다. 이 연구는 바로 이 난제에 대한 새로운 해결책의 실마리를 제공합니다.
연구팀은 공유된 언어 모델 백본을 기반으로 구축된 60개의 '4셀 시스템'을 활용하여 정교한 실험을 설계했습니다. 각 시스템은 학습된 연속 패킷을 통해 서로 통신했으며, 연구자들은 다섯 가지 조건에서 증거 마스킹, 소유권 마커, 그리고 외부 증거를 중립적인 필러로 대체하는 방식을 달리 적용했습니다. 이는 일종의 '블라인드 테스트'와 유사하게, 인공지능의 특정 부분이 전체 정보를 보지 못하도록 가려 학습하도록 유도하는 것입니다. 그 결과, 마스킹이 적용된 조건에서 시스템은 이전에 접하지 못한 더 복잡한 두 개 또는 세 개의 연산 작업에서 훨씬 더 높은 정확도를 보여주었습니다. 이는 인공지능이 제한된 정보 속에서 표면적인 상관관계 대신 더 심층적이고 추상적인 규칙을 학습하도록 유도되었기 때문으로 해석됩니다.
이러한 결과는 단순히 데이터 양을 늘리는 것만이 능사가 아니며, 데이터 처리 및 모델 아키텍처 설계 방식에 대한 근본적인 재고가 필요함을 시사합니다. 특히 다음과 같은 핵심적인 시사점을 제공합니다.
- 추상적 규칙 학습 강화: 마스킹은 AI가 데이터의 표면적 패턴에 과적합(overfit)되는 것을 방지하고, 숨겨진 인과관계나 구조적 규칙을 찾아내도록 강제합니다.
- 모듈형 AI 설계의 효율성: 모듈 간 정보 흐름을 정교하게 제어함으로써, 각 모듈이 특정 역할에 더 특화된 추론 능력을 개발하도록 돕습니다.
- 더 효율적인 자원 사용 가능성: 더 적은 양의 직접적인 정보로도 더 나은 일반화 성능을 달성할 수 있다면, 장기적으로는 AI 모델 학습에 필요한 데이터 양과 컴퓨팅 자원을 최적화할 수 있습니다.
인사이트
이 연구는 AI 학습에서 '정보의 양'보다 '정보의 질'과 '접근 방식'이 더 중요할 수 있음을 보여주며, AI의 구성적 일반화 능력을 획기적으로 개선할 새로운 아키텍처 및 훈련 전략의 가능성을 제시합니다.
자주 묻는 질문
- 정보를 제한하면 오히려 AI가 더 똑똑해진다는 게 무슨 의미인가요?
- 이 연구는 AI의 특정 모듈이 모든 정보를 볼 수 없도록 '마스킹'했을 때, 이전에 보지 못한 복잡한 문제를 더 정확하게 해결하는 것을 발견했습니다. 이는 AI가 단편적인 데이터 패턴을 암기하는 대신, 추상적이고 근본적인 규칙을 스스로 찾아내도록 유도되었기 때문입니다.
- 이 연구 결과가 모든 AI 모델에 적용될 수 있을까요?
- 아직은 초기 단계의 연구로, 모든 AI 모델에 보편적으로 적용될 수 있는지에 대한 추가 검증이 필요합니다. 하지만 대규모 언어 모델(LLM)과 같이 복합적인 추론이 필요한 시스템의 구성적 일반화 능력 향상에 중요한 단초를 제공할 수 있습니다.
- 궁극적으로 이 기술이 우리 생활에 어떤 영향을 줄 수 있나요?
- 이 기술이 발전하면 AI가 더 적은 데이터와 자원으로도 복잡한 문제를 효율적으로 해결하고, 인간처럼 창의적이고 유연하게 사고하는 데 기여할 수 있습니다. 이는 AI의 신뢰성을 높이고, 다양한 분야에서 AI 활용도를 확장하는 데 도움을 줄 것입니다.
이 기사 어땠어요?
피드백을 남겨주시면 더 나은 맞춤 추천을 만듭니다.