논문 브리핑
AI, 새 지식 배우다 옛 지식 잊을라… '망각' 방지하는 RoCo-ACE 기술 등장
글 · 한경모
대규모 언어 모델(LLM)은 방대한 데이터를 학습하며 엄청난 지식을 축적하지만, 새로운 정보를 주입하는 과정에서 예상치 못한 '지식 망각'이나 기존 성능 저하, 즉 '드리프트(drift)' 현상을 겪곤 합니다. 마치 새로운 교과서를 암기하다가 예전에 배운 내용을 헷갈리거나 잊어버리는 학생처럼 말이죠. 이러한 문제는 특히 빠르게 변화하는 정보를 반영해야 하는 인공지능 애플리케이션의 신뢰성에 치명적인 영향을 미칠 수 있습니다.
이러한 난제를 해결하기 위해 등장한 것이 바로 'RoCo-ACE'(Rollout-Conditioned Online Distillation for Retention-Aware Knowledge Injection)라는 새로운 방법론입니다. 기존에도 모델의 기존 지식을 보존하면서 새로운 정보를 주입하는 '온라인 증류(online distillation)' 기법이 있었지만, 이는 모델이 생성한 전체 '롤아웃(rollout)'에 기반해 지식을 증류하는 방식이었습니다. 문제는 이러한 방식이 새롭게 주입되는 사실과 관련된 특정 부분에 대한 감독이 충분하지 않거나, 기존에 모델이 알고 있던 중요한 정보를 간접적으로만 보존하려 한다는 점입니다.
RoCo-ACE는 이 한계를 극복하기 위해 더욱 정교한 접근 방식을 취합니다. '롤아웃 조건부(rollout-conditioned)'라는 이름처럼, 모델이 생성한 롤아웃을 활용하되 새로운 지식 주입의 맥락에 맞춰 보다 선택적이고 집중적인 증류를 수행합니다. 이를 통해 새로운 사실이 모델에 견고하게 통합될 때 기존의 유용한 행동이나 지식들이 훼손되지 않도록 '유지 보수 인식(retention-aware)' 방식으로 학습합니다. 즉, 학습의 초점을 어디에 맞춰야 할지 더 정확하게 지시하여 모델이 불필요하게 기존 지식을 덮어쓰는 것을 방지합니다.
- 기존 지식 주입은 새로운 정보 습득 시 모델의 기존 성능 저하(드리프트)를 유발했습니다.
- 온라인 증류는 드리프트를 완화했지만, 특정 지식 보존에 대한 감독이 부족했습니다.
- RoCo-ACE는 롤아웃에 조건을 부여하여 새로운 정보와 기존 정보를 조화롭게 학습시킵니다.
인사이트
RoCo-ACE는 인공지능 모델이 새로운 지식을 습득하면서도 기존 지식을 잃지 않도록 돕는 혁신적인 증류 기법으로, 변화하는 환경에 적응하며 지속적으로 발전하는 AI의 가능성을 높입니다.
자주 묻는 질문
- AI 모델의 '지식 주입'이 정확히 뭔가요?
- 지식 주입은 이미 학습된 AI 모델에 특정 사실, 도메인 전문 지식, 또는 최신 정보 등을 새롭게 가르쳐 업데이트하는 과정을 의미합니다. 이를 통해 모델은 시의성 있는 정보를 반영하거나 특정 분야에 특화된 응답을 제공할 수 있게 됩니다.
- 모델이 지식을 '잊어버린다'는 게 무슨 의미인가요?
- AI 모델이 새로운 정보를 학습할 때, 이전에 학습했던 지식이나 일반적인 추론 능력이 저하되거나 완전히 사라지는 현상을 말합니다. 이를 '파국적 망각(catastrophic forgetting)'이라고도 하며, 모델의 일관성과 신뢰성을 해치는 주요 문제입니다.
- RoCo-ACE가 기존 방식보다 얼마나 효과적인가요?
- RoCo-ACE는 기존 온라인 증류 방식보다 새로운 지식과 관련된 특정 롤아웃 토큰에 더 높은 가중치를 부여하고, 기존에 생략되었던 사실들을 간접적으로 감독하여 학습합니다. 이를 통해 모델의 기존 지식 보존 능력과 새로운 지식 통합 능력을 동시에 향상시켜 드리프트 현상을 효과적으로 줄일 수 있습니다.
이 기사 어땠어요?
피드백을 남겨주시면 더 나은 맞춤 추천을 만듭니다.