논문 브리핑
K2-Horizon, AI 모델 6종보다 눈길 끄는 ‘학습 과정 공개’

AI 모델을 내려받을 수 있다고, 만드는 법까지 알 수 있는 것은 아니다.
11월 16일 arXiv에 제출된 IFM 연구진의 K2-Horizon 논문은 모델 6종의 성능과 함께 학습 과정을 추적할 자료를 제시하며 이 간극을 겨냥한다.
9월 먼저 소개한 모델군의 기술 보고서로, 핵심은 완성된 가중치뿐 아니라 중간 체크포인트와 데이터 구성법까지 연구 대상으로 내놓았다는 점이다. 공식 발표
규모는 9억 파라미터의 소형 모델부터 전체 3,750억·토큰당 활성 약 230억 파라미터의 MoE 모델까지 이어진다.
MoE는 입력마다 일부 전문가 모듈을 선택해 계산하므로, 전체 모델의 용량과 실제 연산에 참여하는 규모를 구분해서 봐야 한다.
연구진은 수학·과학 추론부터 코딩, 검색, 사무 자동화까지 겨냥하지만, 이번 연구의 차별점은 다음 세 가지에서 더 선명하다.
- 구조: MoVA는 어텐션의 value 변환에 전문가 선택을 적용하고, softplus 게이트는 전달할 정보의 크기를 조절한다.
- 비교: 이를 적용한 36B-A4B 모델은 같은 데이터로 학습한 32B 밀집 모델에 근접한 성능을, 논문 표현으로 약 7분의 1의 활성 파라미터로 달성했다.
- 데이터: 네 모델이 22조 토큰의 사전학습 데이터와 학습법을 공유해, 데이터 차이를 줄인 상태에서 규모와 희소 구조의 효과를 비교할 수 있게 했다. 논문
인사이트
K2-Horizon은 공개 모델 경쟁의 기준을 결과물의 성능에서 학습 과정의 검증 가능성으로 넓힌다. 후발 기업과 연구팀에는 모델을 실행하는 권한만큼, 능력이 만들어진 경로를 분석하고 수정할 수 있는 자료가 중요하다.
자주 묻는 질문
- 가중치만 공개한 모델이랑 뭐가 달라?
- K2-Horizon 연구진은 최종 가중치 외에 중간 체크포인트, 학습 로그, 코드와 데이터 또는 구성법을 공개한다고 밝혔다. 이를 활용하면 완성된 모델의 응답뿐 아니라 학습 단계에 따른 변화도 연구할 수 있다. [공식 발표](https://ifm.ai/blog/k2/)
- 활성 파라미터가 7분의 1이면 비용도 그렇게 줄어?
- 그렇게 단정할 수 없다. 활성 파라미터는 토큰 처리에 참여하는 규모이며, 실제 비용은 전체 가중치 저장에 필요한 메모리와 하드웨어·실행 환경에도 좌우된다.
- 상업용으로 써도 되고, 학습 데이터도 전부 받을 수 있어?
- 공식 발표에 따르면 모델과 코드는 상업적 이용이 가능한 Apache 2.0으로 제공되며 해당 조건을 따라야 한다. 데이터에는 별도 라이선스가 적용되고, 재배포할 수 없는 자료는 구성법으로 공개하므로 모든 원자료의 다운로드를 보장하는 것은 아니다. [라이선스 안내](https://ifm.ai/blog/k2/)
이 기사 어땠어요?
피드백을 남겨주시면 더 나은 맞춤 추천을 만듭니다.