지금은 인공지능 시대(지인시) 심볼지금은 인공지능 시대
논문 브리핑

K2-Horizon, AI 모델 6종보다 눈길 끄는 ‘학습 과정 공개’

한경모글 · 한경모
K2-Horizon의 여섯 모델과 규모별 구성을 소개하는 IFM 공식 프로젝트 화면
K2-Horizon의 여섯 모델과 규모별 구성을 소개하는 IFM 공식 프로젝트 화면
AI 모델을 내려받을 수 있다고, 만드는 법까지 알 수 있는 것은 아니다. 11월 16일 arXiv에 제출된 IFM 연구진의 K2-Horizon 논문은 모델 6종의 성능과 함께 학습 과정을 추적할 자료를 제시하며 이 간극을 겨냥한다. 9월 먼저 소개한 모델군의 기술 보고서로, 핵심은 완성된 가중치뿐 아니라 중간 체크포인트와 데이터 구성법까지 연구 대상으로 내놓았다는 점이다. 공식 발표 규모는 9억 파라미터의 소형 모델부터 전체 3,750억·토큰당 활성 약 230억 파라미터의 MoE 모델까지 이어진다. MoE는 입력마다 일부 전문가 모듈을 선택해 계산하므로, 전체 모델의 용량과 실제 연산에 참여하는 규모를 구분해서 봐야 한다. 연구진은 수학·과학 추론부터 코딩, 검색, 사무 자동화까지 겨냥하지만, 이번 연구의 차별점은 다음 세 가지에서 더 선명하다.
  • 구조: MoVA는 어텐션의 value 변환에 전문가 선택을 적용하고, softplus 게이트는 전달할 정보의 크기를 조절한다.
  • 비교: 이를 적용한 36B-A4B 모델은 같은 데이터로 학습한 32B 밀집 모델에 근접한 성능을, 논문 표현으로 약 7분의 1의 활성 파라미터로 달성했다.
  • 데이터: 네 모델이 22조 토큰의 사전학습 데이터와 학습법을 공유해, 데이터 차이를 줄인 상태에서 규모와 희소 구조의 효과를 비교할 수 있게 했다. 논문
이는 서로 다른 데이터와 학습 조건으로 만든 모델의 순위만 비교할 때보다 구조적 개선의 효과를 따져보기 좋은 출발점이다. 다만 활성 파라미터가 적다는 결과를 GPU 메모리나 서비스 비용도 같은 비율로 줄어든다는 뜻으로 읽어서는 안 된다. 전체 가중치를 저장해야 하고, 실제 처리 속도에는 메모리 접근과 전문가 간 통신도 영향을 주기 때문이다. 공개 범위는 학습 로그, 단계별 체크포인트, 학습·평가 코드와 데이터 생성 과정까지 포괄한다. 공식 발표는 모델과 코드에 Apache 2.0을 적용하되, 데이터는 개별 라이선스를 따르고 재배포가 불가능하면 구성법을 공개한다고 설명한다. 따라서 ‘완전 공개’라는 표현을 모든 원자료를 제한 없이 받을 수 있다는 뜻으로 받아들이면 곤란하다. 공개 조건 연구진이 생성한 합성 사전학습 데이터는 약 10조 토큰으로, AI가 만든 텍스트가 대규모 학습의 주요 재료가 될 수 있음을 보여준다. 재현성을 중시하는 연구 관점에서 중요한 것은 이 양 자체보다 어떤 생성·선별 과정을 거쳤는지 외부에서 검토할 수 있느냐다. 이 방향은 연구진이 2023년 제시한 LLM360의 공개 원칙을 에이전트 후속학습까지 확장한 흐름과 연결된다. 물론 학습법을 공개해도 대형 모델을 다시 훈련할 자원이 없는 팀에는 실익이 작다는 반론이 가능하다. 하지만 중간 체크포인트와 데이터 구성법은 전체 재학습 없이 특정 단계의 효과를 분석하거나 도메인 적응 실험을 설계할 출발점이 된다. 한국 기업에도 이는 외부 API 이용과 자체 모델 운영을 비교할 때 성능표 외에 학습 경로의 검토 가능성을 따져볼 근거가 된다. K2-Horizon의 장기적 경쟁력은 자체 평가 순위뿐 아니라, 공개 자료를 활용한 외부 재현과 한국어·업무별 검증이 얼마나 쌓이는지에 달려 있다.
인사이트

K2-Horizon은 공개 모델 경쟁의 기준을 결과물의 성능에서 학습 과정의 검증 가능성으로 넓힌다. 후발 기업과 연구팀에는 모델을 실행하는 권한만큼, 능력이 만들어진 경로를 분석하고 수정할 수 있는 자료가 중요하다.

자주 묻는 질문

가중치만 공개한 모델이랑 뭐가 달라?
K2-Horizon 연구진은 최종 가중치 외에 중간 체크포인트, 학습 로그, 코드와 데이터 또는 구성법을 공개한다고 밝혔다. 이를 활용하면 완성된 모델의 응답뿐 아니라 학습 단계에 따른 변화도 연구할 수 있다. [공식 발표](https://ifm.ai/blog/k2/)
활성 파라미터가 7분의 1이면 비용도 그렇게 줄어?
그렇게 단정할 수 없다. 활성 파라미터는 토큰 처리에 참여하는 규모이며, 실제 비용은 전체 가중치 저장에 필요한 메모리와 하드웨어·실행 환경에도 좌우된다.
상업용으로 써도 되고, 학습 데이터도 전부 받을 수 있어?
공식 발표에 따르면 모델과 코드는 상업적 이용이 가능한 Apache 2.0으로 제공되며 해당 조건을 따라야 한다. 데이터에는 별도 라이선스가 적용되고, 재배포할 수 없는 자료는 구성법으로 공개하므로 모든 원자료의 다운로드를 보장하는 것은 아니다. [라이선스 안내](https://ifm.ai/blog/k2/)
공유XTelegram

이 기사 어땠어요?

피드백을 남겨주시면 더 나은 맞춤 추천을 만듭니다.

이런 뉴스를 매일 받아보세요

매일 아침 7시, 그날의 정리를 이메일과 Telegram으로 받아보세요.