기술 트렌드
1조 매개변수에 육박하는 개방형 LLM 'Inkling' 등장, 거대 AI 경쟁의 새로운 변수
글 · 정우석
인공지능 분야에서 '규모의 경제'는 여전히 강력한 힘을 발휘하고 있습니다. 최근 Thinking Machines가 선보인 'Inkling'은 이러한 흐름을 다시 한번 확인시켜주는 동시에, 거대 언어 모델(LLM) 생태계에 새로운 질문을 던지고 있습니다. 9750억 개에 달하는 방대한 매개변수를 지닌 이 모델은 '오픈-웨이트(Open-Weights)' 형태로 공개되어 전 세계 개발자와 연구자들의 주목을 받고 있습니다.
Inkling은 파라미터 수만 보면 1조에 근접하며, 이는 오픈AI의 GPT-3보다 훨씬 크고, 라마(Llama) 시리즈의 최신 모델인 Llama 3 70B나 미스트랄(Mistral)의 Mixtral 8x22B보다도 압도적으로 큰 규모입니다. 이러한 거대함은 이론적으로 모델이 더 넓은 범위의 지식을 흡수하고 복잡한 추론 능력을 갖출 잠재력을 의미합니다. 기존의 오픈-웨이트 모델들이 주로 수백억, 많아야 수천억 매개변수 수준에서 경쟁했던 것과 비교하면, Inkling은 공개된 모델 중 거의 전례 없는 거대한 몸집을 자랑합니다.
하지만 '크다'는 것만이 전부는 아닙니다. Inkling이 단순히 대규모 모델에 그치지 않고 의미 있는 지점으로 평가받는 이유는 '오픈-웨이트' 정책 때문입니다. 오픈-웨이트는 모델의 가중치(weights)를 공개하여 누구나 다운로드하고 실행할 수 있도록 하는 방식으로, 완전히 소스코드까지 투명하게 공개하는 '오픈-소스(Open-Source)'와는 약간의 차이가 있습니다. 그러나 이는 폐쇄적인 거대 상업 모델에 맞서 연구 커뮤니티와 기업들이 자체적으로 AI 역량을 구축할 수 있는 기회를 제공한다는 점에서 중요합니다. Thinking Machines는 Inkling을 통해 최첨단 대규모 모델의 문턱을 낮추고, 다양한 응용 분야에서의 혁신을 가속화하려는 의도로 보입니다.
물론 일각에서는 이처럼 거대한 모델의 실용성에 의문을 제기합니다. 9750억 매개변수 모델을 훈련하는 데 드는 막대한 컴퓨팅 자원과 시간은 물론, 추론(inference) 과정에서의 운영 비용 또한 상당할 것입니다. GPU 수천 개가 투입되는 훈련 과정은 차치하고라도, 인프라가 부족한 중소기업이나 개인 개발자가 이 모델을 상업적으로 활용하기는 쉽지 않을 것이라는 지적입니다. 실제로 더 작고 효율적인 소형 모델(SLM)이나 Mixture-of-Experts(MoE) 같은 구조가 특정 작업에서 대형 모델 못지않은 성능을 내며 효율성을 강조하는 추세도 있습니다.
그러나 이러한 반론에도 불구하고 Inkling의 등장은 의미가 큽니다. 거대 모델은 여전히 인공지능의 최전선에서 새로운 능력을 탐구하는 데 필수적입니다. 학계와 기업들은 Inkling과 같은 대규모 오픈-웨이트 모델을 활용하여 새로운 아키텍처를 실험하고, 최적화 기법을 개발하며, 특정 도메인에 특화된 모델을 만드는 기반으로 삼을 수 있습니다. 이는 거대 기술 기업들만이 독점하던 '스케일'의 영역에 더 많은 플레이어가 참여할 수 있게 하는 중요한 전환점이 될 수 있습니다.
업계 전문가들은 Inkling이 대규모 모델의 성능과 접근성 사이의 균형점을 찾는 데 기여할 것으로 보고 있습니다. 이러한 모델의 공개는 궁극적으로 AI 연구의 투명성을 높이고, 특정 기업에 종속되지 않는 독립적인 AI 생태계 발전을 촉진할 것입니다. 앞으로 Inkling이 어떤 혁신을 이끌어낼지, 그리고 더 나아가 거대 AI의 개방형 개발이라는 새로운 흐름을 만들어낼지 귀추가 주목됩니다.
인사이트
9750억 매개변수의 오픈-웨이트 LLM Inkling은 대규모 AI 모델의 잠재력을 대중에게 개방하며, 거대 인공지능 개발의 투명성과 접근성을 높이는 중요한 계기가 될 것입니다. 이는 AI 기술 발전의 새로운 동력이자 동시에 막대한 자원 요구라는 숙제를 안겨줍니다.
자주 묻는 질문
- Inkling이 9750억 매개변수라고 하는데, 이게 얼마나 큰 모델인가요?
- 9750억 매개변수는 현재까지 공개된 오픈-웨이트 언어 모델 중 가장 큰 규모에 속합니다. 이는 오픈AI의 GPT-3(1750억 매개변수)보다 훨씬 크고, Meta의 Llama 3 70B나 Mistral의 Mixtral 8x22B 같은 주요 오픈-웨이트 모델들을 압도하는 수치입니다.
- Inkling은 '오픈-웨이트'라고 하던데, 그럼 완전한 오픈-소스인가요?
- 아닙니다. '오픈-웨이트'는 모델의 가중치(weights)를 공개하여 누구나 다운로드해 실행할 수 있게 하는 방식입니다. 하지만 모델을 훈련시킨 코드나 데이터셋, 상세한 훈련 방법론 등이 완전히 공개되는 '오픈-소스'와는 다소 차이가 있습니다. 핵심 구성 요소는 열려 있으나, 전체 개발 과정의 투명성은 다를 수 있습니다.
- 이렇게 큰 모델을 일반 기업이나 개발자가 사용하기 어렵지 않나요?
- 맞습니다. 9750억 매개변수 모델은 훈련뿐 아니라 추론(실행)에도 막대한 컴퓨팅 자원과 메모리를 요구합니다. 대부분의 중소기업이나 개인 개발자가 직접 운영하기는 어렵지만, 클라우드 서비스 형태로 제공되거나 모델 경량화 기술을 통해 파생 모델이 나올 가능성은 충분히 있습니다.
이 기사 어땠어요?
피드백을 남겨주시면 더 나은 맞춤 추천을 만듭니다.