커뮤니티 소식
'니들' 공개: 제미니 도구 호출 기능을 2,600만 개 매개변수 모델로 압축
'니들(Needle)'이라는 새로운 오픈소스 모델이 공개되며, 구글 제미니(Gemini)의 강력한 도구 호출(tool calling) 기능을 불과 2,600만 개의 매개변수(parameter)를 가진 경량 모델로 압축하는 데 성공했습니다. 이 모델은 소비자 기기에서도 초당 6,000토큰의 선행 처리(prefill) 속도와 초당 1,200토큰의 디코딩(decode) 속도로 작동할 수 있습니다. 도구 호출은 대규모 언어 모델(LLM)이 외부 API나 함수를 호출하여 특정 작업을 수행할 수 있게 하는 핵심 기능으로, 이를 통해 LLM의 활용성을 크게 확장할 수 있습니다. 기존의 LLM은 이러한 기능을 위해 수십억 개 이상의 매개변수를 필요로 했으나, '니들'은 혁신적인 증류(distillation) 기법을 통해 훨씬 작은 크기로도 유사한 성능을 구현해냈습니다. 이는 컴퓨팅 자원이 제한적인 엣지 디바이스나 개인 기기에서도 고성능 AI 기능을 구현할 수 있는 가능성을 열어줍니다. 또한, 오픈소스 모델의 발전은 특정 기업의 독점을 완화하고, 개발자들이 AI 기술을 더 쉽게 접근하고 활용할 수 있도록 함으로써 AI 생태계의 다양성과 혁신을 촉진할 것입니다.
인사이트
'니들' 모델은 제미니의 핵심 기능을 경량화하여 온디바이스 AI 구현 가능성을 높였으며, 오픈소스 혁신을 통해 AI 기술 접근성과 활용성을 민주화하는 중요한 발걸음입니다.
이 기사 어땠어요?
여러분의 피드백이 더 나은 맞춤 추천을 만듭니다.