기술 트렌드
스포티파이, '포털'로 클로드 코드 LLM 토큰 사용량 90% 절감… AI 개발비 대폭 줄인 비결은?
글 · 정우석
음악 스트리밍 서비스 스포티파이가 자체 개발한 도구 '포털(Portal)'을 통해 앤트로픽의 코드 특화 모델인 클로드 코드(Claude Code) 사용 시 발생하는 토큰 비용을 최대 90%까지 줄였다고 밝혀 AI 개발 업계의 주목을 받고 있습니다. 대규모 언어 모델(LLM)을 활용하는 개발자들의 가장 큰 고민 중 하나가 바로 맥락(context) 창 크기와 토큰 비용 문제였는데, 스포티파이는 이를 해결할 실질적인 방안을 제시한 것입니다. 특히 코드 생성, 분석, 수정 등 LLM을 활용한 개발 작업에서 불필요한 코드 블록이나 주석, 보일러플레이트 코드가 토큰 비용을 불필요하게 증가시키는 원인이었습니다.
스포티파이의 포털은 기본적으로 '추상 구문 트리(Abstract Syntax Tree, AST)' 분석 기술을 활용합니다. 개발자가 LLM에 코드를 질의할 때, 포털은 해당 코드베이스에서 질의와 직접적으로 관련 없는 부분을 지능적으로 식별하고 제거합니다. 예를 들어, 특정 함수를 개선하려 할 때, 해당 함수 정의와 몇몇 관련 유틸리티 함수만 남기고 나머지 수십, 수백 라인의 불필터링된 코드 파일은 제거하는 방식입니다. 이는 LLM이 분석해야 할 정보의 양을 획기적으로 줄여줄 뿐만 아니라, LLM이 더 핵심적인 코드에 집중하게 하여 답변의 정확성과 품질을 높이는 부수적인 효과도 가져옵니다.
이러한 접근 방식의 중요성은 다음과 같이 요약할 수 있습니다.
- 비용 절감: 불필요한 토큰 전송을 막아 LLM API 호출 비용을 직접적으로 줄입니다.
- 성능 향상: LLM이 더 간결하고 핵심적인 맥락에 집중하게 하여 응답 속도를 높이고 결과물의 유의미성을 개선합니다.
- 개발 효율성: 개발자가 직접 코드를 줄이거나 프롬프트를 최적화하는 수고를 덜어줍니다.
인사이트
스포티파이의 '포털'은 LLM 활용의 핵심 난제인 맥락 창 관리와 토큰 비용 문제를 실질적으로 해결하며, AI 개발 효율성과 비용 절감을 동시에 달성할 수 있음을 보여주는 중요한 사례입니다.
자주 묻는 질문
- 스포티파이의 '포털'은 클로드 코드에만 적용되나요?
- 아닙니다. 포털은 코드를 분석하는 기술이므로, 클로드 코드 외에 GPT-4 등 다른 LLM의 코드 분석이나 생성 작업에도 유사하게 적용될 수 있습니다. 특정 LLM에 종속된 기술이라기보다는 일반적인 코드 최적화 방법론에 가깝습니다.
- LLM의 맥락 창이 계속 커지면 이런 도구가 필요 없어지는 거 아닌가요?
- 맥락 창이 커져도 포털과 같은 도구의 가치는 여전히 큽니다. 불필요한 코드를 제거하면 LLM이 핵심 정보에 더 집중하여 답변 품질이 높아지고, 큰 맥락 창을 활용할 때 발생하는 더 높은 토큰 비용을 절감할 수 있기 때문입니다.
- 다른 회사들도 포털 같은 솔루션을 자체적으로 개발해야 하나요?
- 스포티파이처럼 대규모 코드베이스와 LLM 활용이 많은 기업은 자체 개발을 고려할 수 있습니다. 하지만 이러한 기능을 제공하는 외부 도구나 서비스가 등장하거나, 미래에는 LLM API 자체에 유사한 기능이 내장될 수도 있어 모든 기업이 직접 개발할 필요는 없을 것입니다.
이 기사 어땠어요?
피드백을 남겨주시면 더 나은 맞춤 추천을 만듭니다.