세계와 경제
아마존, 엔지니어들에게 'AI 비용 효율성' 경고: '토큰막싱' 재고 지시
글 · 여우진
아마존이 급속도로 확장하던 인공지능(AI) 통합 전략에 중대한 변화를 알렸습니다. 앤디 재시(Andy Jassy) CEO의 진두지휘 아래 전자상거래 거대 기업 아마존은 지난 몇 년간 전 사업 부문에 걸쳐 AI 기술을 공격적으로 도입해왔습니다. 그러나 최근 CNBC 보도에 따르면, 아마존은 내부 엔지니어들에게 생성형 AI 모델 사용 시 ‘토큰막싱(tokenmaxxing)’을 피하고 비용 효율성을 높이라는 지침을 담은 메모를 배포했습니다. 이는 무분별한 AI 활용으로 인한 비용 증가를 경계하고, 보다 실용적이고 전략적인 AI 도입을 주문하는 신호로 해석됩니다.
‘토큰막싱’은 AI 모델, 특히 대규모 언어 모델(LLM)을 사용할 때 입력되는 정보의 단위인 토큰(token)을 비효율적으로 과도하게 사용하는 경향을 일컫습니다. 이는 LLM의 응답 품질에 큰 영향을 주지 않으면서도 클라우드 컴퓨팅 자원 소비와 운영 비용을 불필요하게 증가시키는 원인이 됩니다. 아마존은 자사의 핵심 수익원 중 하나인 AWS(Amazon Web Services)를 통해 AI 인프라를 제공하는 동시에, 내부적으로도 막대한 AI 투자를 집행하고 있습니다. 이러한 상황에서 내부적인 비용 절감 움직임은 시장과 투자자들에게 상당한 함의를 전달합니다.
일각에서는 아마존이 AI 투자를 축소하는 것이 아니냐는 우려가 제기될 수 있습니다. 그러나 이는 AI 전략의 성숙화 과정으로 보는 시각이 지배적입니다. 아마존의 이번 지침은 AI 도입 속도를 늦추기보다는, AI 기술을 더욱 정교하고 효율적으로 활용하여 실제 비즈니스 가치 창출에 집중하려는 의도로 풀이됩니다. 엔지니어들에게 다음과 같은 사항을 주문한 것으로 알려졌습니다.
- AI 모델 호출 전에 불필요한 데이터를 제거하여 입력 토큰 수를 최적화할 것.
- 주어진 작업에 가장 적합하고 비용 효율적인 모델을 신중하게 선택할 것.
- 반복적인 요청을 캐싱(caching)하거나 효율적인 API 설계를 통해 중복 작업을 최소화할 것.
인사이트
아마존의 '토큰막싱' 경고는 AI 기술 도입의 초기 과열기를 지나, 이제는 효율성과 실제 비즈니스 가치 창출에 집중하는 '성숙기'로 접어들고 있다는 강력한 시장 신호입니다. 이는 아마존의 수익성을 강화할 뿐만 아니라, 다른 빅테크 기업들의 AI 전략에도 영향을 미칠 것입니다.
자주 묻는 질문
- 아마존이 말하는 '토큰막싱'이 정확히 뭐죠?
- 토큰막싱은 대규모 언어 모델(LLM)에 정보를 입력할 때, 불필요하게 많은 '토큰'을 사용하여 AI 자원과 비용을 낭비하는 비효율적인 AI 사용 방식을 의미합니다. 예를 들어, 핵심 질문만 전달해도 될 것을 장황한 배경 설명까지 모두 입력하는 경우가 해당됩니다.
- 이 지시 때문에 아마존의 AI 투자가 줄어드는 건가요?
- 아니요, AI 투자 규모를 줄이는 것이라기보다는 투자의 '방향'을 효율성 중심으로 재조정하는 것에 가깝습니다. 아마존은 여전히 AI를 핵심 성장 동력으로 보지만, 투자 대비 최대의 효과를 얻기 위해 내부 엔지니어들에게 비용 효율적인 AI 모델 사용을 주문하고 있습니다.
- 다른 빅테크 기업들도 아마존처럼 AI 비용 효율성에 신경 쓸까요?
- 네, 그럴 가능성이 매우 높습니다. AI 모델 운영에 막대한 비용이 소요되는 만큼, 아마존의 이번 움직임은 다른 빅테크 기업들도 자사의 AI 전략 및 클라우드 자원 활용에 대한 비용 효율성 검토를 강화하는 계기가 될 수 있습니다.
이 기사 어땠어요?
피드백을 남겨주시면 더 나은 맞춤 추천을 만듭니다.