내 방구석 AI, 옆집보다 빨라야 하는 이유

도입: ‘내 컴에 AI 깔기’가 왜 갑자기 전쟁이 됐을까

최근 레딧이라는 해외 커뮤니티의 한 구석이 뜨겁게 달아올랐어요. ‘로컬 라마(LocalLLaMA)’라는, 이름부터 좀 범상치 않은 게시판인데요. 여기서 ‘TensorSharp’이라는 신인과 ‘llama.cpp’라는 고인물(?)이 누가 더 빠른지 성능을 겨루는 벤치마크 결과가 올라오면서 난리가 난 거죠. “우리 텐서샤프가 이겼다!”, “아니다, 특정 조건일 뿐이다!” 댓글 창은 거의 전쟁터가 됐습니다.

이걸 보고 대부분의 사람들은 이렇게 생각할 거예요. ‘웬 괴짜들이 알아듣지도 못할 단어 늘어놓으면서 키보드 배틀을 하고 있나.’ 충분히 그럴 수 있죠. 그런데 말입니다, 이 괴짜들의 싸움이 사실은 앞으로 당신의 책상 위 컴퓨터 풍경을, 아니, AI와 당신의 관계를 통째로 바꿀 중요한 신호탄이라면 어떨까요?

이야기는 ‘로컬 LLM’이라는 개념에서 시작해요. LLM(Large Language Model)은 쉽게 말해 사람 말을 기가 막히게 흉내 내서 글을 쓰는 AI, 바로 챗GPT 같은 걸 말합니다. 지금까지 우리는 대부분 챗GPT 웹사이트에 접속해서 AI를 썼죠. 이건 우리가 AI를 ‘빌려 쓰는’ 거예요. 내 컴퓨터가 아니라 OpenAI라는 회사의 거대한 컴퓨터(클라우드 서버)에 접속해서 쓰는 방식이니까요. 월세 내고 남의 집에 사는 것과 비슷합니다.

‘로컬 LLM’은 정반대입니다. 아예 그 똑똑한 AI를 내 컴퓨터에 ‘설치’해서 쓰는 거예요. 자가 주택을 마련하는 셈이죠. 이러면 뭐가 좋을까요? 일단 인터넷이 끊겨도 쓸 수 있습니다. 월 사용료를 낼 필요도 없고요(물론 전기세는 나갑니다). 가장 중요한 건 ‘프라이버시’입니다. 내가 AI랑 무슨 대화를 나누는지, 어떤 자료를 입력하는지 아무도, 심지어 AI를 만든 회사조차 알 길이 없어요. 내 집 안에서 일어나는 일이니까요. 웃프게도, 회사 기밀문서를 AI한테 요약해달라고 했다가 정보가 유출될까 봐 빡쳐서 로컬 LLM으로 넘어온 분들도 꽤 많습니다.

바로 이 ‘내 컴퓨터에 AI 설치하기’를 가능하게 해주는 핵심 소프트웨어가 있는데, 이걸 ‘추론 엔진’이라고 불러요. 그리고 지금 레딧에서 벌어지는 싸움은, 어떤 추론 엔진이 내 AI를 가장 빠릿빠릿하게 돌려줄 것인가를 둘러싼 자존심 대결인 셈입니다. 이게 왜 단순한 속도 경쟁을 넘어 중요한 의미를 갖는지, 지금부터 제대로 파헤쳐 보죠.

로컬 LLM의 심장, ‘추론 엔진’ 완전정복

이 싸움을 이해하려면 몇 가지 개념을 동네 장보기처럼 쉽게 풀어봐야 해요. 어려운 용어에 미리부터 겁먹을 필요 없습니다. 사실 별거 아니거든요.

먼저 AI 모델, 즉 LLM은 ‘레시피 북’이라고 생각해보세요. 세상의 온갖 지식과 언어 패턴이 담긴, 엄청나게 두꺼운 요리책입니다. 우리가 “오늘 저녁 메뉴 추천해줘”라고 질문을 던지면, AI는 이 레시피 북을 뒤져서 “돼지고기 김치찌개 어떠세요?” 하고 답을 ‘만들어’ 내죠. 이 과정을 ‘추론(Inference)’이라고 합니다. 말 그대로 레시피(지식)를 바탕으로 요리(답변)를 추리해내는 과정이에요.

그런데 이 레시피 북이 너무 무겁고 복잡해요. 최신 AI 모델 파일 하나가 수십 기가바이트(GB)에 달하거든요. 이걸 그냥 열어서 요리하려고 하면 하루 종일 걸릴 겁니다. 그래서 필요한 게 바로 ‘숙련된 요리사’입니다. 이 요리사가 바로 ‘추론 엔진(Inference Engine)’이죠.

추론 엔진은 이 거대한 레시피 북(AI 모델)을 가지고, 우리 집 주방의 조리도구(내 컴퓨터의 CPU나 그래픽카드 같은 부품)를 가장 효율적으로 사용해서 최대한 빨리 요리(답변 생성)를 해주는 전문 소프트웨어예요. 같은 재료와 주방이라도 요리사 실력에 따라 음식이 나오는 속도가 천차만별이잖아요? 똑같습니다. llama.cpp와 TensorSharp은 바로 이 ‘요리사’의 양대 산맥인 셈이죠.

여기서 기술이 한 단계 더 들어갑니다. AI 모델이 너무 크고 무거우니까, 이걸 좀 가볍게 만들려는 시도가 있어요. 이걸 ‘양자화(Quantization)’라고 합니다. 어려운 말 같지만, 그냥 ‘압축’이라고 생각하면 편해요. 고화질 원본 사진을 화질은 약간 손해 보더라도 용량이 작은 JPEG 파일로 바꾸는 것과 같아요. AI 모델의 정확도를 아주 약간 희생하는 대신, 크기를 1/4, 1/8로 줄여서 훨씬 가볍고 빠르게 만들 수 있죠. GGUF 같은 파일 형식은 바로 이런 양자화된 모델을 담는 일종의 ‘진공포장 밀키트’ 규격이고요.

결국 로컬 LLM의 성능은 이 세 가지의 조합으로 결정됩니다.

1. 어떤 ‘레시피 북(AI 모델)’을 쓸 것인가?
2. 이 레시피 북을 얼마나 가볍게 ‘압축(양자화)’했는가?
3. 어떤 ‘요리사(추론 엔진)’가 내 ‘주방(하드웨어)’에서 가장 빨리 요리하는가?

이번에 불붙은 논쟁은 바로 3번, 요리사의 실력을 두고 벌어진 싸움입니다. llama.cpp라는 국민 셰프와 TensorSharp이라는 신예 스타 셰프의 대결이죠.

왕좌의 게임: 챔피언 ‘llama.cpp’ vs 도전자 ‘TensorSharp’

이 두 엔진은 지향점이 명확하게 다릅니다. 이걸 알아야 왜 사람들이 싸우는지 이해할 수 있어요.

‘llama.cpp’는 이 바닥의 터줏대감이자 챔피언입니다. C++라는 프로그래밍 언어로 만들어져서 이름에 ‘cpp’가 붙었죠. 이 녀석의 최대 강점은 ‘압도적인 범용성’입니다. 비유하자면, 동네마다 하나씩 있는 ‘김밥천국’이나 ‘믿음직한 국밥집’ 같아요. 어디서든, 어떤 환경에서든 평타 이상의 맛과 속도를 보장하죠.

• 어떤 컴퓨터든 OK: 엔비디아(NVIDIA) 그래픽카드는 물론, 경쟁사인 AMD 그래픽카드, 심지어 그래픽카드가 없는 구형 컴퓨터의 CPU나 애플의 맥북에서도 돌아갑니다. 말 그대로 가리는 게 없어요.
• 거대한 커뮤니티: 오랫동안 생태계를 지배해 온 만큼, 사용자가 어마어마하게 많습니다. 문제가 생기면 물어볼 곳도 많고, 수많은 개발자가 지금 이 순간에도 코드를 개선하고 있죠. 안정성과 신뢰도가 높습니다.

반면, ‘TensorSharp’은 최근 Unsloth이라는 최적화 프로젝트와 손잡고 혜성처럼 등장한 ‘도전자’입니다. 이 녀석은 ‘선택과 집중’ 전략을 써요. 비유하자면, 특정 지역(엔비디아 GPU)에서만 맛볼 수 있는, 줄 서서 먹는 신상 맛집이죠. 아무 데나 가게를 내는 대신, 가장 유동인구가 많은 상권(AI 연산에 강한 엔비디아 CUDA 기술)에 모든 걸 쏟아부어 최고의 맛(속도)을 구현한 겁니다.

• 오직 엔비디아, 오직 속도: TensorSharp은 엔비디아의 CUDA라는 기술에 거의 모든 걸 걸었습니다. CUDA는 소프트웨어가 엔비디아 GPU의 성능을 뼛속까지 빨아먹을 수 있게 해주는 일종의 ‘전용 언어’에요. TensorSharp은 이 전용 언어를 기가 막히게 구사해서, 특정 모델과 특정 양자화 방식에서 llama.cpp보다 훨씬 빠른 속도를 보여준 거죠.
• 최신 기술 집약체: 메모리 사용을 줄이는 새로운 양자화 기법이나 병렬 처리 기술 등, 가장 핫한 기술들을 공격적으로 도입해서 성능을 극한으로 끌어올리는 데 집중합니다.

이 둘의 특징을 표로 정리하면 더 명확해져요.

결국 이번 벤치마크 논쟁은 ‘어떤 상황에서든 무난하게 빠른 게 최고냐(llama.cpp)’와 ‘특정 조건에서 미친 듯이 빠른 게 최고냐(TensorSharp)’는 해묵은 논쟁의 AI 버전인 셈입니다. 그리고 이 싸움의 배경에는 더 큰 흐름이 자리 잡고 있습니다.

이 싸움, 사실은 ‘PC 조립’ 문화의 귀환이다

이 지점에서 저는 무릎을 탁 쳤습니다. 이 풍경, 너무나 익숙하거든요. 바로 1990년대와 2000년대를 풍미했던 ‘PC 조립’ 문화의 완벽한 재림입니다.

기억나시나요? 용산전자상가에 가서 발품 팔아 부품을 고르던 시절 말입니다. 그때 우리를 밤새워 토론하게 만들었던 주제가 뭐였죠? 바로 ‘인텔 vs AMD’ CPU 전쟁, ‘엔비디아 vs ATI(현 AMD)’ 그래픽카드 전쟁이었습니다. 어떤 CPU가 클럭이 더 높네, 어떤 그래픽카드가 ‘퀘이크’나 ‘스타크래프트’ 프레임이 더 잘 나오네 하면서 벤치마크 숫자 하나에 울고 웃었죠.

지금 로컬 LLM 커뮤니티에서 벌어지는 일이 정확히 똑같습니다. 단지 경쟁의 무대와 측정 단위가 바뀌었을 뿐이에요.

• 과거: 게임 성능의 척도였던 ‘초당 프레임 수(FPS, Frames Per Second)’
• 현재: AI 응답 속도의 척도인 ‘초당 토큰 수(t/s, Tokens Per Second)’

‘토큰’은 AI가 언어를 처리하는 기본 단위인데, 대략 한글 한 글자나 영어 단어 하나가 1~2 토큰 정도라고 생각하면 됩니다. 즉, t/s가 높을수록 AI가 더 빨리, 술술 말을 쏟아낸다는 뜻이죠. 이제 사람들은 게임 프레임 대신 AI 토큰 속도를 가지고 자기 컴퓨터 성능을 자랑하고, 어떤 부품과 어떤 ‘엔진’의 조합이 최고인지 갑론을박을 벌이기 시작한 겁니다. ‘내 컴은 3090에 텐서샤프 조합으로 1초에 150토큰 뽑는다!’ 하는 식으로요.

이건 단순히 그들만의 리그가 아닙니다. ‘좋은 컴퓨터란 무엇인가?’에 대한 정의를 바꾸고 있어요. 지금까지 고사양 그래픽카드는 게이머나 영상 편집자, 3D 디자이너의 전유물로 여겨졌습니다. 하지만 이제는 ‘나만의 강력한 AI 비서를 원하는 모든 사람’에게 필요한 부품이 되고 있습니다. 당장 글 쓰는 저만 해도, 자료 조사를 하거나 글의 초고를 다듬을 때 로컬 LLM의 도움을 받거든요. 당연히 더 빠릿빠릿한 반응 속도를 원하게 되고요. 이 욕망이 PC 시장을 움직이는 새로운 동력이 되는 겁니다.

엔비디아의 ‘CUDA’와 범용 기술인 ‘Vulkan’의 대립도 이 맥락에서 봐야 흥미롭습니다. CUDA는 엔비디아가 자사 그래픽카드에서만 AI 연산이 폭발적으로 빨라지도록 만든 비장의 무기입니다. 일종의 ‘해자(垓子)’를 파서 경쟁자들이 넘어오지 못하게 하는 거죠. 반면 Vulkan은 AMD를 포함한 여러 회사가 함께 미는 개방형 기술입니다. 만약 Vulkan 기반의 추론 엔진 성능이 CUDA만큼 좋아진다면, 엔비디아의 독주에 제동이 걸릴 수도 있습니다. 하드웨어와 소프트웨어가 얽힌 이 패권 다툼의 결과에 따라, 몇 년 뒤 우리가 어떤 그래픽카드를 사야 할지가 결정될 겁니다.

흔한 오해 두 가지, 팩트체크 해드림

이런 기술 경쟁 이야기를 하다 보면 꼭 생기는 오해들이 있습니다. 두 가지만 짚고 넘어갈게요.

오해 1: “벤치마크 보니까 TensorSharp이 이겼네요. 그럼 이제 무조건 TensorSharp 쓰면 되는 거 아닌가요?”

천만의 말씀입니다. 벤치마크는 특정 조건에서 달리기 시합을 한 결과일 뿐이에요. F1 경주차가 서킷에서는 세상에서 제일 빠르지만, 비포장도로 캠핑장 가는 길에서는 SUV보다 못하죠. 이번 벤치마크에서 TensorSharp이 인상적인 결과를 보인 건 사실이지만, 그건 최신 엔비디아 그래픽카드라는 ‘잘 닦인 서킷’ 위에서였습니다. 만약 당신이 AMD 그래픽카드를 쓰거나, 애플 맥북을 쓰거나, 혹은 CPU만으로 AI를 돌려야 하는 환경이라면 TensorSharp은 아예 선택지조차 아닙니다. 그럴 땐 여전히 범용성의 제왕인 llama.cpp가 훨씬 나은, 어쩌면 유일한 선택지일 수 있습니다. ‘최고의 엔진’은 없습니다. ‘내 상황에 맞는 최고의 엔진’이 있을 뿐이죠.

오해 2: “너무 복잡하고 어렵네요. 그냥 원래 하던 대로 챗GPT나 계속 쓰는 게 낫겠어요.”

물론 지금 당장은 그게 편할 수 있습니다. 하지만 로컬 LLM을 설치하고 사용하는 과정은 하루가 다르게 쉬워지고 있어요. 1년 전만 해도 개발자나 쓸 수 있는 물건이었지만, 지금은 ‘Ollama’, ‘LM Studio’, ‘Jan’처럼 거의 클릭 몇 번으로 설치와 실행이 끝나는 프로그램들이 쏟아져 나오고 있습니다. 이런 프로그램들은 내부적으로 llama.cpp 같은 엔진을 사용하죠. 사용자는 복잡한 엔진의 존재를 몰라도, 그냥 프로그램이 업데이트되면서 점점 빨라지는 혜택을 누리게 될 겁니다. 우리가 자동차를 몰기 위해 엔진의 작동 원리를 알 필요가 없는 것처럼요. 이 치열한 엔진 경쟁은 결국 최종 사용자인 우리를 편하게 만들어주기 위한 과정입니다. 프라이버시, 비용 절감, 커스터마이징이라는 엄청난 장점을 포기하기엔 너무 아깝죠.

그래서, 앞으로 뭘 봐야 할까? (독자를 위한 관전 포인트)

이 흥미진진한 전쟁, 앞으로는 어떤 점들을 지켜보면 더 재미있을까요? 세 가지 관전 포인트를 짚어드립니다.

1. `애플의 참전 혹은 반격`: 애플은 ‘온디바이스 AI’, 즉 기기 자체에서 돌아가는 AI에 거의 모든 것을 걸고 있습니다. 아이폰, 아이패드, 맥에 들어가는 M 시리즈 칩은 CPU와 GPU가 메모리를 함께 쓰는 ‘통합 메모리 구조’ 덕분에 로컬 AI 구동에 구조적으로 유리해요. 지금은 llama.cpp 같은 오픈소스 엔진에 많이 의존하고 있지만, 애플이 마음먹고 자체적으로 최적화된 추론 엔진을 내놓는 순간, 생태계의 판도가 바뀔 수 있습니다. 애플의 WWDC(세계 개발자 회의)를 주목해야 하는 이유입니다.

1. `AMD와 Vulkan의 약진`: 현재 AI 시장은 엔비디아의 CUDA가 꽉 잡고 있지만, 모두가 이 독점을 좋아하는 건 아닙니다. 특히 게이밍 시장의 강자 AMD 입장에서는 자사 GPU에서도 AI가 잘 돌아가야 하죠. 그래서 AMD는 Vulkan이나 ROCm 같은 개방형 기술에 힘을 싣고 있습니다. 만약 llama.cpp나 다른 엔진들이 이 기술들을 활용해 CUDA에 버금가는 성능을 내준다면, 소비자들은 더 이상 AI 때문에 울며 겨자 먹기로 엔비디아 그래픽카드를 살 필요가 없어집니다. 선택지가 넓어지는 거죠. 이건 하드웨어 시장 전체를 흔들 수 있는 변수입니다.

1. `‘원클릭 솔루션’의 대중화`: 결국 기술은 평범한 사람들도 쓸 수 있을 만큼 쉬워져야 꽃을 피웁니다. 지금의 엔진 경쟁은 결국 ‘누가 더 쓰기 편한 통합 프로그램에 탑재되는가’로 귀결될 가능성이 높습니다. 복잡한 설정 없이, 그냥 프로그램 하나 내려받아 설치하면 내 컴퓨터에 딱 맞는 최적의 엔진과 모델이 알아서 세팅되는 ‘원클릭 솔루션’ 말입니다. 기술 경쟁의 최종 승자는 가장 빠른 놈이 아니라, 가장 편한 놈이 될 수도 있습니다.

마무리: 결국 AI의 주인은 당신이 되어야 한다

오늘 우리는 레딧의 한구석에서 벌어진 ‘덕후들의 싸움’으로 시작해 PC 조립 문화의 부활과 AI 산업의 패권 다툼까지, 꽤 먼 길을 달려왔습니다. 이 모든 이야기의 중심에는 하나의 질문이 있습니다. ‘AI의 통제권을 누가 가질 것인가?’

챗GPT나 클로드 같은 클라우드 AI는 편리하고 강력합니다. 하지만 그건 우리가 거대 기업의 ‘세입자’로 살아가는 방식입니다. 그들이 정한 규칙을 따라야 하고, 요금을 내야 하며, 내 데이터가 어떻게 쓰이는지에 대한 불안감을 완전히 떨치기 어렵습니다. 그들이 서비스를 중단하면 우리는 아무것도 할 수 없죠.

반면 로컬 LLM은 ‘자가 주택’을 소유하는 방식입니다. 내 컴퓨터, 내 데이터, 내 규칙. 조금 번거로울 수는 있어도, 누구의 간섭도 받지 않는 완전한 자유와 통제권을 갖게 됩니다. 나만의 필요에 맞게 AI를 튜닝해서 ‘세상에 하나뿐인 나만의 AI 비서’를 만들 수도 있고요.

llama.cpp와 TensorSharp의 경쟁은 바로 이 ‘소유’의 경험을 더 빠르고, 더 쾌적하고, 더 가치 있게 만들어주기 위한 건강한 성장통입니다. 이 경쟁 덕분에 우리는 더 적은 비용과 노력으로 더 강력한 AI를 내 방구석에 들여놓을 수 있게 될 겁니다. 이것이야말로 진정한 의미의 ‘AI 민주화’ 아닐까요?

클라우드 위의 AI가 ‘빌려 쓰는 펜’이라면, 내 컴퓨터의 AI는 ‘내 손에 꼭 맞는 만년필’이 되는 거죠. 누가 뭘 쓰든 간섭할 수 없는, 오롯이 나만의 도구 말입니다.

독자가 던질 법한 질문들

Q. 그래서 제 컴퓨터에서도 로컬 LLM이 돌아가나요? 사양이 어느 정도 돼야 해요?

A. 솔직히 말해 ‘케바케’입니다. 간단한 모델을 느긋하게 쓰는 정도라면 16GB 이상의 램(RAM)을 갖춘 요즘 노트북에서도 충분히 가능해요. 하지만 크고 똑똑한 최신 모델을 빠르게, 스트레스 없이 돌리고 싶다면 이야기가 달라집니다. 이럴 땐 VRAM(비디오 메모리)이 넉넉한 엔비디아 그래픽카드, 예를 들어 RTX 3060 12GB 모델 이상을 권장합니다. 12GB VRAM이 로컬 AI 시대의 새로운 ‘국민 사양’이 되어가는 분위기예요. PC를 업그레이드할 새로운 핑계가 생긴 셈이죠.

Q. 너무 어려워 보여요. 개발자 아니면 못 쓰는 거 아닌가요?

A. 1년 전이라면 ‘네, 맞아요’라고 답했을 겁니다. 하지만 지금은 아닙니다. ‘Ollama’, ‘LM Studio’, ‘Jan’ 같은 프로그램들 덕분에 설치 과정이 놀랍게 간단해졌어요. 웹 브라우저 설치하는 것과 크게 다르지 않을 정도입니다. 오늘 다룬 TensorSharp 대 llama.cpp 같은 복잡한 경쟁은 자동차 엔진룸 안에서 벌어지는 일과 같아요. 대부분의 운전자(사용자)는 그냥 프로그램이 업데이트되면서 차가 더 잘 나가는(AI가 빨라지는) 경험만 누리면 됩니다.

Q. 추론 엔진에 따라 속도만 다른 건가요? AI 모델 자체의 성능(똑똑함)도 달라지나요?

A. 아주 좋은 질문입니다. 결론부터 말하면, 추론 엔진은 AI의 ‘뇌(지능)’를 바꾸지 않습니다. 오직 그 뇌가 ‘생각하는 속도’에만 영향을 줍니다. AI의 지능 자체는 우리가 다운로드하는 거대한 ‘모델 파일(GGUF 같은)’에 의해 결정됩니다. 즉, 똑같은 모델 파일을 llama.cpp로 돌리든 TensorSharp으로 돌리든 답변의 퀄리티는 이론적으로 동일합니다. 어떤 엔진을 선택할지는 순전히 내 컴퓨터 부품(하드웨어)에서 최고의 효율을 뽑아내기 위한 기술적인 선택일 뿐입니다.