최신 AI 도입하고도 생산성이 바닥인 진짜 이유

1. AI 코딩 비서, 옆자리에 앉혀보니

요즘 개발자 커뮤니티에 가면 다들 인공지능(AI) 코딩 비서 이야기를 합니다. 혼자서 웬만한 신입 개발자 몫은 거뜬히 해낸다는 깃헙 코파일럿(GitHub Copilot) 같은 도구 말입니다. 저도 궁금해서 최근 진행한 작은 개인 프로젝트에 며칠간 이 AI 비서를 붙여서 써봤습니다. 결론부터 말하면, 소문대로 일은 정말 빨리합니다. 반복적인 코드나 인터넷 검색하면 금방 나올 법한 기능은 눈 깜짝할 사이에 뚝딱 만들어냅니다. 타이핑하는 시간이 줄어드니 확실히 편했습니다.

그런데 이상한 일이 벌어졌습니다. 며칠 지나지 않아 저는 이 AI 비서가 만든 코드를 뜯어고치는 데 더 많은 시간을 쓰고 있었습니다. 얼핏 보면 멀쩡한데, 자세히 들여다보면 미묘한 논리적 오류가 숨어 있거나, 우리 프로젝트의 전체적인 구조와 맞지 않는 '자기만의 방식'을 고집하는 경우가 잦았습니다. 마치 말귀를 완벽히 알아듣지 못하는 외국인 인턴과 일하는 기분이었습니다. 지시한 내용은 빠르게 처리하지만, 그 지시의 진짜 맥락이나 숨은 의도까지 파악하지는 못하는 겁니다.

결국 키보드를 두드리는 시간은 줄었지만, 전체적인 문제 해결 시간은 오히려 늘어난 것 같았습니다. 이 작은 경험은 최근 기술 업계를 휩쓸고 있는 'AI 생산성 혁명'이라는 거대한 구호에 대해 다시 생각하게 만들었습니다. 우리는 정말 AI 덕분에 더 일을 잘하게 되고 있는 걸까요? 아니면 그저 더 빨리, 더 많은 실수를 저지르고 있는 건 아닐까요?

2. AI의 진짜 직업: 유능하지만 눈치 없는 번역기

이 문제를 이해하려면 먼저 요즘 유행하는 AI, 특히 LLM이 정확히 무엇을 하는 존재인지 알아야 합니다. LLM은 '대규모 언어 모델(Large Language Model)'의 약자인데, 기술적인 설명은 차치하고 이렇게 이해하면 쉽습니다. 세상에 존재하는 수십억, 수백억 개의 문장을 통째로 읽고 통계적으로 가장 그럴듯한 다음 단어를 예측해 문장을 계속 이어 붙이는 기계입니다. 스스로 생각하거나 창조하는 게 아니라, 방대한 데이터를 기반으로 가장 확률 높은 조합을 찾아내는 것에 가깝습니다.

이는 마치 한국말을 전혀 모르는 사람이 '사랑해'라는 단어 뒤에는 '너를'이 나올 확률이 높다는 사실만 외워서 문장을 만드는 것과 비슷합니다. 그가 '사랑'의 감정을 이해하는 것은 아닙니다. AI 코딩 도우미도 마찬가지입니다. 수많은 공개 코드를 학습해 '이런 함수 다음에는 저런 코드가 오더라'는 패턴을 기가 막히게 흉내 낼 뿐, 이 코드가 왜 필요하고 어떤 문제를 해결하는지에 대한 '이해'는 없습니다.

그래서 AI는 '실행(Execution)'의 명수이지만, '판단(Judgment)'과 '전략(Strategy)'은 젬병입니다. 좋은 지시를 내리면 좋은 결과물을 무서운 속도로 뱉어내지만, 나쁜 지시나 모호한 지시를 내리면 나쁜 결과물을 똑같이 무서운 속도로, 그것도 아주 대량으로 쏟아냅니다. AI는 지시의 품질을 증폭시키는 확성기이지, 스스로 길을 찾는 내비게이션이 아닙니다. 이 간단한 사실을 오해하는 데서 모든 문제가 시작됩니다.

3. 데자뷔: CASE 도구와 4세대 언어의 추억

사실 이런 풍경이 처음은 아닙니다. IT 업계에 20년 이상 몸담은 분들이라면 지금의 AI 열풍에서 기시감을 느낄 겁니다. 1980년대와 90년대, 업계에는 'CASE(Computer-Aided Software Engineering) 도구'와 '4세대 언어(4GL)'라는 것이 있었습니다.

이들의 구호는 지금과 놀랍도록 닮아 있었습니다. "이제 복잡한 코딩을 몰라도, 영어를 하듯 쉽게 프로그램을 개발할 수 있다!" "개발자가 아닌 현업 담당자도 직접 업무에 필요한 시스템을 만들 수 있다!" 이 도구들은 그래픽 인터페이스로 네모 상자를 끌어다 놓으면 자동으로 코드를 생성해주는, 당시로서는 혁신적인 물건이었습니다.

결과는 어땠을까요? 처참한 실패로 끝났습니다. 얼마 지나지 않아 사람들은 깨달았습니다. 소프트웨어 개발에서 진짜 어려운 부분은 코드를 타이핑하는 행위(How)가 아니라, 무엇을 만들어야 할지 정확히 정의하고 복잡한 비즈니스 규칙을 논리적으로 설계하는 과정(What & Why)이라는 사실을 말입니다. CASE 도구는 엉망진창인 요구사항과 설계를 그저 더 빨리, 더 그럴듯하게 포장해주는 기계에 불과했습니다. 결국 이 도구들로 만든 시스템은 유지보수가 불가능한 '스파게티 코드' 덩어리가 되어 얼마 못 가 버려졌습니다.

최근 몇 년간 유행한 '노코드(No-Code)·로코드(Low-Code)' 플랫폼도 비슷한 맥락입니다. 도구는 점점 쉬워지지만, '무엇을 만들 것인가'라는 본질적인 질문의 무게는 조금도 가벼워지지 않았습니다. AI 역시 이 역사의 연장선 위에 있습니다. 코드를 쓰는 행위, 글을 쓰는 행위, 그림을 그리는 행위를 자동화할수록, 무엇을 그리고 쓸지에 대한 '판단'과 '기획'의 가치는 오히려 더 중요해집니다. 기술은 바뀌었지만, 인간 조직이 부딪히는 문제의 본질은 그대로입니다.

4. 문화가 AI를 아침 식사로 먹어치울 때

결국 AI라는 강력한 도구의 성능을 결정하는 것은 '조직 문화'라는 운영체제(OS)입니다. 같은 AI 도구를 도입해도 어떤 조직은 날개를 달지만, 어떤 조직은 더 깊은 수렁에 빠집니다. 구체적인 두 가지 시나리오를 비교해 보겠습니다.

- 시나리오 1: '나쁜 문화'의 조직 (침묵, 책임 회피, 개인주의) 한 주니어 개발자가 AI 코딩 비서를 이용해 코드를 작성합니다. AI가 제안한 코드가 뭔가 이상하지만, 질문했다가 무능해 보일까 봐 두려워 그냥 커밋합니다. 코드 리뷰를 맡은 선임 개발자는 바쁘다는 핑계로 대충 훑어보고 승인합니다. 결국 이 코드는 나중에 심각한 장애를 일으키고, 팀은 범인 색출과 책임 공방으로 며칠을 허비합니다. 마케팅팀에서는 AI로 광고 문구를 100개 뽑아냅니다. 누구도 '이 문구들은 우리 브랜드 정체성과 맞지 않는다'고 감히 말하지 못합니다. 결국 영혼 없는 광고가 대량으로 집행되고 브랜드 이미지만 훼손됩니다. 이 조직에서 AI는 '실수를 더 빨리, 더 많이 저지르는 도구'일 뿐입니다.

- 시나리오 2: '좋은 문화'의 조직 (심리적 안정감, 투명한 공유, 공동의 목표) 한 주니어 개발자가 AI가 제안한 이상한 코드를 발견하고 팀 채팅방에 공유합니다. "코파일럿이 이런 코드를 제안했는데, 왜 이렇게 짰는지 이해가 안 가네요. 더 좋은 방법이 있을까요?" 이걸 본 동료들이 각자의 의견을 내놓고 토론을 벌입니다. 그 과정에서 팀 전체가 AI의 한계를 배우고, 문제에 대한 더 나은 해결책을 찾습니다. 마케팅팀은 AI를 브레인스토밍 파트너로 씁니다. AI가 던져준 100개의 초안을 보며 '이 아이디어는 우리 제품의 이 부분과 연결하면 좋겠다', '이 표현은 너무 진부하니 비틀어보자'며 인간의 창의성을 더합니다. 그 결과, 완전히 새로운 캠페인 아이디어 3개가 탄생합니다. 이 조직에서 AI는 '인간의 창의성과 판단력을 증폭시키는 지적인 파트너'가 됩니다.

이 차이를 표로 정리하면 다음과 같습니다.

피터 드러커의 유명한 말 "문화가 전략을 아침 식사로 먹는다(Culture eats strategy for breakfast)"를 빌리자면, "문화는 AI를 아침 식사로 먹어치웁니다." 아무리 비싼 AI 전략을 세워도, 나쁜 문화 앞에서는 속수무책입니다.

5. 우리가 AI에 대해 가진 가장 큰 오해 두 가지

이 지점에서 많은 사람이 AI의 잠재력을 오해하는 두 가지 흔한 함정을 짚고 넘어가야 합니다.

첫 번째 오해는 'AI가 인간의 일자리를 빼앗을 것'이라는 막연한 공포입니다. 이건 절반만 맞습니다. 정확히 말하면, AI는 일자리 자체를 빼앗는 게 아니라 일자리에서 '판단이 필요 없는 반복적인 부분'을 대체합니다. 그리고 그 자리에 '더 높은 수준의 판단'을 요구하는 새로운 과업을 올려놓습니다. 가령 작가의 일은 더 이상 문장을 고통스럽게 쓰는 것이 아니라, AI가 쏟아낸 수많은 문장 중 옥석을 가리고, 방향을 지시하고, 인간적인 숨결을 불어넣는 '편집자'이자 '감독'의 역할로 바뀝니다. 개발자의 일은 자잘한 문법과 싸우는 것이 아니라, 전체 시스템의 구조를 설계하고 복잡한 비즈니스 문제를 해결하는 '설계자'의 역할에 더 가까워집니다. 즉, AI는 우리를 대체하는 게 아니라 우리의 직업을 '상위 레벨'로 강제 업그레이드합니다.

두 번째 오해는 'AI 도입의 성과는 속도로 측정된다'는 믿음입니다. 많은 리더가 'AI 도입 후 개발 속도가 20% 빨라졌다'거나 '콘텐츠 생산량이 3배 늘었다'는 식의 보고를 원합니다. 하지만 이는 가장 경계해야 할 '허상 지표(Vanity Metric)'입니다. 앞서 말했듯, 나쁜 결과물을 더 빨리, 더 많이 만드는 것은 생산성 향상이 아니라 낭비의 가속화일 뿐입니다. 진짜 생산성은 '얼마나 빨리 만들었나'가 아니라 '우리가 만든 것이 고객의 진짜 문제를 해결했는가', '우리 제품이 더 나은 가치를 제공하게 되었는가' 같은 '결과(Outcome)'로 측정해야 합니다. 좋은 문화는 이 '결과'에 집착하고, 나쁜 문화는 '산출물(Output)'의 숫자에 집착합니다.

6. 이제 '판단의 값'이 비싸지는 시대

결론은 명확합니다. AI 기술이 발전해 '실행'의 비용이 제로에 가까워질수록, 반대로 '판단'의 가치는 천정부지로 치솟습니다. 어떤 방향으로 가야 할지 결정하는 능력, 여러 대안의 미묘한 차이를 구별하는 안목, AI의 결과물이 옳은지 그른지 평가하는 비판적 사고가 개인과 조직의 경쟁력을 좌우하는 시대가 온 것입니다.

저는 이걸 '판단의 값'이 올라간다고 표현합니다. 예전에는 좋은 판단을 내려도 그것을 실행에 옮기는 데 많은 시간과 비용이 들었습니다. 하지만 이제는 좋은 판단 하나만 있으면 AI가 순식간에 현실로 만들어줍니다. 반대로, 나쁜 판단의 대가도 훨씬 혹독해졌습니다. 예전에는 나쁜 판단이 현실화되기까지 여러 단계의 제동 장치가 있었지만, 이제는 리더의 잘못된 판단 하나가 AI라는 확성기를 통해 조직 전체를 순식간에 잘못된 방향으로 이끌 수 있습니다.

이 '판단력'은 개인이 책 몇 권 읽는다고 길러지는 것이 아닙니다. 솔직한 의견이 자유롭게 오가고, 실패를 통해 배우는 것을 장려하며, 우리 조직이 무엇을 위해 존재하는지에 대한 공감대가 있는 문화 속에서만 집단적인 판단력이 자라납니다. 결국 리더의 역할은 최신 AI 기술을 사 오는 '쇼핑'에 있는 것이 아니라, 우리 조직원들이 그 기술을 가지고 마음껏 실험하고, 실수하고, 토론할 수 있는 '안전한 놀이터'를 만들어주는 데 있습니다. GPU(AI 연산에 쓰이는 반도체)를 몇 개 더 사느냐가 아니라, 구성원 사이에 '심리적 안정감'을 얼마나 구축하느냐가 AI 시대의 핵심 경쟁력입니다.

7. 그래서, 우리 팀이 내일부터 할 수 있는 것

'문화'라는 말이 너무 거창하게 들릴 수 있습니다. 하지만 반드시 거창한 캠페인이나 막대한 예산이 필요한 것은 아닙니다. 당장 내일부터 시도해볼 수 있는 작은 습관들이 문화의 물길을 바꿉니다.

• 'AI 회고'를 시작해 보십시오: 매주 금요일 30분이라도 좋습니다. 팀원들이 모여 '이번 주에 AI 도구를 써보니 뭐가 좋았고, 뭐가 황당했나?', 'AI 때문에 오히려 일이 더 꼬였던 경험은 없나?' 같은 이야기를 가볍게 나눠보는 겁니다. 핵심은 잘잘못을 따지는 게 아니라, 경험을 공유하며 'AI 사용 설명서'를 팀 공동의 자산으로 만드는 것입니다.

• '생산성'의 정의를 바꿔 보십시오: '코드 몇 줄 썼나', '보고서 몇 개 썼나' 같은 양적 지표를 걷어내야 합니다. 대신 '이번 기능 배포로 고객 문의가 몇 % 줄었나?', '새로 만든 시스템 덕분에 수작업 시간이 얼마나 줄었나?' 같은 질적이고 결과 중심적인 지표를 중심으로 대화해야 합니다. 그래야 팀원들이 AI를 '업무량 뻥튀기'가 아닌 '진짜 문제 해결'을 위해 사용하게 됩니다.

• '똑똑한 실패'를 공개적으로 칭찬하십시오: AI를 이용해 새로운 시도를 했는데 결과가 좋지 않았더라도, 그 과정에서 중요한 교훈을 얻었다면 박수쳐야 합니다. 리더가 먼저 나서서 "비록 목표는 달성 못했지만, 이 시도 덕분에 우리가 AI의 이런 한계를 알게 되었습니다. 정말 값진 실패였습니다"라고 말해주는 용기가 필요합니다. 성공만 인정받는 조직에서는 누구도 위험을 감수하려 하지 않습니다.

결국 AI는 거울과 같습니다. 우리 조직의 강점과 약점, 소통 방식과 협업 수준을 그대로 비추고 증폭시킬 뿐입니다. AI라는 거울 앞에서 당당하려면, 결국 기술이라는 겉모습이 아니라 사람과 문화라는 본질을 가꿔야 합니다. 오래 걸리고 답답한 길처럼 보이지만, 이것이 가장 빠른 지름길입니다.

Q. 저희는 작은 스타트업이라 '조직 문화'에 투자할 여력이 없습니다. 가장 먼저 뭘 해야 할까요?

A. 돈이 드는 '복지'와 돈이 들지 않는 '문화'를 구분해야 합니다. 심리적 안정감을 만드는 데는 돈이 들지 않습니다. 가장 쉬운 첫걸음은 리더가 먼저 자신의 실수나 AI를 쓰며 겪은 바보 같은 경험을 솔직하게 공유하는 것입니다. 리더가 먼저 '나도 잘 모른다, 같이 해보자'는 태도를 보일 때, 팀원들은 비로소 입을 열기 시작합니다. 주 1회 30분짜리 '실패 공유회'는 어떤 비싼 컨설팅보다 효과적일 수 있습니다.

Q. '문화가 중요하다'는 말은 너무 뻔한 이야기 아닌가요? AI 시대라고 해서 특별히 다른 점이 있습니까?

A. '속도'와 '규모'의 차이가 본질적인 차이를 만듭니다. 예전에는 나쁜 문화가 조직을 서서히 병들게 했다면, AI 시대의 나쁜 문화는 조직을 급성 패혈증처럼 순식간에 무너뜨릴 수 있습니다. 잘못된 판단이 AI를 통해 전사적으로, 거의 실시간으로 실행되기 때문입니다. 소통이 안 되는 조직이 AI를 도입하는 것은, 브레이크 없는 스포츠카에 초보 운전자를 태우는 것과 같습니다. 위험의 증폭 수준이 과거와는 비교할 수 없습니다.

Q. CASE 도구와 LLM은 기술적으로 전혀 다른데, 같은 선상에서 비교하는 것은 무리가 아닐까요?

A. 좋은 지적입니다. 기술의 작동 원리는 완전히 다릅니다. CASE 도구는 정해진 규칙에 따라 코드를 생성하는 결정론적 시스템이었고, LLM은 확률에 기반해 결과를 생성하는 생성형 모델입니다. 하지만 제가 주목하는 것은 기술 자체가 아니라 '기술이 조직에 도입됐을 때 벌어지는 현상'입니다. 강력한 자동화 도구가 '실행' 단계를 혁신적으로 단축시킬 때, 조직의 병목 현상이 '정의'와 '판단' 단계로 옮겨가는 패턴은 기술의 종류와 무관하게 반복되어 왔습니다. 그리고 그 '판단'의 질은 결국 조직 문화의 영향을 받을 수밖에 없다는 것이 제 주장의 핵심입니다.