AI 업계 ‘표준 교과서’에서 발견된 치명적 오타, 당신의 삶엔 어떤 영향?

요즘 AI 업계가 술렁입니다. 무슨 인공지능이 자아를 가졌다는 식의 ‘사이버 펑크’ 같은 소식은 아니고요. 훨씬 더 현실적이고, 그래서 더 섬뜩한 이야기입니다. 개발자들 사이에선 거의 ‘표준 교과서’처럼 쓰이는 ‘scikit-learn(사이킷런)’이라는 아주 유명한 오픈소스 AI 개발 도구에서, 그것도 꽤 오랫동안 아무도 모르는 심각한 버그가 있었다는 사실이 뒤늦게 밝혀진 거죠. 레딧이라는 해외 커뮤니티에서 어떤 개발자가 이걸 파헤쳐서 공개하면서 난리가 났어요.

이게 왜 중요하냐고요? ‘사이킷런’은 AI 만드는 사람들이라면 거의 매일 쓰는 ‘요리 도구 세트’ 같은 거거든요. 웬만한 AI 서비스의 레시피엔 거의 다 들어가는 ‘만능 간장’이랄까요. 그런데 그 만능 간장의 염도 계산법이 틀렸었다는 게 드러난 셈입니다. 짠 줄 알고 조금 넣었는데 사실은 밍밍했거나, 그 반대였을 수 있다는 거죠. 웃프죠. 이 작은 버그 하나가 AI가 내리는 수많은 판단들의 신뢰도를 어떻게 뒤흔드는지, 그리고 이게 기술자들만의 문제가 아니라 바로 우리 일상과 어떻게 연결되는지. 오늘 그 속사정을 한번 제대로 파헤쳐 보려고 합니다.

불확실성을 계산하다 버그를 만날 확률

우선 사건의 핵심부터 쉽게 풀어보죠. 문제가 된 건 사이킷런의 여러 기능 중에서도 ‘BayesianRidge(베이지안 릿지)’라는 모델입니다. 이름부터 머리 아프죠? 최대한 쉽게 설명해 볼게요.

대부분의 AI 예측 모델은 우리한테 딱 하나의 답만 줍니다. 예를 들어 부동산 가격 예측 AI에게 “이 아파트, 얼마에 팔릴까요?”라고 물으면 “5억 원입니다” 하고 툭 던지는 식이죠. 그런데 이 베이지안 릿지는 좀 더 사려 깊어요. “음, 한 5억 원 정도로 보이는데요. 근데 제가 100% 확신하는 건 아니고요, 한 90% 신뢰도로 볼 때 4억 8천만 원에서 5억 2천만 원 사이가 될 것 같습니다.” 이렇게 자기가 내놓은 예측이 얼마나 믿을 만한지, 즉 ‘불확실성(uncertainty)’의 정도를 함께 알려줍니다.

이 ‘불확실성’ 정보가 왜 중요할까요? 일기예보를 생각하면 쉬워요. 그냥 ‘비 온다’는 예보보다 ‘강수 확률 70%’라는 예보가 훨씬 유용하잖아요. 우산을 챙길지 말지, 약속을 잡을지 말지 더 합리적인 결정을 내릴 수 있으니까요. 특히 돈이 오가는 금융 투자, 사람의 목숨이 달린 의료 진단이나 자율주행차의 장애물 판단 같은 고위험 분야에서는 이 불확실성 정보가 결정적입니다. AI가 “저 앞에 사람일 확률 99%”라고 할 때와 “사람일 확률 51%”라고 할 때, 자동차의 반응은 완전히 달라야 하니까요.

그런데 이번에 발견된 버그는 바로 이 ‘불확실성’을 계산하는 수학 공식 코드에 오류가 있었다는 겁니다. 사이킷런 1.8 이전 버전에서는 이 공식이 잘못 구현돼 있었고, 1.9 버전에서 ‘슬쩍’ 수정됐어요. ‘슬쩍’이라고 표현한 이유는, 이게 무슨 대단한 기능 개선처럼 발표된 게 아니라 그냥 수많은 변경사항 중 하나로 쓱 지나갔기 때문이에요. 어떤 용감한 개발자가 두 버전의 코드를 일일이 비교 분석해서 주피터 노트북(데이터 분석가들이 즐겨 쓰는 디지털 공책)에 정리해 올리기 전까지는 대부분의 사람들이 이 심각성을 몰랐던 거죠.

결국, 수많은 개발자들이 잘못된 ‘불확실성’ 값을 토대로 AI를 만들고 세상을 분석해 왔을 수 있다는 얘기입니다. AI가 “나, 이 예측 꽤 자신 있어!”라고 말했는데, 사실은 별 근거 없는 자신감이었을 수 있다는 거죠. 그 예측을 믿고 중요한 결정을 내린 사람이 있었다면? 생각만 해도 아찔합니다.

버그는 코드를 타고: 화성 탐사선부터 당신의 AI 비서까지

“소프트웨어에 버그 좀 있을 수 있지, 뭘 그렇게 호들갑이야?”라고 생각할 수도 있어요. 맞아요, 버그 없는 소프트웨어는 세상에 없죠. 하지만 이건 그냥 ‘앱이 튕기는’ 수준의 문제가 아닙니다. 아주 작은 계산 오류가 눈덩이처럼 불어나 재앙을 부른 사례는 역사적으로도 많습니다.

1. 1996년, 유럽우주국의 아리안 5호 로켓이 발사 37초 만에 공중에서 폭발했습니다. 원인은 어이없게도 소프트웨어 버그였어요. 64비트짜리 숫자를 16비트 공간에 억지로 욱여넣으려다 에러가 난 거죠. 수천억 원짜리 프로젝트가 숫자 하나 잘못 다뤄서 터져나간 겁니다.
2. 1999년, NASA의 화성 기후 궤도선이 화성에 도착하자마자 교신이 끊기고 실종됐습니다. 조사 결과, NASA 제트추진연구소는 미터법(킬로그램, 미터)을 썼는데, 탐사선을 만든 록히드 마틴은 야드파운드법(파운드, 피트)을 쓴 게 원인이었어요. 단위 변환 프로그램 하나가 빠지는 바람에 탐사선이 엉뚱한 궤도로 진입해 대기권에서 불타버린 거죠.

이런 과거의 사례들이 ‘먼 나라 우주선 얘기’처럼 들리나요? 천만에요. 이제 AI는 우리 삶 아주 깊숙한 곳까지 들어와 있습니다. 사이킷런 같은 기초 라이브러리의 버그는 더 이상 로켓이나 탐사선에만 영향을 주지 않아요.

• 당신의 신용등급을 평가하는 AI
• 당신이 낸 이력서를 1차로 거르는 AI
• 당신의 얼굴을 인식해 출입문을 열어주는 AI
• 당신에게 주식 투자를 조언하는 AI

이 모든 것들이 사이킷런 같은 도구를 기반으로 만들어질 수 있습니다. 아리안 5호의 버그가 로켓을 터뜨렸다면, AI 라이브러리의 버그는 당신의 대출을 부결시키거나, 좋은 직장에 들어갈 기회를 날려버릴 수 있다는 뜻입니다. 훨씬 더 조용하고, 개인적이고, 그래서 더 빡치는 방식으로요.

'공짜 점심'은 없다: 오픈소스의 빛과 그림자

이번 사건은 특히 ‘오픈소스(Open Source)’ 소프트웨어의 명암을 극명하게 보여줍니다. 오픈소스는 설계도(소스 코드)를 세상에 전부 공개해서, 누구나 공짜로 가져다 쓰고, 뜯어고치고, 개선하는 데 참여할 수 있는 소프트웨어를 말해요. 사이킷런도 대표적인 오픈소스 프로젝트고요. ‘집단지성의 힘’, ‘투명성’, ‘무료’라는 장점 덕분에 오늘날 IT 생태계의 근간이 됐죠.

하지만 이번 사건은 그 신화에 질문을 던집니다. “정말 그 집단지성은 제대로 작동하고 있는가?”라고요. 사이킷런처럼 전 세계 수백만 명이 쓰는 핵심 라이브러리에서조차 몇 년 동안이나 버그가 숨어 있었다는 건, ‘누군가는 보겠지’라는 믿음이 얼마나 허술할 수 있는지를 보여줍니다. 사람들은 대부분 남이 만들어 놓은 코드를 가져다 쓰기 바쁘지, 그 코드가 맞는지 틀린지 속까지 들여다볼 시간이나 능력은 없는 경우가 많거든요.

상업용 소프트웨어와 오픈소스를 비교하면 그 차이가 더 명확해져요.

표를 보면 알겠지만, 오픈소스는 ‘공짜’인 대신 ‘책임’도 공짜입니다. 대부분의 오픈소스는 “이거 쓰다가 무슨 문제 생겨도 우린 책임 안 져. 네 위험 부담하에 쓰는 거야”라는 면책 조항을 달고 배포돼요. 이번 사이킷런 버그로 인해 어떤 금융 회사가 돈을 잃었거나, 어떤 연구 결과가 잘못 나왔다 해도 법적으로 하소연할 곳이 마땅치 않다는 거죠.

이게 바로 오픈소스의 딜레마입니다. 투명해서 좋지만, 그 투명한 코드를 들여다보고 검증하는 건 결국 ‘사용자의 몫’으로 남겨져요. 우리는 오픈소스를 공짜 뷔페처럼 마음껏 즐기지만, 그 음식에 식중독균이 들어있는지 아닌지는 스스로 확인해야 하는 셈이죠.

당신이 AI에 대해 흔히 하는 두 가지 착각

이번 사건은 우리가 AI와 오픈소스에 대해 가진 순진한 믿음을 깨뜨립니다. 특히 두 가지 흔한 오해를 바로잡을 필요가 있어요.

착각 1: “AI는 수학에 기반하니까 객관적이고 틀릴 일이 없다.”

완전히 틀린 말입니다. AI 알고리즘의 바탕이 되는 수학 이론은 완벽할지 몰라도, 그 이론을 컴퓨터가 알아듣도록 옮겨 적은 ‘코드’는 사람이 씁니다. 그리고 사람은 누구나 실수를 하죠. 완벽한 건축 설계도가 있어도, 시공사가 엉터리 자재를 쓰거나 엉뚱한 곳에 기둥을 세우면 건물이 무너지는 것과 똑같습니다. AI의 판단은 순수한 수학이 아니라 ‘수학을 흉내 낸 코드’의 결과물일 뿐이고, 그 코드는 얼마든지 틀릴 수 있습니다.

착각 2: “오픈소스는 수많은 전문가들이 함께 만드니 더 안전할 것이다.”

‘그럴 수도 있고, 아닐 수도 있다’가 정답에 가깝습니다. 물론 많은 눈이 지켜보면 버그를 발견할 확률이 높아지죠. 하지만 그건 어디까지나 사람들이 ‘적극적으로’ 코드를 들여다볼 때의 얘기입니다. 대부분의 오픈소스 프로젝트는 소수의 핵심 개발자들이 거의 모든 일을 도맡아 하는 ‘자원봉사’ 형태로 운영됩니다. 수많은 ‘사용자’들은 있지만, 코드의 건강 상태를 꼼꼼히 챙기는 ‘진단자’는 턱없이 부족한 경우가 많아요. 이건 마치 ‘모두의 공원’이라고 해서 모두가 청소에 참여하지는 않는 것과 비슷합니다. 누군가의 헌신에 기생하는 구조가 될 위험이 늘 존재하죠.

결국 이번 사이킷런 버그는 ‘공짜’와 ‘편리함’ 뒤에 숨겨진 책임을 우리에게 되묻고 있습니다. 코드를 복사해서 붙여넣는 ‘복붙’만 할 게 아니라, 내가 쓰는 도구가 정말 제대로 작동하는지 의심하고 확인하는 책임 말입니다.

그래서, 앞으로 뭘 봐야 할까요?

그럼 이제 우린 뭘 해야 할까요? 당장 사이킷런을 삭제하고 AI를 불신해야 할까요? 그건 해결책이 아닙니다. 구더기 무서워 장 못 담글 수는 없죠. 대신 우리는 이 사건을 계기로 AI 시대를 살아가는 새로운 ‘마음가짐’과 ‘역량’을 길러야 합니다.

• 개발자라면: 이제 라이브러리 ‘버전 관리’는 귀찮은 잡무가 아니라, 당신의 커리어를 지키는 핵심 생존 기술입니다. 새로운 버전이 나오면 ‘업데이트’ 버튼만 누를 게 아니라, 뭐가 어떻게 바뀌었는지 설명하는 ‘릴리즈 노트’를 꼼꼼히 읽는 습관을 들여야 해요. 특히 이번 사건처럼 ‘사소한 수정(minor fix)’처럼 보이는 곳에 어떤 함정이 숨어있을지 모릅니다. 내가 쓰는 도구에 대한 통제권을 남에게 넘기지 마세요.

• 사용자이자 시민이라면: “AI가 분석해 주었습니다”라는 말을 더 이상 최종 답변으로 받아들이지 마세요. 이제 우리는 질문해야 합니다. “그 AI, 어떤 데이터로 학습했나요?”, “그 판단에 대해 얼마나 확신하나요?”, “판단의 근거를 설명해 줄 수 있나요?” 같은 질문들이요. AI를 블랙박스로 취급하는 모든 서비스에 건강한 의심을 보내야 합니다. 투명성을 요구하는 소비자의 목소리가 커질 때, 기업들도 움직입니다.

• 사회 전체적으로는: ‘AI로 인한 피해의 책임은 누가 질 것인가?’라는 아주 현실적인 문제를 공론화해야 합니다. 지금처럼 “오픈소스니까 알아서 쓰세요”라는 방식은 AI가 사회 핵심 인프라가 될수록 더 이상 통하지 않을 겁니다. 자동차 회사가 ‘엔진 결함’에 책임을 지듯, AI 서비스 제공자나 핵심 알고리즘 개발자에게도 일정한 책임을 물을 수 있는 사회적, 법적 합의를 만들어가야 합니다. 물론 아주 어렵고 복잡한 과정이 되겠지만, 더 이상 피할 수 없는 숙제죠.

결국 이 모든 건 ‘AI 리터러시(AI를 읽고 쓸 줄 아는 능력)’에 대한 이야기입니다. 코딩을 배우라는 게 아니에요. AI가 어떻게 작동하고, 어떤 한계를 가지며, 그것이 내 삶에 어떤 영향을 미치는지 이해하고 비판적으로 질문할 수 있는 능력을 키우자는 겁니다.

독자 여러분이 빡쳐서 던질 만한 질문들

Q. 아니 그래서, 사이킷런 같은 오픈소스 AI 도구 쓰지 말라는 건가요? A. 아뇨, 그건 구석기 시대로 돌아가자는 말이나 똑같아요. 대안인 상용 소프트웨어는 비싸고 코드가 닫혀있어 ‘깜깜이’라는 더 큰 문제가 있을 수 있습니다. 핵심은 ‘쓰지 말자’가 아니라 ‘알고 쓰자’는 겁니다. 오픈소스가 공짜인 이유는, 그걸 검증하고 책임져야 할 숨은 비용을 사용자인 우리가 나눠서 부담하기 때문이라는 사실을요. 자동차를 운전하기 전에 최소한 타이어 공기압이나 브레이크는 점검하는 것처럼, AI 도구를 쓸 때도 최소한의 검증과 주의가 필요하다는 걸 이번 사건이 알려준 셈이죠.

Q. 저는 개발자도 아니고, 그냥 AI가 해주는 서비스 쓰는 사람인데요. 제가 뭘 할 수 있나요? A. 할 수 있는 게 아주 많습니다. 앞으로 어떤 서비스가 ‘AI 추천’, ‘AI 진단’ 같은 말을 쓰거든, 한 번쯤 의심의 눈초리로 보세요. 그리고 가능하다면 ‘이 추천에 대한 신뢰도(확신도)는 몇 퍼센트인가요?’라고 물어보세요. 기업들이 이런 질문을 많이 받기 시작하면, AI의 ‘불확실성’ 정보를 투명하게 공개해야 한다는 압박을 느끼게 됩니다. 소비자의 질문이 세상을 바꿉니다. ‘AI 님께서 그리 말씀하셨다’는 식의 신탁 통치를 거부하는 것만으로도 충분히 큰 변화를 만들 수 있어요.

Q. 이런 버그로 문제가 생기면 결국 누가 책임지나요? 소송이라도 할 수 있어요? A. 현재로서는 ‘아무도 책임지지 않는다’가 정답에 가까워서 더 빡치는 부분입니다. 대부분의 오픈소스 라이선스는 ‘AS-IS(있는 그대로)’ 원칙에 따라 법적 책임을 면제받거든요. 이걸 가져다 쓴 개발자나 회사도 “우리도 피해자다”라고 할 수 있고요. 그래서 이건 앞으로 10년간 가장 뜨거운 법적, 윤리적 논쟁거리가 될 겁니다. 자동차 제조사가 결함에 대해 리콜 책임을 지는 것처럼, AI 시대에 맞는 새로운 책임 분배 모델을 사회적으로 합의해야만 해요. 아주 길고 지루한 싸움이 될 겁니다.