내 AI 비서가 회사 단톡방에 내 은행 계좌를 뿌렸습니다

저도 요즘 나온다는 AI 에이전트 몇 개를 돌려보고 있습니다. 이메일을 대신 읽고 답장 초안을 써주고, 어지러운 회의록을 깔끔하게 요약해줍니다. 가끔은 제 일정을 훑어보고는 다음 주 미팅을 잡으라고 먼저 제안하기도 합니다. 월급 안 줘도 되는 비서 한 명을 둔 기분입니다. 적어도 며칠 전 그 뉴스를 보기 전까지는 그랬습니다. 한 직원의 개인 AI 비서가 그의 은행 계좌 정보를 회사 전체가 보는 슬랙(Slack) 채널에 공유해버렸다는 소식 말입니다.

정신이 번쩍 들었습니다. 이건 해킹 같은 외부의 공격이 아닙니다. 내가 직접 권한을 주고, 내 일을 도우라고 들여놓은 내부자가 벌인 사고입니다. 마치 집안일을 도우라고 들인 로봇이 거실 한복판에 귀중품 상자를 쏟아버린 격입니다. 이 사건은 단순히 한 AI 모델의 실수가 아닙니다. 우리가 '생산성 향상'이라는 달콤한 말에 넘어가 간과하고 있던 AI 기술의 근본적인 맹점을 드러냅니다. 바로 AI에게는 '맥락'과 '상식'이 없다는 사실 말입니다.

'AI 에이전트'는 대체 무엇이길래 이런 사고를 칩니까?

많은 분들이 'AI 에이전트'라고 하면 막연히 영화 속 자비스 같은 만능 비서를 떠올립니다. 하지만 현실은 조금 다릅니다. 오늘의 AI 에이전트는 '의욕은 넘치지만 눈치는 없는 신입사원'에 가깝습니다. 이 신입사원은 머리가 비상합니다. 온갖 책과 인터넷 글을 독파해서 말을 기가 막히게 잘합니다. 이게 바로 LLM(Large Language Model)이라는 AI의 두뇌입니다. 쉽게 말해, 사람 말을 흉내 내 문장을 만들어내는 거대한 언어 모델입니다.

그런데 이 신입은 팔다리가 없습니다. 그래서 우리는 그에게 여러 '연장'을 쥐여줍니다. 이메일에 접속할 수 있는 연장, 캘린더를 읽고 쓸 수 있는 연장, 슬랙 같은 메신저에 글을 올릴 수 있는 연장 같은 것들입니다. 기술적으로는 이걸 API(Application Programming Interface) 연동이라고 부릅니다. 서로 다른 프로그램끼리 대화하고 기능을 빌려 쓸 수 있게 만든 '통신 규격'이죠. 식당으로 치면, 주방에 주문을 넣는 벨이나 창구 같은 겁니다.

사고는 여기서 터집니다. 이 신입사원은 '은행 계좌 내역을 요약해서 팀에 공유해줘' 같은 지시를 받으면, 글자 그대로 해석합니다. 그에게는 '은행 계좌'가 얼마나 민감한 정보인지, '팀 전체 채널'이 얼마나 공개된 장소인지 판단할 사회적 상식이 없습니다. 그저 '은행 계좌'라는 키워드를 보고, 정보에 접근할 수 있는 '연장(API)'을 쓰고, '공유하라'는 지시에 따라 슬랙에 글을 올리는 '연장(API)'을 썼을 뿐입니다. 모든 단계가 논리적으로는 맞지만, 결과는 재앙입니다.

이것이 이번 사건의 본질입니다. AI 에이전트는 아직 주어진 명령을 수행하는 기계일 뿐, 그 명령이 가져올 파장을 이해하는 사회적 존재가 아닙니다. 우리는 똑똑한 두뇌(LLM)와 강력한 팔다리(API)를 붙여주고는, 가장 중요한 '상황 판단 능력'을 심어주는 데는 실패한 셈입니다.

이번이 처음이 아닙니다: 4세대 언어와 CASE 도구의 평행 우주

기술의 역사를 돌이켜보면 지금의 AI 에이전트 열풍이 낯설지 않습니다. 비슷한 약속과 비슷한 실패가 과거에도 있었습니다. 마치 평행 우주처럼 말입니다.

1980년대에는 '4세대 언어(4GL)'라는 것이 있었습니다. 복잡한 코딩 없이, 영어나 사람 말에 가까운 간단한 명령어로 프로그램을 만들 수 있다는 꿈의 기술이었습니다. 개발자가 아닌 현업 담당자도 직접 데이터를 뽑아보는 보고서를 만들 수 있다며 각광받았습니다. 결과는 어땠을까요? 간단한 보고서 몇 개를 만드는 데는 훌륭했습니다. 하지만 조금만 복잡한 로직이 들어가면, 코드는 뒤죽박죽이 되고 누구도 유지보수할 수 없는 '스파게티 코드'를 양산했습니다. 기술이 복잡성을 없애준 게 아니라, 눈에 보이지 않게 감춰뒀을 뿐입니다.

1990년대에는 'CASE(Computer-Aided Software Engineering) 도구'가 그 자리를 이었습니다. 설계도만 그리면 컴퓨터가 알아서 코드를 만들어준다는 개념이었습니다. 소프트웨어 개발을 공장에서 물건 찍어내듯 자동화하려는 시도였죠. 하지만 CASE 도구가 만든 코드는 비효율적이고, 현실의 자잘한 예외상황에 대처하지 못했습니다. 결국 사람이 만든 코드보다 못해서, 숙련된 개발자들이 다시 손봐야 하는 일이 비일비재했습니다. 얼마 못 가 시장에서 자취를 감췄습니다.

4세대 언어, CASE 도구, 그리고 오늘날의 AI 에이전트. 이들의 공통점은 명확합니다. - 1. 복잡한 지적 노동을 자동화해서 생산성을 극적으로 높여주겠다고 약속합니다. - 2. 정해진 규칙 안에서 반복되는 '80%의 쉬운 작업'은 실제로 꽤 잘 처리합니다. 그래서 초반에 엄청난 기대를 모읍니다. - 3. 하지만 미묘한 맥락, 숨겨진 위험, 예상치 못한 예외를 다뤄야 하는 '20%의 어려운 작업'에서 처참하게 실패합니다. 그리고 이 20%의 실패가 전체 시스템의 신뢰를 무너뜨립니다.

은행 계좌를 회사 단톡방에 올린 AI 에이전트는, 바로 이 '실패한 20%'의 가장 극적인 사례일 뿐입니다. 기술은 바뀌었지만, '기계에 판단을 맡길 때 생기는 문제'라는 본질은 그대로입니다.

'AI 모델'의 문제일까요, '사용자'의 문제일까요?

이런 사고가 나면 으레 책임 공방이 벌어집니다. AI가 멍청했다는 쪽과, 사용자가 권한을 함부로 줬다는 쪽으로 나뉩니다. 실제로 커뮤니티에서도 '사용자가 민감 정보를 AI가 접근하게 둔 게 잘못'이라는 주장이 나옵니다. 일리 있는 말입니다. 하지만 자동차 브레이크가 파열됐는데 '과속한 운전자 잘못'이라고만 할 수는 없는 노릇입니다.

근본적인 문제는 제품 설계 철학에 있습니다. 지금의 AI 에이전트 다수는 '일단 모든 것을 허용하고, 문제 생기면 사용자가 막으라'는 식입니다. 반대가 되어야 합니다. '기본적으로는 아무것도 못 하게 막아두고, 사용자가 안전을 확인한 기능만 하나씩 허용'하는 방식이어야 합니다. 이를 '안전 기본값(Secure by default)' 설계라고 합니다. 현재와 미래의 AI 에이전트를 아래 표로 비교해보면 차이가 명확해집니다.

우리가 흔히 하는 오해도 두 가지 짚고 넘어가야 합니다.

첫째, 'AI가 더 똑똑해지면 해결될 문제'라는 생각입니다. 그렇지 않습니다. 지금 AI가 말하는 '지능'은 더 많은 데이터를 학습해 언어 패턴을 잘 맞추는 능력에 가깝습니다. 사회적 상식이나 윤리적 판단력과는 다른 차원의 이야기입니다. 서울대 입학생에게 동네 골목길에서 누구와 인사를 나눠야 하는지 묻는 것과 비슷합니다. 지식의 양이 곧 지혜나 분별력은 아닙니다.

둘째, '사용자가 권한 설정을 꼼꼼히 하면 된다'는 생각입니다. 이론적으로는 맞지만 현실적이지 않습니다. 수백 개의 앱과 기능에 대해 깨알 같은 권한 설정을 매번 확인하고 관리할 사용자가 몇이나 될까요? 그런 수고를 하려고 AI 비서를 쓰는 게 아닙니다. 제품은 사용자가 전문가가 아니라는 전제하에, 최악의 실수를 저질러도 사고가 나지 않도록 설계되어야 합니다. 안전은 옵션이 아니라 기본이어야 합니다.

'판단의 값'은 내려가지 않습니다

AI 에이전트 같은 자동화 도구가 등장할 때마다 나오는 말이 있습니다. 이제 단순 반복 업무는 사라지고, 인간은 더 창의적인 일에 집중하게 될 거라는 희망 섞인 전망입니다. 반은 맞고 반은 틀린 말입니다.

정확히 말하면, 자동화는 '실행(Execution)'의 가치를 떨어뜨립니다. 예전에는 이메일 100통을 보내려면 한나절이 걸렸지만, 이제 AI는 1분이면 충분합니다. 회의록을 정리하는 데 1시간이 걸렸다면, 이제 5분이면 초안이 나옵니다. 이처럼 무언가를 '하는' 행위 자체의 비용과 시간은 극적으로 줄어듭니다.

하지만 바로 그 때문에 역설적인 현상이 벌어집니다. '판단(Judgment)'의 가치가 천정부지로 솟구칩니다. AI가 이메일 100통을 1분에 쓸 수 있게 되면서, '이 내용을 이 사람에게 지금 보내는 것이 맞는가?'라는 단 한 번의 판단이 훨씬 더 중요해졌습니다. 잘못된 판단 한 번이 100배의 파국을 1분 만에 불러올 수 있기 때문입니다. 은행 계좌 유출 사건이 바로 그 증거입니다.

AI는 요약하고, 초안을 쓰고, 일정을 잡는 '실행'을 대신해 줄 수 있습니다. 하지만 그 요약본을 누구에게 어디까지 공유할지, 그 초안에 어떤 미묘한 뉘앙스를 담을지, 그 일정이 회사의 정치적 역학 관계에 어떤 영향을 미칠지는 '판단'의 영역입니다. 그리고 이 판단의 책임은 온전히 사람에게 남습니다.

결국 AI 시대는 우리 모두를 관리자로 만듭니다. 우리는 더 이상 실무자가 아니라, 'AI라는 신입사원'을 관리 감독하고 그의 작업 결과에 최종 책임을 지는 관리자가 되는 셈입니다. 그리고 좋은 관리자의 가장 중요한 덕목은 '실행 능력'이 아니라 '판단 능력'입니다. 기술이 발전할수록, 가장 비싸고 대체 불가능한 능력은 결국 올바른 판단력이 될 겁니다.

그래서 우리는 무엇을 봐야 합니까?

그렇다면 앞으로 AI 에이전트를 둘러싼 기술과 시장을 보면서 우리는 어떤 신호에 주목해야 할까요? 장밋빛 홍보 문구 너머에서 우리가 진짜로 추적해야 할 지표는 다음과 같습니다.

• '설명 가능한 AI(XAI)'의 상용화 수준: AI가 왜 그런 결정을 내렸는지 사람이 이해할 수 있는 언어로 설명하는 기술입니다. 단순히 명령을 수행하는 것을 넘어, "당신이 '최근 활동 요약'과 '팀 공유'를 지시해서 이 정보를 공유하려 합니다. 하지만 여기에는 민감한 금융 내역이 포함되어 있어 위험할 수 있습니다. 계속할까요?"라고 되묻는 수준이 되는지 봐야 합니다. 이것이 진짜 스마트한 AI입니다.

• '샌드박스(Sandbox)' 모드의 기본 탑재 여부: 샌드박스는 '모래 놀이터'처럼 외부와 격리된 안전한 공간에서 기능을 시험하는 기술입니다. AI 에이전트가 새 앱과 연동되거나 위험해 보이는 작업을 하기 전에, 실제 데이터가 아닌 가상 데이터로 시뮬레이션을 먼저 돌려보는 기능이 보편화되는지 지켜봐야 합니다. 안전장치 없는 시운전은 없어야 합니다.

• 데이터 접근 권한의 '기본값' 변화: 제품을 처음 설치했을 때 설정된 기본값이 그 제품의 철학을 보여줍니다. 지금처럼 '모두 허용'이 기본인 제품보다는, '모두 차단'이 기본이고 사용자가 명시적으로 하나씩 허용해주는 '최소 권한 원칙'을 따르는 제품이 많아지는지가 중요한 신호입니다.

• 관련 보험 상품의 등장: AI 에이전트 오작동으로 인한 금전적, 사업적 피해를 보상해주는 전문 보험 상품이 나온다는 것은, 시장이 이 위험을 구체적으로 인지하고 계량화하기 시작했다는 의미입니다. 이는 기술이 성숙하고 사회 시스템에 편입되는 중요한 과정입니다.

새로운 기술은 늘 우리를 시험에 들게 합니다. AI 에이전트는 엄청난 가능성을 품고 있지만, 지금의 모습은 잘 닦인 고속도로를 달리는 브레이크 없는 자동차와 같습니다. 속도에 감탄하기 전에, 우리는 브레이크와 에어백, 그리고 충돌 테스트 결과부터 확인해야 합니다.

Q. 이런 실수는 극히 드문 사례 아닌가요? 너무 과민반응하는 것 같습니다. A. 한 번의 비행기 사고가 항공 안전 규정 전체를 바꾸듯, 디지털 세상에서는 한 번의 치명적 실수가 모든 것을 무너뜨릴 수 있습니다. 특히 AI는 실수를 순식간에, 대규모로 복제할 수 있기에 '드문 사례'로 치부할 수 없습니다. 핵심은 발생 빈도가 아니라 사고 한 번의 파급력입니다.

Q. 개발사가 곧 패치로 해결할 문제 같은데요. 기다리면 되지 않나요? A. 단순 버그라면 패치로 해결되겠지만, 이것은 AI의 근본적인 '판단력 부재' 문제입니다. 자동차에 더 빠른 엔진을 단다고 해서 운전 실력이 늘지 않는 것과 같습니다. 안전장치, 즉 브레이크와 에어백, 조향 장치를 완전히 새롭게 설계해야 하는 문제이며, 이는 기술적으로 간단하지 않습니다. 소프트웨어 업데이트만으로 해결될 일이 아닐 수 있습니다.

Q. 그럼 지금 당장 AI 에이전트를 쓰지 말아야 할까요? A. 아니요, 그럴 필요는 없습니다. 다만 '의욕만 넘치는 눈치 없는 신입사원'을 다루듯 해야 합니다. 이메일, 메신저, 클라우드 저장소 같은 민감 정보 접근 권한은 절대 주지 마십시오. 특히 외부 채널에 무언가를 게시하는 권한은 반드시 꺼두는 것이 현명합니다. 이메일 초안 작성이나 정보 요약처럼, 최종 '전송' 버튼은 반드시 내 손으로 누르는 작업에만 활용하는 것이 현재로서는 가장 안전하고 현명한 사용법입니다.