이웃집 AI로 우리 집 털기: 오픈AI 해킹이 보여준 '창과 방패'의 역설

며칠 전, 꽤 그럴듯한 피싱 메일을 받았습니다. 발신자는 제가 쓰는 클라우드 서비스 회사였고, 계정 용량이 거의 다 찼으니 추가 결제를 하거나 파일을 정리하라는 내용이었습니다. 예전 같으면 어설픈 번역투나 오탈자 때문에 '스팸이군'하고 바로 지웠을 겁니다. 하지만 이번 메일은 문장이 아주 자연스러웠고, 로고나 디자인도 공식 메일과 거의 똑같았습니다. 하마터면 링크를 누를 뻔했습니다. 알고 보니 요즘은 이런 피싱 메일도 인공지능(AI)이 쓴다고 합니다.

그런데 최근 오픈AI에서 벌어진 일은, 이 수준을 아득히 뛰어넘습니다. 자기 집 AI도 아니고, 경쟁사인 앤트로픽의 AI '클로드'를 이용한 공격에 속수무책으로 뚫렸다는 소식입니다. 저 같은 엔지니어 출신 칼럼니스트에게는 이보다 흥미로운 사건도 드뭅니다. 과장을 걷어내고 사건의 실체를 한번 해부해 보겠습니다.

집주인인 척해서 문 열게 만들기: 사건의 재구성

월스트리트저널 보도에 따르면, 한 보안 연구팀이 단 72시간 만에 오픈AI 직원 계정을 해킹하는 데 성공했습니다. 이들이 사용한 핵심 도구가 바로 경쟁사 AI인 클로드였다는 점이 이 사건의 백미입니다. 많은 사람이 'AI가 AI를 해킹했다'는 자극적인 제목에 주목하지만, 실상은 조금 더 복잡합니다.

이건 AI가 스스로의 의지로 다른 AI 시스템의 방화벽을 뚫고 들어간 공상과학 영화 같은 장면이 아닙니다. 현실은 훨씬 더 고전적인 방법에 가깝습니다. 바로 '사회 공학(Social Engineering)' 공격입니다. 쉽게 말해, 기술적 취약점을 파고든 게 아니라 사람의 심리를 파고들어 스스로 정보를 내놓게 만드는 수법입니다.

이번 사건을 우리 일상에 비유해 보겠습니다. 최첨단 디지털 도어록이 설치된 집에 도둑이 들었습니다. 도둑이 복잡한 회로를 해킹해서 문을 연 게 아닙니다. 대신, 집주인의 말투와 습관을 똑같이 흉내 내 인터폰으로 경비원에게 말을 걸었습니다. "아저씨, 저 OOO호 주인인데요. 깜빡하고 뭘 놓고 와서요. 문 좀 열어주세요." 너무나 그럴듯한 연기에 경비원이 속아 문을 열어준 셈입니다.

여기서 도둑의 '그럴듯한 연기'를 대신해준 것이 바로 AI, 클로드입니다. 공격자들은 클로드에게 이런 식의 주문을 했을 겁니다.

'오픈AI의 특정 팀에서 일하는 엔지니어인 척 위장하려고 해. 그럴듯한 기술 지원 요청 이메일 초안을 작성해줘. 이 직원이 의심 없이 첨부파일을 열어보게 만들고 싶어.'

물론 클로드 같은 AI는 '해킹에 쓸 이메일을 써줘' 같은 직접적인 악성 명령은 거부하도록 설계되어 있습니다. 하지만 공격자들은 이 안전장치를 우회하는 방법을 압니다. 마치 어린아이에게 '사탕 가게 가는 길 알려줘'라고 묻는 대신 '저기 알록달록한 간판이 있는 큰 건물 가는 길 아니?'라고 돌려 묻는 것과 같습니다. 이런 교묘한 '탈옥(Jailbreaking)' 질문을 통해, AI가 악의적 의도를 인지하지 못한 채 매우 정교하고 설득력 있는 피싱 이메일을 작성하게 만든 것입니다.

이 공격으로 해커들은 오픈AI의 '모노리포(Monorepo)'에 접근했다고 알려졌습니다. 모노리포는 회사의 거의 모든 소스코드를 한곳에 모아놓은 '코드 종합 창고' 같은 겁니다. 여기에 접근했다는 건, 한식당의 모든 메뉴 레시피가 담긴 주방장의 비밀 노트를 통째로 훔쳐본 것과 마찬가지입니다. 오픈AI의 핵심 알고리즘이 유출되었을 가능성을 배제할 수 없는, 심각한 보안 사고입니다.

4세대 언어와 CASE 도구의 유령

이런 일을 볼 때마다 저는 1980년대와 90년대의 풍경을 떠올립니다. 당시 개발자들 사이에서는 '4세대 언어(4GL)'나 '케이스(CASE, Computer-Aided Software Engineering) 도구'가 큰 화두였습니다.

이 도구들의 약속은 지금의 AI와 놀랍도록 비슷했습니다. '복잡한 코딩 없이, 영어나 그림으로 원하는 바를 설명하면 프로그램이 뚝딱 만들어진다!' 개발자가 아니더라도 누구나 소프트웨어를 만들 수 있는 시대가 온다고들 했습니다. 저도 당시에는 꽤 설렜던 기억이 납니다.

결과는 어땠을까요? 처참했습니다. 이 도구들이 만들어낸 코드는 종종 비효율적이고 유지보수가 거의 불가능한 '스파게티 코드' 덩어리였습니다. 결국 문제가 생기면 전문가가 투입되어 처음부터 다시 짜는 것보다 더 큰 비용을 들여 수습해야 했습니다. 심지어 이 도구들이 자동으로 생성한 코드 안에 아무도 예상치 못한 보안 취약점이 숨어있는 경우도 있었습니다.

AI가 바로 그 역사를 반복하고 있습니다. 코드를 짜주고 글을 써주는 만능 도구처럼 보이지만, 그 도구를 쓰는 사람의 의도에 따라 과거와는 비교도 안 될 만큼 강력한 무기가 될 수 있습니다. 과거 CASE 도구가 의도치 않게 엉뚱한 코드를 만들어 시스템을 망가뜨렸다면, 이제는 AI가 사람을 속이는 '사회 공학적 코드'를 의도적으로 만들어 시스템을 직접 공격하는 시대가 온 겁니다.

결국 도구는 도구일 뿐입니다. 망치를 든 사람이 목수일 수도, 강도일 수도 있는 것과 같습니다. AI라는 도구가 너무나 강력하고 똑똑해진 나머지, 이제는 강도의 손에 들렸을 때 이전과 차원이 다른 피해를 낳을 수 있게 된 것이 문제의 본질입니다.

기울어진 운동장: AI 공격과 방어의 비대칭성

'AI가 공격에 쓰인다면, 방어도 AI로 하면 되는 것 아닌가?' 하고 생각하기 쉽습니다. 실제로 많은 보안 업체가 AI를 이용해 사이버 공격을 탐지하고 막는 기술을 개발하고 있습니다. 하지만 저는 이 싸움이 처음부터 공평하지 않은, '기울어진 운동장'에서의 경기라고 봅니다.

표에서 보듯, 공격자와 방어자의 조건은 구조적으로 다릅니다. 공격자는 수만 번 실패해도 단 한 번만 성공하면 됩니다. 반면 방어자는 단 한 번의 실패도 용납되지 않습니다. 축구로 치면 공격수는 90분 내내 헛발질하다가 마지막 1분에 한 골만 넣으면 영웅이 되지만, 골키퍼는 89분 내내 선방하다가 마지막 1분에 한 골을 먹으면 역적이 되는 것과 같습니다.

특히 방어 AI의 치명적 약점은 '과거 데이터에 의존한다'는 점입니다. 방어 AI는 지금까지 발생했던 수많은 해킹 사례를 학습해 '알고 있는 위협'을 막는 데는 능합니다. 하지만 공격 AI는 인간의 창의성과 결합해 세상에 한 번도 없었던 새로운 방식, 즉 '미지의 위협'을 만들어내는 데 쓰일 수 있습니다.

이는 흔한 오해를 낳습니다. '최신 AI 보안 솔루션을 도입했으니 안전하다'는 믿음입니다. 하지만 이는 매일 다니던 길목을 지키는 경험 많은 경비원을 세워둔 것과 같습니다. 그 경비원은 늘 보던 종류의 도둑은 잘 잡겠지만, 어느 날 갑자기 헬리콥터를 타고 옥상으로 내려오는 도둑은 상상조차 못 하고 당할 수밖에 없습니다. 이번 오픈AI 해킹이 바로 그런 경우입니다.

제로데이 공격: 소프트웨어의 취약점이 발견되고, 이를 막을 수 있는 보안 업데이트가 나오기 전에 그 취약점을 이용하는 공격을 말합니다.

칼을 만든 대장장이의 책임

그렇다면 이번 사건의 책임을 클로드를 만든 앤트로픽에 물어야 할까요? '당신네 AI가 범죄에 쓰였으니 책임져라'라고 말입니다.

저는 이것이 문제를 너무 단순하게 보는 시각이라고 생각합니다. 살인 사건이 났을 때, 범인이 쓴 칼을 만든 대장장이에게 책임을 묻지 않는 것과 같은 이치입니다. 하지만 대장장이는 자신이 만든 칼이 사람을 해칠 수 있는 위험한 물건임을 압니다. 그래서 칼을 팔 때 칼집을 함께 만들어주고, 함부로 휘두르면 안 된다고 경고할 책임이 있습니다.

AI 개발사의 책임도 마찬가지입니다. 앤트로픽이나 오픈AI 같은 회사들은 자신들의 AI가 얼마나 강력하고, 또 얼마나 위험하게 쓰일 수 있는지 누구보다 잘 압니다. 그래서 AI가 유해하거나 비윤리적인 답변을 하지 않도록 '안전 필터'를 겹겹이 쌓아놓습니다. 이것이 AI 개발사의 '칼집'입니다.

문제는 공격자들이 이 칼집을 무력화하는 방법을 끊임없이 찾아낸다는 점입니다. 앞서 말한 '탈옥' 기법이 대표적입니다. 이 또한 흔한 오해를 불러일으킵니다. '안전장치를 더 튼튼하게 만들면 해결될 문제 아닌가?' 라고 생각할 수 있습니다. 하지만 이것 역시 창과 방패의 끊임없는 경주입니다. 더 단단한 방패가 나오면, 그 방패를 뚫는 더 날카로운 창이 개발되는 것은 역사가 증명하는 사실입니다. 100% 완벽한 안전장치란 현실적으로 불가능에 가깝습니다.

결국 기술적 안전장치만으로는 부족합니다. AI를 사용하는 사람, 그리고 AI의 공격 대상이 되는 사람 모두의 '인식'과 '판단력'을 높이는 방향으로 가야 합니다.

결국, '판단의 값'이 올라간다

저는 이번 사건이 우리에게 던지는 가장 중요한 메시지가 바로 이것이라고 봅니다. AI가 발전할수록, 역설적으로 인간의 '판단'이 더 중요해진다는 사실입니다.

AI는 수많은 단순 반복 업무를 자동화합니다. 그럴듯한 이메일을 순식간에 수백 통씩 쓰고, 간단한 코드를 짜는 일은 이제 사람보다 AI가 더 잘합니다. 이 말은, 이제 그런 일의 가치는 '0'에 수렴한다는 뜻입니다. 대신, AI가 만들어낸 그럴듯한 결과물을 보고 최종적으로 '이게 맞나?' 의심하고, '어디에 허점이 있을까?'를 파고들어 검증하고, '이걸 사용해도 될까?' 결정하는 판단의 가치는 천정부지로 치솟게 됩니다.

그렇다면 우리는 무엇을 해야 할까요? 몇 가지 실질적인 방향을 제안합니다.

1. - 제로 트러스트(Zero Trust) 원칙의 생활화: '아무도, 아무것도 믿지 않는다'는 이 보안 원칙을 이제 개인과 조직의 문화로 받아들여야 합니다. 옆 부서 김대리가 보낸 이메일이라도, 그 안에 담긴 링크는 일단 의심해야 합니다. 시스템은 사용자가 링크를 누르기 전에 '정말 안전한 링크가 맞습니까? 발신자가 김대리 본인이 맞는지 다른 경로로 확인했습니까?'라고 한 번 더 물어보는 절차를 강제해야 합니다.

1. - '판단력'을 높이는 훈련으로의 전환: 이제 보안 교육은 '수상한 메일은 열지 마세요'라는 원론적인 수준에서 벗어나야 합니다. AI가 생성한 극도로 정교한 가짜 정보와 진짜 정보를 나란히 놓고, 그 차이를 발견하고 거짓을 간파하는 훈련을 해야 합니다. 이것은 기술적 능력이 아니라, 맥락을 이해하고 비판적으로 사고하는 인문학적 능력에 더 가깝습니다.

1. - AI 레드팀(Red Teaming)의 의무화: 우리 회사를 방어하는 블루팀(Blue Team)만으로는 부족합니다. 적극적으로 우리 회사를 공격하는 레드팀을 조직하고, 이들에게 최신 AI 도구를 쥐여주어야 합니다. 이번 사건의 '핵트론'처럼, 외부의 시선으로, 혹은 내부의 적이 되어 우리 시스템의 가장 약한 고리를 끊임없이 두드려보게 해야 합니다. 특히 경쟁사 AI를 이용해 우리를 공격하는 시나리오를 반드시 포함해야 합니다.

결국 AI 시대의 보안은 더 좋은 기술을 도입하는 것만으로 해결되지 않습니다. 기술을 사용하는 사람, 그 기술의 공격 대상이 되는 사람, 그리고 그 사이를 연결하는 모든 과정(프로세스)을 의심하고 재설계해야 하는, 훨씬 더 근본적인 과제입니다.

독자가 던질 법한 질문들

Q. 오픈AI의 기술력이 부족해서 뚫린 건가요? A. 꼭 그렇다고 보긴 어렵습니다. 세계 최고 수준의 기술 기업도 사회 공학 공격에는 취약할 수 있습니다. 이번 사건은 특정 기술의 허점이라기보다, 시스템과 사람이 만나는 지점의 보안 정책, 그리고 인간의 심리적 취약점을 파고든 사례입니다. 아무리 튼튼한 금고도 주인이 직접 비밀번호를 알려주면 소용없는 것과 같습니다. 오히려 세계 1위 기업도 이렇게 뚫릴 수 있다는 사실이 우리 모두에게 경각심을 줍니다.

Q. 그럼 이제 AI 개발을 멈추거나 강력하게 규제해야 하는 것 아닌가요? A. '구더기 무서워 장 못 담글까'라는 속담이 생각납니다. AI의 잠재적 위험 때문에 개발을 멈추는 것은 현실적이지도, 바람직하지도 않습니다. 중요한 것은 속도가 아니라 방향입니다. 위험을 인지하고, 그에 맞는 방어 기술과 사회적 합의, 제도적 장치를 함께 만들어나가는 '책임감 있는 발전'이 필요합니다. 자동차가 처음 나왔을 때 사고가 잦다고 해서 마차 시대로 돌아갈 수는 없었던 것과 마찬가지입니다.

Q. 일반인인 저는 무엇을 조심해야 할까요? A. AI가 쓴 글은 앞으로 더 정교해지고, 진짜와 가짜를 구분하기 어려워질 겁니다. 이메일, 문자, SNS 메시지에 포함된 링크나 첨부파일은 무조건 의심하는 습관을 들여야 합니다. 특히 '긴급', '계정 정지', '특별 할인'처럼 감정을 자극하고 빠른 행동을 유도하는 단어가 있다면 한 번 더 확인해야 합니다. 보이스피싱범의 목소리가 점점 더 자연스러워지듯, AI가 쓴 피싱 텍스트도 점점 더 교묘해질 것이기 때문입니다. '설마 내가 당하겠어?'라는 생각이 가장 위험합니다.