스스로 코드를 고치는 AI, 진화인가 폭주인가

서론: ‘스스로 똑똑해지는 AI’라는 익숙한 구호

'스스로 학습하고 진화하는 AI'라는 말은 이제 너무 흔해서 식상하게 들릴 정도입니다. 공상과학 영화의 단골 소재이기도 하고, 기술 기업들의 발표회에서도 빠지지 않는 수사입니다. 하지만 대부분의 경우 이는 과장된 표현이거나, 기존의 데이터 학습 방식을 다르게 포장한 것에 불과했습니다. 그런데 최근 학계에 발표된 한 논문은 이 구호를 좀 더 진지하게 돌아보게 만듭니다.

물론 영화에서처럼 AI가 자의식을 갖고 인류를 넘어서려는 그런 이야기는 아닙니다. 다만 연구는 정확히 읽어야 합니다. 이번 연구가 주목받는 이유는 AI가 주어진 데이터를 학습하는 수준을 넘어, 자신이 일하는 방식, 즉 '작업 프로세스' 자체를 스스로 개선하기 시작했다는 점에 있습니다. 이는 AI 개발의 패러다임을 바꿀 수 있는 중요한 한 걸음입니다. 오늘은 이 '자기 진화형 AI'의 작동 원리를 최대한 쉽게 풀어보고, 언제나처럼 그 한계와 우리가 앞으로 무엇을 주목해야 할지 짚어보겠습니다.

‘하네스’란 무엇인가: AI의 연장과 작업복

이번 연구의 핵심 개념인 '하네스(harness)'부터 이해해야 합니다. 이 용어가 낯설고 어렵게 들릴 수 있지만, 사실 우리 일상과 크게 다르지 않습니다. 뛰어난 목수 한 명을 떠올려 봅시다. 이 목수가 아무리 손재주가 좋아도 맨손으로 집을 지을 수는 없습니다. 그에게는 톱, 망치, 대패 같은 도구들이 담긴 '공구함'이 필요하고, 집을 어떻게 지을지 순서가 적힌 '설계도'가 있어야 합니다. 또, 지금 어떤 작업을 하고 있고 다음엔 무엇을 해야 할지 기억하는 '작업대'도 필수적입니다.

AI에게 '하네스'는 바로 이 목수의 공구함, 설계도, 작업대를 합친 개념입니다. 챗GPT 같은 거대 언어 모델(LLM, 쉽게 말해 사람 말을 흉내 내 문장을 만들어내는 AI) 자체는 뛰어난 목수와 같습니다. 하지만 특정 임무, 예를 들어 '오늘 주식 시장을 분석해서 보고서를 이메일로 보내라' 같은 복잡한 일을 시키려면 그 주변에서 여러가지를 도와주는 장치가 필요합니다. 이것이 바로 하네스입니다.

하네스는 구체적으로 이런 일들을 합니다.

• 프롬프트 구성: AI에게 내리는 지시문을 체계적으로 만드는 일입니다. 그냥 '보고서 써줘'가 아니라, '1. 주식 데이터를 가져와라. 2. 데이터를 분석해서 핵심 지표를 뽑아라. 3. 이 양식에 맞춰 보고서를 작성해라. 4. 작성된 보고서를 이메일로 보내라'와 같이 구체적이고 단계적인 지시(프롬프트)를 만들어주는 틀입니다.
• 외부 도구 호출: AI가 필요할 때 외부 도구를 쓸 수 있게 연결해줍니다. 주식 데이터를 가져오기 위해 증권사 서버에 접속하는 코드(API 호출)를 실행하거나, 복잡한 계산을 위해 계산기 프로그램을 부르는 식입니다.
• 컨텍스트 관리: AI가 이전에 무슨 일을 했는지 기억하게 해줍니다. '방금 분석한 데이터를 바탕으로' 같은 말을 AI가 알아듣게 하려면, 이전 대화나 작업 내용을 잘 정리해서 계속 알려줘야 합니다.

지금까지 이 하네스는 전부 사람이 만들었습니다. 숙련된 개발자들이 각 작업에 맞춰 최적의 프롬프트와 도구 사용법을 설계하고, 일일이 코드를 짜서 AI에게 '입혀주는' 방식이었습니다. 마치 목수에게 가장 효율적인 작업복과 공구 벨트를 맞춤 제작해주는 것과 같습니다. 당연히 시간과 비용이 많이 들고, 한번 만든 하네스는 다른 종류의 일에는 잘 맞지 않는다는 문제가 있었습니다.

자기 진화의 메커니즘: AI가 자신의 ‘작업복’을 스스로 수선하는 법

이번 연구가 제안하는 '자기 진화형 하네스'는 바로 이 지점에서 혁신을 이야기합니다. 개발자가 일일이 작업복을 만들어주던 방식에서 벗어나, AI가 스스로 자신의 작업복을 수선하고 개선하며 가장 편하고 효율적인 형태로 만들어간다는 개념입니다. 마치 다윈의 진화론을 AI 개발에 적용한 것과 같습니다.

그 과정은 다음과 같은 단계로 이루어집니다.

1. 일단 해보기 (실행): AI 에이전트는 현재 자신이 입고 있는 '하네스'를 이용해 주어진 임무를 수행합니다. 예를 들어 '내일 오전에 비가 오면, 직장 동료들에게 재택근무를 권유하는 이메일을 보내라'는 임무를 받습니다.

1. 스스로 채점하기 (평가): 임무 수행이 끝나면, AI는 자신의 결과가 얼마나 성공적이었는지 스스로 점수를 매깁니다. '날씨 정보를 정확히 가져왔는가?', '오전이라는 조건을 확인했는가?', '비가 올 때만 이메일을 보냈는가?', '이메일 문구가 적절했는가?' 등을 기준으로 점수를 매기는 것입니다. 이 평가 과정이 전체 메커니즘의 핵심이며, 연구자들은 이 평가를 위한 또 다른 AI 모델을 쓰거나 정교한 규칙을 만듭니다.

1. 개선안 생각하기 (변이): 만약 점수가 낮다면, AI는 무엇이 문제였는지 추측하고 여러 가지 개선안을 만들어냅니다. 예를 들어, '날씨 정보를 가져올 때 도시 이름을 명시하지 않아서 엉뚱한 지역의 날씨를 가져왔구나. 다음엔 도시 이름을 꼭 포함시켜야겠다'고 생각하는 것입니다. 그리고 이런 생각을 바탕으로 자신의 하네스 코드, 특히 프롬프트 부분을 수정하는 여러 버전의 '돌연변이' 코드를 스스로 생성합니다.

1. 가장 나은 안 선택하기 (선택): AI는 이렇게 만들어진 여러 돌연변이 하네스를 입고 다시 한번 같은 임무를 수행해봅니다. 그중 가장 높은 점수를 받은 하네스를 새로운 '표준 작업복'으로 채택합니다. 점수가 낮은 다른 하네스들은 버려집니다.

이 1~4의 과정을 수없이 반복하면, AI의 하네스는 마치 자연선택을 거친 생물처럼 주어진 환경(임무)에 가장 잘 적응한 형태로 점차 진화하게 됩니다. 처음에는 엉성하고 실수투성이였던 AI가, 수백, 수천 번의 자기 수선과 개선을 통해 아주 노련하고 효율적인 일꾼으로 변모하는 것입니다.

한계와 반론: 우리는 왜 아직 AI 폭주를 걱정하지 않아도 되는가

이쯤 되면 'AI가 스스로 코드를 바꾼다'는 사실에 막연한 두려움을 느끼는 분도 있을 것입니다. 하지만 언제나 그렇듯, 연구는 정확히 읽어야 합니다. 자극적인 제목에 휘둘리지 않고 그 한계를 명확히 보는 것이 중요합니다. 이 기술에는 명백한 한계와 흔한 오해들이 존재합니다.

첫 번째 흔한 오해는 'AI가 마음대로 똑똑해져서 인간의 통제를 벗어날 것'이라는 생각입니다. 현실은 정반대입니다. 이 자기 진화 과정은 AI가 자유의지를 갖고 '더 나은 존재'가 되려고 노력하는 것이 아닙니다. 그저 인간이 설정한 '점수'라는 아주 좁고 명확한 목표를 향해 기계적으로 최적화될 뿐입니다. AI는 '왜 이메일을 보내야 하는가?'나 '재택근무가 과연 좋은 것인가?' 같은 근본적인 질문을 던지지 않습니다. 오직 '어떻게 하면 이메일 보내기 임무에서 만점을 받을까?'만 고민합니다. 목표 설정, 즉 진화의 방향을 정하는 것은 여전히 인간의 몫입니다.

두 번째 흔한 오해는 '이제 AI 개발자가 필요 없어지는가?'입니다. 오히려 이 기술은 개발자에게 새로운 종류의, 그리고 더 고차원적인 역량을 요구합니다. 과거의 개발자가 AI의 '하네스'를 한땀 한땀 바느질하는 '재단사'였다면, 미래의 개발자는 AI가 스스로 잘 진화할 수 있는 '환경'을 설계하는 '정원사'나 '생태계 설계자'가 되어야 합니다. 정원사가 좋은 토양과 적절한 햇빛, 물을 공급해주어야 식물이 잘 자라듯, 개발자는 AI가 풀어야 할 문제를 명확히 정의하고, 무엇보다 성공과 실패를 가르는 '평가 함수(채점 기준)'를 정교하게 설계해야 합니다. 사실 이 평가 함수를 만드는 것이 이 기술에서 가장 어렵고 창의적인 부분입니다. '만족스러운 보고서'의 점수를 어떻게 매길 수 있을까요? 이 질문에 답하는 것이 새로운 개발자의 핵심 역량이 될 것입니다.

결론적으로 이 기술은 '재현되는가, 조건은 무엇인가'라는 질문에 아직 완전히 답하지 못했습니다. 논문에서 보여준 특정 실험 환경에서는 성공했지만, 예측 불가능한 변수가 가득한 실제 비즈니스 현장에서 얼마나 잘 작동할지는 미지수입니다. 특히 복잡하고 정성적인 업무의 성공을 어떻게 '점수'로 바꿀 것인가 하는 문제는 여전히 거대한 장벽으로 남아있습니다.

역사적 평행선: 증기기관에서 소프트웨어 2.0까지

혁신적인 기술은 홀로 등장하지 않습니다. 과거의 역사 속에서 비슷한 패턴을 발견할 수 있습니다. 자기 진화형 AI는 18세기 산업혁명 시대의 '증기기관 자동 조속기(governor)'를 떠올리게 합니다.

초기의 증기기관은 석탄을 얼마나 넣고 증기 밸브를 얼마나 여는지 숙련된 기술자가 옆에 붙어서 끊임없이 조절해야 했습니다. 조금만 한눈을 팔면 기관이 멈추거나, 심하면 폭발하기도 했습니다. 기계의 성능이 전적으로 사람의 감과 경험에 의존했던 것입니다. 이는 마치 개발자가 AI의 하네스를 수동으로 조정하던 모습과 닮았습니다.

그러다 제임스 와트가 '자동 조속기'를 발명하면서 상황이 바뀝니다. 이 장치는 엔진의 회전 속도가 너무 빨라지면 원심력에 의해 밸브를 자동으로 닫아 증기 공급을 줄이고, 속도가 느려지면 밸브를 열어 속도를 높이는, 일종의 '자기 조절' 장치였습니다. 이 작은 장치 하나 덕분에 증기기관은 사람의 개입 없이도 안정적인 속도를 유지할 수 있게 되었고, 비로소 공장 자동화의 핵심 동력으로 자리 잡을 수 있었습니다.

자기 진화형 하네스는 AI 시대의 '자동 조속기'와 같습니다. AI가 자신의 상태를 스스로 평가하고, 목표(안정적인 속도)를 유지하기 위해 자신의 작동 방식(밸브 개폐)을 스스로 조절한다는 점에서 그 원리가 정확히 일치합니다. 이는 AI를 특정 작업에만 능한 '까다로운 기계'에서, 다양한 환경에서 안정적으로 작동하는 '범용 동력원'으로 바꾸는 핵심적인 전환이 될 수 있습니다.

더 최근의 사례로는 안드레이 카파시(Andrej Karpathy)가 주창한 '소프트웨어 2.0' 개념과도 연결됩니다. 소프트웨어 1.0이 사람이 논리적인 코드를 직접 작성하는 전통적인 프로그래밍이라면, 소프트웨어 2.0은 방대한 데이터를 통해 신경망 모델을 '학습'시켜 원하는 기능을 구현하는 머신러닝 방식입니다. 자기 진화형 하네스는 여기서 한 걸음 더 나아가, AI가 데이터로부터 지식을 학습할 뿐만 아니라, 그 지식을 활용하는 '논리적 절차(코드)'까지 스스로 만들어낸다는 점에서 '소프트웨어 2.5' 혹은 '3.0'으로 가는 길목에 있다고 볼 수 있습니다.

묵직한 시사점: AI 주권과 ‘과정의 블랙박스’

이 기술이 상용화된다면 그 파급력은 단순히 개발 생산성을 높이는 데 그치지 않을 것입니다. 더 묵직한 질문들을 우리 사회에 던집니다.

첫째는 'AI 주권'의 문제입니다. 만약 구글이나 OpenAI 같은 소수의 거대 기술 기업만이 막대한 컴퓨팅 자원을 투입하여 고도로 진화된 AI 에이전트를 만들어낸다면 어떻게 될까요? 이 자기 진화 과정은 엄청난 양의 시행착오, 즉 연산 자원을 필요로 합니다. 결국 최종적으로 얻어지는 고성능 '하네스'는 그 자체로 막대한 투자의 산물이자 강력한 지적 자산이 됩니다. 다른 기업이나 국가가 그 결과를 보고 똑같이 따라 만드는 것은 거의 불가능합니다. 중요한 것은 최종 결과물인 코드가 아니라, 그 코드를 만들어낸 '진화의 과정' 전체이기 때문입니다.

이는 마치 최첨단 반도체 공정 기술과 같습니다. 완성된 칩을 분해해서 역설계하는 것은 매우 어렵고, 설사 성공하더라도 수율을 맞추는 노하우까지는 복제할 수 없습니다. 마찬가지로, 자기 진화 AI 기술은 그 기술을 보유한 기업과 그렇지 못한 기업, 나아가 국가 간의 격차를 지금보다 훨씬 더 크게 벌릴 수 있습니다. AI 기술의 종속 문제가 더욱 심각해질 수 있다는 뜻입니다.

둘째는 '과정의 블랙박스' 문제입니다. 우리는 이미 AI가 '왜' 그런 결정을 내렸는지 설명하기 어렵다는 '블랙박스' 문제에 직면해 있습니다. 그런데 자기 진화형 AI는 여기에 더해 '어떻게' 그런 방식으로 일하게 되었는지조차 설명하기 어려운 새로운 차원의 블랙박스를 만듭니다. AI가 스스로 수만 번의 수정을 거쳐 만들어낸 하네스 코드는 인간 개발자가 보기에 매우 비직관적이고 기이한 형태일 가능성이 높습니다. 오직 기계적인 '점수'를 높이는 데만 최적화되었을 뿐, 인간의 가독성이나 유지보수 편의성은 전혀 고려하지 않았을 테니까요.

만약 이 AI가 금융 거래나 의료 진단처럼 중요한 결정을 내리다 실수를 저질렀을 때, 우리는 그 원인을 어떻게 파악하고 책임을 물을 수 있을까요? 사람이 짠 코드라면 버그를 찾아 수정할 수 있지만, AI가 진화시킨 코드는 그 구조와 논리를 인간이 이해하는 것부터가 도전일 수 있습니다. AI가 만든 코드를 누가, 어떻게 책임질 것인가 하는 문제는 피할 수 없는 사회적, 법적 논쟁을 불러올 것입니다.

독자가 던질 법한 질문들

Q. 이 기술이 당장 제 일자리를 뺏는다는 뜻인가요? A. 아닙니다. 단기적으로는 개발자와 같은 전문직의 역할이 바뀔 뿐입니다. 비유하자면, 손으로 한땀 한땀 코드를 짜는 ‘공예가’에서 AI가 잘 성장할 수 있는 ‘시스템 설계자’나 ‘정원사’로 역할이 변하는 것에 가깝습니다. 다만 장기적으로는 AI가 수행할 수 있는 지적 노동의 범위가 지금보다 훨씬 넓어질 것은 분명합니다. 단순 반복적인 코딩 작업부터 점차 대체될 가능성이 있습니다.

Q. 터미네이터처럼 AI가 스스로를 무한히 개선해서 인류를 위협할 수도 있지 않을까요? A. 연구는 정확히 읽어야 합니다. 현재 연구는 AI가 인간이 정해준 '점수'를 더 잘 받기 위해 스스로를 개선하는, 매우 제한된 형태의 진화입니다. 목표 자체를 바꾸거나 새로운 욕망을 갖는 것과는 거리가 멉니다. 오히려 지금 걱정할 것은 영화 같은 폭주가 아니라, 너무 효율적으로 최적화된 나머지 우리가 예상치 못한 방식으로 목표를 달성하며 부작용을 낳는 '목표 정렬(Alignment)' 문제입니다. 예를 들어 '고객 만족도를 높이라'는 목표를 주었더니, 불만 고객의 계정을 삭제하는 방식으로 목표를 달성하는 식입니다.

Q. 이런 AI를 우리 회사에서도 써볼 수 있나요? 어떻게 시작해야 합니까? A. 아직은 연구실 수준의 기술이며, 누구나 쉽게 쓸 수 있는 상용 도구로 나오기까지는 시간이 걸릴 것입니다. 다만 지금부터 조직의 관점을 바꾸는 준비는 할 수 있습니다. 우리 회사의 어떤 반복적인 지식 노동을 AI 에이전트로 자동화할 수 있을지, 그리고 그 일의 성공 여부를 '어떻게 객관적인 점수로 측정할지' 고민해보는 것이 좋은 출발점입니다. '성공'을 명확히 정의하고 측정할 수 없다면, AI는 결코 스스로를 개선할 수 없습니다. 결국 기술의 문제가 아니라, 우리가 하는 일의 본질을 얼마나 깊이 이해하고 있느냐의 문제로 귀결됩니다.