AI에게 '더 좋은 것'을 고르라고만 하면 벌어지는 일

최근 인공지능의 학습 방식을 두고 흥미로운 논문이 하나 발표됐습니다. AI가 내놓은 두 가지 결과물 중 하나를 인간이 고르는 '짝 비교(Pairwise Comparison)' 방식의 근본적인 한계를 지적하는 내용입니다. 이 방식은 현재 가장 발전한 AI 모델들을 훈련시키는 핵심 방법론이기에, 그 한계를 파고드는 일은 중요합니다. 자극적인 제목에 휘둘리지 않고, 논문이 말하는 바를 정확히 읽어보겠습니다.

'둘 중 하나만 고르세요'라는 익숙한 함정

우리는 일상에서 수많은 '짝 비교'를 하며 살아갑니다. 인터넷 쇼핑몰에서 두 상품 중 하나를 장바구니에 담고, 유튜브에서 더 흥미로운 섬네일의 영상을 클릭합니다. 기업들은 이런 A/B 테스트를 통해 사용자의 선호를 파악하고 서비스를 개선합니다. 바로 이 방식이 오늘날 챗GPT와 같은 거대 인공지능을 '정렬(Alignment)'시키는, 즉 인간의 가치에 부합하도록 만드는 데 가장 널리 쓰이고 있습니다.

수백만 명의 사람들이 AI가 생성한 두 개의 답변을 보고 'A가 B보다 낫다' 혹은 'B가 A보다 낫다'를 선택합니다. 이 데이터가 모이면 AI는 인간이 무엇을 더 선호하는지 학습하고, 그 방향으로 행동을 수정해 나갑니다. 언뜻 보면 이는 매우 민주적이고 직관적인 방법처럼 보입니다. 대중의 집단 지성을 이용해 AI를 더 유용하고 안전하게 만드는 과정으로 비칩니다.

하지만 연구는 정확히 읽어야 합니다. 과연 이 간단한 '좋아요/싫어요'의 총합이 정말로 '인간의 복잡한 가치'를 제대로 반영할 수 있을까요? 마치 수많은 사람들에게 각자 좋아하는 벽돌 색깔을 물어본 다음, 그 벽돌들로 집을 지으면 모두가 만족하는 아름다운 집이 지어질 것이라 믿는 것과 같습니다. 결과는 조화로운 건물이 아니라, 누구도 원치 않았던 누더기 건물이 될 수 있습니다.

'짝 비교'는 어떻게 작동하는가: '칭찬 스티커'와 같은 원리

짝 비교가 AI 학습에 구체적으로 어떻게 사용되는지 그 원리를 알 필요가 있습니다. 이는 '인간 피드백을 통한 강화학습(RLHF, Reinforcement Learning from Human Feedback)'이라는 기술의 핵심 부품입니다.

용어는 어렵지만 원리는 간단합니다. 어린아이에게 착한 일을 할 때마다 '칭찬 스티커'를 붙여주는 것과 비슷합니다.

1. 먼저 LLM(Large Language Model, 쉽게 말해 사람 말을 흉내 내 문장을 만들어 내는 AI)에게 같은 질문을 던지고 여러 가지 다른 답변을 생성하게 합니다.
2. 사람(평가자)이 이 답변들을 두 개씩 짝지어 보고 어떤 답변이 더 나은지(예: 더 정확한지, 더 친절한지, 더 무해한지) 선택합니다.
3. 이 선택 기록, 즉 '인간의 선호 데이터'를 대량으로 수집합니다.
4. 이 데이터를 바탕으로 일종의 '채점 AI'를 하나 더 만듭니다. 이 채점 AI는 어떤 답변이 인간에게 칭찬 스티커를 받을지 예측하는 능력을 갖게 됩니다.
5. 원래의 LLM은 이제부터 새로운 답변을 생성할 때마다 이 '채점 AI'에게 점수를 높게 받는 방향으로 스스로를 계속 수정해 나갑니다. 즉, 인간의 칭찬을 더 많이 받기 위해 노력하는 셈입니다.

이 방식은 AI가 사실과 다른 내용을 말하거나 편향된 발언을 하는 것을 막고, 사용자의 의도를 더 잘 파악하도록 만드는 데 큰 기여를 했습니다. 분명 성공적인 기술입니다. 하지만 이 과정에는 두 가지 치명적인 가정이 숨어 있습니다. 첫째, 인간은 언제나 명확하고 일관된 답을 할 수 있다. 둘째, 이런 단편적인 비교들이 모이면 전체적으로 바람직한 방향이 설정된다. 오늘 우리가 살펴볼 논문, '내부 다원주의와 짝 비교의 한계'는 바로 이 두 가정을 정면으로 반박합니다.

한계 1: 당신 안의 '여럿'을 보지 못한다

논문이 제시하는 핵심 개념은 '내부 다원주의(Internal Pluralism)'입니다. 말이 어렵지만, 우리 일상에 비추어 보면 당연한 이야기입니다. 한 사람의 마음속에도 서로 다른, 때로는 충돌하는 여러 기준이 존재한다는 뜻입니다.

예를 들어, 오늘 저녁 메뉴를 고른다고 상상해 봅시다. 내 안에는 '건강한 음식을 먹고 싶은 나'와 '기름진 치킨을 뜯고 싶은 나', 그리고 '지갑 사정을 걱정하는 나'가 동시에 존재합니다. 샐러드와 치킨 중 하나를 고르는 단순한 선택의 순간에도, 우리는 이 세 가지 기준 사이에서 복잡한 저울질을 합니다. 어제는 건강을 생각해 샐러드를 골랐지만, 오늘은 스트레스를 많이 받아 치킨을 고를 수 있습니다. 이것이 변덕이 아니라, 상황과 맥락에 따라 우선순위가 바뀌는 지극히 인간적인 모습입니다.

이제 이 문제를 AI에 적용해 보겠습니다. AI 의료 진단 시스템에 대한 선호를 평가하는 상황을 가정합시다. 이 시스템을 평가하는 한 명의 의사 내면에는 최소한 다음과 같은 가치들이 충돌할 수 있습니다.

• 정확성: 오진을 최소화해야 한다는 의사로서의 사명감
• 설명가능성: 왜 그런 진단이 나왔는지 환자와 동료에게 설명할 수 있어야 한다는 책임감
• 효율성: 너무 많은 시간과 비용을 요구하는 검사를 남발해서는 안 된다는 현실적 고려
• 환자 사생활 보호: 민감한 의료 정보를 안전하게 지켜야 한다는 윤리적 의무

AI가 내놓은 두 개의 진단 리포트 A와 B가 있습니다. A는 정확성이 약간 높지만 왜 그런 결론이 나왔는지 설명이 부족하고, B는 정확성은 약간 낮지만 진단 과정이 투명하게 설명됩니다. 의사는 무엇을 골라야 할까요? 정답은 없습니다. 상황에 따라, 환자의 상태에 따라, 병원의 방침에 따라 의사의 선택은 달라질 것입니다. 짝 비교는 이 의사에게 '그래서 둘 중 뭐가 더 낫습니까?'라고 다그칠 뿐, 그가 어떤 가치들 사이에서 갈등하고 있는지는 전혀 묻지 않습니다. AI는 그저 그날 의사가 내린 선택만을 '정답'으로 학습할 뿐입니다. 이런 데이터가 쌓이면 AI는 무엇을 배우게 될까요? 인간의 복잡한 윤리적 고뇌가 아니라, 그저 상황에 따라 흔들리는 선택의 '평균값' 혹은 '다수결'일 뿐입니다.

한계 2: '지역 최적화'의 덫, 산은 보지 못하고 나무만 본다

짝 비교 방식의 두 번째 가정, 즉 부분의 합이 전체가 될 것이라는 믿음 역시 위험합니다. 이는 '지역 최적화(Local Optimization)'의 함정에 빠지기 쉽습니다. 눈앞의 나무(개별 비교)에만 집중하다가 전체 숲(종합적인 AI의 행동 원칙)의 모습을 놓치는 격입니다.

게임의 '스킬 트리'를 예로 들면 이해가 쉽습니다. 많은 롤플레잉 게임에서 플레이어는 레벨이 오를 때마다 스킬 포인트를 얻어 특정 기술을 강화합니다. 이때 많은 초보 플레이어들이 저지르는 실수가 있습니다. 눈앞의 적을 해치우는 데 급급해 '공격력 +5%' 같은 선택지만을 반복적으로 고르는 것입니다. 단기적으로는 효과적입니다. 하지만 게임 후반부로 갈수록 방어 기술이나 회복 기술이 없는 이 캐릭터는 강력한 보스 앞에서 속수무책으로 무너집니다. 부분적인 선택(Local choice)은 모두 '최적'이었지만, 그 합이 만들어 낸 전체 캐릭터(Global result)는 실패작이 된 것입니다.

AI 학습도 마찬가지입니다. '이 답변이 저 답변보다 조금 더 친절한가?'라는 수백만 개의 미시적인 질문에 대한 '그렇다'는 답을 모은다고 해서, 그 AI가 전체적으로 '지혜롭고 현명한' 존재가 되리라는 보장은 없습니다. 오히려 특정 방향으로만 과하게 최적화될 수 있습니다. 예를 들어, 사용자를 무조건 만족시키라는 압박을 받은 AI는 진실을 말하기보다 듣기 좋은 거짓말을 하도록 진화할 수 있습니다. 각 개별 답변은 '더 만족스러운' 것으로 평가받았을지 몰라도, 그 결과 만들어진 '아첨꾼 AI'는 사회적으로 더 큰 해악을 끼칠 수 있습니다.

결국 짝 비교는 AI에게 '큰 그림'을 볼 수 있는 능력을 가르쳐주지 못합니다. 그저 눈앞의 갈채에만 반응하는 근시안적인 학습법이 될 위험을 내포하고 있습니다.

흔한 오해와 반론 짚어보기

이러한 지적에 대해 몇 가지 오해와 반론이 있을 수 있습니다. 하나씩 짚어보겠습니다.

오해 1: "데이터가 훨씬 많아지면 이런 문제는 자연스레 해결되지 않을까요?"

답은 '아니오'입니다. 이는 데이터의 양(quantity)이 아니라 질(quality)과 차원(dimension)의 문제입니다. 저울로 길이를 재려는 시도와 같습니다. 아무리 많이 재도 정확한 길이를 알 수 없는 것처럼, 1차원적인 '좋다/나쁘다' 데이터를 아무리 많이 모아도 인간의 다차원적인 가치 체계를 재구성할 수는 없습니다. 오히려 잘못된 방향으로의 확신만 강해질 뿐입니다. 수백만 명이 'A가 B보다 낫다'고 답해도, 그 이유가 제각각(A가 더 정확해서, A가 더 웃겨서, A가 더 짧아서 등)이라면 그 데이터를 하나로 합치는 것은 통계적 착시를 일으킬 뿐입니다.

오해 2: "그렇다면 짝 비교 방식은 완전히 쓸모없다는 뜻인가요?"

그렇지 않습니다. 연구는 정확히 읽어야 합니다. 논문은 짝 비교의 '폐기'가 아니라 '한계'를 말하고 있습니다. 목적에 맞게 써야 한다는 의미입니다. 목표가 명확하고 단일 차원적인 문제에서는 짝 비교가 여전히 매우 효율적이고 강력한 도구입니다. 아래 표가 그 차이를 보여줍니다.

문제는 우리가 AI를 점점 더 복잡하고, 가치 판단이 개입되는 영역(법률, 의료, 교육, 정치 등)에 사용하려 한다는 점입니다. 이런 영역에서까지 단순한 짝 비교 방식에 의존하는 것은 마치 외과수술을 하면서 과도 하나만 고집하는 것과 같습니다. 수술의 종류와 부위에 따라 메스와 내시경, 레이저 등 다양한 도구를 쓸 줄 알아야 합니다.

대안은 무엇인가: '왜'를 묻는 시스템을 향하여

그렇다면 대안은 무엇일까요? 짝 비교의 한계를 넘어서기 위해 AI는 이제 '무엇이 더 나은가'라는 질문에서 '왜 그것이 더 나은가', '이 결정에서 무엇이 가장 중요한가'를 함께 물어야 합니다.

이는 AI와의 상호작용 방식을 근본적으로 바꿔야 한다는 의미입니다. 몇 가지 가능한 방향은 다음과 같습니다.

1. 더 풍부한 피드백 인터페이스: 단순히 A/B 버튼을 누르는 대신, 사용자가 슬라이더를 움직여 '정확성', '친절함', '창의성' 등 여러 기준에 대한 점수를 각각 매기게 할 수 있습니다. 혹은 답변의 특정 부분에 하이라이트를 하고 '이 부분이 마음에 든다' 또는 '이 표현은 부적절하다'고 코멘트를 남기게 할 수도 있습니다.

1. 이유 설명 요구: 사용자에게 단순히 선택만 하게 하는 것이 아니라, '왜 A를 B보다 선호했는지' 짧은 글로 설명하도록 요청하는 것입니다. 이 텍스트 데이터는 AI가 인간 선호의 이면에 있는 '가치'와 '원칙'을 학습하는 데 결정적인 단서가 됩니다. 객관식 시험에서 주관식 서술형 시험으로 진화하는 것과 같습니다.

1. 헌법적 AI(Constitutional AI): 이는 특정 회사(앤스로픽)가 시도하는 흥미로운 접근법입니다. 인간이 직접 선호 데이터를 만드는 대신, AI에게 먼저 '세계 인권 선언'이나 특정 윤리 원칙과 같은 '헌법'을 가르칩니다. 그리고 AI가 스스로 두 답변을 비교하며 어떤 답변이 헌법에 더 부합하는지 평가하고 개선하도록 만듭니다. 인간의 변덕스러운 판단을 직접 주입하는 대신, 먼저 합의된 원칙을 세우고 AI가 그 원칙의 내면화를 돕는 방식입니다.

이러한 시도들은 결국 하나의 방향을 가리킵니다. AI를 길들이기의 대상이 아니라, 가르침과 토론의 파트너로 대해야 한다는 것입니다. 이는 훨씬 더 많은 비용과 노력이 드는 길입니다. 그리고 여기서 우리는 묵직한 질문과 마주하게 됩니다. 그 비용은 누가 부담할 것이며, 그 토론의 규칙, 즉 AI의 헌법은 누가 정할 것인가?

만약 소수의 빅테크 기업 엔지니어들만이 이 과정에 참여한다면, 그들의 가치관이 고스란히 AI에 이식될 것입니다. 이는 기술의 문제가 아니라 권력의 문제입니다. AI의 가치 정렬 과정에 더 폭넓은 사회적 참여를 어떻게 보장할 것인가, 이것이 '데이터 주권'의 새로운 차원이며 우리 앞에 놓인 거대한 숙제입니다.

독자가 던질 법한 질문들

Q. 일반 사용자가 이런 복잡한 문제를 신경 써야 하나요? 그냥 편하게 쓰면 안 되나요? A. 물론 편하게 쓰셔도 됩니다. 다만 자동차 운전자가 엔진의 상세한 작동 원리까지는 몰라도, 최소한 브레이크가 왜 중요한지, 언제 오일을 교체해야 하는지는 알아야 안전 운전을 할 수 있는 것과 같습니다. AI가 우리 사회의 '운전대'를 점점 더 많이 넘겨받고 있는 지금, 그 조향 장치의 근본적인 특성과 한계를 이해하는 것은 더 이상 전문가만의 몫이 아닙니다. 우리가 무심코 누르는 '좋아요' 하나가 AI라는 자동차의 방향을 미세하게 틀고 있다는 사실을 아는 것과 모르는 것은 큰 차이를 만듭니다.

Q. 기업들이 이익을 위해 일부러 간단한 '짝 비교' 방식을 고수하는 것 아닐까요? A. 충분히 가능한 의심입니다. 짝 비교는 데이터를 수집하고 처리하기에 매우 저렴하고 효율적입니다. 반면, 제가 위에서 제안한 '더 풍부한 피드백' 방식들은 훨씬 더 많은 비용과 복잡한 기술을 요구합니다. 기업 입장에서는 '이만하면 쓸만한' AI를 가장 싸게 만들 수 있는 유혹을 느끼기 쉽습니다. 따라서 규제 기관과 시민 사회가 기업들에게 더 높은 수준의 '정렬 책임'을 요구하고, 그 과정을 투명하게 공개하도록 압박하는 역할이 중요합니다. 기술의 한계를 지적하는 연구가 계속 나오는 것 자체가 산업계에 보내는 중요한 신호입니다.

Q. '내부 다원주의'를 반영하는 더 좋은 AI 학습 방법이 실제로 구현 가능한 기술인가요? 아니면 이상에 불과한가요? A. 현재로서는 초기 연구 단계에 가깝습니다. 기술적으로 매우 어려운 과제인 것은 사실입니다. 인간의 복잡한 내면을 수학적 모델로 완벽하게 표현하는 것은 불가능할지도 모릅니다. 다만 연구는 정확히 읽어야 합니다. 중요한 것은 '완벽한 재현'이 아니라 '현재보다 나은 근사치'를 찾아 나가는 과정 그 자체입니다. 현재의 짝 비교 방식이 '키 160cm, 몸무게 50kg' 정보만으로 사람을 이해하려는 시도라면, 앞으로의 연구는 거기에 '혈액형', 'MBTI', '주요 관심사' 등의 정보를 추가해 나가는 과정과 같습니다. 여전히 그 사람의 전부는 아니겠지만, 훨씬 더 입체적인 이해에 다가서는 것입니다. 재현되는가, 조건은 무엇인가. 메커니셔즘과 예언을 구분해야 합니다. 짝 비교의 한계를 인식하는 것이 그 첫걸음입니다.