논문 브리핑
인공지능 정렬, 인간은 단일하지 않다: '내부 다원주의'가 짝 비교를 흔드는 이유
글 · 한경모
인공지능(AI)이 우리 삶의 더 깊숙한 영역으로 들어오면서, AI가 인간의 가치와 목표에 부합하도록 만드는 'AI 정렬(Alignment)'은 핵심적인 연구 분야로 자리 잡았습니다. 이 정렬 작업을 위해 AI 모델에 인간의 선호를 학습시키는 대표적인 방법 중 하나가 바로 '짝 비교(Pairwise Comparisons)'입니다. 즉, AI가 내놓은 두 가지 결과물 중 어떤 것이 더 나은지 인간이 선택하게 함으로써 AI의 학습 방향을 조정하는 방식이죠.
그런데 최근 arXiv에 공개된 논문 'Internal Pluralism and the Limits of Pairwise Comparisons'는 이처럼 널리 사용되는 짝 비교 방식의 근본적인 한계를 지적하며 주목받고 있습니다. 이 논문은 짝 비교 방식이 두 가지 강력한 가정을 전제한다고 봅니다. 첫째, 지역적인(local) 비교만으로도 인간이 자동화된 의사결정 규칙에 대해 어떤 선호를 가졌는지 충분히 알 수 있다는 가정입니다. 둘째, 인간은 항상 이 비교에 대해 단호하고 명확하게 답할 수 있다는 가정입니다.
논문은 이러한 가정이 '내부 다원주의(Internal Pluralism)'라는 개념 앞에서 무너질 수 있다고 주장합니다. 내부 다원주의는 한 개인이 인공지능의 의사결정 규칙을 평가할 때, 여러 개의 독립적이고 때로는 서로 상충할 수 있는 권위 있는 우선순위들을 가지고 있다는 생각입니다. 예를 들어, AI가 제안하는 의료 진단 시스템에 대해 어떤 사람은 '정확성'을 최우선으로 여기지만, 다른 한편으로는 '환자의 사생활 보호'나 '의료비용 효율성' 역시 중요하게 고려할 수 있습니다. 이 가치들 사이에서 트레이드오프가 발생할 때, 단순한 짝 비교는 인간의 복잡한 내면을 제대로 포착하기 어렵습니다.
이러한 복합적인 가치 충돌은 특히 중요한 의사결정을 내리는 AI 시스템에서 치명적인 문제를 야기할 수 있습니다. 짝 비교는 단일하고 일관된 선호를 가정하기 때문에, 사용자가 가진 여러 우선순위 중 특정 한 면만을 부각시키거나, 아니면 오히려 결정을 내리지 못하고 불확실성을 겪게 할 수 있습니다. 결국, AI는 인간의 복잡한 선호를 제대로 반영하지 못한 채 학습되어, 의도와 다르게 작동하거나 사용자에게 불만족을 안겨줄 위험이 커집니다.
이 논문이 제기하는 핵심적인 쟁점들을 정리해 볼 수 있습니다.
- 기존 짝 비교 방식: 단순 명료하여 대규모 데이터 수집과 AI 학습에 용이하다는 장점이 있습니다. 특정 상황에서는 효율적입니다.
- 문제점: 개인의 다층적이고 때로는 상충하는 선호를 간과하며, 복잡한 현실 세계의 의사결정 상황에서 한계를 드러냅니다. 마치 복잡한 지도를 단 하나의 좌표로만 표현하려는 것과 같습니다.
- '내부 다원주의' 관점: 인간의 선호는 본질적으로 다면적이고 맥락 의존적이라는 점을 강조합니다. 이는 AI가 단일한 '올바른' 해답을 찾는 것이 아니라, 여러 '합리적인' 해답 중 어떤 것이 특정 상황에 더 적합한지 판단하도록 학습되어야 함을 시사합니다.
- 향후 과제: 인간의 다원적 선호를 포착하고, 이를 AI 학습에 반영할 수 있는 더욱 정교하고 다각적인 정렬 방법론 개발이 필요합니다.
인사이트
이 논문은 인공지능(AI) 정렬의 핵심 도구인 '짝 비교' 방식이 인간의 복잡한 '내부 다원주의'를 간과하며 한계를 가진다고 지적합니다. 이는 AI가 단순한 선호를 넘어 인간의 다층적인 가치와 목표를 이해하고 반영하기 위해 새로운 접근 방식이 필요함을 역설하는 중요한 연구입니다.
자주 묻는 질문
- 그럼 짝 비교 방식은 이제 쓸모없다는 건가요?
- 짝 비교 방식은 특정 맥락에서 여전히 유효하지만, 인간의 복잡한 선호를 포착하는 데는 한계가 명확합니다. 특히 중요한 의사결정 규칙을 정렬할 때는 더욱 정교한 접근이 필요하다는 의미입니다.
- '내부 다원주의'를 AI에 어떻게 반영해야 할까요?
- 이 논문은 문제 제기에 가깝지만, 이를 반영하려면 다중 목표 최적화, 상황별 가치 판단 시스템, 또는 사용자가 자신의 가치 충돌을 명시적으로 표현할 수 있는 인터페이스 개발 등이 고려될 수 있습니다. AI가 단순한 단일 해답을 넘어 다양한 관점을 이해하고 제시할 수 있도록 발전해야 합니다.
- AI 정렬(Alignment)이 왜 이렇게 어려운가요?
- AI 정렬이 어려운 주된 이유는 인간의 가치와 선호가 단일하거나 정적이지 않기 때문입니다. 사회 문화적 맥락, 개인의 경험, 심지어 특정 순간의 감정에 따라 복잡하게 변하며, 이러한 복잡성을 AI 시스템에 정확하게 학습시키고 반영하는 것은 여전히 큰 연구 과제입니다.
이 기사 어땠어요?
피드백을 남겨주시면 더 나은 맞춤 추천을 만듭니다.