논문 브리핑
인공지능의 도덕성 평가, ‘상황별 규범’이라는 절반의 그림자를 놓치고 있다
글 · 한경모
인공지능(AI)의 윤리적 사용과 안전에 대한 논의는 이제 기술 발전만큼이나 중요한 화두입니다. 특히 대규모 언어 모델(LLM)의 도덕적 역량을 평가하려는 시도가 활발히 이루어지고 있습니다. 하지만 최근 발표된 한 논문은 이러한 평가 방식이 AI 도덕성의 절반만을 보고 있다고 지적하며, 중요한 관점을 제시해 주목받고 있습니다.
이 논문은 현재 LLM의 도덕성 평가가 주로 ‘도덕적 가치 문제(moral value problem)’에 초점을 맞추고 있다고 분석합니다. 이는 AI의 출력이 인간의 보편적인 도덕적 가치에 얼마나 부합하는지, 즉 해를 끼치지 않고 공정하며 편향되지 않은 판단을 내리는지 등을 평가하는 영역입니다. 예를 들어, AI가 특정 집단에 대한 혐오 발언을 생성하지 않거나, 윤리적 딜레마 상황에서 더 많은 사람에게 이득이 되는 방향을 제시하는지 등이 여기에 해당됩니다. 이러한 평가는 주로 도덕성 기반 이론(Moral Foundations Theory)이나 콜버그의 도덕 발달 단계론과 같은 ‘기술 윤리(descriptive ethics)’ 프레임워크에 의존합니다.
하지만 논문은 이러한 접근 방식이 ‘도덕적 규범 문제(moral norm problem)’를 간과하고 있다고 강조합니다. 도덕적 규범 문제는 AI가 특정 상황에 맞는 도덕적 규범을 올바르게 식별하고 적용할 수 있는지를 다룹니다. 가치는 추상적이고 보편적인 원칙이라면, 규범은 특정 맥락에서 어떻게 행동해야 하는지에 대한 구체적인 지침입니다. 예를 들어, 긴급 의료 상황에서 어떤 환자를 우선순위에 둘 것인지, 자율주행차가 불가피한 사고 시 누구의 피해를 최소화할 것인지와 같은 복잡한 판단은 단순히 보편적인 가치만으로 해결하기 어렵습니다. 특정 직업 윤리, 법적 테두리, 문화적 관습 등 상황에 따라 적용되는 섬세한 규범에 대한 이해가 필수적입니다.
이처럼 평가의 균형이 깨진 이유에 대해 논문은 기술 윤리 프레임워크에 대한 과도한 의존을 지적합니다. 기술 윤리는 ‘사람들이 실제로 무엇을 가치 있다고 여기고 어떻게 행동하는가’를 설명하는 데 강점이 있지만, ‘사람들이 특정 상황에서 어떻게 행동해야 하는가’에 대한 규범적 지침을 제공하는 데는 한계가 있습니다. AI가 실제 세상에서 작동하려면 단순히 ‘옳고 그름’을 아는 것을 넘어, ‘어떤 상황에서 무엇이 옳은지’를 판단하고 적용할 수 있어야 한다는 뜻입니다.
물론, 일부에서는 보편적인 도덕적 가치만 제대로 학습한다면 상황별 규범은 그 가치에서 자연스럽게 파생될 수 있다고 주장할 수 있습니다. 그러나 현실은 훨씬 더 복잡합니다. 추상적인 가치와 구체적인 규범 사이에는 해석과 적용의 간극이 존재하며, 이 간극은 AI가 예상치 못한 윤리적 실패를 일으킬 수 있는 지점입니다. 예를 들어, ‘생명 존중’이라는 가치는 동일해도, 전쟁터의 군인과 평화 시 의사의 행동 규범은 극명하게 다릅니다. AI가 이러한 맥락적 차이를 인식하지 못한다면, 그 행동은 아무리 선한 의도에서 비롯되었더라도 사회적 갈등을 유발할 수 있습니다.
이러한 간과된 도덕적 규범 문제는 AI 시스템의 실제 적용에 중대한 영향을 미칩니다. 자율주행, 의료 진단, 금융 자문 등 사람의 생명과 재산에 직접적인 영향을 미치는 AI 분야에서는 보편적 가치만큼이나 특정 상황에 따른 세부적인 규범 준수가 필수적입니다. 단순히 AI가 나쁜 말을 하지 않도록 하는 것을 넘어, AI가 복잡한 사회 시스템 속에서 책임감 있게 기능하도록 만들려면 규범적 이해를 높이는 것이 핵심입니다. 업계 전문가들 사이에서도 AI 윤리의 다음 단계는 추상적인 원칙을 넘어 실제 적용 가능한 ‘운영화된 윤리(operationalized ethics)’로 나아가야 한다는 목소리가 커지고 있습니다.
이 논문은 향후 AI 윤리 연구의 방향성을 제시합니다. 앞으로는 LLM이 다양한 맥락과 환경에서 적용되는 도덕적 규범들을 어떻게 학습하고, 식별하며, 적용할 수 있는지에 대한 연구가 활발히 진행되어야 할 것입니다. 이는 단순히 거대 데이터를 통해 보편적인 도덕적 가치를 학습하는 것을 넘어, 상황별 규범 데이터셋을 구축하고, 특정 전문 분야의 윤리 강령이나 법규를 LLM에 효과적으로 주입하는 방법론 개발로 이어질 수 있습니다. 궁극적으로는 AI가 인간 사회의 복잡한 도덕적 지형을 더 깊이 이해하고 적절하게 탐색하도록 돕는 중요한 전환점이 될 것입니다.
인사이트
현재 인공지능의 도덕성 평가는 보편적인 '가치'에 치중되어 복잡한 '상황별 규범' 적용 능력을 간과하고 있으며, 이 간극을 해결하는 것이 인공지능의 실제 사회 적용에 핵심 과제입니다.
자주 묻는 질문
- AI가 인간처럼 도덕적인 판단을 내릴 수 있다는 건가요?
- 아닙니다. 이 논문은 AI가 인간의 도덕적 가치와 규범을 이해하고 적용하는 능력을 평가하는 방법을 다룹니다. AI가 인간처럼 감정이나 의지를 가지고 도덕적 판단을 한다는 의미는 아닙니다.
- 이 연구가 실제 인공지능 개발에 어떤 영향을 미칠까요?
- AI 개발자들이 단순히 AI의 유해성 출력을 막는 것을 넘어, 자율주행이나 의료 등 특정 분야에서 요구되는 섬세한 윤리적 규범을 AI에 학습시키기 위한 방법론을 모색하게 될 것입니다. 이는 AI의 신뢰성을 높이고 사회적 수용도를 확대하는 데 기여할 수 있습니다.
- AI의 도덕성 평가가 왜 이렇게 어려운 건가요?
- 인간의 도덕성은 보편적인 가치뿐만 아니라 문화, 직업, 상황에 따라 달라지는 복잡한 규범들로 구성되어 있기 때문입니다. 이러한 규범들은 명확하게 수치화하거나 정의하기 어려워, AI가 맥락을 이해하고 적용하도록 가르치는 것이 매우 도전적인 과제입니다.
이 기사 어땠어요?
피드백을 남겨주시면 더 나은 맞춤 추천을 만듭니다.