논문 브리핑
인과 추론의 함정? 예측 정확도만으로 ‘교란 함수’를 평가할 수 없는 이유
글 · 한경모
인공지능 시대, 데이터 기반 의사결정에서 인과 관계를 추론하는 능력은 핵심적입니다. 치료법 효과, 마케팅 기여도 평가 등 '무엇이 무엇을 야기하는가'를 파악하는 것이 중요하죠. 이 과정에서 '교란 함수(nuisance function)'의 예측 정확도를 높이는 것이 인과 효과 추정의 신뢰성을 담보한다는 믿음이 널리 퍼져 있었습니다. 모델이 데이터를 잘 예측하면 인과 효과 추정 또한 정확할 것이라는 직관적인 생각이었죠.
그러나 최근 아카이브 논문 "When Prediction Error Is Not Enough: Evaluating Nuisance-Function Prediction for Causal Estimation"은 이 통념에 정면으로 도전합니다. 연구는 교란 함수의 예측 오차가 인과 추정치의 실제 성능 지표인 편향(bias), 제곱평균제곱근오차(RMSE), 95% 신뢰구간 커버리지(coverage)와 항상 일치하지 않을 수 있다고 주장, 단순 예측 정확도만으로는 인과 추론 성공을 보장할 수 없음을 밝혔습니다.
연구팀은 부분 선형 모델(partially linear model) 기반 몬테카를로 시뮬레이션으로 문제를 분석했습니다. 교란 함수 추정에 OLS(일반 최소 제곱법), GAMs(일반화 가법 모델), XGBoost 등 통계 및 머신러닝 기법과 DML-XGBoost(XGBoost 기반 이중 머신러닝)를 활용했죠. 핵심은 각 기법의 예측 오차와, 이를 바탕으로 추정한 인과 효과의 실제 정확도(편향, RMSE, 신뢰구간 커버리지)를 비교하는 것이었습니다.
시뮬레이션 결과는 놀라웠습니다. 예측 오차가 낮다고 해서 인과 추정치의 편향이 줄거나 신뢰구간 커버리지가 개선되는 것은 아니었습니다. 특히 예측력이 뛰어난 복잡한 머신러닝 모델조차 항상 더 나은 인과 추정치를 제공하지 않을 수 있다는 점은 기존 직관과 배치됩니다. 이는 교란 함수가 데이터를 잘 설명하는 것을 넘어, 인과 관계 특정 측면을 정확히 포착해야 하는 미묘한 역할을 하기 때문입니다.
이 연구는 인과 추론 연구자와 실무자들에게 중요한 시사점을 던집니다. 교란 함수 성능 평가 시 단순 예측 정확도에만 의존하기보다, 인과 효과 추정치의 특정 성능 지표(예: 편향 감소, 신뢰구간의 정확성)를 직접적으로 최적화하는 방안을 고려해야 함을 강조합니다. 머신러닝 기법 사용 시에도 예측력이 인과 효과 추정에 어떻게 기여하는지 더욱 세밀하게 분석할 필요가 있다는 것이죠.
- 교란 함수 예측 오차와 인과 추정치 실제 성능 지표(편향, RMSE, 신뢰구간 커버리지) 간 불일치 확인.
- OLS, GAMs, XGBoost, DML-XGBoost 등 모델 비교에서 예측력이 인과 추정 정확도로 직결되지 않는 경우 발견.
- 인과 추론에서 교란 함수 평가 시 예측 오차를 넘어선 다각적 접근 필수.
인사이트
인과 추론에서 교란 함수의 예측 정확도만으로는 인과 효과 추정의 신뢰성을 보장할 수 없으며, 실제 인과 추정 성능 지표를 직접적으로 고려하는 다각적인 평가가 필요하다는 중요한 시사점을 던집니다.
자주 묻는 질문
- 예측 오차를 사용하는 게 왜 문제인가요?
- 예측 오차는 모델이 데이터를 얼마나 잘 맞추는지 보여주지만, 인과 관계 추정의 최종 목표인 '진정한 인과 효과'를 얼마나 정확하게 파악하는지와는 다를 수 있습니다. 교란 함수가 특정 방식으로 인과 추정 편향에 영향을 미치기 때문입니다.
- '교란 함수'가 정확히 무엇인가요?
- 교란 함수는 인과 관계를 추론할 때 결과 변수와 처리 변수 모두에 영향을 미쳐 인과 관계를 왜곡할 수 있는 변수들의 관계를 나타내는 함수입니다. 이를 정확히 모델링해야 올바른 인과 효과를 추출할 수 있습니다.
- 그럼 예측 정확도는 이제 중요하지 않다는 건가요?
- 아닙니다. 예측 정확도는 여전히 교란 함수 모델의 중요한 시작점이자 기본 평가 지표입니다. 다만, 이것이 인과 추정치의 최종 정확도를 보장하는 '충분조건'은 아니므로, 인과 추정의 목적에 맞는 다른 성능 지표들도 함께 고려해야 한다는 의미입니다.
이 기사 어땠어요?
피드백을 남겨주시면 더 나은 맞춤 추천을 만듭니다.