커뮤니티 소식
구글 AI 29개가 만든 50문제, 레딧은 ‘정답의 힌트’를 의심했다
글 · 서아람
AI가 시험문제를 만들고 다른 AI가 검수한다면, 그 성적표는 누가 믿게 해줄까. 11월 13일 구글 리서치는 Antigravity의 /teamwork를 활용해 에이전트 29개가 11.5시간 동안 공개 표 13개를 인과 추론 과제 50개로 바꿨다고 밝혔다. 사람이 익명화 등 다섯 가지 합격 기준을 정하고 Argon 기반 에이전트들이 작업한 결과다. 구글 발표
이 소식을 다룬 레딧 r/artificial 게시물에서 눈에 띄는 쟁점은 제작 속도보다 ‘출제자의 말버릇’이었다. 문장 속 단서만 보고 정답을 맞혔다면 인과관계를 이해했다는 증거가 될 수 없다는 문제의식이다. 가령 특정 표현이 들어간 문제의 답이 늘 ‘판단 불가’라면, 모델은 데이터를 분석하지 않고도 높은 점수를 받을 수 있다.
과제는 주어진 데이터에서 인과 효과를 식별할 수 있는지 판단하고, 가능하다면 효과를 추정해 알려진 정답과 비교하도록 설계됐다. 예를 들어 광고를 본 고객의 구매액이 높아도, 원래 구매 의향이 강한 고객에게 광고가 집중됐다면 광고 효과라고 단정하기 어렵다. 이런 상황에서 계산 전에 ‘이 자료로 결론을 낼 수 있는가’를 묻는 능력이 평가 대상이라는 뜻이다.
구글에 따르면 별도의 검토·감사 에이전트가 풀이를 우회하는 지름길과 문구의 힌트를 찾아내고, 환각으로 생성된 스크립트를 탈락시킨 뒤 각각을 상시 검사 항목으로 남겼다. 이는 소프트웨어 개발에서 발견한 버그를 재발 방지 테스트로 만드는 방식과 닮았다.
- 출제 단계는 문제의 수를 늘리지만, 감사 단계는 그 문제가 의도한 능력을 측정하는지 확인한다.
- 같은 데이터와 정답을 두고 표현만 바꾸는 검사는 모델이 문구에 기대는지 드러낼 수 있다.
- 표현은 비슷하게 유지하고 인과 구조를 바꾸는 검사는 답이 실제 조건의 변화를 따라가는지 살핀다.
인사이트
AI가 평가 문제까지 만드는 시대에는 정답률과 함께 출제·검수 과정의 독립성을 따져야 한다. 기업용 에이전트의 신뢰는 답을 만드는 능력뿐 아니라, 데이터로 답할 수 없는 질문을 가려내는 능력에서 나온다.
자주 묻는 질문
- 29개 AI가 인과 추론 문제를 다 풀었다는 뜻이야?
- 아니다. 구글이 발표한 것은 에이전트 29개가 공개 표 13개를 바탕으로 평가 과제 50개를 제작했다는 내용이다. 해당 발표에는 이 평가에서의 모델별 정답률이 제시되지 않았다.
- 정답을 맞혔는데도 왜 문제가 되는 거야?
- 문제에 반복되는 표현이 정답을 암시하면 모델은 인과관계를 분석하지 않고도 맞힐 수 있다. 데이터와 정답을 유지한 채 표현을 바꿨을 때 결과가 흔들리는지 확인하면 이런 의존성을 점검할 수 있다.
- 다른 AI가 검수하면 충분하지 않아?
- 구글은 별도 검토·감사 에이전트가 문구의 힌트와 풀이의 지름길을 발견했다고 밝혔다. 그러나 역할 분리만으로 공통된 오류 가능성이 사라지지는 않는다. 레딧 토론에서는 사람이 독립적으로 만든 비공개 문제를 최종 검증에 활용하자는 제안이 나왔다.
이 기사 어땠어요?
피드백을 남겨주시면 더 나은 맞춤 추천을 만듭니다.