질문할 줄 아는 AI가 온다 — 단, 조건이 있습니다

왜 이 논문이 지금 나왔는가

AI 검색 서비스에 가장 많이 제기되는 불만은 속도가 아닙니다. "틀린 답을 너무 자신 있게 내놓는다"는 것입니다. 속도가 빠르면 빠를수록, 잘못된 방향으로 빠르게 달려가는 문제가 커집니다.

병원 비유를 들겠습니다. 오른쪽 무릎이 아파서 의사를 찾아갔는데, 의사가 아무 질문도 하지 않고 곧장 처방전을 내민다면 신뢰가 가겠습니까. 언제부터 아팠는지, 계단을 내려올 때 더 아픈지, 부상 이력은 없는지, 직업은 무엇인지 — 이런 것들을 묻지 않고 내리는 진단은 우연히 맞을 수는 있어도, 체계적으로 신뢰하기 어렵습니다. 지금의 AI 검색이 정확히 그 상황입니다.

허깅페이스(HuggingFace — 전 세계 AI 연구자들이 논문, 모델, 데이터셋을 서로 공유하는 플랫폼으로, AI 분야의 깃허브라고 보면 됩니다)에 최근 올라온 논문 "When Search Agents Should Ask: DiscoBench for Clarification-Aware Deep Search"는 이 문제를 정면으로 다룹니다. AI가 "질문이 모호하다는 것을 스스로 알아채고, 필요할 때 사용자에게 되물을 수 있는가"를 체계적으로 측정하는 벤치마크(성능 평가 기준표), 이름하여 DiscoBench를 제안하는 논문입니다.

다만 연구는 정확히 읽어야 합니다. '질문하는 AI'라는 표현은 직관적이고 매력적입니다. 그러나 이 논문이 실제로 무엇을 측정하고, 어떤 조건에서 작동하며, 어디서 멈추는지를 짚지 않으면 또 하나의 과장된 기대가 쌓입니다. 그 지점부터 차근차근 살펴보겠습니다.

지금의 검색 AI는 어떻게 작동하는가

현재 대부분의 AI 검색 서비스는 RAG(Retrieval-Augmented Generation — 검색 증강 생성, 쉽게 말해 AI가 답하기 전에 데이터베이스나 인터넷을 먼저 뒤진 뒤 그 내용을 바탕으로 답을 만드는 방식)라는 구조 위에 올라가 있습니다. 작동 순서를 단계별로 설명하면 이렇습니다.

1. 사용자가 질문을 입력합니다.
2. AI가 그 질문을 키워드로 분해해 데이터베이스나 웹을 검색합니다.
3. 검색된 결과 중 관련성이 높아 보이는 문서 조각을 골라냅니다.
4. LLM(Large Language Model — 대규모 언어 모델, 수백억 개의 문장을 학습하여 사람처럼 글을 이어 쓰는 AI)이 그 조각들을 엮어 최종 답변을 생성합니다.

이 구조의 핵심 약점은 1단계와 2단계 사이에 있습니다. 사용자의 질문이 모호하면, AI가 잘못된 방향으로 검색을 시작합니다. "최신 GPU(그래픽처리장치 — 화면 렌더링과 AI 연산 모두에 쓰이는 반도체) 성능은 어떻습니까"라는 질문을 예로 들겠습니다. 이 사람이 게임용 GPU를 원하는지, 딥러닝(심층 학습 — 사람의 뇌 신경망 구조를 모방한 AI 학습 방식) 연산용을 원하는지, 가격 대비 성능을 원하는지, AI는 전혀 모릅니다. 그런데도 일단 뭔가를 검색해서 그럴듯한 답을 내놓습니다.

이것이 환각(Hallucination — AI가 없는 사실을 있는 것처럼 자신 있게 꾸며내는 현상) 못지않게 심각한 문제입니다. 틀린 정보를 내놓는 것도 문제지만, 맞을 수도 있고 틀릴 수도 있는데 자신 있게 답한다는 것이 더 위험합니다. 독자가 걸러낼 기회조차 없기 때문입니다.

DiscoBench 논문이 출발하는 문제의식이 여기 있습니다. AI가 애매한 질문을 받았을 때, 지금처럼 짐작으로 답하는 게 아니라, 먼저 "어떤 GPU를 말씀하시는 건가요? 주된 용도가 무엇인가요?"라고 되물을 수 있어야 한다는 것입니다. 이 능력을 어떻게 평가할 것인가, 그것이 DiscoBench가 던지는 질문입니다.

소크라테스부터 도서관 사서까지: 질문의 역사

'질문을 통한 이해'는 새로운 개념이 아닙니다. 기원전 5세기 아테네에서 소크라테스는 제자들에게 직접 가르치는 대신 질문을 던졌습니다. "용기란 무엇인가?"라고 물으면, 제자가 "전쟁에서 도망치지 않는 것"이라고 답합니다. 소크라테스는 "그렇다면 무서운 줄도 모르는 사람은 용기 있는 것인가?"라고 되묻습니다. 이렇게 연속 질문으로 개념의 경계를 함께 그려가는 방식을 산파술(産婆術)이라 합니다. 답을 주는 것이 아니라, 질문으로 상대방 스스로 이해에 도달하게 돕는 기술입니다.

도서관 사서도 마찬가지입니다. 훌륭한 사서는 "어떤 책을 찾으세요?"라고 단순히 묻는 데 그치지 않습니다. "학술 논문이 필요하신가요, 읽기 쉬운 단행본이 좋으신가요? 특정 시대나 지역이 있으신가요? 발표 준비인가요, 개인 공부인가요?"라고 여러 각도에서 물어봅니다. 이 과정을 거쳐야 진짜로 원하는 것을 찾아줄 수 있기 때문입니다. 질문은 사서의 무지를 드러내는 것이 아니라, 서비스의 정확도를 높이는 기술입니다.

기업 고객센터도 이 방식으로 훈련받습니다. "물건이 안 와요"라는 민원에 상담원이 바로 택배사를 연결하면 안 됩니다. "주문 번호와 배송 주소를 먼저 확인하겠습니다"라는 단계가 선행되어야 합니다. 이 단계를 건너뛰면 엉뚱한 방향으로 시간을 날립니다.

검색 기술의 역사에서도 비슷한 전환이 있었습니다. 1990년대 야후(Yahoo)는 인간 편집자들이 웹페이지를 직접 분류했습니다. 사용자가 원하는 것을 추정해서 카테고리를 미리 만들어 두는 방식이었습니다. 구글이 등장하면서 이 방식은 밀려났고, 사용자가 입력한 키워드를 그대로 처리하는 방식이 주류가 됐습니다. 지금의 DiscoBench가 제안하는 것은 또 다른 전환입니다. 키워드를 그대로 처리하는 것도 아니고, 카테고리를 미리 짐작하는 것도 아닌, AI가 능동적으로 사용자와 대화하면서 의도를 파악하는 방식입니다. 기술적 도약이라기보다, 오래된 지혜를 AI에 이식하는 작업에 가깝습니다.

DiscoBench는 정확히 무엇을 측정하는가

논문의 핵심으로 들어가겠습니다. DiscoBench는 AI 검색 에이전트(Agent — 스스로 판단하고 행동하는 AI 프로그램)의 세 가지 역량을 통합 측정하도록 설계되어 있습니다.

• 모호성 인식 능력: 주어진 질문이 여러 해석을 허용하는지, AI가 스스로 알아챌 수 있는가.
• 질문 생성 능력: 필요한 정보를 얻기 위해 적절한 후속 질문을 만들어낼 수 있는가.
• 답변 통합 능력: 사용자의 답변을 받아 검색 전략을 재조정할 수 있는가.

측정 방식도 주목할 만합니다. 기존에 이미 존재하는 복잡한 질의응답(QA — 질문에 답하는 시스템) 데이터셋을 기반으로 하되, 한 번에 답하기 어렵게 질문을 변형합니다. 예를 들어, "2차 세계대전의 원인을 설명하라"는 질문을, AI가 "어떤 관점에서 원인을 분석할지"를 먼저 되물어야 제대로 답할 수 있는 형태로 재구성합니다. 경제적 관점인지, 민족주의 관점인지, 지정학적 관점인지에 따라 답이 완전히 달라지기 때문입니다. 특정 역사적 사건의 원인을 묻는 포괄적 질문에, 어떤 관점에서 접근할지를 AI가 먼저 물어오게 만든다는 것이 핵심 설계입니다.

이 설계의 장점은 실제 상황에 가깝다는 것입니다. 사람이 AI에게 던지는 질문 중 상당수는 맥락이 빠진 채로 들어옵니다. "이 계약서 검토해줘"라고만 하면, 어떤 관점에서 검토할지가 빠진 것입니다. 법적 리스크를 보는 것인지, 협상 여지를 찾는 것인지, 특정 조항의 해석을 원하는 것인지 — 이것이 명확해야 의미 있는 검토가 가능합니다. 여기서 AI가 되묻지 않고 일반적인 검토를 내놓으면, 의뢰인이 원했던 핵심을 놓칩니다.

기존 접근법들과 비교해 보겠습니다.

이 표에서 눈여겨볼 점은 정확도 기준의 변화입니다. 기존 AI 검색은 "얼마나 관련성 높은 문서를 찾아왔는가"를 기준으로 삼았습니다. DiscoBench가 제안하는 기준은 "얼마나 사용자가 실제로 원하는 것을 얻었는가"입니다. 이 전환은 단순해 보이지만, 측정 방식 전체를 바꿉니다. 문서 관련성 점수 대신 사용자 의도 충족 여부를 측정하려면, 사용자가 무엇을 원했는지를 먼저 알아야 합니다. 그 과정에서 되묻기가 필수 단계가 됩니다.

재현되는가: 논문이 말하지 않는 것들

논문이 흥미롭다고 해서 그대로 받아들여서는 안 됩니다. 연구는 정확히 읽어야 합니다. DiscoBench가 가진 구조적 한계를 짚겠습니다.

첫째, 이것은 벤치마크 논문이지, 실제로 작동하는 시스템 논문이 아닙니다. 자동차 충돌 안전성을 측정하는 기준을 새로 만든 것이지, 더 안전한 자동차를 만든 것이 아닙니다. 이 기준으로 훈련된 AI가 실제로 얼마나 잘 작동하는지는 별개의 실험이 필요합니다. 벤치마크가 좋다는 것과 그 벤치마크가 가리키는 방향으로 실제 성능이 향상된다는 것은 같은 주장이 아닙니다.

둘째, '언제 질문할 것인가'라는 판단 자체가 매우 어렵습니다. 논문은 이 판단 기준을 모델이 학습할 수 있다고 주장하지만, 구체적으로 어떤 데이터로, 어떤 방식으로 학습하는지는 추가 연구가 필요합니다. "이 질문은 모호하다"는 기준은 문화권마다, 분야마다 다릅니다. 한국어 의료 맥락에서의 모호함과 영어 법률 문서에서의 모호함은 성격이 다릅니다. 한국 사용자 대상 서비스에서 이 벤치마크가 어떤 성능을 보이는지는 아직 검증되지 않았습니다.

셋째, 사용자 피로도 문제는 논문이 인정하면서도 충분히 다루지 않습니다. AI가 질문을 잘못된 타이밍에 던지면, 사용자는 답하지 않거나 짜증을 냅니다. 음식 배달 앱에서 주문할 때마다 "어떤 재료에 알레르기가 있으신가요?"라고 묻는다면, 두 번 주문하다 앱을 지울 것입니다. 질문하는 능력이 뛰어난 것과 질문해야 할 때를 아는 것은 완전히 다른 역량입니다. DiscoBench가 전자는 측정하지만, 후자를 얼마나 정밀하게 측정하는지는 더 살펴봐야 합니다.

넷째, 이 논문이 다루는 깊은 검색(Deep Search)은 복잡한 다단계 탐색을 전제합니다. "오늘 서울 날씨"를 묻는 사람은 AI의 되묻기를 원하지 않습니다. DiscoBench의 설계가 제 기능을 하는 영역은 금융 분석, 의료 상담, 법률 검토, 학술 연구처럼 맥락이 결정적인 분야입니다. 모든 검색에 이 기준을 적용하는 것은 과잉입니다. 논문이 대상으로 삼는 영역을 벗어나서 기대를 확장하면 실망이 따릅니다.

흔한 오해 두 가지와 바른 해석

이 논문을 둘러싼 오해를 두 가지 짚겠습니다.

오해 1: "AI가 질문을 잘하면 환각이 사라진다."

사실은 그렇지 않습니다. 환각은 AI가 학습 데이터에 없는 패턴을 만들어내는 현상으로, 검색 방향의 문제가 아니라 문장 생성 단계의 문제입니다. 아무리 정확한 맥락을 갖고 검색을 시작해도, 최종 답변을 만들어내는 언어 모델이 사실을 꾸며낼 수 있습니다. DiscoBench는 환각을 줄이는 것이 아니라, 검색 방향의 오류를 줄이는 데 집중합니다. 두 문제를 혼동하면 기대치 관리에 실패합니다. "되물었으니 이제 거짓말은 안 하겠지"라는 기대는 성립하지 않습니다.

오해 2: "되물을 줄 아는 AI는 더 지능적이다."

이 표현은 정밀하지 않습니다. 되묻는 것은 불확실성을 사용자에게 넘기는 행위이기도 합니다. 사용자에게 명확화를 요구한다는 것은, AI가 스스로 해결하지 못했다는 의미입니다. 훌륭한 의사가 질문을 많이 하는 것은 실력이 낮아서가 아니라, 정확한 진단을 위해 필요한 정보를 수집하는 것입니다. 그러나 AI가 되묻는 경우, 때로는 능력 부족의 우아한 포장일 수 있습니다. "제가 모르니 알려주세요"를 "더 잘 돕기 위해 여쭤봅니다"로 표현하는 것과 다르지 않을 수 있습니다. 이 둘을 구분하는 평가 기준이 DiscoBench 안에 충분히 설계되어 있는지는 더 검토가 필요합니다.

질문하는 AI와 데이터 주권

DiscoBench가 제기하는 기술적 문제는 분명합니다. 그런데 이 논문이 거의 다루지 않는 영역이 있습니다. 되묻는 AI가 데이터 수집과 어떻게 연결되는가입니다.

AI 검색 에이전트가 되물을 때, 그 답변에는 사용자의 상황이 담깁니다. "어떤 용도로 GPU를 찾으시나요?"라는 질문에 "딥러닝 연구용입니다"라고 답하면, AI는 이 사람이 연구자라는 것을 알게 됩니다. "이 계약서의 어떤 조항을 검토할까요?"라는 질문에 "퇴직금 조항입니다"라고 답하면, AI는 이 사람이 이직을 준비 중이라는 것을 파악합니다. 의료, 법률, 재정 분야에서 AI가 되물을수록, 사용자의 개인 상황이 더 정밀하게 기록됩니다.

의사가 진료 전에 건강 이력을 묻는 것은, 그 정보가 의무기록으로 보관되고 건강보험 시스템과 연결된다는 것을 환자가 아는 상황에서 이루어집니다. 적어도 제도적 틀이 있습니다. AI 검색 에이전트가 되묻는 과정에서 수집하는 정보는 어떨까요. 어떤 서버에 저장되고, 어떻게 활용되는지 — 대부분의 사용자는 모릅니다. 약관 50페이지 어딘가에 있을 것입니다.

질문을 잘하는 AI는 동시에 사용자의 의도와 상황을 더 정밀하게 파악하는 AI입니다. 이것이 사용자 이익을 위해 쓰이는지, 광고 타겟팅이나 프로파일링(개인 성향 분류)에 활용되는지는 별개의 문제입니다. 개인정보 보호법의 데이터 최소 수집 원칙(서비스 목적에 필요한 최소한의 정보만 수집해야 한다는 원칙)이 AI 검색 에이전트에도 엄격하게 적용되어야 한다는 논의가 필요한 시점입니다.

DiscoBench는 기술 연구 논문이고, 이 질문에 답할 책임은 없습니다. 그러나 이 벤치마크를 토대로 만들어질 제품들은 그 질문에 답해야 합니다. 묻는 AI를 환영하기 전에, AI가 묻는 것에 답하는 주체로서 사용자가 어떤 권리를 갖는지를 함께 설계해야 합니다.

검색 AI가 얼마나 잘 물어보는가를 측정하는 DiscoBench는 분명 의미 있는 기여입니다. 그러나 그 질문이 얼마나 필요한가, 얼마나 적절한 때에 던져지는가, 그리고 그 답이 어디로 가는가 — 이 세 가지 질문이 함께 다뤄지지 않는 한, 질문하는 AI는 기술의 진보이면서 동시에 데이터 수집의 정교화입니다. 그것이 좋은 것인지는, 그 데이터를 어떻게 다루는지에 달려 있습니다.

재현되는가. 조건은 무엇인가. 메커니즘과 예언을 구분하라. 연구는 그렇게 읽어야 합니다.

Q. AI가 되물을수록 검색이 느려지지 않나요? 실제로 쓸 수 있을까요?

A. 맞습니다. 질문-답변 왕복이 추가되면 응답 시간은 늘어납니다. 논문은 이 지연이 정확도 향상으로 정당화된다고 주장하지만, 실제 사용자 실험 데이터가 충분히 쌓이지 않은 상태입니다. 일상적인 검색에서는 속도가 중요하고, 전문적인 조사에서는 정확도가 중요합니다. DiscoBench 자체도 이 점을 인정하고 깊은 검색이 필요한 경우에 초점을 맞춥니다. 모든 질의에 되묻기를 적용하는 것은 현실적으로도 설계상으로도 타당하지 않습니다.

Q. 챗GPT나 클로드(Claude)는 이미 되묻는 기능이 있는 것 같은데, DiscoBench와 무엇이 다른가요?

A. 현재 대화형 AI들이 되묻는 행동을 보이는 것은 사실입니다. 그러나 그것이 얼마나 일관된 기준으로 작동하는지는 공개되어 있지 않습니다. DiscoBench의 역할은 그 기준을 측정 가능하게 만드는 것입니다. 이 모델이 모호한 질의를 얼마나 잘 감지하고, 얼마나 적절한 질문을 생성하는가를 숫자로 비교할 수 있게 되면, 개발 경쟁이 그 방향으로 집중됩니다. 측정 기준의 변화가 제품 방향을 바꿉니다. 지금은 그 측정 기준 자체를 제안하는 단계입니다.

Q. 이 연구가 실제 서비스에 반영되려면 얼마나 걸릴까요?

A. 추정으로 답합니다. 벤치마크가 공개된 뒤 주요 검색 서비스들이 이를 내부 평가에 도입하는 데 통상 1~2년이 걸립니다. 실제 사용자가 체감하는 제품 변화는 그보다 더 느립니다. 추정으로, 구글, 마이크로소프트(Bing AI), 퍼플렉시티(Perplexity — AI 기반 검색 서비스) 같은 대형 서비스들이 되묻기 기능을 전문가 모드에 탑재하는 것이 2027년 이후일 것으로 봅니다. 그 전까지는 이 논문이 가리키는 방향이 옳은지, 다른 연구자들이 재현을 시도하는지를 지켜보는 것이 현실적인 추적 방법입니다.