논문 브리핑
구글 SynthCorp, 가상 회사 256개 과제로 데이터 AI의 실력을 묻다
글 · 한경모
기업용 AI가 매출을 정확히 계산하려면 SQL 문법만 알아서는 부족하다.
어느 표가 최신인지, 매출에서 무엇을 제외해야 하는지까지 알아야 하기에, 에이전트의 실력은 회사의 변경 이력을 읽는 능력에서 갈릴 수 있다.
구글의 Jiani Zhang·Alon Halevy 등이 11월 10일 공개한 SynthCorp는 이런 능력을 시험할 가상 기업 데이터와 평가 문제를 만드는 플랫폼이다.
연구진은 기존 시험이 빨리 포화되고 특정 약점을 겨냥하기 어렵다는 문제에서 출발했다.
데이터 에이전트 연구에서 중시하는 관점도 실제 업무의 복잡성을 평가에 담아야 한다는 것으로, 이 논문은 그 복잡성을 만드는 과정을 설계 대상으로 삼았다.
시나리오에 맞춰 업무 사건을 프로그램으로 바꾸고 가상 달력에서 실행해, 데이터베이스·문서·데이터 카탈로그를 함께 생성한다.
가령 논문의 커피숍에서는 3일 차에 우유 선택 항목을 추가하지만 과거 거래의 해당 값은 비어 있어, 빈칸을 단순 오류로 취급하면 해석이 틀어진다.
평가의 차이는 세 가지로 정리된다.
- 시험 환경: 완성된 표만 제시하는 대신 업무 변화가 남긴 문서와 과거 데이터도 함께 다룬다.
- 정답 검증: 생성 이력을 기록한 로그로 정답 프로그램을 검증하되, 응시하는 에이전트에게는 로그를 숨긴다.
- 시험 규모: 5개 분야에 걸친 7개 데이터 환경과 256개 과제를 만들었고, 운영 테이블은 최대 1,000개다.
인사이트
기업용 AI의 경쟁력은 계산 능력뿐 아니라 어떤 데이터와 규칙을 적용해야 하는지 판단하는 능력에 달려 있다. SynthCorp는 기업이 그 차이를 구매 전에 시험할 수 있는 평가 방식의 가능성을 보여준다.
자주 묻는 질문
- SynthCorp가 회사 데이터를 분석해 주는 AI야?
- SynthCorp는 데이터 에이전트를 시험할 가상 기업 데이터와 평가 과제를 만드는 플랫폼이다. 관계형 데이터베이스, 문서 저장소, 데이터 카탈로그를 함께 생성한다. [출처](https://arxiv.org/abs/2611.14765)
- AI가 시험 문제랑 정답을 다 만들면 믿어도 돼?
- SynthCorp는 시뮬레이션 로그에 기록된 데이터 변경 이력으로 정답 프로그램을 검증한다. 다만 생성 과정의 일관성을 확인하는 것과 실제 기업의 모든 업무 예외를 재현하는 것은 별개의 문제다. [출처](https://arxiv.org/html/2611.14765v1)
- 이 점수가 높으면 우리 회사에서도 바로 쓸 수 있어?
- 높은 점수만으로 실제 업무 성능을 보장할 수는 없다. 도입 판단에는 자사 규정과 데이터 변경 사례를 반영한 별도 평가를 병행하는 것이 합리적이다.
이 기사 어땠어요?
피드백을 남겨주시면 더 나은 맞춤 추천을 만듭니다.