논문 브리핑
지식 그래프를 그림으로 보여줬더니…AI 답변 F1 평균 1.85점 상승
글 · 한경모
AI에게 관계를 글로 설명하는 대신 그림까지 보여주면, 정답을 더 잘 찾을까요.
arXiv에 신규 논문으로 소개된 ‘Graph Visualizations in Prompts for Knowledge Graph Question Answering’은 이 질문을 다루며, 멀티모달의 가치는 입력 종류보다 사용 조건에 달려 있음을 시사합니다.
연구진은 WebQSP와 CWQ에서 가져온 질문 1,500개를 대상으로 비전언어모델(VLM) 6개를 평가했고, 그래프 이미지를 추가했을 때 F1이 평균 1.85점 높아졌다고 보고했습니다.
지식 그래프 질의응답(KGQA)은 사람·장소·작품 같은 개체와 그 관계를 따라가며 질문의 답을 찾는 작업입니다.
예를 들어 ‘특정 영화 감독의 출생지는 어디인가’라는 질문은 영화에서 감독으로, 다시 출생지로 연결되는 관계를 확인해야 합니다.
이때 그림은 새로운 사실을 제공하기보다, 모델이 읽어야 할 연결 구조를 다른 방식으로 제시하는 수단이 될 수 있습니다.
이번 실험의 핵심은 KGQA 파이프라인을 고정한 상태에서 질문별 성능 변화를 비교해, 전체 시스템 교체가 아니라 입력 표현의 효과를 살펴봤다는 점입니다.
- 비교 조건: 텍스트만 넣는 프롬프트와 텍스트에 그래프 시각화를 추가하는 프롬프트를 대조했습니다.
- 관찰된 효과: 평균 F1 상승은 추론 복잡도가 낮은 질문에서 나타난 큰 정밀도 개선이 주로 이끌었습니다.
- 분석 축: 추론 복잡도뿐 아니라 모델 크기와 이미지 배치에 따라 성능 변화가 어떻게 달라지는지도 살폈습니다.
인사이트
이 연구가 제시하는 기회는 모든 질의를 멀티모달로 바꾸는 것이 아니라, 그림이 도움이 되는 질문을 선별하는 데 있습니다. 지식 검색 AI의 개선 여지는 모델 크기뿐 아니라 검색한 관계 정보를 어떻게 제시하느냐에도 있습니다.
자주 묻는 질문
- 그림 하나 붙이면 AI가 무조건 더 똑똑해지는 거야?
- 그렇게 결론 낼 수 없습니다. 이 연구는 질문 1,500개와 VLM 6개에서 평균 F1이 1.85점 상승했다고 보고했으며, 개선은 주로 추론 복잡도가 낮은 질문의 정밀도 상승에서 나왔습니다.
- F1이 1.85점 올랐다는 게 정확히 무슨 뜻이야?
- F1은 제시한 답이 얼마나 정확한지 나타내는 정밀도와, 찾아야 할 정답을 얼마나 찾았는지 나타내는 재현율의 조화평균입니다. F1 1.85점 상승은 해당 평가 지표의 점수 차이이며, 정답률이나 상대 성능이 1.85% 올랐다는 뜻은 아닙니다.
- 우리 회사 RAG에도 바로 그래프 이미지를 넣으면 돼?
- 관계 중심 질문을 다루는 RAG라면 시험할 후보이지만, 이 결과가 모든 RAG에 적용되는 것은 아닙니다. 실제 업무 질문으로 텍스트 단독 방식과 비교하고, 답변 품질뿐 아니라 이미지 생성·처리 비용과 지연도 측정해야 합니다.
이 기사 어땠어요?
피드백을 남겨주시면 더 나은 맞춤 추천을 만듭니다.