논문 브리핑
찾고 싶은 이미지를 '이것처럼, 저렇게' 바꿀 수 있을까? MLLM 임베딩의 새로운 접근법
글 · 한경모
우리는 종종 '이 사진 속 자동차와 같은데, 색깔만 빨간색인 이미지를 찾아줘'와 같은 복합적인 이미지 검색을 시도합니다. 이는 단순한 텍스트 검색이나 유사 이미지 검색과는 차원이 다른 난이도를 가집니다. 바로 '복합 이미지 검색(Composed Image Retrieval, CIR)'이라는 분야인데, 기준 이미지의 특징을 유지하면서 특정 텍스트 지시(예: '더 어둡게', '스타일을 바꿔서')에 따라 변형된 이미지를 찾아내는 기술입니다. 기존의 방식들은 이미지와 텍스트 정보를 섞어 하나의 벡터(임베딩)로 만들었기 때문에, 검색 시 사용자의 미묘한 의도를 정확히 파악하는 데 한계가 있었습니다.
최근 허깅페이스 페이퍼스에 소개된 'Factorized MLLM Embeddings for Composed Image Retrieval' 논문은 이 문제에 대한 흥미로운 해결책을 제시합니다. 이 연구는 멀티모달 대규모 언어 모델(MLLM)의 강력한 이미지-텍스트 이해 능력을 활용하면서도, 임베딩을 '분리'하는 새로운 접근법을 제안합니다. 핵심은 기준 이미지의 고유한 시각적 특징과 텍스트로 주어진 수정 지시를 개별적인 요소로 분리하여 임베딩하는 것입니다. 즉, '무엇을 유지할 것인가'와 '무엇을 바꿀 것인가'를 명확히 구분하는 것이죠.
연구팀은 MLLM이 생성한 임베딩을 단순히 합치는 대신, 기준 이미지의 내용적 임베딩과 텍스트 수정 지시의 변화 임베딩을 독립적으로 학습하고 결합하는 방식을 사용했습니다. 이는 마치 수학에서 복잡한 식을 인수분해하여 각 요소의 역할을 명확히 하는 것과 유사합니다. 이러한 '요소 분리(factorized)' 방식은 다음과 같은 장점을 가져옵니다.
- 정확성 향상: 모델이 기준 이미지의 본질과 사용자가 원하는 변화를 혼동하지 않고 명확히 이해합니다.
- 의도 파악: '이것과 비슷하지만 저것은 다르게'라는 복잡한 사용자 의도를 더 정교하게 해석할 수 있습니다.
- 유연한 검색: 다양한 종류의 수정 지시(색상 변경, 스타일 변형, 객체 추가/제거 등)에 더 유연하게 대응합니다.
인사이트
MLLM 임베딩을 기준 이미지와 텍스트 수정 지시로 '분리'하는 접근 방식은 복합 이미지 검색의 정확도를 비약적으로 높여, 사용자의 미묘한 의도까지 파악하는 지능형 검색 시스템의 가능성을 열었습니다.
자주 묻는 질문
- 복합 이미지 검색(CIR)이 정확히 뭔가요? 일반 검색과 다른가요?
- CIR은 기준 이미지와 텍스트 설명을 함께 사용하여 새로운 이미지를 찾는 방식입니다. 일반 이미지 검색이 '빨간 차'처럼 단일 조건으로 이미지를 찾는다면, CIR은 '이 차와 같은 모델인데 색깔만 빨간색인 차'처럼 기존 이미지의 특징에 텍스트 지시로 변화를 주는 복합적인 검색입니다.
- 이번 연구에서 제안한 '임베딩 분리'는 왜 중요한가요?
- 기존에는 이미지와 텍스트 정보를 섞어 하나의 데이터로 처리했습니다. 하지만 이 방법은 '무엇을 유지하고 무엇을 바꿀지'를 모델이 명확히 구분하기 어렵게 만듭니다. 임베딩을 분리하면 모델이 원본 이미지의 핵심과 사용자가 원하는 변경 사항을 각각 독립적으로 이해하고 조합하여, 훨씬 정확한 검색 결과를 제공할 수 있습니다.
- 이 기술이 실제로 어떤 곳에 활용될 수 있을까요?
- 가장 즉각적으로는 온라인 쇼핑몰에서 '이 디자인의 옷을 다른 소재나 색상으로 보여줘'와 같은 개인화된 상품 검색에 쓰일 수 있습니다. 또한, 사진 편집 도구나 디자인 소프트웨어에서 '이 사진 배경을 다른 풍경으로 바꿔줘' 같은 자연어 지시를 통해 이미지를 조작하는 데도 활용될 수 있습니다.
이 기사 어땠어요?
피드백을 남겨주시면 더 나은 맞춤 추천을 만듭니다.