논문 브리핑
그림 그리는 AI에 ‘보는 법’을 가르쳤다…Open Vision Banana의 공개 실험
글 · 한경모
그림을 잘 그리는 AI는 사진 속 사물도 잘 구분할까, Open Vision Banana(OVB)는 이 질문을 공개 학습법으로 검증한 연구다.
11월 11일 Arpit Jadon·Valentinos Pariza 등이 공개한 논문은 이미지 생성기를 사물 구분과 거리 추정까지 수행하는 시각 인식 모델로 전환했다.
핵심은 최고 점수보다, 기존 Vision Banana가 공개하지 않은 데이터·가중치·구현 방식의 빈자리를 재현 가능한 설계로 채우는 데 있다.
연구진은 FLUX.2 Klein의 40억·90억 매개변수 버전에 공개 데이터셋에서 구성한 210만~380만 쌍을 학습시켰다.
작동 방식은 사진을 보고 정답을 색칠하게 한 뒤, 그 색을 사물의 종류나 기하 정보로 해석하는 것이다.
도로와 자동차를 서로 다른 지정 색으로 칠하게 하면, 결과 이미지의 색을 읽어 픽셀마다 무엇이 있는지 분류할 수 있다.
작업별 전용 출력 모듈이나 손실함수를 추가하지 않고, 이미지 생성이라는 공통 형식으로 여섯 가지 인식 과제를 다룬다.
이는 생성 모델이 학습한 시각적 지식을 인식에 활용할 수 있다는 최근 비전 연구의 관점과 맞닿아 있다.
- 성능: 논문 초록은 Cityscapes 제로샷 평가에서 OVB의 mIoU 73.9를 보고해, Vision Banana의 보고값 69.9를 웃돌았다.
- 범위: 문장으로 지칭하거나 추론해 대상을 찾는 분할에서는 격차를 줄였지만, 개별 물체를 하나씩 구분하는 분할에서는 더 뒤처졌다.
- 설계: 색상 지정, 프롬프트, 가중치 조정, 작업별 학습 비중은 서로 영향을 줘 좋은 선택들을 합친다고 항상 좋아지지는 않았다.
인사이트
OVB는 생성 모델의 인식 오류 중 일부를 색과 사물 이름의 연결 문제로 설명하고, 이를 추론 단계에서 줄이는 방법을 제시했다. 산업적 승부처는 이 개선 효과를 얼마나 적은 반복 연산으로 얻느냐에 있다.
자주 묻는 질문
- 이미지 생성 AI가 어떻게 사물을 알아보는 거야?
- Open Vision Banana는 사진 속 사물을 지정된 색으로 칠한 이미지를 생성하도록 학습한다. 이후 색을 사물 범주로 변환해 픽셀별 분류 결과를 얻으며, 같은 이미지 출력 형식으로 깊이와 표면 방향도 표현한다. [프로젝트 설명](https://openvisionbanana.github.io/)
- 그럼 기존 전문 모델보다 무조건 좋은 거야?
- 모든 과제에서 우세한 것은 아니다. 논문은 Cityscapes 제로샷 성능에서 Vision Banana의 보고값을 웃돌았지만 개별 물체 분할에서는 뒤처졌으며, 실제 비교에는 학습 조건과 반복 추론 비용도 고려해야 한다. [논문 원문](https://arxiv.org/abs/2611.15844)
- 여러 번 색칠하면 왜 정확해져?
- OVB는 물체 영역을 찾아도 지정된 색과 사물 이름을 잘못 연결할 수 있다. 색상표를 바꿔 여러 번 예측하고 공통 범주로 변환한 결과를 다수결로 합치면 이런 오류를 줄일 수 있지만, 그만큼 추가 추론이 필요하다. [프로젝트 설명](https://openvisionbanana.github.io/)
이 기사 어땠어요?
피드백을 남겨주시면 더 나은 맞춤 추천을 만듭니다.