논문 브리핑
AI의 공통 언어는 100차원에? 시각·언어 모델의 닮은꼴을 해부하다
글 · 한경모
사진을 보는 AI와 글을 읽는 AI는 결국 비슷한 방식으로 세상을 이해할까.
11월 9일 Julia Herbst와 뮌헨공대 공동 연구진이 공개한 연구는 이 질문을 모델 내부의 층과 차원 단위로 쪼갰다.
결론은 공통 구조가 존재하지만, 그것을 곧바로 지능 전체의 수렴으로 읽어서는 안 된다는 것이다. 연구 소개
출발점은 2024년 제시된 Platonic Representation Hypothesis로, 성능이 좋은 모델들이 서로 다른 데이터를 배워도 비슷한 내부 표현에 도달한다는 가설이다.
최근 후속 연구들이 최신 모델에서는 이런 경향이 약해진다고 지적하면서, 무엇을 어떻게 비교했는지가 쟁점이 됐다.
관련 연구계에서 강조하는 관점도 유사도 점수 하나보다 비교 기준과 평가 조건을 함께 봐야 한다는 것이다.
연구진은 DINOv3 등 시각 모델과 21개 생성형 언어 모델, 별도의 임베딩 모델들을 비교했다.
이미지와 설명문 1,024쌍을 뽑아 각 공간에서 가까운 이웃 10개가 얼마나 겹치는지 측정했는데, 쉽게 말해 같은 대상을 서로 비슷한 무리에 넣는지 본 셈이다.
층마다 표현을 추출하고 PCA로 차원을 줄여, 닮은 구조가 어디에 남는지도 조사했다. 실험 코드
- 위치: 공통 구조는 주로 후반부 층에서 강했지만, 마지막 층이 최대 유사도를 보이지는 않았다.
- 크기: 원래 1,536~5,120차원인 언어 표현에서 약 100차원만으로도 상당한 공통 구조가 포착됐다.
- 데이터: 상세한 설명문을 갖춘 DOCCI에서는 지식 평가 MMLU 성적과 정렬도의 상관계수가 0.66이었고, 설명을 10% 길이로 줄여도 0.59였다.
인사이트
이 연구가 제시하는 실무적 가치는 모델을 연결할 층과 평가 데이터를 고르는 데 있다. 공통 표현의 발견을 제품 경쟁력으로 바꾸려면, 정렬도 상승이 실제 검색·분류 성능 개선으로 이어지는지 검증해야 한다.
자주 묻는 질문
- 여기서 정렬은 AI가 사람 말을 잘 따른다는 뜻이야?
- 여기서 정렬은 서로 다른 모델의 내부 표현에서 데이터 사이의 관계가 얼마나 비슷한지를 뜻한다. 인간의 의도나 가치에 맞게 AI 행동을 조정하는 안전성 정렬과는 다른 개념이다.
- 100차원이면 거대한 LLM을 엄청 작게 줄일 수 있다는 거야?
- 약 100차원이라는 결과는 시각·언어 모델 사이의 공통 구조를 표현 일부에서 포착했다는 의미다. 모델 전체를 그 크기로 압축하면서 언어 생성이나 추론 능력까지 유지했다는 결과는 아니다.
- 따로 만든 모델이 CLIP을 이겼으면 바로 갈아타도 돼?
- 이번 비교에서 앞선 것은 특정 데이터셋의 이웃 관계 일치도다. 실제 이미지 검색 성능의 우위를 의미하지 않으므로, 모델을 교체하려면 사용하는 데이터와 업무 지표로 별도 평가해야 한다.
이 기사 어땠어요?
피드백을 남겨주시면 더 나은 맞춤 추천을 만듭니다.