한쪽 눈만으로 세상을 재는 AI, 정말 라이다를 대체할 수 있을까?

1. 사진 속 풍경, 무엇이 멀고 가까운지 컴퓨터는 어떻게 알까?

우리는 사진 한 장을 봐도 무엇이 앞에 있고 무엇이 멀리 있는지 자연스럽게 압니다. 사진 속 친구 뒤로 보이는 산이 친구 바로 뒤가 아니라 수 킬로미터 떨어져 있다는 사실을 의심하지 않습니다. 그림자, 사물의 상대적 크기, 대기의 흐릿함 같은 단서들을 우리 뇌가 수십 년간의 경험으로 순식간에 종합해 '깊이'를 추론하기 때문입니다.

하지만 컴퓨터에게는 이것이 아주 어려운 문제입니다. 컴퓨터에게 사진은 그저 수백만 개의 색상 점(픽셀)이 배열된 2차원 평면에 불과합니다. 어떤 점이 더 가깝고 먼지에 대한 정보가 원천적으로 빠져 있습니다. 이 문제를 '단일 이미지 깊이 추정(Monocular Depth Estimation)'이라 부르며, 인공지능 분야의 오랜 숙제였습니다. 자율주행차나 로봇이 세상을 입체적으로 이해하려면 이 숙제를 풀어야만 합니다.

최근 공개된 'Marigold V2'라는 인공지능 모델이 이 문제에 대한 흥미로운 접근법을 제시해 주목받고 있습니다. 값비싼 장비 없이, 우리가 쓰는 스마트폰에 달린 것과 같은 평범한 카메라로 찍은 사진 한 장만으로도 꽤 정확한 깊이 지도를 만들어낸다는 것입니다. 일부에서는 이 기술이 자율주행차의 눈 역할을 하는 고가의 라이다(LiDAR) 센서를 대체할지도 모른다는 성급한 기대를 내놓기도 합니다. 다만 연구는 정확히 읽어야 합니다. Marigold V2는 분명 인상적인 발전이지만, 그 작동 원리와 명백한 한계를 알아야만 현상을 정확히 볼 수 있습니다.

2. 점묘화에서 풍경을 찾는 법: '확산 트랜스포머' 쉽게 이해하기

Marigold V2의 핵심 기술은 '확산 트랜스포머(Diffusion Transformer)'입니다. 어려운 용어지만, 작동 방식을 일상의 비유로 풀어보면 원리를 이해할 수 있습니다. 이 기술은 크게 두 가지 요소의 결합입니다.

첫째는 '확산 모델(Diffusion Model)'입니다. 요즘 그림을 그려주는 AI에 많이 쓰이는 방식인데, Marigold에서는 그림 대신 '깊이 지도'를 그립니다. 깊이 지도란, 이미지의 각 부분이 카메라에서 얼마나 떨어져 있는지를 흑백으로 나타낸 그림입니다. 가까운 곳은 밝은 흰색, 먼 곳은 어두운 검은색으로 표시하는 식입니다.

확산 모델이 깊이 지도를 만드는 과정은 이렇습니다. 1. 먼저 아무 의미 없는 점들이 마구 찍힌 '노이즈' 이미지로 시작합니다. 마치 TV 채널이 끊겼을 때 나오는 '치직'거리는 화면 같습니다. 2. AI는 이 노이즈 화면을 보면서, 원본 사진의 정보를 참고해 아주 조금씩 점들의 위치와 색을 바꿉니다. 마치 조각가가 돌덩이에서 불필요한 부분을 조금씩 쳐내며 형상을 찾아가는 것과 비슷합니다. 3. 이 과정을 수십, 수백 번 반복하면, 무질서하던 점들이 점차 질서를 찾으며 가까운 곳은 밝게, 먼 곳은 어둡게 칠해진 그럴듯한 깊이 지도가 완성됩니다. 점묘화 기법으로 그림을 완성해나가는 화가를 떠올리면 쉽습니다.

둘째는 '트랜스포머(Transformer)'입니다. 원래는 번역 AI를 위해 개발된 기술인데, 문장 속 단어들의 관계를 파악하는 데 탁월한 능력을 보였습니다. '나는 학교에 간다'라는 문장에서 '나', '학교', '간다'가 각각 어떤 의미 관계를 갖는지 전체적으로 파악하는 식입니다. 이 능력을 이미지에 적용했더니, 사진 속 멀리 떨어진 픽셀들 사이의 관계도 잘 이해한다는 사실이 밝혀졌습니다. 예를 들어, 사진 왼쪽 하단의 작은 사람과 오른쪽 상단의 거대한 산이 '사람은 가깝고 산은 멀다'는 관계임을 파악하는 데 트랜스포머가 활약합니다.

Marigold V2는 이 둘을 합쳤습니다. 트랜с포머가 사진 전체를 넓은 시야로 훑으며 '이 사진은 대략 이런 구조의 공간이군' 하고 전체적인 맥락을 파악합니다. 그러면 확산 모델이 그 맥락에 맞춰, 노이즈에서부터 차근차근 정밀한 깊이 지도를 그려내는 것입니다. 넓은 시야를 가진 감독(트랜스포머)과 꼼꼼한 화가(확산 모델)의 협업인 셈입니다.

3. 카메라 하나 vs. 두 눈과 레이저: 깊이 측정 방식 비교

Marigold V2가 왜 특별한지 이해하려면, 기존의 다른 깊이 측정 기술들과 비교해 볼 필요가 있습니다. 컴퓨터가 3D 공간을 인식하는 방식은 크게 세 가지로 나뉩니다. 각각 장단점이 뚜렷하며, Marigold는 이 중 한 가지 접근법을 극단으로 발전시킨 사례입니다.

표에서 보듯, 라이다는 정확도 면에서 '왕'입니다. 그래서 대부분의 고성능 자율주행 연구용 차량은 지붕에 비싸고 큰 라이다를 달고 다닙니다. 스테레오 카메라는 두 눈으로 세상을 보는 우리와 가장 비슷하며, 꽤 합리적인 대안입니다.

Marigold V2가 속한 단일 카메라 방식은 가장 저렴하지만 가장 어려운 길이었습니다. 하드웨어는 1만 원짜리 웹캠으로도 충분하지만, 소프트웨어(AI)가 거의 모든 일을 해내야 하기 때문입니다. 이는 마치 외눈으로 세상을 보면서 거리감을 완벽하게 파악하려는 시도와 같습니다. 불가능해 보였던 이 길에서 Marigold V2는 '학습'의 힘으로 꽤 괜찮은 결과를 보여주기 시작한 것입니다. 이는 '측정'의 영역이었던 깊이 인식을 '추론'의 영역으로 끌고 온 중요한 변화입니다.

4. 다만 연구는 정확히 읽어야 합니다: Marigold의 명백한 한계

'한 장의 사진으로 세상을 꿰뚫는다'는 표현은 분명 자극적이지만, 사실을 과장한 것입니다. Marigold V2 논문을 자세히 들여다보면, 연구자들 스스로 그 한계를 명확히 밝히고 있습니다. 이 한계를 이해하는 것이야말로 기술을 제대로 보는 첫걸음입니다.

첫째, Marigold는 거리를 '측정'하는 것이 아니라 '추측'하는 것입니다. 이는 매우 중요한 차이입니다. 라이다는 레이저가 돌아오는 시간을 재는 물리 법칙에 기반해 거리를 '측정'합니다. 하지만 Marigold는 수백만 장의 '사진과 정답(라이다로 측정한 실제 깊이 값)' 데이터를 학습한 뒤, 새로운 사진이 들어오면 '과거에 봤던 비슷한 장면에서는 거리가 이랬지'라고 추측할 뿐입니다. 즉, 훌륭한 패턴 매칭이지 물리적 측정이 아닙니다. 훈련 데이터에 없었던 생소한 장면을 만나면 언제든 틀릴 수 있다는 의미입니다.

둘째, '예외적인 상황(corner case)'이 실제 세계에서는 너무나 흔합니다. 논문에서도 투명한 유리창, 반사되는 거울, 물 표면, 그리고 극단적인 조명(아주 어둡거나, 역광이 심한 경우)에서는 깊이 추정이 어렵다고 인정합니다. 자율주행을 생각해보십시오. 도심에서 유리로 된 건물, 비 오는 날의 물웅덩이, 해 질 녘의 역광은 '예외'가 아니라 '일상'입니다. 이런 일상적인 상황에서 제대로 작동하지 않는다면, 생명과 직결된 자율주행에 단독으로 사용하기는 불가능합니다.

흔히 하는 오해 두 가지를 바로잡아야 합니다. - 오해 1: '이제 라이다는 사라질 것이다.' 아닙니다. 적어도 가까운 미래에는 그렇지 않습니다. 특히 높은 수준의 안전이 요구되는 완전 자율주행 분야에서는, 오히려 여러 센서를 함께 쓰는 '센서 퓨전'이 대세입니다. 라이다가 주 센서 역할을 하고, 카메라(Marigold 같은 기술 포함)와 레이더가 보조적으로 서로를 검증하며 시스템의 안정성을 높이는 방식입니다. Marigold는 라이다를 '대체'하기보다는, 라이다가 없는 저가형 차량의 주행 보조 시스템을 더 똑똑하게 만들거나, 라이다의 약점을 보완하는 '백업' 센서 역할을 할 가능성이 높습니다.

- 오해 2: '이제 아무 카메라나 3D 카메라가 된다.' 반은 맞고 반은 틀립니다. 카메라는 저렴하지만, Marigold 모델을 실시간으로 구동하려면 강력한 연산 장치, 즉 고가의 GPU가 필요합니다. 스마트폰 카메라로 사진을 찍는 것은 쉽지만, 그 사진으로 깊이 지도를 만들려면 스마트폰 안의 AI 칩이 열심히 일해야 합니다. 즉, '카메라는 저렴하지만, 그 뒤의 뇌는 여전히 비싸다'고 할 수 있습니다.

재현되는가, 조건은 무엇인가. 이 질문을 던져야 합니다. Marigold V2의 놀라운 성능은 특정 데이터셋과 특정 조건 하에서 재현됩니다. 이 조건을 벗어났을 때의 성능은 아직 미지수입니다. 메커니즘과 예언을 구분해야 합니다. 이 기술이 언젠가 라이다를 대체할 것이라는 '예언'보다는, 현재 어떤 '메커니즘'으로 작동하며 어떤 명확한 한계를 갖는지 아는 것이 더 중요합니다.

5. 자동차를 넘어, 모든 '보는' 기계의 잠재력

자율주행차의 한계에 대해 길게 이야기했지만, 그렇다고 Marigold V2의 가치가 폄하되는 것은 아닙니다. 오히려 시야를 조금만 돌리면 훨씬 더 크고 즉각적인 잠재력을 발견할 수 있습니다. 자율주행처럼 99.999%의 정확도를 요구하지 않는 분야가 훨씬 많기 때문입니다.

• 로봇 공학: 아마존 물류창고에서 물건을 집는 로봇 팔이나, 집안을 청소하는 로봇 청소기를 생각해봅시다. 이 로봇들에게는 '대략적인' 깊이 정보만으로도 충분할 수 있습니다. 물건의 대략적인 위치와 형태를 파악해 집거나 피하는 데는 라이다 수준의 정밀도가 필요 없을 수 있습니다. 단일 카메라와 Marigold 기술의 조합은 수많은 로봇의 '눈'을 저렴하게 달아주는 혁신이 될 수 있습니다. 이는 로봇의 대중화 속도를 앞당길 것입니다.

• 증강현실(AR): 스마트폰으로 방 안을 비췄을 때 가상의 가구가 실제처럼 놓이는 모습을 상상해 보십시오. 이를 위해서는 카메라가 방의 구조, 즉 바닥과 벽, 다른 가구의 위치를 입체적으로 파악해야 합니다. 현재는 별도의 깊이 센서가 달린 고가 스마트폰에서나 가능한 기능이지만, Marigold 같은 기술이 발전하면 일반 스마트폰 카메라만으로도 훨씬 실감 나는 증강현실을 구현할 수 있게 됩니다.

• 콘텐츠 제작: 평면적인 2D 사진을 '준 3D' 콘텐츠로 바꾸는 것도 가능합니다. 사진 속 인물과 배경을 분리하고 약간의 입체감을 주어, 사용자가 스마트폰을 기울이면 마치 창밖을 내다보는 것처럼 장면이 미세하게 움직이는 '패럴랙스 효과'를 손쉽게 만들 수 있습니다. 이는 소셜 미디어나 광고에서 새로운 시각적 경험을 제공할 것입니다.

이처럼 Marigold V2의 진정한 파급력은 '100점짜리 눈'이 필요한 자율주행차가 아니라, '60~70점짜리 눈'만 있어도 충분한 수많은 응용 분야에서 먼저 나타날 것입니다. 완벽하지는 않지만 '충분히 좋은' 기술이 세상을 바꾸는 사례는 역사적으로 무수히 많았습니다.

6. 데이터 주권: 누가 AI의 '보는 법'을 가르치는가

이제 가장 중요한 질문을 던져야 합니다. Marigold 같은 AI는 어떻게 '보는 법'을 배울까요? 바로 '데이터'를 통해서입니다. 그리고 그 데이터는 결코 중립적이지 않습니다.

만약 어떤 AI 모델이 주로 미국 캘리포니아의 고속도로에서 수집된 데이터로 훈련되었다면, 그 AI는 캘리포니아의 풍경, 차선, 자동차 종류, 교통 표지판을 '정상'으로 인식하게 됩니다. 이 모델을 그대로 가져와 복잡한 골목길과 다양한 돌발 상황이 넘쳐나는 서울 시내에서 사용한다면 어떨까요? 성능은 형편없을 것입니다. AI는 자신이 배운 적 없는 '비정상적인' 환경에 당황할 수밖에 없습니다.

이는 '데이터 주권'이라는 묵직한 화두로 이어집니다. AI의 성능이 알고리즘만큼이나 훈련 데이터의 질과 양, 그리고 특성에 의해 좌우된다면, 우리 환경에 맞는 데이터를 우리 스스로 구축하고 소유하는 능력이 곧 기술 경쟁력이 됩니다. 단순히 해외에서 개발된 뛰어난 AI 모델을 가져다 쓰는 것만으로는 부족합니다. 그 AI에게 우리 동네의 '보는 법'을 처음부터 다시 가르쳐야 하기 때문입니다.

결국, 고품질의 '한국형' 데이터를 확보하는 것이 핵심입니다. 한국의 도로, 건물, 사람, 날씨가 담긴 수많은 사진과, 그에 상응하는 정밀한 깊이 데이터를 짝지어 놓은 '데이터셋'을 구축하는 일은, 마치 새로운 고속도로를 깔거나 발전소를 짓는 것과 같은 '디지털 인프라' 투자입니다.

누가 AI의 '보는 법'을 가르치는가. 이 질문은 미래 산업의 주도권이 누구에게 있는지를 결정할 것입니다. Marigold V2와 같은 기술의 등장은, 우리에게 알고리즘의 발전을 넘어 '데이터 주권'의 중요성을 다시 한번 일깨우고 있습니다.

7. 독자가 던질 법한 질문들

Q. 그래서 제 스마트폰 카메라로도 바로 3D 사진을 찍을 수 있게 되는 건가요? A. 바로는 아닙니다. Marigold V2는 연구 단계의 모델이며, 이를 실제 스마트폰 앱으로 만들려면 추가적인 개발과 최적화가 필요합니다. 또한 상당한 계산 능력을 요구하기 때문에, 사진을 찍고 몇 초간의 처리 시간을 거쳐 결과를 보여주는 방식이 될 가능성이 높습니다. 하지만 기술 발전 속도를 보면, 가까운 미래에 관련 앱들이 등장할 것으로 기대할 수 있습니다.

Q. 자율주행차가 더 저렴해진다는 뜻으로 봐도 될까요? A. 장기적으로는 그렇습니다. 이 기술은 자율주행 시스템의 비용 절감에 기여할 중요한 퍼즐 조각 중 하나입니다. 하지만 당장 라이다를 대체해 가격을 극적으로 낮추기는 어렵습니다. 초기에는 기존 운전자 보조 시스템(ADAS)의 성능을 높이거나, 라이다, 레이더와 함께 사용되어 안전성을 보강하는 역할부터 시작할 것입니다. 이 기술이 단독으로 사용될 만큼 신뢰성을 인정받기까지는 아직 상당한 시간이 필요합니다.

Q. 이 기술이 악용될 소지는 없나요? A. 충분히 가능한, 중요한 우려입니다. 세상을 입체적으로 인식하는 모든 기술은 감시나 사생활 침해에 악용될 수 있습니다. 예를 들어, 창문을 통해 찍은 사진 한 장으로 집안 내부 구조를 3D로 복원하거나, 특정인의 움직임을 더 정교하게 추적하는 데 쓰일 수 있습니다. 기술 개발과 함께, 이러한 잠재적 악용을 막기 위한 사회적, 법적, 윤리적 논의가 반드시 병행되어야 합니다.