AI에게 ‘정답지’를 뺏었더니, 비로소 똑똑해졌다

1. ‘미래에서 온 AI’, 왜 문제인가

인공지능(AI)에게 2007년으로 돌아가 당시 금융 데이터를 분석해 투자 전략을 짜보라고 하면 어떤 일이 벌어질까요? 아마 2008년 리먼 브라더스 파산과 글로벌 금융위기를 ‘예측’하며 기가 막힌 공매도 전략을 내놓을지 모릅니다. 놀라운 능력처럼 보이지만, 사실 이것은 교묘한 반칙이자 사기입니다. AI는 2008년에 무슨 일이 일어날지 이미 학습했기 때문입니다.

이는 ‘룩어헤드 바이어스(Lookahead Bias)’, 우리말로 ‘미래 정보 편향’이라 불리는 AI의 치명적인 약점입니다. 쉽게 말해, 과거를 평가해야 하는 시험에서 미래의 정답지를 미리 보고 문제를 푸는 것과 같습니다. 주식 투자로 비유하자면, 내일 상한가를 칠 종목을 어제자 신문에서 보고 오늘 미리 사두는 셈입니다. 사람에게는 불가능하지만, 데이터를 시간 구분 없이 통째로 학습하는 오늘날의 대규모 언어 모델(LLM)에게는 흔히 일어나는 일입니다. LLM은 쉽게 말해, 사람의 말을 흉내 내 문장을 만들어내는 AI를 뜻합니다.

이 문제가 왜 심각할까요? 금융 투자 전략의 성과를 검증하는 ‘백테스팅’을 예로 들어봅시다. 백테스팅은 과거 데이터로 특정 전략이 유효했는지 시뮬레이션하는 과정입니다. 만약 AI가 미래 정보를 이용해 백테스팅에서 100%의 수익률을 기록한다면, 그 전략은 현실에서는 아무 쓸모가 없습니다. 실제 투자 시점에서는 미래 정보를 알 수 없기 때문입니다. 사회과학 연구에서 특정 정책의 효과를 분석할 때도 마찬가지입니다. 1980년대 정책을 평가하면서 2000년대에 밝혀진 사회 변화 데이터까지 무심코 사용한다면, 정책의 진짜 효과가 아니라 시간의 흐름에 따른 자연스러운 변화를 정책의 공으로 착각하게 됩니다. 인과관계 추론이 완전히 왜곡되는 것입니다.

이처럼 AI의 ‘시간여행’은 신뢰가 생명인 분야에서 AI의 활용 가능성 자체를 막아서는 거대한 장벽입니다. 아무리 똑똑한 AI라도 정직하지 않다면, 중요한 의사결정의 파트너가 될 수 없습니다. 최근 주목받는 ‘시점 언어 모델(Point-in-Time Language Models, PIT LLM)’ 연구는 바로 이 문제를 정면으로 다룹니다. 자극적인 제목에 휘둘리지 말고, 그 원리와 한계를 정확히 들여다봐야 합니다.

2. AI의 시간여행, 그 작동 원리

그렇다면 AI는 어떻게 시간을 거슬러 미래 정보를 훔쳐보는 것일까요? 이는 LLM의 학습 방식에서 비롯됩니다. 현재 대부분의 LLM은 인터넷에 존재하는 방대한 양의 텍스트 데이터를 한꺼번에 학습합니다. 이 과정은 마치 인류가 쌓아 올린 모든 시대의 책과 신문, 보고서를 전부 한데 모아 거대한 분쇄기에 넣고 갈아버린 뒤, 그 종잇조각들을 뒤섞어 풀로 붙여 새로운 책을 만드는 것과 비슷합니다.

이 거대한 ‘지식의 죽’ 속에는 2024년에 쓰인 최신 뉴스, 1999년의 웹사이트 게시글, 2015년에 수정된 위키피디아 문서가 모두 뒤섞여 있습니다. AI는 이 정보의 조각들이 어느 시간대에서 왔는지 구분하지 못합니다. 그저 단어와 단어 사이의 통계적 패턴만을 학습할 뿐입니다. 예를 들어 ‘코로나19’라는 단어 옆에는 ‘마스크’, ‘사회적 거리두기’, ‘백신’ 같은 단어들이 자주 등장한다는 사실을 배우는 식입니다.

이 때문에 ‘데이터 오염(Data Contamination)’ 또는 ‘정보 유출(Information Leakage)’이 발생합니다. 가령 2020년 1월 시점에서 코로나19의 경제적 파급 효과를 분석해달라고 AI에게 요청했다고 가정해봅시다. 2022년이나 2023년에 작성된 경제 분석 보고서까지 학습한 AI는, 당시에는 아무도 몰랐던 ‘공급망 붕괴’나 ‘인플레이션 심화’ 같은 결과를 이미 아는 상태에서 답변을 생성합니다. 겉보기에는 매우 통찰력 있는 분석 같지만, 이는 당시 상황에 기반한 예측이 아니라 결과에 대한 ‘해설’에 불과합니다.

‘시점 언어 모델(PIT LLM)’은 이 문제를 해결하기 위해 탄생했습니다. 원리는 간단합니다. 지식의 죽을 만드는 대신, 잘 정돈된 도서관을 짓는 것입니다. 이 도서관의 책들은 출판 연도별로 엄격하게 분류되어 서가에 꽂혀 있습니다. 만약 2005년의 상황을 분석하고 싶다면, AI에게는 2005년 12월 31일까지 출판된 책들만 읽도록 허락하는 것입니다. 미래 정보가 유입될 통로를 원천적으로 차단하는 이 방식은 이론적으로 완벽해 보입니다. 다만 연구는 정확히 읽어야 합니다. 문제는 따로 있었습니다.

3. 역사 속 ‘미리 본 정답’의 교훈

AI의 룩어헤드 바이어스는 새로운 개념이 아닙니다. 이는 인간이 통계 모델을 사용해 미래를 예측하려 했던 역사 내내 반복되어 온 함정입니다. 특히 돈이 걸린 금융 시장에서는 이 문제로 천문학적인 손실을 본 사례가 많습니다.

대표적인 사례가 1998년 파산한 헤지펀드 ‘롱텀캐피털매니지먼트(LTCM)’입니다. 노벨 경제학상 수상자들이 만든 이 펀드는 정교한 수학적 모델을 이용해 막대한 차익거래를 했습니다. 그들의 모델은 과거 수십 년간의 금융 데이터를 기반으로 ‘절대 깨지지 않을 것 같은’ 상관관계에 베팅했습니다. 하지만 그들의 ‘역사책’에는 1998년 러시아가 국가 부도를 선언하고 전 세계 금융시장이 얼어붙는다는 시나리오는 없었습니다. 과거 데이터에 존재하지 않았던 ‘블랙 스완’이 나타나자, 모델은 속수무책으로 무너졌고 46억 달러에 달하는 손실을 남긴 채 파산했습니다. 이는 PIT LLM과 반대 방향의 문제, 즉 ‘봐야 할 미래’를 못 본 경우지만, 분석에 사용하는 데이터의 시간적 범위가 얼마나 중요한지를 보여주는 교훈입니다.

2008년 글로벌 금융위기 역시 모델 실패의 역사입니다. 당시 많은 투자은행들은 주택저당증권(MBS)의 리스크를 평가하는 모델을 사용했습니다. 이 모델들은 과거 데이터로 수없이 백테스팅을 거쳤고, 주택 가격이 전국적으로 동시에 하락하는 일은 거의 없었기에 안전하다고 결론 내렸습니다. 하지만 이는 ‘미래 정보 편향’이 섞인 장밋빛 분석이었을 수 있습니다. 위기가 터진 후에야 사람들은 특정 파생상품들의 복잡한 상호연결성을 이해하게 됐고, 이를 반영해 모델을 수정했습니다. 만약 2007년 시점에, 당시까지의 정보만으로 정직하게 리스크를 평가하는 PIT 모델이 있었다면 어땠을까요? 아마 위기를 정확히 ‘예측’하지는 못했더라도, “우리가 가진 데이터로는 이 상품의 진짜 위험을 알 수 없다”는 ‘정직한 무지’를 드러냈을지 모릅니다. 그것만으로도 묻지마 투자를 막는 중요한 신호가 될 수 있었을 것입니다.

이처럼 ‘시간을 올바르게 인식하는 능력’은 단순히 기술적 과제를 넘어, 시스템의 붕괴를 막는 안전장치와 직결됩니다. AI 시대에 이 교훈을 다시 새겨야 하는 이유입니다.

4. 성능과 순수성, 두 마리 토끼 잡기

이론적으로 완벽해 보이는 PIT LLM이 그동안 널리 쓰이지 못한 이유는 명확했습니다. 바로 ‘성능’ 때문입니다. 2005년까지의 데이터만 학습한 AI는 당연히 2024년까지의 모든 데이터를 학습한 AI보다 아는 것이 적습니다. 마치 평생 1980년대까지의 책만 읽은 학자에게 최신 스마트폰 기술에 대해 묻는 것과 같습니다. 냉전 시대 국제 정세는 박사급으로 설명하겠지만, 인터넷이나 소셜 미디어에 대해서는 전혀 이해하지 못할 것입니다. 이 성능 격차 때문에 실용성이 떨어진다는 비판이 많았습니다.

그런데 최근 발표된 “시점 언어 모델의 스케일링(Scaling Point-in-Time Language Models)”이라는 논문이 이 통념에 균열을 냈습니다. 연구진은 PIT LLM의 성능 격차를 ‘상당히 좁힐 수 있다’는 사실을 실험으로 증명했습니다. 비결은 단순히 데이터를 제한하는 것을 넘어, 그 제한된 데이터를 최대한 효율적으로 학습하는 새로운 훈련 기법과 최적화 전략을 도입한 데 있습니다.

이는 학생에게 무작정 적은 양의 교과서만 주는 것이 아니라, 그 교과서를 깊이 있게 이해하고 지식을 확장하는 ‘공부법’ 자체를 가르쳐주는 것에 비유할 수 있습니다. 예를 들어, 특정 시점의 데이터로 모델을 훈련한 뒤, 다음 시점의 데이터를 추가해 계속 훈련을 이어가는 ‘연속 사전훈련(Continual Pre-training)’ 같은 기법을 사용해 효율을 높였습니다. 그 결과, 미래 정보 유출이라는 ‘순수성’을 지키면서도 일반 LLM에 근접하는 준수한 성능을 달성할 수 있음을 보여준 것입니다.

각 모델의 특징을 비교하면 차이가 더 명확해집니다.

이 연구의 진정한 의의는 ‘모든 것을 잘하는 만능 AI’를 만들겠다는 것이 아닙니다. 오히려 ‘특정 목적에 맞는 전문화된 AI’의 가능성을 연 것입니다. 정확성과 신뢰도가 절대적으로 중요한 특정 영역에서는, 약간의 일반 성능을 희생하더라도 시간적 순수성을 확보하는 것이 훨씬 더 가치 있다는 점을 증명했기 때문입니다.

5. 그럼에도 남는 한계: 비용, 그리고 ‘재현의 함정’

물론 이 연구가 모든 문제를 해결한 것은 아닙니다. 회의론자들의 지적처럼, 현실적인 한계는 여전히 존재합니다. 연구는 정확히 읽어야 합니다. 메커니즘과 예언을 구분해야 합니다.

첫째, 막대한 비용입니다. PIT LLM을 제대로 구축하려면 방대한 데이터를 시간대별로 정교하게 분류하고 저장해야 합니다. 이는 엄청난 규모의 데이터 엔지니어링 작업입니다. 더 큰 문제는 훈련 비용입니다. 2000년 시점의 모델, 2001년 시점의 모델, 2002년 시점의 모델… 이렇게 각기 다른 시점의 모델이 필요할 때마다 막대한 컴퓨팅 자원을 투입해 LLM을 새로 훈련하거나 추가 훈련해야 합니다. 이는 마치 2000년, 2001년, 2002년… 매년의 역사를 새로 쓰기 위해 매번 다른 팀을 꾸려 백과사전을 통째로 집필하는 것과 같습니다. 대부분의 기업이 감당하기 어려운 비용입니다.

둘째, 성능 격차는 ‘좁혀졌을’ 뿐 ‘사라지지 않았다’는 점입니다. 논문에서도 일반 LLM의 성능을 완전히 따라잡지는 못했다고 밝힙니다. 따라서 엄격한 시간적 제약이 필요 없는 창의적인 글쓰기나 일반적인 정보 검색, 코딩 지원 같은 작업에서는 여전히 범용 LLM이 훨씬 효율적이고 강력합니다. 모든 문제에 PIT LLM을 적용하려는 것은 망치 하나로 모든 못을 박으려는 시도와 같습니다.

여기서 우리는 흔한 오해 두 가지를 짚고 넘어가야 합니다. - 오해 1: “PIT LLM은 미래를 예측할 수 있다.” 이는 완전히 틀린 해석입니다. PIT LLM은 미래를 예측하는 기술이 아니라, ‘미래 정보를 이용해 과거를 해석하는 오류’를 막는 기술입니다. 즉, 더 나은 예측(Forecasting)이 아니라 더 정직한 과거 분석(Hindcasting)을 목표로 합니다. 물론, 과거에 대한 왜곡 없는 이해가 쌓이면 결과적으로 미래 예측의 정확도도 향상될 수 있지만, 이는 부수적인 효과일 뿐 핵심 기능이 아닙니다.

- 오해 2: “PIT LLM은 완벽한 역사학자 AI다.” 이 또한 과장된 해석입니다. PIT LLM은 ‘정답지를 훔쳐보는 행위’라는 특정한 기술적 편향 하나를 제거할 뿐입니다. 만약 1950년대 신문과 책으로만 학습한 PIT LLM이 있다면, 그 AI는 당시 사회에 팽배했던 인종차별이나 성차별적 시각까지 그대로 재현할 것입니다. 즉, AI는 학습 데이터에 담긴 시대적 한계와 편견까지도 ‘정직하게’ 학습합니다. 미래 정보 편향을 제거하는 것이 모든 종류의 편향을 제거하는 것을 의미하지는 않습니다.

6. 우리가 얻는 것: ‘정직한 무지’와 데이터 주권

그렇다면 막대한 비용과 한계에도 불구하고 왜 이 기술이 중요할까요? 우리가 얻는 가장 큰 가치는 ‘정확성’을 넘어선 ‘신뢰성’에 있습니다. 특히 PIT LLM이 보여주는 ‘정직한 무지(Honest Ignorance)’는 AI 시대를 살아가는 우리에게 묵직한 시사점을 던집니다.

‘정직한 무지’란, AI가 자신이 모르는 것을 모른다고 인정하는 능력입니다. 미래 정보를 모르기 때문에 2007년의 데이터만 보고는 “2008년에 닥칠 위기의 전모를 알 수 없습니다”라고 솔직하게 말하는 AI가, 모든 것을 아는 척하며 그럴싸한 거짓 분석을 내놓는 AI보다 훨씬 더 신뢰할 수 있습니다. 이런 신뢰성은 규제가 엄격한 금융, 의료, 법률 분야에서 AI가 인간의 보조 도구로 받아들여지기 위한 필수 조건입니다.

더 나아가 이 기술은 ‘데이터 주권’이라는 새로운 화두를 던집니다. PIT LLM의 핵심은 결국 ‘시간순으로 잘 정돈된 데이터’입니다. 그렇다면 누가 이 데이터의 타임라인을 구축하고 통제할까요? 어떤 사건을 특정 시점의 ‘정사(正史)’로 기록하고, 어떤 정보를 ‘오염된 미래 정보’로 분류할지를 결정하는 주체는 누가 될까요?

과거 인쇄술 시대에 신문사와 출판사를 소유하는 것이 여론을 형성하는 권력이었듯, AI 시대에는 ‘과거 데이터의 타임라인’을 소유하고 관리하는 것이 AI의 세계관을 장악하는 새로운 권력이 될 수 있습니다. 구글, 아마존 같은 빅테크 기업이나 각국 정부가 구축하는 ‘공식 타임라인 데이터셋’이 미래 AI 생태계의 표준이 될 가능성이 높습니다. 우리는 이 데이터가 어떻게 구축되고 누구에 의해 통제되는지 날카롭게 감시해야 합니다. 재현되는가, 그리고 그 조건은 무엇인가를 끊임없이 물어야 합니다.

앞으로 독자들이 주목해야 할 신호는 다음과 같습니다. - 금융감독원이나 미국 증권거래위원회(SEC) 같은 금융 규제 당국이 AI 기반 투자 모델의 감사 기준으로 ‘룩어헤드 바이어스 방지’를 명시적으로 요구하는지 여부. - ‘PIT 인증’과 같은 새로운 AI 모델 감사 표준이 등장하는지 여부. - 아마존웹서비스(AWS)나 구글 클라우드 같은 기업들이 ‘시점별 데이터셋’을 새로운 서비스 상품으로 출시하는지 여부.

이러한 변화는 AI가 단순한 기술을 넘어 우리 사회의 신뢰 시스템과 권력 구조에 깊숙이 편입되고 있음을 보여주는 증거가 될 것입니다.

7. 독자가 던질 법한 질문들

Q. 그래서 이 기술이 나오면 당장 제 주식 투자에 도움이 되나요? A. 개인 투자자가 직접 이 모델을 사용해 내일 오를 종목을 찾는 것은 아닙니다. 그런 마법은 존재하지 않습니다. 다만, 이 기술은 간접적으로 당신에게 이익이 될 수 있습니다. 예를 들어, 당신이 가입한 연금 펀드나 로보어드바이저가 사용하는 투자 모델이 이 기술을 통해 더 안정적으로 운용될 수 있습니다. 숨겨진 리스크에 노출될 가능성이 줄어들고, 시장 전체의 시스템적 안정성이 높아지는 효과를 기대할 수 있습니다. 개별 종목 추천이 아니라, 투자 환경의 기초 체력을 튼튼하게 만드는 기술에 가깝습니다.

Q. 모든 AI를 이런 식으로 바꿔야 하는 것 아닌가요? A. 아닙니다. 그것은 극심한 비효율입니다. 시를 쓰거나, 이메일 초안을 작성하거나, 여행 계획을 짜는 데에는 굳이 시간 정보를 엄격히 통제할 필요가 없습니다. 오히려 다양한 시대의 지식을 자유롭게 넘나드는 일반 LLM이 훨씬 더 창의적이고 유용한 결과물을 내놓습니다. PIT LLM은 금융 리스크 분석, 정책 효과 측정, 법률 판례 연구 등 ‘과거 사실’에 대한 엄정한 해석이 절대적으로 중요한 특정 전문 분야를 위한 수술용 칼과 같습니다. 모든 요리에 수술용 칼을 쓸 필요는 없습니다.

Q. 데이터를 시간순으로 정렬하는 게 그렇게 어려운 일인가요? A. 생각보다 훨씬 더 복잡하고 어려운 문제입니다. 웹상의 데이터는 ‘생성 시점’과 ‘수정 시점’, 그리고 데이터가 ‘가리키는 사건의 시점’이 모두 다릅니다. 예를 들어, 2024년에 한 블로거가 1997년 외환위기에 대한 글을 쓰면서, 2010년에 발표된 연구 결과를 인용할 수 있습니다. 이 글의 발행일은 2024년이지만, 내용은 1997년과 2010년의 정보를 모두 담고 있습니다. ‘특정 시점까지의 지식 상태’를 완벽히 재현하려면, 이런 정보의 계층과 맥락을 모두 분석해 데이터를 정제해야 합니다. 단순히 파일 생성 날짜순으로 정렬하는 것과는 차원이 다른, 고도의 데이터 큐레이션(Curation) 작업이 필요합니다.