논문 브리핑
LLM이 기업 연례 보고서 낱낱이 해부: 'AI 리스크' 공시, 사회적 회복탄력성 지표 될까?
글 · 한경모
인공지능 기술의 발전이 가속화되면서, 기술 자체의 잠재력만큼이나 그에 따른 위험 요소들에 대한 사회적 논의와 우려가 커지고 있습니다. 특히 AI의 윤리적 문제, 데이터 편향, 일자리 영향, 그리고 사회 시스템 전반에 미칠 파급력은 기업과 규제 당국 모두에게 중대한 과제로 부상했습니다. 그러나 이러한 AI 리스크에 기업들이 어떻게 대응하고 있으며, 그들의 노력이 실제로 사회적 회복탄력성(Societal Resilience)에 어떤 기여를 하는지 객관적으로 측정하기란 쉽지 않았습니다. 대규모 데이터를 기반으로 정량적인 분석이 필요한 영역이었기 때문입니다.
최근 arXiv에 공개된 논문 'The AI Risk Observatory: What Can We Learn from AI Disclosures in Annual Reports About Societal Resilience?'는 이 난제를 해결할 새로운 접근법을 제시해 주목받고 있습니다. 이 연구는 거대언어모델(LLM)을 활용해 방대한 기업 연례 보고서에서 AI 리스크 관련 공시 내용을 추출하고 분석함으로써, 기업들의 AI 리스크 관리가 사회적 회복탄력성에 미치는 영향을 평가하는 유용한 신호를 찾아낼 수 있음을 보여줍니다. 연구팀은 2020년부터 2026년까지의 영국 상장 기업 1,362곳에서 발행된 9,821개의 연례 보고서를 분석 대상으로 삼았는데, 이는 기존의 소규모 설문 조사나 질적 연구 방식으로는 불가능했던 방대한 규모입니다.
이들은 LLM 기반의 2단계 분류 파이프라인을 구축하여 연례 보고서 내에서 AI 리스크 관련 문구를 식별하고 분류했습니다. 이 방법론은 474개의 수동 주석 데이터와 비교 검증을 거쳤는데, 높은 재현율(Recall)과 적절한 라벨 수준 일치도(Label-level Agreement)를 보여 LLM이 복잡한 기업 보고서에서도 유의미한 정보를 효과적으로 추출할 수 있음을 입증했습니다. 기업의 연례 보고서는 주주 및 투자자들에게 기업의 성과와 리스크를 공식적으로 공개하는 문서이므로, AI 관련 공시 내용은 기업의 AI 거버넌스 수준과 책임 의식을 간접적으로 보여주는 중요한 지표가 될 수 있습니다.
물론 일부에서는 기업 공시 내용이 형식적이거나 실제 행동과 다를 수 있다는 반론을 제기할 수 있습니다. 기업들이 좋은 이미지를 위해 포괄적인 문구를 사용하거나, 실제로는 미흡한 리스크 관리를 하고 있음에도 불구하고 긍정적으로 포장할 가능성도 무시할 수 없습니다. 그러나 이 연구의 의의는 단순히 공시 내용을 맹신하는 데 있지 않습니다. LLM을 통해 대규모 데이터에서 공시 패턴의 변화, 특정 키워드 사용 빈도, 리스크를 구체적으로 명시하는 정도 등을 파악함으로써, 형식적인 문구와 실질적인 대응 간의 미묘한 차이를 밝혀낼 수 있다는 점에 있습니다. 또한, 규제 환경 변화에 따라 기업들의 공시 의무가 강화될수록 이러한 보고서는 더욱 신뢰할 수 있는 정보원이 될 것입니다.
이 연구가 제시하는 함의는 다양합니다.
- LLM 기반 대규모 텍스트 분석의 새로운 활용 가능성을 보여줍니다.
- 기업의 AI 리스크 관리 투명성을 제고하고 투자자에게 중요한 정보를 제공할 잠재력을 가집니다.
- 사회적 회복탄력성 연구에 필요한 정량적이고 객관적인 데이터 확보의 새 지평을 엽니다.
- 규제 기관이 기업의 AI 거버넌스 수준을 평가하고 관련 정책을 수립하는 데 유용한 도구가 될 수 있습니다.
인사이트
이번 연구는 인공지능이 제시하는 위험에 대해 기업들이 어떻게 대응하는지, 그들의 연례 보고서에서 새로운 통찰을 찾아낼 수 있음을 보여줍니다. 이는 사회적 회복탄력성을 측정하는 데이터 기반의 새로운 접근법을 제시하며, AI 거버넌스와 ESG 평가의 지평을 넓힙니다.
자주 묻는 질문
- 기업들이 연례 보고서에 AI 리스크를 실제로 상세하게 적을까요?
- 기업들은 법적, 윤리적 책임감으로 AI 관련 리스크를 공시하지만, 그 내용의 깊이는 기업별로 다를 수 있습니다. 이 연구는 LLM을 통해 이러한 공시 패턴과 질적 차이를 대규모로 분석하여 유의미한 신호를 찾아내려 합니다.
- LLM이 이렇게 복잡한 기업 보고서를 정확히 분석할 수 있나요?
- 네, 이 연구에서는 LLM을 활용한 2단계 분류 파이프라인을 구축했으며, 474개의 수동 주석 데이터로 방법론을 검증했습니다. 높은 재현율과 적절한 일치도를 보여 LLM의 분석 능력이 충분히 신뢰할 만함을 입증했습니다.
- 이 연구 결과가 일반 투자자에게 어떤 의미가 있나요?
- 기업의 AI 리스크 관리 투명성은 장기적인 기업 가치와 사회적 책임에 중요한 지표가 될 수 있습니다. 이 연구는 투자자들이 기업의 AI 거버넌스 수준을 평가하는 데 필요한 새로운 정보원을 제공할 잠재력을 가집니다.
이 기사 어땠어요?
피드백을 남겨주시면 더 나은 맞춤 추천을 만듭니다.