일본산업뉴스요약

빅데이터의 한계
클린턴 후보 대선 승리 예측

통계학 전문가인 넷 실버 씨가 운영하는 통계분석사이트 「538(Five Thirty Eight)」에서는, 빅데이터를 활용한 분석으로, 클린턴 후보가 승리하는 확률을 개표직전에 71.4%라고 내놓고 있었다. 이전 미국의 대통령선거 등, 선거결과 예측의 적중률이 높아졌지만, 찬양 받는 최신기술의 한계를 보여준 결과이다.

빅데이터와 인공지능 등의 기술은 진화하고 있음에도, 왜 예측은 빗나가는 것 인가. 예로 자주 사용되는 것이 금융상품의 운영이다. 노벨 경제학상 수상자를 거느린 미국 헤지펀드 「LTCM」은 금융공학을 사용하면서, 1998년의 러시아 위기를 예측하지 못해 파탄에 몰렸다.

인공지능학회회장인 국립 정보학 연구소의 야마다 교수는 “데이터가 없는 미래는 예측할 수 없고, 데이터가 되지 않는 말없는 다수는 해석할 수 없다.” 라고 설명한다.

AI가 진화한 현재, 차트의 상∙하한으로 움직임을 예측하는 테크니컬 분석은 통계해석으로 적중하지만, 재무제표와 경제지표에서 주가를 예측하는 펀더멘털(기초적 조건) 분석은 어렵다.

AI와 빅데이터에서는 데이터가 많을수록 예측 정도가 올라간다. 단 설문조사에 답하지 않은 사람들의 의견과, 변심은 데이터가 되지 않는다. 여론과 공기 등에 영향 받은 인간의 판단은 예측이 어렵다. “AI는 만능이라고 생각되기 쉽지만 접전이 되면, 알 수 없다. 이번 미국 대선은 빅데이터의 예측이 어려운 전형적인 예이다” 라고 말한다.

현실에는 빅데이터와 통계로 대응할 수 있는 현상도 있지만 한계도 있다. “논리와 추론으로 인간이 AI를 보완하는 하이브리드형이 이상적이다. 인간이 간단하게 보조할 수 있다면 사람에게 맡기는 편이 낫다.” 라고 지적한다.

   -- 끝 --