미래기술/미래전망/첨단산업

Harvard Business Review_2017.1. 특집 (p38~48)

불확실한 시대의 경쟁우위의 원천
초 예측력: 미래가 보이는 조직
Paul J. H. Schoemaker 외 1인 / 전 펜실베이니아대학 와튼스쿨 Research Director

자사의 신제품에 경쟁 타사가 어떠한 대응을 하는가, 판촉 활동은 어느 정도 매출로 연결되는가, 채용한 인재는 기대만큼 활약하는가…… 지금, 모든 기업은 앞을 예측할 수 없는 상황에서 중요한 의사 결정을 해야 한다. 바꿔 말하면, 자사의 예측 정확도가 경쟁 타사와 비교하여 정확하면 정확할수록, 그것은 경쟁우위로 연결된다고도 할 수 있다. 필자에 의한 오랜 동안의 연구와 실무 경험에 의해, 조직의 예측 능력을 지속적으로 향상시키기 위해서는, 개인의 예측 능력을 훈련을 통해 신장시키는 것, 팀을 활용하는 것, 예측 성적을 추적하여 신속하게 피드백하는 것이 반드시 필요하다는 사실이 밝혀졌다. 본고에서는 그 구체적인 요건을 살펴본다.

-- 조직의 예측능력을 높인다 --
지금, 당신의 회사의 예측 능력을 극적으로 개선할 수 있다고 상상해 보자. 단, 그를 위해서는 자사의 예측이나 그 결과를 이끌어낸 예측자들이 얼마나 도움이 되지 않는가를 드러낼 필요가 있다.

미국의 Intelligence Community는 그것을 실천하여 눈부신 성과를 올렸다. 2002년 10월, 미국국가정보회의(NIC)는, 이라크가 화학 병기나 생물 병기를 보유하고 있으며, 대량파괴 병기를 정력적으로 제조하고 있다는 공식 견해를 발표하였다. 말할 필요도 없이, 그 판단은 엄청난 잘못이었다. 연간 500억 달러나 예산을 받고 있는 NIC는, 판단을 잘못한 사실에 동요하였다. 그리고 조직 상의 중대 결함이 드러날지도 모른다는 가능성도 인식한 상황에서, 보다 정확한 판단을 내릴 수 있는 방법을 명확히 하기 위해 적극적으로 나섰다.

그 결과, 몇 개인가의 연구 프로그램이 생겨났다. 그 중 하나가, 여러 해에 걸쳐 실시한 대규모의 예측을 둘러싼 토너먼트다. 본고 집필자의 한 사람인 Philip E. Tetlock이 공동리더를 역임한 이 토너먼트는「뛰어난 판단력 프로젝트」(GJP: The Good Judgment Project)라고 불리며, 수천 명의 아마추어와, 정보기관의 경험이 풍부한 애널리스트를 계속해서 경쟁시키는 것이다.

이 프로그램을 통해, 놀랄만한 3개의 사실을 얻을 수 있었다. 첫째, 유능한 Generalist는 Specialist보다도 뛰어난 예측을 세우는 경우가 많다는 사실. 둘째, 정성껏 만든 훈련에 의해 예측 능력의 향상을 기대할 수 있다는 사실. 셋째, 잘 관리된 팀이 세운 예측은 개인의 예측을 능가하는 경우가 있다는 사실이다.

이들 연구 성과를 통해 얻을 수 있는 중요한 시사점은, 조직이나 기업이 불확실한 사태를 예측할 때 크게 참고가 된다는 점이다. 예를 들면, 자사의 신제품 개발에 경쟁 타사가 어떻게 대응할까? 판매촉진 활동에 의해 어느 정도 매출을 얻을 수 있을까? 채용 후보자는 과연 성과를 올릴 수 있을 것인가에 관한 예측 등이다.

본고에서 논하는 것은 조직의 예측 능력을 끊임없이 높이기 위한 방법이다. 그것은 요리책에서나 소개되는, 틀림없이 성공하는 레시피가 아니다. 또한, 그 기본 원칙의 대부분은 상당히 새로운 원칙으로, 비즈니스 환경에 적용하게 된 것은 불과 최근의 일이다.

단, 우리들의 연구에 의하면, 그러한 원칙을 활용한다면 자사에서 최고의 예측 능력이 조직 내의 어디에 존재하더라도, 리더는 그것을 찾아내어 육성할 수 있다는 사실이 제시되었다.

-- 예측대상으로 삼아야 할 Sweet Spot을 찾아낸다 --
기업이 초점을 맞춰야 할 Sweet Spot라는 것은, 데이터나 논리, 분석을 활용할 수 있고, 동시에 경험에 근거한 판단이나 면밀한 질문도 중요한 역할을 담당하는 사태에 대한 예측이다. 임상시험 중인 신약의 상업화를 예측하기 위해서는 과학적인 전문지식뿐 아니라 비즈니스 상의 판단도 필요하다. 매입처 후보의 평가자는 정규 Scoring Model을 활용하지만, 기업 문화의 적합성이나 경영 간부끼리의 궁합, 기대되는 상승효과가 실현될 가능성과 같은 막연한 요소도 평가하지 않으면 안 된다.

어느 영국의 은행이 밞아온 상황을 생각해 보자. 이 은행은 1990년대 초, 당시 주목을 받고 있었지만, 그 후에, 쇠퇴한 미국의 여러 케이블 TV 회사에 융자를 함으로써 큰 손실을 냈다. 최고융자책임자는 실책이라고 생각되는 이들 융자에 대해 감사를 실시, 융자의 종류, 고객의 특성, 관련된 융자 담당자, 인센티브의 효과 등의 요인을 분석하였다. 요인마다 불량채권에 스코어를 매기고, 손실액의 분산을 가장 적절하게 설명할 수 있는 인자를 구분하기 위해 해석하였다. 그 결과, 거대한 손실을 낸 융자에서는, 신용보증 프로세스에 문제가 있었기 때문에 재무상태가 나쁜 고객이나 자기 은행과 거래실적이 없는 고객에게 융자를 실시하였다는 사실을 밝혀냈다. 그러한 사항에는 전문성과 판단능력이 요구된다. 그 후, 이 은행은 목표를 좁혀서 개선을 실행함으로써 업적이 증가하고, 손실을 최소화할 수 있었다.

우리들은 연구와 컨설팅 경험을 근거하여, 리더가 자사의 판단 능력을 높이기 위해, 이러한 중간적 영역에 적용할 수 있는 일련의 실무 관행을 이끌어 냈다. 우리들이 추천하는 것은 개인의 예측 능력을 훈련에 의해 신장시키는 것, 정확도를 높이기 위해 팀을 활용하는 것, 예측 성적을 추적하는 것. 그리고 신속하게 피드백을 하는 것이다.

말할 필요도 없지만, 우리들이 논하는 방법은 일반적인 것이며, 각 조직에 맞춰서 Customize할 필요가 있다. 어떠한 환경 하에서 효과가 있는가를 학습하느냐에 따라, 조직은 발전해 나갈 것이다.

-- 훈련에 의해 정확한 판단력을 키운다 --
논리적인 사고나 바이어스(Bias, 선입견) 해소를 위한 훈련을 축적하면, 기업의 예측 능력은 확실하게 신장된다는 점은 기뻐할 일이다. GJP에서는, 불과 1시간의 훈련을 받는 것만으로, 예측 정확도가 1년 사이에 약 14% 개선되었다는 사실이 제시되어 있다.

•기본을 배우자

•인지 바이어스를 이해한다
인지 바이어스가 판단을 왜곡한다는 사실은 널리 알려져 있지만, 예측에 관해 특히 유해한 바이어스도 있다. 인간은 바이어스에 잡혀 있으면 집단을 쫓아 따르거나, 자신의 생각을 뒷받침하는 정보를 찾으려고 애쓰거나, 자신이 얼마나 올바른가를 어떻게든 증명하고자 한다.

인간의 판단에서 바이어스를 배제하는 것은 곤란하지만, GJP는 예측을 망가뜨리는 주요 바이어스에 대해, 참가자의 의식을 높이는 일정한 성과를 올렸다. 예를 들면, 엉뚱한 자신감을 초래할지도 모르는 확증 바이어스에 주의하는 것이나, 내린 결론에 대한 반증을 적당히 음미하는 것을 초학자에게 가르쳤다. 또한 훈련 참가자에게는, 문제만을 단독으로 검토하기 보다는 노벨상을 수상한 대니얼 카너먼(Daniel Kahneman)이 말하는「외부의 시점」을 갖도록 다짐해 두었다. 예를 들면, 프로젝트 완료까지 필요한 기간을 예측할 경우에는 그 기간을 짧게 예측하지 않도록, 우선은 동일한 프로젝트의 일반적인 소요 기간을 확인하도록 추천하였다.

이러한 훈련은 가능성의 추정에 바이어스를 초래하는 심리적 요소를 이해시키는 데 도움이 된다. 그것은 정성껏 분석하지 않고 불완전한 직감에 의지해 버리는 경향 등이다. 통계에 관한 직감이, 오해나 맹신의 영향을 받기 쉽다는 사실은 잘 알려져 있다. 주식 애널리스트가 데이터 안에서 통계학적으로 근거가 없는 패턴을 찾아내거나, 농구 선수가 자유투를 연속으로 성공시킨(이른바「Hot Hand현상」이 일어난다)다면, 스포츠팬은 좀처럼 없는 새로운 능력의 증거라고 받아들이는 경향이 있다. 그러나 그들이 눈으로 본 것은 소수의 표본에 있어서 일시적으로 나타난 환상이 지나지 않는다.

-- 적절한 자질을 갖춘 팀을 결성한다 --
예측자를 모아 팀을 결성하는 것은, 예측의 향상을 도모하는 데 유효한 방법이다. GJP에서는, 예측자를 무작위로 수백 명씩으로 분류하여, 한쪽에는 단독으로 다른 한쪽에는 팀으로 협력하여 예측하도록 하였다. 정보첨단연구계획국(IARPA)에 의한 토너먼트가 시행되었던 4년 전, 팀으로 작업한 예측자는 단독으로 작업한 예측자의 성적을 매년 웃돌았다. 말할 필요도 없지만, 팀이 좋은 결과를 내기 위해서는, 절묘한 매니지먼트와 일정한 눈에 띄는 특징이 필요하다.

•팀 구성
GJP의 토너먼트에서 톱 클래스의 성적을 남긴 예측자들은, 그 성공 이유에 대해 자신들의 힘으로 분석했음에도 불구하고, 정확히 예측할 수 있었던 이유는 반드시 분석능력이 뛰어났기 때문만은 아니라고 한다. 그들은 진중하고 겸허하고 선입관에 사로잡히지 않고, 분석이나 숫자를 다루는 데 뛰어나다. 기업이 팀을 결성할 때에 요구해야 할 인재는, 바이어스에 대한 경계심이 투철하고, 건전한 논리적 사고력이 있고, 데이터에 대한 경의를 나타내며, 천성적인 예측자다.

•확산단계, 평가단계, 수속단계
팀의 예측 대상이 단발적인 사태(미국이 2년 후에 불황에 빠질 가능성 등)거나, 여러 번 예측하는 경우(다양한 나라에서 매 해에 불황이 발생할 리스크 등)거나, 성과를 올리는 팀은 3개의 단계를 절묘하게 매니지먼트하지 않으면 안 된다. 그 3개는, 확산단계(문제, 전제, 해결책의 도출 방법을 다각적으로 검토하는 단계), 평가단계(건설적으로 의견을 다투는 경우도 포함하는 단계), 그리고 수속단계(팀이 하나의 예측을 확정시키는 단계)다. 이들 각 단계에서는, 목표를 선별 집중한 질문을 던져서 자주 피드백을 한다면, 학습과 진척의 스피드를 최대화할 수 있다.

확산단계와 평가단계는 반드시 필요하다. 이들을 적당히 취급하거나 게을리하면, 팀은 시야협착에 빠지게 된다. 즉, 초점을 지나치게 좁히게 됨으로써 엉뚱한 해답에 일찌감치 사로잡히게 되어, 예측의 질이 떨어지게 된다. 이를 피하기 위해서는 새로운 정보 수집에 힘을 쏟거나, 예측에 관한 전제 조건을 검증하거나 하는 등, 정확한 규범을 두면 도움이 된다.

•신뢰
어떤 팀이든, 좋은 결과를 내기 위해서는 멤버끼리의 신뢰가 필요하다. 이것은 작업의 성질 상, 특히 예측 팀에는 빠뜨릴 수 없는 것이다. 신규 인수에 대한 성공 여부 예측이나, 사업의 일부를 성공리에 매각할 수 있는 확률을 예상하고 있는 팀에는, 세력권 다툼의 문제가 발생하거나, 허영심이나 평판이 위협받거나 하는 결론에 도달할지도 모른다. 또한 뒤떨어진 예측 능력은 기업 내의 어딘가에 머물러 있지 않고, 그것이 누구인지까지 노출시켜 버릴 가능성도 있다.

예측자들이 최고의 고찰을 공유하도록 만전을 기하기 위해서는 멤버가 서로 신뢰하는 것, 리더가 팀의 작업 결과를 옹호하며, 멤버의 보직과 평판을 지켜줄 것이라고 믿는 것이 필요하다.

-- 성적을 추적하여 피드백한다 --
GJP나 폭넓은 기업을 대상으로 한 우리들의 연구를 통해, 예측을 개선하기 위해서는 예측 성적의 추적과 시의 적절한 피드백이 반드시 필요하다는 사실이 명확해 졌다.

예를 들면, 미국의 기상예보자는 많은 비판을 받지만, 예보 자체는 뛰어나다. 예보자가「강수확률 30%」라고 말하면, 그렇게 예상된 날에는 평균 30%의 확률로 비가 내린다는 것이다. 그 뛰어난 성과를 이끌어내는 열쇠는 예보자의 예측 정확도에 관하여, 계속적으로 시의 적절하면서도 명쾌한 피드백을 주고, 예측 정확도를 업적 평가에 연동시키는 것이다. 카드 게임의 Bridge Player, 내부 감사자, 석유지질학자가 예측에서 뛰어난 성과를 올리고 있는 것은 확실한 피드백이나 개선을 재촉하는 인센티브 덕분이기도 하다.

예측 정확도의 가장 순수한 지표이며, 장기적으로 추적 가능한 수단으로서「Brier Score(BS)」가 있다. 기업이 이를 이용한다면, 일련의 예측에 근거하여 직접적 그리고 통계적으로 신뢰할 수 있는 방법을 통해 예측자를 비교할 수 있다. 이 스코어를 통해, 시간의 경과와 함께 뛰어난 예측을 하는 개인, 팀 멤버, 다른 팀과 경쟁하고 있는 팀 전체가 드러나게 된다.

● 초 예측자의 특성
GJP에서는, IARPA의 토너먼트에서 톱 클래스의 성적을 올린 예측자들에게서 공통된 특성을 밝혀냈다. 사이트(giopen.com)에서는, 지금도 공개 토너먼트가 실시되고 있다. 당신도 등록해서 초 예측자에게 필요한 요건을 충족하고 있는지 측정을 해보자.

▶이성적인 대처방법과 태도
[신중] 확실한 것은 거의 없다고 이해하고 있다.
[겸허] 자신의 한계를 정확히 인식하고 있다.
[예단하지 않음] 사태가 일어날 만해서 일어났다고는 생각하지 않는다.

▶능력과 사고양식
[선입관에 갇히지 않는다] 믿고 있는 것은 검증이 필요한 가설이라고 받아들인다.
[탐구심이 강하다] 지적 호기심이 왕성하고, 정신적인 도전을 즐긴다.
[사려 깊다] 반성하고, 자기자신에게도 엄격한 눈을 갖는다
[숫자에 강하다] 숫자를 다루는 것을 고통스럽다고 생각하지 않는다.

▶예측방법
[실리적] 어떤 의견이나 의제에도 고집을 피우지 않는다.
[분석적] 다른 의견도 검토한다.
[종합적] 다양한 의견을 자신의 의견에 수용한다.
[확률중시] 어느 사태가 발생할 가능성을 확실한지 불확실한지로 판단하지 않고, 높은 확률에 기초하여 생각한다.
[신중한 궤도수정] 새롭게 판명된 사실을 통해 적정하다고 판단할 수 있으면, 자신의 의견을 바꾼다.
[직감에 대해 억제적] 자신의 인지 바이어스나 감정 바이어스를 인식하고 있다.

▶일에 대한 의욕
[개선 중시] 보다 좋아지려고 노력한다.
[끈기 강함] 필요한 이상, 문제에 끊임없이 도전한다.

  -- 끝 --