전문성 연구자인 GaryKlein의 책, 'Streetlights and Shadows'를 읽고 있다. 번역서가 '이기는 결정의 제1원칙'이라는 제목으로 나와있다.

주요 내용이 사람들이 통념으로 믿고 있는 10가지 법칙의 허구성에 대해 밝히는 책인데 - 허구성을 폭로한다기보다는, 모든 경우에 척 들어맞는 만병통치약은 아니라는 주장을 펼친다 - 아마도 그 '법칙'을 가로등(streetlights)으로, 그 한계점을 그림자(shadows)로 비유한 것 같다.

분류

법칙

의사결정

1. 처리 지침 교육은 업무 처리를 더 능숙하게 하는데 도움이 된다.

2. 의사결정의 편향이 우리의 사고를 왜곡한다.

2a. 성공적인 의사결정자는 직관 대신 논리와 통계에 의존한다.

3. 의사결정을 위해 여러 가지 대안을 만들고 비교해서 최선의 대안을 골라야 한다.

상황파악

4. 정보를 더 많이 모으면 불확실성을 줄일 수 있다.

5. 성급히 결론을 내리는 것은 나쁘다. 모든 증거를 확인할 때까지 기다려라.

6. 사람들을 배우게 하려면 그들 행동의 결과에 대해 피드백을 해줘야 한다.

7. 상황 파악을 위해서는 데이터를 기반으로 추론을 해야 한다.

적응

8. 모든 프로젝트의 시작은 목표를 명확하게 설정하는 것이다.

9. 계획의 성공률을 높이기 위해서는 위험들을 파악하고 제거 방법을 찾아야 한다.

10. 리더는 역할을 나누고 기본 원칙을 정함으로써 공통 기반을 마련할 수 있다.

1장

의사결정 내리기, 상황 파악하기, 적응하기라는 사고의 측면들은 바로 이 책의 1,2,3부의 주제이다. ... 의사결정 내리기, 즉 무엇을 할지 선택하는 것은 가장 직접적이고 가시적인 과제로서 1부의 주제다. 그러나 우리가 내리는 선택은 우리가 상황을 파악하는 방식에 따라 달라진다. 이것이 2부의 주제이다. 3부의 주제인 '상황에 적응하기'는 상황을 파악하는 방식에 따라 달라지고 우리의 의사결정과 학습 능력을 반영한다. 이 세 가지 인식 작용은 많은 종류의 인간 활동에 되풀이되어 나타난다. - p17

대부분의 사람들은 앞의 세 가지 인식 작용 각각을 수행하는 방식에 대해 몇 가지 법칙을 믿게 되었다.

  1. 처리 지침 교육은 업무 처리를 더 능숙하게 하는데 도움이 된다.
  2. 의사결정의 편향이 우리의 사고를 왜곡한다.
    1. 성공적인 의사결정자는 직관 대신 논리와 통계에 의존한다.
  3. 의사결정을 위해 여러 가지 대안을 만들고 비교해서 최선의 대안을 골라야 한다.
  4. 정보를 더 많이 모으면 불확실성을 줄일 수 있다.
  5. 성급히 결론을 내리는 것은 나쁘다. 모든 증거를 확인할 때까지 기다려라.
  6. 사람들을 배우게 하려면 그들 행동의 결과에 대해 피드백을 해줘야 한다.
  7. 상황 파악을 위해서는 데이터를 기반으로 추론을 해야 한다.
  8. 모든 프로젝트의 시작은 목표를 명확하게 설정하는 것이다.
  9. 계획의 성공률을 높이기 위해서는 위험들을 파악하고 제거 방법을 찾아야 한다.
  10. 리더는 역할을 나누고 기본 원칙을 정함으로써 공통 기반을 마련할 수 있다.

어느 정도 예상할 수 있듯이, 이 책은 위의 10가지(실제로는 11가지) 법칙이 반드시 맞는 것은 아니라는 것을 주장한다.

위의 주장들은 질서정연한 상황에서는 잘 들어맞는다. ... 하지만 우리는 그런 확실성의 세계에 살고 있지 않다. ... 복잡한 상황은 질서정연한 상황만큼 체계적이고 안정적이지 못하기 때문에 빠르고 예상치 못하게 바뀌기도 한다. ... 모호하고 복잡하며 예측 불가능한 상황에서 우리의 의사결정은 다른 양상을 보인다. 이런 상황에서는 질서정연한 순간에는 매우 유용했던 방법도 제대로 통하지 않을 수 있고, 아예 쓸모 없을 수도 있다. ... 그러나 이런 상황에서는 일반적인 통념이 잘 통하지 않고, 오히려 우리를 잘못된 방향으로 안내할 수도 있다. - p23

이 책의 목표는 10가지 주장이 잘 적용되는 상황과 잘 통하지 않는 상황, 오히려 해가 되는 상황을 구분하는 경계의 조건들을 살펴보는 것이다. - p24

2장 매뉴얼의 함정

주장 1. 처리 지침 교육은 업무 처리를 더 능숙하게 하는 데 도움이 된다.

# 지침은 완벽하지 못하다. 전문가가 가지고 있는 암묵지를 모두 지침화하려면 어마어마한 양이 필요할 것이다. 하지만 그렇게 지침화하는데 성공했다 하더라도 엄청나게 두꺼워진 매뉴얼은 실전에서 활용하기 어렵다. 드라이퍼스 모델에서는, 초보자에게는 규칙이 필요할 수도 있지만, 숙련자가 되기 위해서는 규칙을 뛰어 넘어야 한다. 게다가 상황은 계속 변화하기 때문에 지침도 계속 업데이트해주어야 한다. 엄청 두꺼워진 매뉴얼을 갱신하기는 사실상 어렵다.

요컨대 지침은 완전하지도 않고 방해가 될 수도 있으며, 전문성을 개발하고 적용하는 것을 막기도 하고 시간이 지남에 따라 낡기도 한다. 지침은 정연한 상황에서 가장 잘 작동한다. 상황이 바뀔까 걱정할 필요도 없고, 지침을 적용할지 말지 결정하기 위해 전후 상황을 고려할 필요가 없을 때 소용이 있는 것이다. - p.46

# 오히려 매뉴얼이 있기 때문에, 전문가가 매뉴얼보다 더 효과적인 자신의 직관을 따라서 업무를 수행했을 때, '왜 절차를 따르지 않았는지' 문책할 수 있는 근거가 되기도 한다. 전문가가 직관을 따른 결과가 성공적이었다면 별 문제가 없을 수 있지만, 최선을 다했지만 실패한 경우에는 오히려 문책의 대상이 될 수 있다. 사실상 매뉴얼을 따랐으면 성공했겠느냐는 보장도 없는데 말이다.

다음은 지침의 좋은 점들이다 - p48

6장 직관은 어떻게 활용하는가?

주장 3. 의사결정을 위해서는 여러 가지 대안을 만들고 비교해서 최고의 대안을 골라야 한다.

# 사이람에 있을때 '중복없이 빠짐없이'라는 말을 정말로 많이 들었다. 여러 대안들에 대해서 비교항목을 만들고, 거기에 판단의 준거가 될만한 정보들을 다 채워넣는다. 그렇게 마련된 정보를 바탕으로 최적의 대안을 선택한다. 하지만 중간에 낀 실무자들은 죽을 맛이었다. 그냥 간단하게 명백하게, 쉽게 의사결정할 수 있는 것도 비교표를 만들어야 했기 때문이다. 이런 종류의 분석을 GaryKlein은 합리적 선택 기법(Rational Choice Method)라고 부른다. 또는 DecisionTree를 쓸 수도 있다.

사람들과 조직이 공식적인 의사결정 기법을 좀처럼 사용하지 않는 한 가지 이유는 그 기법들을 사용하는 데 너무 많은 시간과 노력이 들기 때문이다. 의사결정을 하는데 30분 이내의 시간밖에 없다면 그 기법들은 사용할 수 없다.

두 번째 이유는 공식적인 기법을 사용하려면 의사결정 행렬의 모든 항에 수많은 데이터를 채워 넣거나, 모든 대안의 확률을 추정해야 한다. 그런 기법들을 사용하려면, 당신 자신도 확증할 방법이 없는 평가나 확률을 추정해야 한다. 당신이 그런 기법에 사용하는 추정치를 확신하지 못하면, 그 기법을 통해 나오는 결과도 믿지 못하게 된다.

세 번째 이유는 체계적으로 정리된 변수들보다 복잡한 변수들을 추정하는 게 훨씬 어렵기 때문이다. 자동차를 구입할 때 우리는 내구성이나 연비, 충돌 보호 등급 등을 추정할 수 있는 반면, 장거리 운전에 얼마나 편할지, 조종 용이성이 얼마나 좋을지, 유아용 시트 사용이 얼마나 수울지 등을 추정하기란 어렵다. 그 결과 우리는 이런 속성들을 무시하거나 모든 대안을 평균적으로 평가함으로써 의사결정에서 그 변수를 배제하게 된다. - p. 133

그리고 우리는 이런 종류의 분석 결과, 마음에 들지 않는 답이 나왔을 때 어떻게 되는지 잘 알고 있다. ... 우리는 다시 평가표로 되돌아가서 우리가 원하는 결과가 나올 때까지 평가 기준과 점수를 조정한다. 기법을 가지고 노는 것이다. p. 134

# 아이러니하게도 어떤 한 대안이 다른 대안들보다 월등히 나을 때는 이런 소모적인 분석 과정이 굳이 필요 없다. 반면에 어떤 한 대안이 다른 대안들과 거의 비등비등할 때는 역설적으로 어떤 대안을 선택하든 큰 상관이 없다.

HebertSimon은 어느 회사건 간에 이익을 최적화하거나 최상의 결정을 하려고 시도하는 회사는 '최상의 결정을 찾기 위한 끊임없는 추구 상태'에 빠지게 될 거라고 주장했다. - p. 135

# 실제로 전문가들이 의사결정을 하는 방법은, 여러 대안을 떠올리고 모든 평가기준을 따져서 최상의 대안을 선택하는 방식으로 이루어지지 않는다. 오히려 '상황을 보면 저절로 무엇을 해야 할지 안다'고 대답했다. 조금 더 인터뷰를 통해 깊숙히 질문해보니, 그들은 상황이 전개되는 것을 보고 패턴을 파악한다. '아, 이건 이 상황이구만!' 그래서 그 패턴 상황에 알맞는 대안을 자연스럽게 떠올릴 수 있다. 하지만 그렇게 떠오른 대안이 모든 경우에 적용 가능하지는 않을 것이다. 이 상황에는 맞지 않는 것일 수도 있다. 그것을 해결하기 위해서 전문가들은 머릿속으로 그 대안이 적용되었을 때의 상황을 시뮬레이션해본다. 이런 방법을 인식 촉발 의사결정 모형 (RecognitionPrimedDecisionModel: RPD)라고 한다.

이런 RPD 방법은 직관과 분석을 통합하는 것이다. 유형의 대조는 직관의 영역이고, 정신적 시뮬레이션은 신중한 분석의 영역이다. - p. 141

따라서 나는 주장3을 RPD 모형을 사용해서 대체하려고 한다. 훌륭한 의사결정자는 그들의 경험을 활용해서 효과적인 대안을 인식하고 정신적 시뮬레이션을 통해 그것을 평가한다. - p. 141

소방관들에 대한 첫 번째 조사는 어려운 의사결정의 약 80퍼센트가 RPD 모형을 따른다는 것을 보여줬다. 나중에 좀더 폭넓은 환경에서 조사한 연구는 그 수치가 90퍼센트에 달했다. 연안 원유 설비 위기 관리자들과 해군 기술자들을 조사한 다른 연구자들도 우리와 같은 결론을 얻었다. - p. 142

많은 연구자들이 이제는 이중 사고 체계를 지지한다. 무의식 시스템(Automatic System)은 빠르고 자동적이며, 일부러 노력하지 않아도 되고 감정적이며, 암묵적 지식을 사용한다. 숙고 시스템(Reflective System)은 느리고 의식적이고 노력이 필요하며, 사려 깊고 논리적이고 순차적이며, 명시적 지식을 사용한다. 다른 방식으로 작동하는 이 두 시스템들은 서로를 보완한다. ... 무의식과 숙고라는 이중 시스템 틀의 구조는 의식 촉발 의사결정 모형에 잘 들어맞는다. - p. 145

합리적 선택 기법을 고안한 하워드 라이파는, 사람들이 이 기법을 통해서 그들의 직관이 분석 결과와 부합하지 않는 경우를 알아차리기를 바랐다. 라이파는 그런 경우가 발생했을 때 무조건 분석 결과를 따르라고 권유하지 않는다. 대신 분석에서 누락된 게 없는지 재검토하고, 그래도 직관이 설득력이 있는지 살펴볼 것을 권했다. - p. 150

7장 직관과 분석의 조화

# 7장에서는 10가지 법칙에 대한 반론을 다루지 않고, 앞 장들에 대한 중간 정리를 한다.

# 전문가들은 자신의 전문 분야에 대해 정교한 사고모형을 가지고 있다.

사고 모형은 경험을 통해 발전되는데, 그 경험에는 개인적 경험, 조직적 경험, 문화적 경험이 포함되어 있다. MM같은 전문가의 풍부한 사고 모형은 더 많은 지식을 포괄하고 있고, 전문가들이 변수들 간의 관계를 더 잘 알 수 있게 해준다. 이 것이 바로 복잡성의 두 가지 결정적 특성이다. 전문가들의 사고 모형은 다른 사람들의 사고 모형보다 더 복잡하다. - p. 161

# 전문가들도 오류를 범하는 경우가 있다. 하지만 그렇다고 해서 전문가들을 폄하할 수는 없다. 그보다는 지침과 분석, 그리고 전문성을 아울러 활용하는 것이 좋다.

카너먼과 나는 신뢰할 만한 직관이 개발되기 위해서는 두 가지 조건이 필수적이라는 결론을 얻었다. 첫째는 상황이 어느 정도 예측 가능해야 한다는 것이고, 둘째는 사람들이 습득할 기회가 있어야 한다는 것이다. 예측 가능성이 낮은 상황에서는 믿을 만한 단서를 파악하기 어렵기 때문에 사람들이 전문성을 개발할 수 있는 가능성이 낮아진다. - p. 172

성과를 개선하기 위한 방법들 중 대부분은 실수를 줄이는 데 초점을 맞추고 있다. ... 그러나 실수를 없앤다고 전문성이 생기는 것은 아니다. - p. 174

# 마치 코칭이나 AppreciativeInquiry, 그리고 긍정심리학과 비슷한 관점이다. 실수를 줄이는 것은 부족 상태(-)에서 정상 상태(0)으로 가는 것이다. 실수를 줄인다고 해서 긍정 상태(+)로 가지는 않는다. 실수를 줄이기 위한 노력과 전문성을 구축하는 노력은 다른 범주의 것이다. 전문성은 정교한 사고 모형을 구축하는 것과 연관된다.

대부분의 경우, 실수를 회피하는 성향이 생산성을 저하시킬 수 있다. 학습을 위해서는 실수가 따라야 한다. 디킨과 코블리는 2003년, 최상위 피겨스케이팅 선수들이 연습시간에 다른 선수들보다 더 많이 넘어진다는 사실을 발견했다. 왜냐하면 그들은 자신들이 숙달하지 못한 점프를 더 많이 시도하기 때문이다. 만일 그 선수들에게 넘어지지 말라고 한다면, 그들은 그렇게 빨리 배울 수 없을 것이다. - p. 174

8장 의사결정 시스템이 실패하는 이유

# 7-8장은 1부를 마무리하는 장이다. 의사결정에 대한 오해들을 바로잡는 것이 중요한 이유는, 의사결정을 전문가 시스템이나 일련의 의사결정 알고리즘으로 대체하려는 움직임이 있기 때문이다.

통계적 기법이 더욱 발전함에 따라서 통계 기법 옹호자들은 새로운 의사결정 지원 시스템이 더욱 강력하고 포괄적이고 만능이라고 해명하며, 기존 시스템의 실패에 대한 비난을 털어내려고 한다. 직관적인 무의식 시스템과 분석적인 숙고 시스템의 조화를 주장하는 사람들은 조직들이 지원들의 암묵적 지식을 중시해야 한다고 계속해서 주장한다. 그 균형이 무너지면 전문성은 시들어버리기 시작할 것이다. - p. 177

나는 대니얼 카너먼과의 대화 과정에서 의사결정 지원 시스템의 네 가지 접근법을 다음과 같이 정리했다. - p. 178

  1. 의사결정자 단독으로 의사결정을 내린다.
  2. 의사결정자가 지원 시스템 및 알고리즘의 도움을 받는다.
  3. 의사결정 지원 시스템이 사람드로부터 압력을 받아서 최종 결정을 한다.
  4. 의사결정 지원 시스템이 전체 결정을 스스로 내린다.

9장 지나친 것은 모자람만 못하다

# 이번 장부터는 전문가가 상황을 파악하는 독특한 점을 다룬다.

주장 4. 정보를 더 많이 모으면 불확실성을 줄일 수 있다.

# 이번 장은, 정보를 더 많이 모으면 불확실성을 줄일 수 있다는 통념에 대한 반론을 제기하는 장이다.

불확실성에도 여러 종류가 있다. 때때로 우리는 필요한 정보가 없어서 확신을 하지 못한다. ... (그러나) 때때로 우리는 필요한 정보는 있지만 그것을 신뢰할 수 있을지 알지 못한다. 때때로 우리는 해당 정보를 신뢰하기는 하지만, 그것은 우리가 신뢰하는 다른 정보들과 상충하기도 한다. 때때로 우리는 해당 정보를 신뢰하기는 하지만 그것의 정확한 의미는 알지 못하는 경우도 있다. 주장 4는 정보의 부족 때문에 발생하는 첫 번째 종류의 불확실성에만 적용된다. - p. 196

불확실성을 이해하는 유용한 방법 중 하나는 퍼즐과 미스터리를 구분하는 것이다. 퍼즐은 핵심적인 데이터값 하나만 추가해도 쉽게 풀 수 있다. 예를 들면, 내가 이 글을 쓴 2008년 당시 우리는 오사마 빈 라덴이 어디에 숨어 있는지 정확히 몰랐다. 그러나 그것은 얼마든지 알 수 있는 문제다. ... 그러나 어느 정보 제공자가 빈 라덴의 현재 위치를 제공하기만 하면 이 퍼즐은 쉽게 풀린다. - p. 197

미스터리는 핵심적인 데이터에 의해서도 풀리지 않는다. 미스터리를 풀려면 더 많은 데이터가 아니라 더 많은 분석이 필요하다. 이라크의 미래가 어떻게 될지 알고 싶다면, 어떤 데이터값도 우리에게 답을 줄 수 없다. - p. 197

퍼즐은 주로 정연한 상황에서 나타나는 반면, 복잡한 상황은 미스터리로 가득 차 있다. - p. 197

# 어느 정도의 정보는 도움이 될 수 있다. 그러나 그 양이 너무 많아지면 오히려 정보 과잉에 빠져서 정보들간의 관계나 의미를 파악하는데 집중하지 못하게 된다. 오히려 전문가들은 자신들이 어떤 정보를 수집해야 하는지 알고, 필요한 정보를 필요한 양만큼 수집한다.

주장4를 신념으로 받아들인다면 우리는 불확실한 상황에서 무엇을 해야할지 바로 알 수 있게 된다. 바로 정보를 더 모으는 것이다. ... 그럼 이렇게 하면 누구라도 확신을 가지게 될 수 있을까? - p. 219

그러나 참가자들에게 각자 개인적으로 일지를 쓰라고 요청하자, 모든 팀에서 적어도 한 명은 각자의 일지에 그 어렴풋한 징후를 기록했다. 어떤 팀은 팀원의 절반이나 그들의 일지에 그런 징후들을 기록했다. 다시 말해서 모든 팀이 그 어렴풋한 신호를 표면화시킬 수 있는 잠재력을 가지고 있었다. 그러나 한 팀도 그 징후들에 대해서 논의하지 않았다. 팀워크 분위기가 어떤 식으로든 그 단서들의 논의를 억제한 것이다. 우리는 팀원들이 놀림감이 되거나 신뢰성에 상처를 입지 않고도 자신이 가진 의혹과 직감을 표현할 수 있는 팀워크를 장려할 수 있는 방법을 찾아야 한다. - p. 221

불확실성을 관리한다는 것은 사람들이 진주만, 911, 엔론 사태를 예견할 수 있는 중요한 단서들을 억압하거나 회피할 핑계를 찾게 만드는 사고 경향으로부터 벗어나야 한다는 것을 의미한다. - p. 221

주장 4는 더 많은 정보의 탐색을 강조하는 반면에, 미스터리에 직면한 사람들은 사건들을 해석하고 예견하는 방법에 초점을 맞춰야 한다. - p. 222