Diff for "이기는 결정의 제1원칙"

전문성 연구자인 GaryKlein의 책, 'Streetlights and Shadows'를 읽고 있다. 번역서가 '이기는 결정의 제1원칙'이라는 제목으로 나와있다.

주요 내용이 사람들이 통념으로 믿고 있는 10가지 법칙의 허구성에 대해 밝히는 책인데 - 허구성을 폭로한다기보다는, 모든 경우에 척 들어맞는 만병통치약은 아니라는 주장을 펼친다 - 아마도 그 '법칙'을 가로등(streetlights)으로, 그 한계점을 그림자(shadows)로 비유한 것 같다.

• 1장 데이터의 함정에 빠진 당신을 위한 안내서
• 제1부 의사결정 내리기
  • 2장 매뉴얼의 함정
  • 3장 이성의 함정
  • 4장 우리는 얼마나 편견에 지배되는가?
  • 5장 논리와 통계의 함정
  • 6장 직관은 어떻게 활용하는가? (2013/10/31 읽음)
  • 7장 직관과 분석의 조화 (2013/11/01 읽음)
  • 8장 의사결정 시스템이 실패하는 이유 (2013/11/03 읽음)
• 제2부 상황 파악하기
  • 9장 지나친 것은 모자람만 못하다 (2013/11/03 읽음)
  • 10장 장고 끝에 악수를 두는 이유 (2013/11/06 예정)
  • 11장 효과적으로 피드백하는 법 (2013/11/07 예정)
  • 12장 모든 데이터를 부정하라 (2013/11/08 예정)
  • 13장 인간은 컴퓨터처럼 사고하는가? (2013/11/11 예정)
• 제3부 적응하기
  • 14장 목적지는 어디인가? (2013/11/12 예정)
  • 15장 리스크 관리의 리스크 (2013/11/13 예정)
  • 16장 미래 예측의 기술 (2013/11/14 예정)
  • 17장 한정된 프레임을 버려라 (2013/11/15 예정)
• 제4부 이기는 결정의 제1원칙
  • 18장 의사결정의 10가지 잘못된 믿음 (2013/11/18 예정)
  • 19장 당신의 경험은 답을 알고 있다. (2013/11/19 예정)

1장

의사결정 내리기, 상황 파악하기, 적응하기라는 사고의 측면들은 바로 이 책의 1,2,3부의 주제이다. ... 의사결정 내리기, 즉 무엇을 할지 선택하는 것은 가장 직접적이고 가시적인 과제로서 1부의 주제다. 그러나 우리가 내리는 선택은 우리가 상황을 파악하는 방식에 따라 달라진다. 이것이 2부의 주제이다. 3부의 주제인 '상황에 적응하기'는 상황을 파악하는 방식에 따라 달라지고 우리의 의사결정과 학습 능력을 반영한다. 이 세 가지 인식 작용은 많은 종류의 인간 활동에 되풀이되어 나타난다. - p17

대부분의 사람들은 앞의 세 가지 인식 작용 각각을 수행하는 방식에 대해 몇 가지 법칙을 믿게 되었다.

1. 처리 지침 교육은 업무 처리를 더 능숙하게 하는데 도움이 된다.
2. 의사결정의 편향이 우리의 사고를 왜곡한다.
   1. 성공적인 의사결정자는 직관 대신 논리와 통계에 의존한다.
3. 의사결정을 위해 여러 가지 대안을 만들고 비교해서 최선의 대안을 골라야 한다.
4. 정보를 더 많이 모으면 불확실성을 줄일 수 있다.
5. 성급히 결론을 내리는 것은 나쁘다. 모든 증거를 확인할 때까지 기다려라.
6. 사람들을 배우게 하려면 그들 행동의 결과에 대해 피드백을 해줘야 한다.
7. 상황 파악을 위해서는 데이터를 기반으로 추론을 해야 한다.
8. 모든 프로젝트의 시작은 목표를 명확하게 설정하는 것이다.
9. 계획의 성공률을 높이기 위해서는 위험들을 파악하고 제거 방법을 찾아야 한다.
10. 리더는 역할을 나누고 기본 원칙을 정함으로써 공통 기반을 마련할 수 있다.

어느 정도 예상할 수 있듯이, 이 책은 위의 10가지(실제로는 11가지) 법칙이 반드시 맞는 것은 아니라는 것을 주장한다.

위의 주장들은 질서정연한 상황에서는 잘 들어맞는다. ... 하지만 우리는 그런 확실성의 세계에 살고 있지 않다. ... 복잡한 상황은 질서정연한 상황만큼 체계적이고 안정적이지 못하기 때문에 빠르고 예상치 못하게 바뀌기도 한다. ... 모호하고 복잡하며 예측 불가능한 상황에서 우리의 의사결정은 다른 양상을 보인다. 이런 상황에서는 질서정연한 순간에는 매우 유용했던 방법도 제대로 통하지 않을 수 있고, 아예 쓸모 없을 수도 있다. ... 그러나 이런 상황에서는 일반적인 통념이 잘 통하지 않고, 오히려 우리를 잘못된 방향으로 안내할 수도 있다. - p23

이 책의 목표는 10가지 주장이 잘 적용되는 상황과 잘 통하지 않는 상황, 오히려 해가 되는 상황을 구분하는 경계의 조건들을 살펴보는 것이다. - p24

2장 매뉴얼의 함정

주장 1. 처리 지침 교육은 업무 처리를 더 능숙하게 하는 데 도움이 된다.

# 지침은 완벽하지 못하다. 전문가가 가지고 있는 암묵지를 모두 지침화하려면 어마어마한 양이 필요할 것이다. 하지만 그렇게 지침화하는데 성공했다 하더라도 엄청나게 두꺼워진 매뉴얼은 실전에서 활용하기 어렵다. 드라이퍼스 모델에서는, 초보자에게는 규칙이 필요할 수도 있지만, 숙련자가 되기 위해서는 규칙을 뛰어 넘어야 한다. 게다가 상황은 계속 변화하기 때문에 지침도 계속 업데이트해주어야 한다. 엄청 두꺼워진 매뉴얼을 갱신하기는 사실상 어렵다.

요컨대 지침은 완전하지도 않고 방해가 될 수도 있으며, 전문성을 개발하고 적용하는 것을 막기도 하고 시간이 지남에 따라 낡기도 한다. 지침은 정연한 상황에서 가장 잘 작동한다. 상황이 바뀔까 걱정할 필요도 없고, 지침을 적용할지 말지 결정하기 위해 전후 상황을 고려할 필요가 없을 때 소용이 있는 것이다. - p.46

# 오히려 매뉴얼이 있기 때문에, 전문가가 매뉴얼보다 더 효과적인 자신의 직관을 따라서 업무를 수행했을 때, '왜 절차를 따르지 않았는지' 문책할 수 있는 근거가 되기도 한다. 전문가가 직관을 따른 결과가 성공적이었다면 별 문제가 없을 수 있지만, 최선을 다했지만 실패한 경우에는 오히려 문책의 대상이 될 수 있다. 사실상 매뉴얼을 따랐으면 성공했겠느냐는 보장도 없는데 말이다.

다음은 지침의 좋은 점들이다 - p48

• 지침은 초심자들의 업무 훈련 도구다.
• 지침은 여러 직업들에서 작업자들의 망각 방지를 돕는다.
• 업무 도중 방해가 있었을 때 빼먹지 않고 마무리할 수 있게 해준다. 예를 들어 조종사는 체크리스트를 점검하다가 무전 등의 방해를 종종 받게 되는데, 이런 상황조차 체크리스트가 모든 항목을 점검할 수 있게 도와준다.
• 지침은 업무 부담을 줄여주고 중요한 일에 집중할 수 있게 해준다.
• 지침은 경험과 이력을 집약하는 방법이다. 지침은 이직이 많고 숙련된 직원이 많지 않을 때 유용하다. 지침은 경험이 적은 직원들도 상당히 만족스러운 수준의 업무 처리를 하도록 해준다. 지침은 익숙하지 않은 문제에 대처할 때 숙련된 조종사의 역할을 해줄 수 있다. 지침은 자동차 정비사가 까다로운 전기 장치 고장을 수리하는 것을 돕는다 (진단 지침은 단순히 기억을 돕는 것과는 다르다)
• 지침은 일관성을 제공해 팀 운영을 돕는다. 팀원들이 같은 지침을 숙지하고 있다면 서로의 행동을 예상할 수 있을 것이다.

6장 직관은 어떻게 활용하는가?

주장 3. 의사결정을 위해서는 여러 가지 대안을 만들고 비교해서 최고의 대안을 골라야 한다.

# 사이람에 있을때 '중복없이 빠짐없이'라는 말을 정말로 많이 들었다. 여러 대안들에 대해서 비교항목을 만들고, 거기에 판단의 준거가 될만한 정보들을 다 채워넣는다. 그렇게 마련된 정보를 바탕으로 최적의 대안을 선택한다. 하지만 중간에 낀 실무자들은 죽을 맛이었다. 그냥 간단하게 명백하게, 쉽게 의사결정할 수 있는 것도 비교표를 만들어야 했기 때문이다. 이런 종류의 분석을 GaryKlein은 합리적 선택 기법(Rational Choice Method)라고 부른다. 또는 DecisionTree를 쓸 수도 있다.

사람들과 조직이 공식적인 의사결정 기법을 좀처럼 사용하지 않는 한 가지 이유는 그 기법들을 사용하는 데 너무 많은 시간과 노력이 들기 때문이다. 의사결정을 하는데 30분 이내의 시간밖에 없다면 그 기법들은 사용할 수 없다.

두 번째 이유는 공식적인 기법을 사용하려면 의사결정 행렬의 모든 항에 수많은 데이터를 채워 넣거나, 모든 대안의 확률을 추정해야 한다. 그런 기법들을 사용하려면, 당신 자신도 확증할 방법이 없는 평가나 확률을 추정해야 한다. 당신이 그런 기법에 사용하는 추정치를 확신하지 못하면, 그 기법을 통해 나오는 결과도 믿지 못하게 된다.

세 번째 이유는 체계적으로 정리된 변수들보다 복잡한 변수들을 추정하는 게 훨씬 어렵기 때문이다. 자동차를 구입할 때 우리는 내구성이나 연비, 충돌 보호 등급 등을 추정할 수 있는 반면, 장거리 운전에 얼마나 편할지, 조종 용이성이 얼마나 좋을지, 유아용 시트 사용이 얼마나 수울지 등을 추정하기란 어렵다. 그 결과 우리는 이런 속성들을 무시하거나 모든 대안을 평균적으로 평가함으로써 의사결정에서 그 변수를 배제하게 된다. - p. 133

그리고 우리는 이런 종류의 분석 결과, 마음에 들지 않는 답이 나왔을 때 어떻게 되는지 잘 알고 있다. ... 우리는 다시 평가표로 되돌아가서 우리가 원하는 결과가 나올 때까지 평가 기준과 점수를 조정한다. 기법을 가지고 노는 것이다. p. 134

# 아이러니하게도 어떤 한 대안이 다른 대안들보다 월등히 나을 때는 이런 소모적인 분석 과정이 굳이 필요 없다. 반면에 어떤 한 대안이 다른 대안들과 거의 비등비등할 때는 역설적으로 어떤 대안을 선택하든 큰 상관이 없다.

HebertSimon은 어느 회사건 간에 이익을 최적화하거나 최상의 결정을 하려고 시도하는 회사는 '최상의 결정을 찾기 위한 끊임없는 추구 상태'에 빠지게 될 거라고 주장했다. - p. 135

# 실제로 전문가들이 의사결정을 하는 방법은, 여러 대안을 떠올리고 모든 평가기준을 따져서 최상의 대안을 선택하는 방식으로 이루어지지 않는다. 오히려 '상황을 보면 저절로 무엇을 해야 할지 안다'고 대답했다. 조금 더 인터뷰를 통해 깊숙히 질문해보니, 그들은 상황이 전개되는 것을 보고 패턴을 파악한다. '아, 이건 이 상황이구만!' 그래서 그 패턴 상황에 알맞는 대안을 자연스럽게 떠올릴 수 있다. 하지만 그렇게 떠오른 대안이 모든 경우에 적용 가능하지는 않을 것이다. 이 상황에는 맞지 않는 것일 수도 있다. 그것을 해결하기 위해서 전문가들은 머릿속으로 그 대안이 적용되었을 때의 상황을 시뮬레이션해본다. 이런 방법을 인식 촉발 의사결정 모형 (RecognitionPrimedDecisionModel: RPD)라고 한다.

이런 RPD 방법은 직관과 분석을 통합하는 것이다. 유형의 대조는 직관의 영역이고, 정신적 시뮬레이션은 신중한 분석의 영역이다. - p. 141

따라서 나는 주장3을 RPD 모형을 사용해서 대체하려고 한다. 훌륭한 의사결정자는 그들의 경험을 활용해서 효과적인 대안을 인식하고 정신적 시뮬레이션을 통해 그것을 평가한다. - p. 141

소방관들에 대한 첫 번째 조사는 어려운 의사결정의 약 80퍼센트가 RPD 모형을 따른다는 것을 보여줬다. 나중에 좀더 폭넓은 환경에서 조사한 연구는 그 수치가 90퍼센트에 달했다. 연안 원유 설비 위기 관리자들과 해군 기술자들을 조사한 다른 연구자들도 우리와 같은 결론을 얻었다. - p. 142

많은 연구자들이 이제는 이중 사고 체계를 지지한다. 무의식 시스템(Automatic System)은 빠르고 자동적이며, 일부러 노력하지 않아도 되고 감정적이며, 암묵적 지식을 사용한다. 숙고 시스템(Reflective System)은 느리고 의식적이고 노력이 필요하며, 사려 깊고 논리적이고 순차적이며, 명시적 지식을 사용한다. 다른 방식으로 작동하는 이 두 시스템들은 서로를 보완한다. ... 무의식과 숙고라는 이중 시스템 틀의 구조는 의식 촉발 의사결정 모형에 잘 들어맞는다. - p. 145

합리적 선택 기법을 고안한 하워드 라이파는, 사람들이 이 기법을 통해서 그들의 직관이 분석 결과와 부합하지 않는 경우를 알아차리기를 바랐다. 라이파는 그런 경우가 발생했을 때 무조건 분석 결과를 따르라고 권유하지 않는다. 대신 분석에서 누락된 게 없는지 재검토하고, 그래도 직관이 설득력이 있는지 살펴볼 것을 권했다. - p. 150

7장 직관과 분석의 조화

# 7장에서는 10가지 법칙에 대한 반론을 다루지 않고, 앞 장들에 대한 중간 정리를 한다.

# 전문가들은 자신의 전문 분야에 대해 정교한 사고모형을 가지고 있다.

사고 모형은 경험을 통해 발전되는데, 그 경험에는 개인적 경험, 조직적 경험, 문화적 경험이 포함되어 있다. MM같은 전문가의 풍부한 사고 모형은 더 많은 지식을 포괄하고 있고, 전문가들이 변수들 간의 관계를 더 잘 알 수 있게 해준다. 이 것이 바로 복잡성의 두 가지 결정적 특성이다. 전문가들의 사고 모형은 다른 사람들의 사고 모형보다 더 복잡하다. - p. 161

# 전문가들도 오류를 범하는 경우가 있다. 하지만 그렇다고 해서 전문가들을 폄하할 수는 없다. 그보다는 지침과 분석, 그리고 전문성을 아울러 활용하는 것이 좋다.

카너먼과 나는 신뢰할 만한 직관이 개발되기 위해서는 두 가지 조건이 필수적이라는 결론을 얻었다. 첫째는 상황이 어느 정도 예측 가능해야 한다는 것이고, 둘째는 사람들이 습득할 기회가 있어야 한다는 것이다. 예측 가능성이 낮은 상황에서는 믿을 만한 단서를 파악하기 어렵기 때문에 사람들이 전문성을 개발할 수 있는 가능성이 낮아진다. - p. 172

성과를 개선하기 위한 방법들 중 대부분은 실수를 줄이는 데 초점을 맞추고 있다. ... 그러나 실수를 없앤다고 전문성이 생기는 것은 아니다. - p. 174

# 마치 코칭이나 AppreciativeInquiry, 그리고 긍정심리학과 비슷한 관점이다. 실수를 줄이는 것은 부족 상태(-)에서 정상 상태(0)으로 가는 것이다. 실수를 줄인다고 해서 긍정 상태(+)로 가지는 않는다. 실수를 줄이기 위한 노력과 전문성을 구축하는 노력은 다른 범주의 것이다. 전문성은 정교한 사고 모형을 구축하는 것과 연관된다.

대부분의 경우, 실수를 회피하는 성향이 생산성을 저하시킬 수 있다. 학습을 위해서는 실수가 따라야 한다. 디킨과 코블리는 2003년, 최상위 피겨스케이팅 선수들이 연습시간에 다른 선수들보다 더 많이 넘어진다는 사실을 발견했다. 왜냐하면 그들은 자신들이 숙달하지 못한 점프를 더 많이 시도하기 때문이다. 만일 그 선수들에게 넘어지지 말라고 한다면, 그들은 그렇게 빨리 배울 수 없을 것이다. - p. 174

8장 의사결정 시스템이 실패하는 이유

# 7-8장은 1부를 마무리하는 장이다. 의사결정에 대한 오해들을 바로잡는 것이 중요한 이유는, 의사결정을 전문가 시스템이나 일련의 의사결정 알고리즘으로 대체하려는 움직임이 있기 때문이다.

통계적 기법이 더욱 발전함에 따라서 통계 기법 옹호자들은 새로운 의사결정 지원 시스템이 더욱 강력하고 포괄적이고 만능이라고 해명하며, 기존 시스템의 실패에 대한 비난을 털어내려고 한다. 직관적인 무의식 시스템과 분석적인 숙고 시스템의 조화를 주장하는 사람들은 조직들이 지원들의 암묵적 지식을 중시해야 한다고 계속해서 주장한다. 그 균형이 무너지면 전문성은 시들어버리기 시작할 것이다. - p. 177

나는 대니얼 카너먼과의 대화 과정에서 의사결정 지원 시스템의 네 가지 접근법을 다음과 같이 정리했다. - p. 178

1. 의사결정자 단독으로 의사결정을 내린다.
2. 의사결정자가 지원 시스템 및 알고리즘의 도움을 받는다.
3. 의사결정 지원 시스템이 사람드로부터 압력을 받아서 최종 결정을 한다.
4. 의사결정 지원 시스템이 전체 결정을 스스로 내린다.

9장 지나친 것은 모자람만 못하다

# 이번 장부터는 전문가가 상황을 파악하는 독특한 점을 다룬다.

주장 4. 정보를 더 많이 모으면 불확실성을 줄일 수 있다.

# 이번 장은, 정보를 더 많이 모으면 불확실성을 줄일 수 있다는 통념에 대한 반론을 제기하는 장이다.

불확실성에도 여러 종류가 있다. 때때로 우리는 필요한 정보가 없어서 확신을 하지 못한다. ... (그러나) 때때로 우리는 필요한 정보는 있지만 그것을 신뢰할 수 있을지 알지 못한다. 때때로 우리는 해당 정보를 신뢰하기는 하지만, 그것은 우리가 신뢰하는 다른 정보들과 상충하기도 한다. 때때로 우리는 해당 정보를 신뢰하기는 하지만 그것의 정확한 의미는 알지 못하는 경우도 있다. 주장 4는 정보의 부족 때문에 발생하는 첫 번째 종류의 불확실성에만 적용된다. - p. 196

불확실성을 이해하는 유용한 방법 중 하나는 퍼즐과 미스터리를 구분하는 것이다. 퍼즐은 핵심적인 데이터값 하나만 추가해도 쉽게 풀 수 있다. 예를 들면, 내가 이 글을 쓴 2008년 당시 우리는 오사마 빈 라덴이 어디에 숨어 있는지 정확히 몰랐다. 그러나 그것은 얼마든지 알 수 있는 문제다. ... 그러나 어느 정보 제공자가 빈 라덴의 현재 위치를 제공하기만 하면 이 퍼즐은 쉽게 풀린다. - p. 197

미스터리는 핵심적인 데이터에 의해서도 풀리지 않는다. 미스터리를 풀려면 더 많은 데이터가 아니라 더 많은 분석이 필요하다. 이라크의 미래가 어떻게 될지 알고 싶다면, 어떤 데이터값도 우리에게 답을 줄 수 없다. - p. 197

퍼즐은 주로 정연한 상황에서 나타나는 반면, 복잡한 상황은 미스터리로 가득 차 있다. - p. 197

# 어느 정도의 정보는 도움이 될 수 있다. 그러나 그 양이 너무 많아지면 오히려 정보 과잉에 빠져서 정보들간의 관계나 의미를 파악하는데 집중하지 못하게 된다. 오히려 전문가들은 자신들이 어떤 정보를 수집해야 하는지 알고, 필요한 정보를 필요한 양만큼 수집한다.

주장4를 신념으로 받아들인다면 우리는 불확실한 상황에서 무엇을 해야할지 바로 알 수 있게 된다. 바로 정보를 더 모으는 것이다. ... 그럼 이렇게 하면 누구라도 확신을 가지게 될 수 있을까? - p. 219

그러나 참가자들에게 각자 개인적으로 일지를 쓰라고 요청하자, 모든 팀에서 적어도 한 명은 각자의 일지에 그 어렴풋한 징후를 기록했다. 어떤 팀은 팀원의 절반이나 그들의 일지에 그런 징후들을 기록했다. 다시 말해서 모든 팀이 그 어렴풋한 신호를 표면화시킬 수 있는 잠재력을 가지고 있었다. 그러나 한 팀도 그 징후들에 대해서 논의하지 않았다. 팀워크 분위기가 어떤 식으로든 그 단서들의 논의를 억제한 것이다. 우리는 팀원들이 놀림감이 되거나 신뢰성에 상처를 입지 않고도 자신이 가진 의혹과 직감을 표현할 수 있는 팀워크를 장려할 수 있는 방법을 찾아야 한다. - p. 221

불확실성을 관리한다는 것은 사람들이 진주만, 911, 엔론 사태를 예견할 수 있는 중요한 단서들을 억압하거나 회피할 핑계를 찾게 만드는 사고 경향으로부터 벗어나야 한다는 것을 의미한다. - p. 221

주장 4는 더 많은 정보의 탐색을 강조하는 반면에, 미스터리에 직면한 사람들은 사건들을 해석하고 예견하는 방법에 초점을 맞춰야 한다. - p. 222

10장 장고 끝에 악수를 두는 이유

주장 5. 성급히 결론을 내리는 것은 나쁘다. 모든 근거가 입증될 때까지 기다려라

# 사람들은 최초에 가진 입장에 고착되는 경우가 많다. 따라서 너무 성급하게 결론을 내리면 안된다. 하지만 그렇다고 열린 마음을 가지고 모든 가능성을 열어놓는다는 것도 어불성설이다. 모든 가능성을 열어놓고 추가적인 증거를 기다리는 것을 언제까지 할 것인가? 사실상 비현실적이다.

루돌프는 이 시나리오에 대한 그들의 대응을 기준으로 조사 대상을 다음의 네 가지 범주로 구분했다. 교착 집단, 고착 집단, 방랑자적 진단 집단, 적응형 문제 해결자의 네 집단이다. - p. 233

# 교착 집단은 돌발적인 상황에 전혀 대응하지 못하고 어쩔줄 몰라했다. 고착 집단은 최초에 결론 내린 진단을 바탕으로 처치를 이어갔다. 그 진단을 뒷받침하는 여러 정황들이 발견되었다. 하지만 그 진단은 정답과는 다른 것이었다. 결국 그들은 문제의 원인을 밝혀내지 못했다. 방랑자적 진단 집단, 즉 열린 마음으로 여러 진단의 가능성을 열어둔 집단은 어떤 진단에도 고착되지 않는 대신, 각 가능성을 검토하지만 더 깊게 검토하지 않았기 때문에 결국 문제의 원인이 무엇인지 규명하지 못했다.

마지막 아홉 명의 레지던트는 빨리 결론을 내림과 동시에 각각의 진단을 시험해봤다. 루돌프는 그들을 '적응형 문제 해결자'라고 불렀다. 고착형 문제 해결자들과 마찬가지로 그들 중 대부분은 즉시 기관지 경련을 가장 가능성 높은 원인으로 진단했다. 그러나 그 처치가 효과가 없자, 그들은 다른 진단으로 넘어가서 각각의 진단을 테스트하고 기각하기를 반복한 끝에 결국 호흡 튜브가 막힌 것을 생각해냈다. 그들의 적극적인 진찰 행위가 그들로 하여금 최초 진단에 뒤이은 테스트와 처치를 수행하는 발판으로 삼게 해줬다. 아홉 명 중 일곱 명의 레지던트는 굳어진 점액이 막힌 것을 찾아냈다. 그들이 테스트한 방법은 여러 가지였다. 내시경을 이용하기도 하고 흡입관의 느낌을 통해 알아낸 사람도 있었으며, 튜브를 흡입했을 때 나는 말라붙은 소리를 듣고 알아낸 사람도 있었고 흡입관을 호흡 튜브 안으로 밀어넣은 길이와 호흡 튜브의 길이를 비교해서 알아낸 사람도 있었다. 이 네 가지 다른 방법 모두 같은 진단을 이끌어냈다. 다른 범주에 속한 레지던트들은 아무도 그 진단을 이끌어내지 못했다. - p. 234

유일하게 성공한 사람들은 성급히 진단을 내리고 진단들을 테스트해본 사람들이었다. 그들은 최초의 생각에 고착되지 않았다. 대신 그들은 그 생각을 자신들이 행한 테스트의 기반으로 삼고 또한 새로운 정보를 찾기위한 방법으로 삼았다. 그들은 '강력한 아이디어를 약하게 고수하는' 방법을 잘 보여줬다. - p. 235

우리는 모순을 발견했다. 루돌프는 열린 마음을 가진 레지던트들이 진단을 제대로 하지 못했다는 것을 발견했지만, 브루너와 포터는 이미지가 너무 흐릿한 상태부터 보기 시작한 사람들은 너무 빨리 추측을 하게 되어 가장 나쁜 결과를 보인다는 것을 발견했다. 이를 어떻게 이해해야 할까? - p. 235

그것은 아마도 사람들이 수동적이냐, 능동적이냐 하는데 달려 있을 것이다. 브루너와 포터의 조사 대상인 대학생들은 그들이 원하는 대로 찾아볼 수 없었다. 그들은 그냥 가만히 앉아서 흐릿한 이미지를 보면서 자신들이 본 게 무엇인지 대답해야만 했다. 반면에 루돌프는 조사 대상인 마취과 레지던트들에게 능동적으로 정보를 수집하도록 했다. 아마도 그것이, 그들의 최초 추측이 테스트와 조사의 기반이 된 이유일 것이다. - p. 235

적극적으로 해답을 추측하되, 그 추측에 얽매이지 말고 그 추측들을 테스트해보라. 사람들에게 열린 마음을 지라고 충고하는 대신 우리는 사람들에게 '추측 후 테스트하기Speculate and Test ' 방법을 쓰도록 권장해도 좋을 것이다. - p. 236

# Lean Startup에서 말하는 Validated Learning과 Learn-Build-Measure cycle과 맞닿아 있는 부분인 것 같다. 실용주의 프로그래머에서 말하는 '달려가면서 쏘기'와도 맥락이 비슷하다. 처음부터 완벽한 진단을 해서 한 방에 처치하려고 하지 말고, 처음 내린 결론은 잠정적인 가설이라고 보고, 실행을 통해 참인지 여부를 확인하고.

# 이번 장은 재미있는 사례가 많이 등장했다. 막힌 호흡 튜브 사례, 3중 나선 구조 사례, 운전 중 위기상황 살피기 사례 등.

11장 효과적으로 피드백하는 법

주장 6. 사람들을 배우게 하려면 그들 행동의 결과에 대해 피드백을 해줘야 한다.

# 중간에 다시 짚고 넘어가자면, 이 책은 각 '주장'에 대해 반론을 펼치는 내용이다. 따라서 이 주장을 뒤엎어보면, 행동의 결과에 대해 피드백을 해준다 하더라도 사람들이 배우지 못하는 경우가 있다는 것이다. 처음부터 이번 장까지를 읽어오면서, 이번 장이 제일 흥미로웠다. 피드백만으로는 충분하지 않다.

결과에 대한 피드백은 우리가 발전하고 있는지 판단하는데 도움이 된다. 또 우리가 더 잘할 수 있도록 동기부여를 해줄 수도 있다. 하지만 '결과 피드백Outcome Feedback '은 우리가 어떻게 하면 더 잘할 수 있는지를 파악하는 데는 도움이 되지 않는다. 양궁을 할 때 화살이 계속해서 왼쪽에 맞는다는 것은 좀더 오른쪽을 겨냥해야 한다는 의미이다. 하지만 그렇게 하려면 나의 겨냥 지점, 자세, 어깨의 정렬을 바꿔야 하는지, 아니면 화살 끝 위로 머리를 기울이는 방법을 바꿔야 하는지를 알아야 한다. 결과 피드백은 우리가 무엇을 향상시켜야 하는지를 진단하는 데 도움이 되지 않는다. - p. 253

실력을 향상시키기 위해서는, 우리의 행동방식에 대한 '과정 피드백Process Feedback '이 필요하다. 나에게는 겨냥하는 방식과 화살을 놓는 방식에 대한 피드백이 필요하다. 연구자들은 결과 피드백, 즉 결과에 대한 지식이 우리가 결점을 어떻게 고칠 수 있는지 이해하도록 도와주는 과정 피드백만큼 우리의 성과를 향상시켜주지 못한다는 것을 발견했다. 그러나 과정 피드백은 얻기가 더 어렵고, 주장 6에 의해 커버되지 않는다. 주장 6은 결과 피드백을 말하는 것이다.

# 결과에 대한 피드백을 준다고 해서 실력이 나아지지 않는다. 과정에 대한 피드백을 줘야 한다. 예컨대 어려운 수학 문제를 푸는 학생에게, 그가 푼 답이 정답인지 아닌지만을 알려줘서는 그 학생의 실력이 늘지 않는다. 화살 과녁 맞추기처럼 수학 문제풀기보다는 비교적 사고모델이 단순한 행위를 하는 경우에는 결과 피드백만을 받아도 어느 정도 스스로 과정에 대한 피드백으로 연결시킬 수 있을지도 모른다. 하지만 그 과정이 복잡해질수록, 결과에 대한 피드백만으로는 실력 향상이 어렵다.

하지만 아무리 주장 6에 과정 피드백을 포함시켜서 수정을 하더라도 우리는 문제에 봉착할 것이다. 과정 피드백을 받더라도 우리는 그 의미를 이해해야 한다. 특정한 일련의 행동이 좋은 결과를 낳는다는 것을 습득하려면, 우리가 행한 행동과 나중에 발생한 사건들 사이의 원인-결과 관계를 파악해야만 한다. - p. 254

정연한 작업에 대한 피드백 개념과 복잡한 작업에 대한 피드백 개념을 비교해보자. 화살을 과녁에 명중시키는 정확도를 높이고 싶다면 나는 즉각적이고 정확하며 명백한 피드백에 의존할 수 있다. 반면에 상사를 만족시킬 만한 보고서를 써야 한다면 나는 즉각적이고 정확하며 명백한 피드백에 의존할 수 없을 것이다. 상사가 일주일 동안 나의 보고서를 읽지 않을 수도 있고, 평소라면 아주 훌륭하다고 했을 문장 하나에 과민반응을 보일 수도 있으며, '잘 했어' 같은 말을 해주거나 또는 '좀더 갠선이 필요해' 같은 두려운 말을 해줄 수도 있을 것이다. ... 상사가 독창적인 제안을 많이 하는 것을 칭찬할 경우 이는 무엇을 의미할까? ... 우리는 결과가 모호하거나 결과가 업무 제안이나 신뢰성 같은 행위에 연계되어 있는 경우 그 원인-결과 관계를 파악하는 데 더 큰 어려움을 겪는다.

피드백은 특정 종류의 학습에 더 잘 적용된다. ... 그리고 통찰력에 대한 학습도 있다. 왓슨과 크릭이 DNA의 2중 나선 구조에 대해 통찰력을 갖게 되었을 때, 그에 대한 피드백은 어디서 받았을까? 그들은 아무런 행위도 하지 않았다. 그 순간 그들에게 찬사를 보낼 사람이 주변에 아무도 없었다. 그들은 자신들의 새로운 모형이 제대로 작동하는지를 확인하고 그것이 옳다는 것을 깨달았다. 그들은 2중 나선 구조를 발견한 과정 도중에 격려받은 적이 없다. - p. 262

우리는 스킬, 지침, 반복적인 일 등을 배우기 위해서는 피드백이 필요하지만, 사실을 습득하거나 통찰력을 얻기 위해서는 피드백이 필요 없다. 따라서 피드백은 학습을 하는데 충분치 않다. 피드백은 복잡한 환경에서는 종종 이해하기 힘들며, 왜곡될 수도 있다. 사람들이 피드백에 대한 단서들을 감지하지 못하는 경우도 있다. 강사들과 코치들이 피드백을 주는데 능숙하지 않을 수도 잇고, 오히려 학습하는데 방해가 될 수도 있다. 그리고 피드백은 반응과 행위를 학습하는 데는 적합하지만, 아마도 다른 종류의 학습에는 적합하지 않을 것이다. - p. 262

복잡한 환경에서는 학습자들이 피드백을 해석해야만 한다. 그들의 행위와 결과 사이의 관계를 배우고, 인과관계가 성립하는지 아니면 우연의 일치인지를 구별하는 법을 배워야 한다. 상황 파악은 인지적 스킬 학습의 핵심이다. 단지 새로운 지식을 습득하기만 하는 것은 아니다. 우리는 상황 파악을 통해 세상을 이해하고 세상에 대해 사고하는 방식을 바꾸는 것이다. 그것은 상충되고 혼란스러운 데이터들의 의미를 이해하는 것이다. - p. 263

인지적 스킬을 개발하기 위해서 우리는 단지 우리의 기억에 사실들을 더하는 게 아니라, 우리의 사고방식을 바꿀 수 있는 피드백을 원할 것이다. - p. 264