LTEM: The Learning-Transfer Evaluation Model
Performance-Focused Learner Surveys: Using Distinctive Questioning to Get Actionable Data and Guide Learning Effectiveness
저자의 블로그 글에 모델이 소개되어 있음.
- Tier 8. Effects of Transfer
Effects of Transfer: Including outcomes affecting (a) learners, (b) coworkers/family/friends, (c) organization, (d) community, (e) society, and (f) the environs. CERTIFYING EFFECTS OF TRANSFER REQUIRES: Certification of transfer plus a rigorous method of assessing transfer's causal impact -- including positive and negative effects.
- Tier 7. Transfer
- When learner uses what was learned to perform work tasks successfully -- as clearly demonstrated through objective measures.
Assisted Transfer: when performance is substantially prompted/supported. ADEQUATE TO CERTIFY ASSISTED TRANSFER.
Full Transfer: when learner demonstrates full agency in applying the learning. ADEQUATE TO CERTIFY FULL TRANSFER.
- Tier 6. Task Competence
- Learner performs relevant realistic actions and decision making.
Task Competence -- during or right after learning event. Not a fully adequate metric because learner may forget their task competencies.
Remembered Task Competence -- after several days or more. ADEQUATE TO CERTIFY TASK COMPETENCE.
- Tier 5. Decision Making Competence
- Learner makes decisions given relevant realistic scenarios.
Decision Making Competence -- during or right after learning event. Not a fully adequate metric because learners may forget decision making competencies
Remembered Decision Making Competence -- after several days or more ADQUATE TO CERTIFY DECISION MAKING COMPETENCE.
- Tier 4. Knowledge
- Learner answers questions about facts/terminology.
Knowledge Recitation -- during or right after learning event. A metric inadequate because knowing terminology does not fully enable performance.
Knowledge Retention -- after several days or more. A metric inadequate because remembering terminology does not fully enable performance.
- Tier 3. Learner Perceptions
A. Learner is queried in a way that reveals insights related to learning effectiveness. Such measures can hit at outcomes but should be augmented with objective outcome measures.
B. Learner is queried in a way that does NOT reveal insights on learning effectiveness. A metric inadequate to validate learning success -- because such perceptions are not always related to learning results.
- Tier 2. Activity
- Learner engages in activities related to learning.
Measures of Attention A metric inadequate to validate learning success -- because learners may pay attention but not learn.
Measures of Interest A metric inadequate to validate learning success -- because learners may show interest but not learn.
Measures of Participation A metric inadequate to validate learning success -- because learners may participate but not learn.
- Tier 1. Attendance
Learner signs up, starts, attends, or completes a learning experience. A metric inadequate to validate learning success -- because learners may attend but not learn.
Documents
The Accompanying Report
Model은 숨은 메세지를 담고 있다. 메세지를 보낸다. 그 메세지가 올바른 것이라면 좋은 모델이고, 메세지가 나쁜 것이라면 나쁜 모델이다.
기존의 KirkpatrickModel은 어떤 메세지를 보내는가?
KirkpatrickModel 4단계 모델에 내재된 유익한 메시지:
- (그것은) 우리에게 단순히 학습에 집중할 뿐만 아니라, 직무 수행 및 조직 결과를 목표로 해야 한다고 말한다.
- 학습이 향상된 행동과 결과를 달성하는 데 기여한다고 암시한다.
- 학습자들의 학습에 대한 의견만으로는 충분하지 않으며, 다른 결과 측정치보다 우선 순위가 낮게 여겨져야 한다고 암시한다.
- 학습자 의견, 학습 결과, 직무 행동, 조직 결과는 상호 의존적이라고 암시한다.
하지만 문제가 되는 부분
- 출석 (attendance), 완료 (completion), 집중 (attention), 참여 (participation)와 같은 것들을 높이 사는 비효과적인 학습 평가 관행을 바로잡지 못한다.
- 학습(learning)에서 기억(remembering)으로, 기억에서 성과(performance)와 결과(results)로 이어지는 인과 관계를 무시한다.
- 학습 설계에서 기억을 지원하고 망각을 최소화하는 것의 중요성을 간과한다.
- 의사 결정(decision making) 및 과업 수행(task performance)의 고급 역량(advanced competencies)을 강조하지 않으며 무시한다.
- 학습자 평가를 학습, 업무 수행 및 조직 결과의 예측 지표로 평가하게 만드는 경향이 있다. 이는 일반적으로 실행되는 방식에서 false로 입증된 것이다.
- 3단계(직무 수행)와 4단계(조직 결과)가 학습 측정보다 더 중요하다고 암시한다. 그러나 우리는 학습에 대해 더 큰 영향력을 가진 학습 전문가로서 그렇지 않다.
- 직무 수행 및 조직 결과가 더 중요하다는 이유로 학습 결과를 측정할 필요가 없다는 해석으로 쉽게 이어지며, 학습이 직무 수행 및 조직 결과에 이르는 인과 경로에 있다는 사실을 무시한다.
- 학습 결과에 집중하도록 촉구하고 상황 단서 (situational cues), 자원 (resources) 및 시간 (time), 문화적 지원 (cultural support), 관리 지원 (management support)과 같은 학습 지원 측정은 무시한다.
- 이 모델은 교육 중심적이며, 직무 보조 도구 (job aids) 및 성과 지원 (performance support)과 같은 촉진 메커니즘과 현장 학습을 무시한다.
- 학습의 유일한 목표가 조직 결과여야 한다는 생각을 전달하며, 학습자에게 직접 영향을 미치는 학습 결과와 다른 잠재적 수혜자 및 피해자를 무시한다.
학습자의 피드백이 학습 결과, 업무 능률, 조직에서의 성과와 연관되어 있다는 메세지를 주지만, 리서치에 따르면 그것은 참이 아니다. 전통적인 smile sheet는 learning results와 work performance와 연관성이 없다.
lv3 (job performance), lv4 (org results)를 측정하는 것이 lv2 (learning results)를 측정하는 것보다 더 중요하다는 암시를 준다. 학습 전문가는 job performance나 organizational outcome보다는 learning result에서 더 많은 힌트를 얻는데 말이다.
게다가, lv3, lv4만을 측정 (lv2는 간과하거나 건너뛰고) 하게 될 수도 있다. learning에서 시작해서 job performance, org results까지 확장되어 나가는 causal pathway를 무시하게 만들 수도 있다. lv3, 4만을 측정해서 poor results를 얻었다 치자. 그렇더라도 learning design이 이 실패에 어떻게 기여했는지 알 수 있는게 없게 된다.
training에 초점이 맞춰져 있는 모델이다. prompting mechanisms (job aids, performance support, etc)의 역할은 숨기고, on-the-job learning이 학습과 성과에 중요한 요인이라고 말한다. 측정된 결과를 가지고 뭔가 개선하려 할 때, prompting mechanism이나 on-the-job learning은 우리의 개선 대상에 포함되지 않기 쉽다.
learning -- remembering -- performance to results에 이어지는 causal chain을 무시한다. remembering의 critical importance에 대해서는 단 한 마디의 언급도 없다. 또한, 이해를 돕고 망각을 줄이는 learning intervention도 중요하다. 우리는 long-term remembering을 지원하는 learning design을 사용하도록 만드는 모델이 필요하다.
outcome에 무게를 두도록 만든다.
The New Model
새로운 모델인 학습-전이 평가 모델(The Learning-Transfer Evaluation Model, 줄여서 LTEM)은 조직과 학습 전문가들이 그들의 평가 방법이 유효한 피드백을 제공하는데 효과적인지를 판단하도록 특별히 설계되었다. 이전의 평가 모델은 이를 충분히 수행하지 못했다. The new model, The Learning-Transfer Evaluation Model (which we might pronounce “L-tem” and write LTEM), is designed specifically to help organizations and learning professionals determine whether their evaluation methods are effective in providing valid feedback. Previous evaluation models have not done this sufficiently.
LTEM은 여덟 개의 계층으로 구성되어 있으며, 상단에서 학습 전이의 효과로 시작하여 완전히 부적절한 학습 평가 방법 쪽으로 내려간다. 이 모델은 이해를 돕기 위해 단일 페이지의 표 형식으로 제공된다. 메시지의 명확성을 높이기 위해 주석이 달려 있고 색상 코드가 적용되어 있다. 색상 코드는 적색으로 부 poor 또는 부적절한 방법을 표시하고, 황색은 보통의 방법을, 녹색은 좋은 또는 유용한 평가 방법을 나타낸다. LTEM is composed of eight tiers—starting at the top with the effects of learning transfer and moving down the page toward completely inadequate methods of learning evaluation. The model is made available in a single-page, tabular format to ease comprehension. It is annotated and color coded to enhance the clarity of its messaging. The color coding utilizes red to indicate poor or inadequate methods, yellow to indicate mediocre methods, and green to indicate good or useful evaluation methods.
이 모델은 교실 학습, 전자 학습, 모바일 학습, 직무 학습, 자율 학습 등 모든 학습 개입에 관련성이 있도록 설계되었다. 학습이 이루어지는 곳에서는 평가를 할 수 있다. 용어나 평가 관행을 변경해야 할 수도 있지만, 새로운 모델은 우리의 노력을 더 현명하게 만드는 데 도움을 주기 위해 설계되었다. The model is designed to be relevant for all learning interventions, including classroom learning, elearning, mobile learning, on-the-job learning, self-study learning, etc. Where learning occurs, we can evaluate it. We may have to change terminology or modify our evaluation practices, but the new model is designed to help bring wisdom to our efforts.
이 모델은 KirkpatrickModel 4단계 모델에 비해 비약적으로 개선된 것이지만, 여전히 중요한 메시지들이 언급되지 않는다. 예를 들어, 작업 보조 도구나 성과 지원과 같은 촉진 메커니즘을 평가하는 데 초점을 맞추지 않는다. 이는 의도적인 것이며, 모델이 너무 복잡해지면 사람들이 사용하지 않게 된다. The model, while an exponential improvement over the Kirkpatrick-Katzell four-level model, still leaves some important messages unstated. For example, it does not focus on evaluating prompting mechanisms like job aids or performance support. This is intentional. When models get too complicated, people don’t use them.