LTEM: The Learning-Transfer Evaluation Model

Performance-Focused Learner Surveys: Using Distinctive Questioning to Get Actionable Data and Guide Learning Effectiveness

저자의 블로그 글에 모델이 소개되어 있음.

Tier 8. Effects of Transfer

Effects of Transfer: Including outcomes affecting (a) learners, (b) coworkers/family/friends, (c) organization, (d) community, (e) society, and (f) the environs. CERTIFYING EFFECTS OF TRANSFER REQUIRES: Certification of transfer plus a rigorous method of assessing transfer's causal impact -- including positive and negative effects.

Tier 7. Transfer

When learner uses what was learned to perform work tasks successfully -- as clearly demonstrated through objective measures.

Assisted Transfer: when performance is substantially prompted/supported. ADEQUATE TO CERTIFY ASSISTED TRANSFER.

Full Transfer: when learner demonstrates full agency in applying the learning. ADEQUATE TO CERTIFY FULL TRANSFER.

Tier 6. Task Competence

Learner performs relevant realistic actions and decision making.

Task Competence -- during or right after learning event. Not a fully adequate metric because learner may forget their task competencies.

Remembered Task Competence -- after several days or more. ADEQUATE TO CERTIFY TASK COMPETENCE.

Tier 5. Decision Making Competence

Learner makes decisions given relevant realistic scenarios.

Decision Making Competence -- during or right after learning event. Not a fully adequate metric because learners may forget decision making competencies

Remembered Decision Making Competence -- after several days or more ADQUATE TO CERTIFY DECISION MAKING COMPETENCE.

Tier 4. Knowledge

Learner answers questions about facts/terminology.

Knowledge Recitation -- during or right after learning event. A metric inadequate because knowing terminology does not fully enable performance.

Knowledge Retention -- after several days or more. A metric inadequate because remembering terminology does not fully enable performance.

Tier 3. Learner Perceptions

A. Learner is queried in a way that reveals insights related to learning effectiveness. Such measures can hit at outcomes but should be augmented with objective outcome measures.

B. Learner is queried in a way that does NOT reveal insights on learning effectiveness. A metric inadequate to validate learning success -- because such perceptions are not always related to learning results.

Tier 2. Activity

Learner engages in activities related to learning.

Measures of Attention A metric inadequate to validate learning success -- because learners may pay attention but not learn.

Measures of Interest A metric inadequate to validate learning success -- because learners may show interest but not learn.

Measures of Participation A metric inadequate to validate learning success -- because learners may participate but not learn.

Tier 1. Attendance

Learner signs up, starts, attends, or completes a learning experience. A metric inadequate to validate learning success -- because learners may attend but not learn.

Documents

• The Learning-Transfer Evaluation Model

• The Accompanying Report

The Accompanying Report

Model은 숨은 메세지를 담고 있다. 메세지를 보낸다. 그 메세지가 올바른 것이라면 좋은 모델이고, 메세지가 나쁜 것이라면 나쁜 모델이다.

기존의 KirkpatrickModel은 어떤 메세지를 보내는가?

KirkpatrickModel 4단계 모델에 내재된 유익한 메시지:

1. (그것은) 우리에게 단순히 학습에 집중할 뿐만 아니라, 직무 수행 및 조직 결과를 목표로 해야 한다고 말한다.
2. 학습이 향상된 행동과 결과를 달성하는 데 기여한다고 암시한다.
3. 학습자들의 학습에 대한 의견만으로는 충분하지 않으며, 다른 결과 측정치보다 우선 순위가 낮게 여겨져야 한다고 암시한다.
4. 학습자 의견, 학습 결과, 직무 행동, 조직 결과는 상호 의존적이라고 암시한다.

하지만 문제가 되는 부분

1. 출석 (attendance), 완료 (completion), 집중 (attention), 참여 (participation)와 같은 것들을 높이 사는 비효과적인 학습 평가 관행을 바로잡지 못한다.
2. 학습(learning)에서 기억(remembering)으로, 기억에서 성과(performance)와 결과(results)로 이어지는 인과 관계를 무시한다.
3. 학습 설계에서 기억을 지원하고 망각을 최소화하는 것의 중요성을 간과한다.
4. 의사 결정(decision making) 및 과업 수행(task performance)의 고급 역량(advanced competencies)을 강조하지 않으며 무시한다.
5. 학습자 평가를 학습, 업무 수행 및 조직 결과의 예측 지표로 평가하게 만드는 경향이 있다. 이는 일반적으로 실행되는 방식에서 false로 입증된 것이다.
6. 3단계(직무 수행)와 4단계(조직 결과)가 학습 측정보다 더 중요하다고 암시한다. 그러나 우리는 학습에 대해 더 큰 영향력을 가진 학습 전문가로서 그렇지 않다.
7. 직무 수행 및 조직 결과가 더 중요하다는 이유로 학습 결과를 측정할 필요가 없다는 해석으로 쉽게 이어지며, 학습이 직무 수행 및 조직 결과에 이르는 인과 경로에 있다는 사실을 무시한다.
8. 학습 결과에 집중하도록 촉구하고 상황 단서 (situational cues), 자원 (resources) 및 시간 (time), 문화적 지원 (cultural support), 관리 지원 (management support)과 같은 학습 지원 측정은 무시한다.
9. 이 모델은 교육 중심적이며, 직무 보조 도구 (job aids) 및 성과 지원 (performance support)과 같은 촉진 메커니즘과 현장 학습을 무시한다.
10. 학습의 유일한 목표가 조직 결과여야 한다는 생각을 전달하며, 학습자에게 직접 영향을 미치는 학습 결과와 다른 잠재적 수혜자 및 피해자를 무시한다.

학습자의 피드백이 학습 결과, 업무 능률, 조직에서의 성과와 연관되어 있다는 메세지를 주지만, 리서치에 따르면 그것은 참이 아니다. 전통적인 smile sheet는 learning results와 work performance와 연관성이 없다.

lv3 (job performance), lv4 (org results)를 측정하는 것이 lv2 (learning results)를 측정하는 것보다 더 중요하다는 암시를 준다. 학습 전문가는 job performance나 organizational outcome보다는 learning result에서 더 많은 힌트를 얻는데 말이다.

게다가, lv3, lv4만을 측정 (lv2는 간과하거나 건너뛰고) 하게 될 수도 있다. learning에서 시작해서 job performance, org results까지 확장되어 나가는 causal pathway를 무시하게 만들 수도 있다. lv3, 4만을 측정해서 poor results를 얻었다 치자. 그렇더라도 learning design이 이 실패에 어떻게 기여했는지 알 수 있는게 없게 된다.

training에 초점이 맞춰져 있는 모델이다. prompting mechanisms (job aids, performance support, etc)의 역할은 숨기고, on-the-job learning이 학습과 성과에 중요한 요인이라고 말한다. 측정된 결과를 가지고 뭔가 개선하려 할 때, prompting mechanism이나 on-the-job learning은 우리의 개선 대상에 포함되지 않기 쉽다.

learning -- remembering -- performance to results에 이어지는 causal chain을 무시한다. remembering의 critical importance에 대해서는 단 한 마디의 언급도 없다. 또한, 이해를 돕고 망각을 줄이는 learning intervention도 중요하다. 우리는 long-term remembering을 지원하는 learning design을 사용하도록 만드는 모델이 필요하다.

outcome에 무게를 두도록 만든다.

The New Model

CategoryLearning CategoryTeaching