Diff for "LTEM"

LTEM: The Learning-Transfer Evaluation Model

Performance-Focused Learner Surveys: Using Distinctive Questioning to Get Actionable Data and Guide Learning Effectiveness

저자의 블로그 글에 모델이 소개되어 있음.

Tier 8. Effects of Transfer

Effects of Transfer: Including outcomes affecting (a) learners, (b) coworkers/family/friends, (c) organization, (d) community, (e) society, and (f) the environs. CERTIFYING EFFECTS OF TRANSFER REQUIRES: Certification of transfer plus a rigorous method of assessing transfer's causal impact -- including positive and negative effects.

Tier 7. Transfer

When learner uses what was learned to perform work tasks successfully -- as clearly demonstrated through objective measures.

Assisted Transfer: when performance is substantially prompted/supported. ADEQUATE TO CERTIFY ASSISTED TRANSFER.

Full Transfer: when learner demonstrates full agency in applying the learning. ADEQUATE TO CERTIFY FULL TRANSFER.

Tier 6. Task Competence

Learner performs relevant realistic actions and decision making.

Task Competence -- during or right after learning event. Not a fully adequate metric because learner may forget their task competencies.

Remembered Task Competence -- after several days or more. ADEQUATE TO CERTIFY TASK COMPETENCE.

Tier 5. Decision Making Competence

Learner makes decisions given relevant realistic scenarios.

Decision Making Competence -- during or right after learning event. Not a fully adequate metric because learners may forget decision making competencies

Remembered Decision Making Competence -- after several days or more ADQUATE TO CERTIFY DECISION MAKING COMPETENCE.

Tier 4. Knowledge

Learner answers questions about facts/terminology.

Knowledge Recitation -- during or right after learning event. A metric inadequate because knowing terminology does not fully enable performance.

Knowledge Retention -- after several days or more. A metric inadequate because remembering terminology does not fully enable performance.

Tier 3. Learner Perceptions

A. Learner is queried in a way that reveals insights related to learning effectiveness. Such measures can hit at outcomes but should be augmented with objective outcome measures.

B. Learner is queried in a way that does NOT reveal insights on learning effectiveness. A metric inadequate to validate learning success -- because such perceptions are not always related to learning results.

Tier 2. Activity

Learner engages in activities related to learning.

Measures of Attention A metric inadequate to validate learning success -- because learners may pay attention but not learn.

Measures of Interest A metric inadequate to validate learning success -- because learners may show interest but not learn.

Measures of Participation A metric inadequate to validate learning success -- because learners may participate but not learn.

Tier 1. Attendance

Learner signs up, starts, attends, or completes a learning experience. A metric inadequate to validate learning success -- because learners may attend but not learn.

Documents

• The Learning-Transfer Evaluation Model

• The Accompanying Report

The Accompanying Report

Model은 숨은 메세지를 담고 있다. 메세지를 보낸다. 그 메세지가 올바른 것이라면 좋은 모델이고, 메세지가 나쁜 것이라면 나쁜 모델이다.

기존의 KirkpatrickModel은 어떤 메세지를 보내는가?

KirkpatrickModel 4단계 모델에 내재된 유익한 메시지:

1. (그것은) 우리에게 단순히 학습에 집중할 뿐만 아니라, 직무 수행 및 조직 결과를 목표로 해야 한다고 말한다.
2. 학습이 향상된 행동과 결과를 달성하는 데 기여한다고 암시한다.
3. 학습자들의 학습에 대한 의견만으로는 충분하지 않으며, 다른 결과 측정치보다 우선 순위가 낮게 여겨져야 한다고 암시한다.
4. 학습자 의견, 학습 결과, 직무 행동, 조직 결과는 상호 의존적이라고 암시한다.

하지만 문제가 되는 부분

1. 출석 (attendance), 완료 (completion), 집중 (attention), 참여 (participation)와 같은 것들을 높이 사는 비효과적인 학습 평가 관행을 바로잡지 못한다.
2. 학습에서 기억으로, 기억에서 성과와 결과로 이어지는 인과 관계를 무시한다.
3. 학습 설계에서 기억을 지원하고 망각을 최소화하는 것의 중요성을 간과한다.
4. 의사 결정 및 과업 수행의 고급 역량을 강조하지 않으며 무시한다.
5. 학습자 평가를 학습, 업무 수행 및 조직 결과의 예측 지표로 평가하게 만드는 경향이 있다. 이는 일반적으로 실행되는 방식에서 false로 입증된 것이다.
6. 3단계(직무 수행)와 4단계(조직 결과)가 학습 측정보다 더 중요하다고 암시한다. 그러나 우리는 학습에 대해 더 큰 영향력을 가진 학습 전문가로서 그렇지 않다.
7. 직무 수행 및 조직 결과가 더 중요하다는 이유로 학습 결과를 측정할 필요가 없다는 해석으로 쉽게 이어지며, 학습이 직무 수행 및 조직 결과에 이르는 인과 경로에 있다는 사실을 무시한다.
8. 학습 결과에 집중하도록 촉구하고 상황 단서 (situational cues), 자원 (resources) 및 시간 (time), 문화적 지원 (cultural support), 관리 지원 (management support)과 같은 학습 지원 측정은 무시한다.
9. 이 모델은 교육 중심적이며, 직무 보조 도구 (job aids) 및 성과 지원 (performance support)과 같은 촉진 메커니즘과 현장 학습을 무시한다.
10. 학습의 유일한 목표가 조직 결과여야 한다는 생각을 전달하며, 학습자에게 직접 영향을 미치는 학습 결과와 다른 잠재적 수혜자 및 피해자를 무시한다.

CategoryLearning CategoryTeaching