Kirkpatrick四層級評估模式

前言
        一個完整的教學計畫包括計劃、執行、檢討、改進（即Plan–Do–Check–Act，PDCA），其中檢討就是要蒐集充分資訊對整體計畫的評估。所謂整體計畫，是包括對學習者、教師和計畫的設計和流程幾個面向蒐集資訊以進行分析。21世紀是能力導向醫學教育（competency-based medical education，CBME）的年代，所有課程均以培育醫學生具備足以執業的各項能力為導向，教師在教育訓練期間及結束時須對學生的能力進行評估。因此，除了要求有效的教學方式和程序之外，CBME的基本條件就是教師能正確地使用具有效度的評估方法來評估學生的能力。有關評估的概念，臨床教師較為熟悉的是1990年George Miller所創的米勒金字塔（Miller pyramid，請參閱評估總論及米勒金字塔），Miller將評估分為 knows – knows how – shows how – does四個層級，這是站在臨床教師或教育者（educator）的視角，注意的是個別學生的能力達成狀況。而然，對於教學計畫的評估，大多臨床教師卻不甚了解。其實教學計畫評估模式的創立比米勒金字塔還早了三十餘年。

        在1954年，就讀於威斯康辛大學的Donald Kirkpatrick發表博士論文 “Evaluating Human Relations Programs for Industrial Foremen and Supervisors”， 首度對訓練計畫提出一個四層級概念，分別為：反應（reaction）、學習（learning）、行為（behavior）和結果（results）。此一概念是站在管理者（manager）的視角，注意的是整體教育訓練計畫的成效，此四層級概念被稱為柯氏模式（Kirkpatrick Model）。在經歷超過半個世紀之後，柯氏模式至今仍被企業界視為評估教育訓練計畫成效的最佳模式，而台灣的醫學教育界也在近幾年開始注意這種教學計畫的評估模式。

柯氏模式與新世界柯氏模式
        在完成博士論文之後，Kirkpatrick在1959年將他所創的四層級訓練評估模式發表在US Training and Development Journal（因此，有不少文獻認定柯氏模式是在1959年問世），自此，柯氏模式逐漸為世人所認知和肯定。柯氏模式的四層級內容如下（圖1）：

1. 反應：參與者對教育訓練的想法和感受，如滿意度調查。
2. 學習：以測驗方式了解學習者學到多少，相對於Miller pyramid中“knows”、“knows how”及“shows how”的評估。
3. 行為：評估在學習3-6個月後學員執行任務時是否運用所學習到的知識、技能和態度，相對於Miller pyramid中“does”的評估。
4. 結果：因教育訓練對業務產生的最終結果，如因員工服務水準或工作能力上升而導致績效改善及盈餘增加。

圖1. Kirkpatrick的四層級評估模式。

        如同米勒金字塔及學習金字塔（learning pyramid），柯氏模式在獲得廣大的認同之後相繼遭到後人的大力修改。Kirkpatrick本人亦分別在1975年及1994年出版的書籍Evaluating Training Programs兩度更新四層級模式（上圖為最後修訂的版本，筆者曾致力蒐尋原版，但因發表的版本過多，筆者未能確認）。在眾多由其他學者修訂的版本中有兩項修訂版比較受到肯定，值得我們去了解。其一是Kirkpatrick-Phillips模式，另一項則是新世界柯氏模式（New World Kirkpatrick Model）。

1. Kirkpatrick-Phillips模式
        Kirkpatrick-Phillips模式是由目前擔任ROI Institute（ROI是指return on investment，投資回報率）主席的人力資源管理專家Jack Phillips博士所修訂。他在1996年於Technical and Skills Training發表的論文Measuring ROI: The Fifth Level of Evaluation以及其他著作和論述，將ROI列為Kirkpatrick模式的第五層級。（表1）

 
表1. Kirkpatrick-Phillips的五層級評估模式。

        Phillips是ROI方法學（ROI Methodology）的發明者，對於ROI有很多論述，而他主持的ROI Institute所聘的顧問目前已遍佈全球六十多國，為各地的大企業（不乏名列全球500強排行榜者）提供諮詢服務。因此，Phillips對第五層級作了很深入的描述，並且發展了ROI計算公式和應用軟體。圖2為Jack Phillips所創的ROI流程，從流程圖中可以發現它與其他評估層級不同，是將原有的評估資料進行投資回報的評估。因此，層級一至四是屬於初級評估（primary assessment），層級五則是次級評估（secondary assessment）。ROI的計算須由相關專業人員執行或指導，一般醫療機構的教學行政單位恐無足夠資源執行；另一方面，由於教育是醫學院和教學醫院的固有責任，且教育目的和學習目標明確，多無利用ROI方法學詳細計算投資回報的必要，故筆者認為，醫學教育計畫也許可以省略ROI的評估。

 
圖2. Jack Phillips所創的ROI流程。

        將柯氏模式多加一個層級的不是只有Phillips，早在1974年Hamblin便建議加入經濟利益或人類福祉；1994年Kaufman和Keller認為應該加上社會價值；尤有甚者，是Brinkerhoff在1987年提出六層級模式（在四層級之前加入兩個造就性評量階段）。這些論述都經不起時間的考驗而逐漸被人遺忘。

2. 新世界柯氏模式
        Donald Kirkpatrick的兒子Jim Kirkpatrick（JK）為要將父親的評估模式發揚光大，在妻子Wendy的協助下成立了Kirkpatrick Partners公司（強調是唯一正統的Kirkpatrick模式顧問機構）。他基於過往執行柯氏模式的機構大多只做到第一及第二層級的評估，導致評估成效未如理想，特修訂出新世界柯氏模式。此修訂版本最重要的論點是評估的規劃應從第四層級¾結果開始。依據JK所撰寫的指引，應用此一模式首先是考慮機構如何影響領先指標（leading indicators），並清楚地說明這將如何促成機構的成果（層級4）；然後思考在工作中真正需要發生什麼才能產生好的結果（層級3）；接下來考慮需要怎樣的培訓或其他支持才能讓員工在工作中表現良好（層級2）； 最後，考慮哪種類型的培訓有利於成功傳授所需的技能（層級1） [註]。

註：由於Kirkpatrick Partners是一家營利公司，刊物均強調版權所有，其原始圖示架構及相關說明須讀者自行上網閱讀（以New World Kirkpatrick Model為關鍵詞即可在搜尋引擎找到Kirkpatrick Partners出版品的資料）。另外，本人與該公司無任何利益關係。

對於個別層級，JK都加了一些內容（表2）：

表2. 新世界柯氏模式新增內容

        從上表可見，JK將原來單純的評估架構複雜化，目的是要將此四層級模式轉化為績效管理的工具。在規劃教育訓練的評估方法和程序時，新世界柯氏模式的確可讓規劃者有更周密的考量。但由於新增內容只是柯氏模式的附加說明，使用者可依自身所處的環境與條件來判斷取捨，故筆者認為「新世界」柯氏模式依然還是柯氏模式，沒有明顯創新之處。

柯氏模式的缺點
        柯氏模式被企業界譽為近半世紀以來最佳的訓練計畫評估模式，而教育界和醫學界亦競相使用。然而，如果只是盲目追隨潮流而沒有任何思維即照單全收，恐怕難獲效益。

        任何一種人為的行為框架，無論創造者的思考如何周延，都不可能完美無瑕或面面俱到，總有它的缺失和限制，柯氏模式也是如此。同時，樹大必然招風，當大多數人對柯氏模式推崇備至時，就會引來不少的批評。其中比較明確的批判是在人力資源領域頗負盛名任職於路易斯安那州立大學的Elwood Holton教授，他於1996年在Human Resource Development Quarterly發表論文：The Flawed Four-Level Evaluation Model。

        Holton教授首先指出柯氏模式缺乏研究證據的支持。然後引述Dubin（1976年）及Klimoski（1991年）所訂「模式」應有下列六個成份：(1) 由主題的元素或單元組成結構；(2) 結構與結構之間互有關係；(3) 涉及領域有界限或限制；(4) 描述系統的狀態和變化；(5) 將操作理論的推論表述為前題或假設；(6) 針對單元作出預測。而柯氏模式完全缺乏這六個成份，故Holton認為柯氏模式僅是個分類法（taxonomy）而不是真正的模式，柯氏模式對人力資源發展沒有幫助，並在文中提出較為複雜的建議模式。

        其他人對柯氏模式的批判亦大同小異，包括：過於簡單、忽略影響因素、四個層級欠缺相關性、誤將四面向作為四等級，甚至連許多機構或訓練計畫沒有達成層級三和層級四的評估也算是柯氏模式的缺點。

柯氏模式的應用
        柯氏模式並非評估教育成效的必要框架而只是一個選項而已，當初（1954年，現今許多教育及管理領域許多理念和方法學在當時還未發展出來）的設計只是提供課程評估者參考，並未企圖作為一套完整的績效評估工具。若使用者希望把它轉到其他的用途時，當然會處處受限而感到缺失甚多。就醫學教育而言，柯氏模式並無不妥，它給予課程負責人重要的提示：

1. 層級一：以學習者的感受作為整個教育課程優劣的前提，充分展示出以學員為中心的核心價值。若學員不滿意這個課程，必然無法全心全意地學習，學習效果自然不好（層級二），沒有好的學習就不會有行為上的改變（層級三），也就不可能有卓越的成果（層級四）。因此，當層級一沒有做好，根本不用再看其他層級。我們在此得到很重要的提示¾學員滿意度的調查須慎重地規劃和執行，當發現有不如預期的地方，必須尋找根本原因並作出處置。

2. 層級二：是學習的成效，包括知識、技能和態度，亦即米勒金字塔的四個層面¾“knows – knows how – shows how – does”。層級二是對全體學習者的學習狀況做一個整體分析，數據是來自學習者在完訓時各項能力評估的結果，藉以檢視課程中每一個學習目標的達成狀況，從學生們在評估項目的整體表現找出在教學計畫中可以改善或進一步提升學習成效的地方。

3. 層級三：是針對行為的改變，與米勒金字塔的最上層¾“does”有所重疊但卻又不盡相同。柯氏模式的層級三，主要是評估學習者在完成學習三到六個月之後是否將所學融入工作中，強調的是學以致用；而“does”則是指專業行為，例如專業素養中的利他精神、追求卓越和恪遵倫理原則等的履行狀況。不過，臨床上亦不乏同時符合層級三和“does”的例子，如：洗手、無菌操作、識別病人、團隊資源管理（Team Resource Management，TRM，即TeamSTEPPS）工具的使用等和其他醫品病安相關的行為等。須要注意的是，每一個教學訓練計畫的性質與目標不同，並不是每個計畫都需要評估學員行為的改變，而同一計畫也可能只有部分學習目標需要評估到此。由於此一層級的評估需要派人追蹤觀察，耗時費事，在資源有限的情況下若要能持久進行，必須慎選追蹤觀察的項目。

4. 層級四：一般產業界非常重視結果，層級四常被認為必須執行，如新世界柯氏模式的思維起點就在層級四開始。然而，醫學教育與企業訓練課程有許多不同之處，除了包括教育成效方面大多無法立竿見影之外，在臨床上影響病人預後的干擾因素實在太多，因此，在醫學教育領域並非所有課程都能評估到結果層級。在臨床上適用於評估結果的教育訓練是以醫品病安的相關議題為主（表3）。  

 
表3. 臨床上適用於層級四的訓練課程和評估指標的幾個例子。

結語
        柯氏模式提供教育訓練課程一個良好的評估框架，在醫學教育領域是可行的。由於醫學教育與企業的員工訓練有所不同，應用柯氏模式在執行上便有一些獨特的地方：(1) 四個層級通常就可以，一般情況下不需要做ROI評估；(2) 不必依新世界柯氏模式由層級四開始的反向思維；(3) 層級一、二是必要項目，而層級三、四則依計畫的本質和目標而定，且因成本較高，應慎選評估項目。此外，柯氏模式還必須與院內的平衡計分卡及精實生產計畫等整合連貫，才會是可行的策略。

【筆者免責聲明：本文內容純屬個人意見，僅提供參考並歡迎不同想法激盪。】

 附件檔案：CTE_Kirkpatrick四層級評估模式.pdf