能力導向決策和學習者回饋的創新工作場所導向評估

前言
        Medical Teacher在今年4月在線上刊登一篇由Hicks等10位兒科領域的教育者以及兒科里程碑評估聯合會（Pediatrics Milestones Assessment Collaborative，PMAC）教學模組第一研究小組所發表的學習評量研究報告¾“A novel workplace-based assessment for competency-based decisions and learner feedback”。本研究旨在發展一套臨床能力評估策略和方法，以配合畢業後醫學教育評鑑委員會（Accreditation Council for Graduate Medical Education，ACGME）規定的里程碑（milestones）進度填報。

內容摘要
        本研究分為兩個階段，第一階段分別針對內容和程序兩個部分作準備，內容方面要致力於兩個目標：(1) 可行性和接受度、(2) 通知進展的決定；程序方面亦有兩個項目：(1) 小規模測試初步評估工具、(2) 分析數據修訂項目與工具。第二階段則使用由第一階段完成的新版項目與工具進一步蒐集數據，以測量其效度及可用性。

        第一階由11位兒科臨床教育者所組成的內容專家小組，耗時6個月完成下列工作：(1) 初步選出能提供最佳證據以作出決定的能力、(2) 識別出可被觀察以支持決定的行為、(3) 決定最能觀察上述行為的跨領域角色、(4) 決定哪些特定的住院病人活動可很快便能呈現這些行為。

     以下是這11位教育者選出的11項能力：

1. 蒐集病人基本和準確的資訊。
2. 將提供安全、有效和高效的病人照護責任加以組織和優先排序。
3. 制定和執行處置計畫。
4. 認知自己的知識和專業能力的強項、弱點和限制。
5. 展現對病人需求超越自身利益。
6. 自知自己的知識、技能和情緒的限制而作出適當的求助行為。
7. 當負責病人照護時，讓同事感到安全可靠。
8. 能接受情況不明是臨床醫學的一部分，並認同需要並能利用適當資源來處理不確定性。
9. 與病人、家屬和公眾進行有效溝通，並適當地跨越廣泛的社會經濟和文化背景。
10. 與醫師、其他醫療專業人員和健康照護機構進行有效溝通。
11. 作為醫療照護團隊或其他專業團隊的成員或領導者，進行有效的工作。

        至於用來測量的工具僅選出兩項：(1) 多源回饋（multisource feeding，MSF），有17個評分項目；(2) 結構式臨床觀察（structured clinical observation，SCO），有10個評分項目。

﹝筆者按：所謂SCO，是兩位在Jefferson Medical College任職的兒科醫師Lane和Gottlieb於2000年發表出來的教學計畫，目的是要利用有限的時間和財務資源來進行臨床技能教學。SCO沒有特殊創新之處，僅是創制者把學生須會的重要的技巧列在一個評核表（如下表），由教師勾選，而勾選的教師必須上過相關的師培課程。﹞

SCO表格取材自：https://depts.washington.edu/.../StructuredClinicalObservationGuide.doc

        MSF的評分者有四組：(1) 上級住院醫師、(2) 主治醫師、(3) 護理師、(4) 跨領域團隊的其他成員。SCO則是由上級住院醫師或主治醫師評分，其評分依據是在迴診時對學員表現的單一次觀察。所有評核均聚焦於「能在監督者不在身旁時照護住院病人」（Readiness to care for patients in the inpatient setting without a supervisor nearby.）。

        第一期試辦4個月，有8個訓練計畫共165名學員參與。共計回收873份MSFs及500項SCO評分表，平均每位學員有5.3份MSFs及3項SCOs。每份MSF填答耗時3~10分鐘，每次填答SCO則耗時4~6分鐘。在試辦之後發現有8項MSF評分項目及7項SCO評分項目未如規劃的預期，經修訂後再將2項MSF評分項目及5項SCO評分項目刪除。

        第二期試辦8個月，有11個訓練計畫共289名interns參與。共計回收1355份MSFs及826項SCOs評分表，平均每位學員有4.7份MSFs及3項SCOs。分析結果顯示各評分項目呈有意義的相關性，教師和學員對接受度的回應率雖然偏低，但回應者則多予肯定。而作者對本計畫的成效亦自認成功。

評論
        本文作者因感受到執行里程碑報告仍有盲點及窒礙難行之處，於是想要建立一個新的評估系統，這正反映出能力導向醫學教育（competency-based medical education，CBME）發展歷程出現的困境。里程碑是由全美臨床醫學教育菁英們經歷多年努力所發展出來的評估報告模式，也被視為CBME最具代表性的課程框架。然而，時至今日，仍有很多問題有待解決，許多執行上的細節仍在發展之中。

        跟許多醫學教育者一樣，本文作者犯了一個邏輯上的錯誤，誤以為臨床能力必須且只有在臨床工作情境之中才能被觀察和測量，因此只選用兩項評估工具¾MSF及SCO。事實上MSF及SCO兩項評估工具無論在醫學知識（包括：臨床推理、制訂決策）、人際及溝通技巧（包括：empathy、困難狀況）、執業中的學習與改進（包括：critical reflection、實證執業能力）、專業素養（包括：倫理抉擇、對特殊族群的回應）、制度下之臨床工作（包括：團隊技巧、跨部門/領域事務協調）等層面，因為評估方法的原有角色及取樣問題，都無法做到有效度的評估。作者忽略了ACGME評估工具箱的概念（不同評估工具對臨床能力的評估各有特色，各擅所長；也未重視George Miller在1990年發表“The Assessment of clinical skills/competence/performance”一文對工作場域評估在取樣誤差的嚴重缺失。一個較完整的臨床能力的評估計畫，須同時包括臨床工作場域、模擬場域（如OSCE）及其他場域（如筆試、CbD、portfolio）的評估。

        另一方面，專家小組所訂出的11項能力，似乎是為這兩項評估工具量身訂做（理論上先訂能力再選評估工具），令人感到是先射箭再畫靶，只用這兩項評估工具的原因可能是為了減輕教師在評估方面的負擔。

        相較於其他社會人文領域或次領域，「臨床醫學教育學」仍很粗淺，教育者的素質並不穩定。從本文11位教育者提出MSF 17個評分項目及SCO 10個評分項目，在試辦之後發現分別有8項及7項未如規劃的預期，修訂後仍要分別刪除2項及5項，這11位教育者在醫學教育的造詣如何，即可見一斑。醫學教育的發展，須有更多教師真誠地投入，無私地奉獻，持之以恆且踏實地推展，才能減少虛耗，提升學習的品質與效能。

文獻來源

1. Hicks PJ， Margolis MJ， Carraccio CL， Clauser BE， Donnelly K， Fromme HB， et al. A novel workplace-based assessment for competency-based decisions and learner feedback. https://doi.org/10.1080/0142159x.2018.1461204
2. LaneJL， Gottlieb RP. Structured clinical observations: a method to teach clinical skills with limited time and financial resources. Pediatrics 2000; 105:973-7.
3. ACGME. ACGME competencies: suggested best methods for evaluation. 2000. https://pogoe.org/sites/default/files/ACGME%20Evaluation%20ToolTable.pdf
4. Miller GE. The Assessment of clinical skills/competence/performance. Acad Med 1990; 65: S63-7.