可信賴專業活動監督水平量表之效度
今年2月號Academic Medicine刊登一篇由UCLA醫學中心兒科教授Mink與多家醫學中心訓練計畫主持人共同發表的一項研究報告：「評估兒科研究醫師一般兒科次專科可信賴專業活動監督水平量表之效度」（Validity of Level of Supervision scales for Assessing Pediatric Fellows on the Common Pediatric Subspecialty Entrustable Professional Activities）。本研究是兒科次專科研究員網絡（Subspecialty Pediatrics Investigator Network，SPIN）指導委員會委員使用經過修改的德爾菲程序為7個常見可信賴專業活動（entrustable professional activities，EPAs）中的6個開發獨特的量表（因第7個有關學術的EPA尚未完全發展出來），並使用這些量表評估2014年秋季和2015年春季受訓三個年級（每一年級超過300名）的研究醫師（fellows）。結果顯示受訓研究醫師在兩個時期和每個EPA獲得的信任水平均逐漸提高，第二年研究醫師比第一年者高（P <0.001）而第三年研究醫師則又比第二年者高（P <.001）。對於每個EPA，2015年春季評級比2014年秋季高（P <0.001）。評分員間的信度很高（Janson & Olsson’s iota = 0.73）。作者獲得的結論是：針對這6種常見的兒科次專科EPAs制定的監督量表，用於EPA導向的兒科研究醫師的評估顯示有強力的效度證據。這些結果可提供其他專科發展量表所參考。
這又是一篇支持EPA導向評估的研究論文，最令人感興趣的是評估哪6個EPAs以及每個EPA的監督水平如何定義。由於本研究的對象是研究醫師，所選出的EPAs較一般住院醫師的EPAs有更高難度，此6個EPAs分別是：（1）促進向另一位醫療照護提供者交班；（2）領導一個跨專業醫療團隊；（3）參與符合成本效益及倫理規範的執業；（4）對兒童照護提供及獲取其他醫療照護提供者的照會；（5）在次專科專業中領導;（6）應用公共衛生原則和改進方法改善對民眾、社區和系統的照護。
上述6個EPAs都頗為籠統，相對具體的是第1項促進交班的EPA。此一EPA的5個監督水平分別為：
水平1： 信賴其只可觀察；
水平2： 信賴其可在直接監督和指導下執行；
水平3： 信賴其可在間接監督下對選定的簡單和複雜案例執行交班，並事後作訊息驗證；
水平4： 信賴其可在間接監督下對選定的複雜案例執行交班，並事後作訊息驗證；
水平5： 信賴其可在沒有監督下執行。
再看第2項帶領跨領域團隊的EPA，此一EPA的5個監督水平分別為：
水平1： 信賴其只可參與；
水平2： 信賴其可在直接監督和指導下作領導；
水平3： 信賴其可在督導者偶然出現提供建議的情況下作領導；
水平4： 信賴其可在沒有監督下作領導，但需在指導下改善團隊成員及團隊表現；
水平5： 信賴其可在沒有監督下改善團隊成員及團隊表現。
其他4項EPAs監督水平的描述也大同小異，完全由主觀判斷。筆者擔任臨床教師30餘年以及全時間投入臨床醫學教育17年，以一名資深教師（不是所謂的教育者–educator）的角度來看，這些EPAs所涉及的能力頗為抽象，而每個EPA的監督水平卻又是由評分者自由心證，為何仍會有那麼正面的結果？實在耐人尋味。
細讀文章內容，據作者陳述，數據是蒐集自超過80個訓練機構的200多個訓練計畫。每個參與本研究的訓練計畫對受訓的研究醫師的評估是由研究醫師訓練計畫主持人（fellowship program director，FPD）與訓練計畫的臨床能力委員會（Clinical Competency Committee，CCC）共同執行。在召開CCC會議大約1週前各計畫的FPD使用本研究的量表對每一位研究醫師的6項EPAs進行評估。CCC在會議中對每一位研究醫師的6項EPAs進行評估，而CCC委員對FPD評分並不知情。在評分前無論是FPDs或CCC委員均未接受特殊的師培課程。
很遺憾的是文章中沒有明確陳述FPDs和CCC委員的評分依據。特別是200多名FPDs是各自一人單獨評分，更引起過度主觀的疑慮。在此諸多不利的條件下經由統計分析，無論信度、效度和接受度，均呈現近乎理想的成果，驟看之下令人覺得不可思異。但有這樣的結果讀者不必感到訝異，只要將下列幾個事實串連起來便知道無論本研究的量表內容為何，只要不違情理，其蒐集所得的數據分析結果便理當如此：(1) 評分量表由低至高只有五個等級，表現愈好級數便愈高；(2) FPDs和CCC均可識別受評者並了解先前的表現，知道先前評估核可的監督水平；(3) 絕大多數受訓者在EPAs相關的能力均是循序漸進，而且不會退步（因這些EPAs是日常作業），而評估者也認為如此。因為有這些因素，在同一訓練中心，監督級別與受訓年數一定成正比，同一受訓者大多也愈來愈進步（至少不退步），評分者見其進步不管監督水平的描述內容為何也很自然地給予愈來愈高的分數。以這樣的研究設計，有這樣的結果乃完全可以預期，但卻不能證明EPAs監督水平評估標準的效度。因此，本文極可能會引起誤導。
醫學教育領域的研究因尚不成熟，包括排名較前的期刊亦會出現設計不夠周延的研究報告，作為課程負責人或領導者，在參考教育研究作為課程規劃方向的決策時，應先對相關的教育研究審慎評價，切勿貿然相信。
文獻來源：
Mink RB， Schwartz A， Herman BE， et al. Validity of Level of Supervision scales for Assessing Pediatric Fellows on the Common Pediatric Subspecialty Entrustable Professional Activities. Acad Med 2018; 93:284–291.