創建用于心理咨詢師職業資格考試培訓的計算機自適應測試

張 宏 陳哲娟 王樹峰 陳聲宇 戴 敏 馬 媛

我國心理疾患防治隊伍包括從事心理疾患預防、咨詢和治療的三類人群。其中，心理咨詢師是指運用心理學以及相關學科的專業知識，遵循心理學原則，通過心理咨詢的技術與方法，幫助求助者解除心理問題的專業人員。從2002年起，國家開始組織心理咨詢師職業資格考試，相應的心理咨詢師培訓也多以此考試作為內容參照。在傳統的培訓領域中，對培訓效果的檢驗一般采用紙筆測驗，也有一些將紙筆測驗計算機化的測試（Computer Based Test，CBT）。而以現代測量理論IRT為基礎的計算機自適應測驗（Computer Adaptive Test，CAT）鮮見運用。當前，計算機自適應測驗以其能夠為受測者提供更為個性化、快捷和便利的服務，已經成為評價領域發展的重要方向。在培訓領域中，使用計算機自適應測驗則具有更為獨特的優越性。本文擬介紹在心理咨詢師考試培訓中如何創建和使用計算機自適應測驗，并進一步探討在培訓領域中廣泛使用計算機自適應測驗的可能性。

1 基于勝任力的題庫建設

構建心理咨詢師職業資格考試的題庫是實現計算機自適應測試的基礎。

首先，題庫構建基于勝任力理論。根據張愛蓮等對心理咨詢師崗位勝任力的綜述，題庫首先區分了不同層級的勝任力維度，對頂層勝任力維度的要求屬于宏觀層面的要求，包括了心理咨詢師崗位需要具備的綜合素質。其中，對知識結構的要求則屬于微觀層面的要求，以專業知識大綱為藍圖，描述了每類知識點下包含的能力要求。宏觀維度與微觀維度的結合，構成了心理咨詢師考試培訓題庫的結構框架。在此，最小的勝任力特征被認為代表了某種潛在能力（latent trait）。

其次，題庫構建還基于項目反應理論。在每一個潛在能力的子庫中，根據雙參數模型（2PL），根據大樣本量計算了題目鑒別率參數α和題目難度參數β，為實現計算機自適應測試提供了基礎保證。

從題庫規模上看，目前尚未有明確的研究指出多大的題庫容量可以使得計算機自適應測驗達到最優化。但題庫的規模越大，運行計算機自適應測驗的效果也會越好。心理咨詢師考試培訓的題庫包含了以往心理咨詢師職業資格考試的真題及培訓模擬用題，題庫總規模達到7000道以上，完全能夠滿足計算機自適應測試的題目數量需求（見圖1）。

另一個評價題庫質量的指標是題庫中題目的各項參數分布。一個平衡的題庫應該包含各種難度和區分度等參數值的題目。以題目難度為例，難度值高的題目能夠對能力水平高的受測者進行準確估計，而難度值低的題目能夠提供針對能力水平低的受測者的最大信息量。如果題庫包含了太多過難或過易的題目，則會對受測者的能力估計造成偏差。心理咨詢師考試培訓題庫中的試題具有較為平衡的難度值分布（見圖2）。

圖1 題庫與自適應測驗

圖2 心理咨詢師考試培訓題庫難度值分布

2 計算機自適應測驗

圖3 計算機自適應測驗流程

計算機自適應測驗是針對能力不同的個體，從題庫中選擇能夠為該個體帶來最大化信息量評估的題目，并準確估計受測者能力水平的測試過程。計算機自適應測驗的施測過程（見圖3）既是挑選題目的過程，也是能力估計的過程。它主要包括三個階段：

2.1 測試的初始化

在初始化計算機自適應測試時，一般選擇具有最大信息量的題目作為開始。通常在單參數rasch模型下會選擇難度接近0的題目。由于接受測驗的群體基準能力不同，如果已經獲得了相關受測者能力水平的信息，在心理咨詢師考試培訓自適應測試系統中允許管理員調整初始題目的參數，以最好的匹配和預估受測者的實際能力水平。

2.2 測試過程

測試過程中第一個核心的環節是對受測者能力的估計。一般可以選用的能力估計方法有貝葉斯能力估計和最大似然能力估計。由于最大似然估計在初始階段可能會導致無效解，所以可以結合使用貝葉斯方法和最大似然法估計能力。貝葉斯方法可以在一開始用先驗分布避免無效解，當至少有一個成功和一個失敗的反應模式后，再運用最大似然法，以發揮最大似然估計不依賴任何先驗分布的優勢。

如何挑選下一道題目是測試過程的第二個核心環節。許多研究已經提出了題目篩選的不同方法（見表1）。

其中，最普遍使用的是最大信息量標準（MFI）。運用這種標準選擇題目，如果已經事先計算好信息量矩陣，則挑選題目的速度會非常快。但它也有一個缺點，就是MFI方法依賴之前的能力估計值，這可能造成當前能力估計的偏差，這一點在長度較短的計算機自適應測驗中表現的較為顯著。在心理咨詢師考試培訓的計算機自適應測試中，使用的選題策略就是最大信息量標準。因為在該測試中，一個勝任力維度模塊的測評一般包含15道以上的題目，所以可以有效避免MFI方法自身的局限性。如果測驗運用的IRT模型比較簡單，那么挑選下一道題目的計算過程也會變得比較簡潔。例如，在單參數rasch模型中，題目難度是選擇下一道題目的唯一影響因素。所以，在平衡測量精度等影響因素的基礎上，心理咨詢師考試培訓的計算機自適應測試盡量使用較為簡潔的IRT模型作為后臺算法支持。

2.3 結束測驗

在心理咨詢師考試培訓計算機自適應測試設置了三條標準控制在何時結束測驗。

首先是長度標準。每個模塊都設置了測驗長度標準，長度分為試題長度和作答時間長度兩項。因為受測者參加測驗的目的是評估培訓過程中自身在心理咨詢師崗位上各項勝任能力的增長情況，測驗不宜過長，特別是不能超過實際心理咨詢師職業資格考試中的長度，不然會使受測者失去耐心。同時，作答時間過長超出系統設置的閾值，測驗也會自動終止。

其次是精度標準。在長度標準的范圍內，如果能力估計值穩定在預先設置的精度控制范圍內，測驗也會終止。此時，受測者可以使用較短的時間較為準確的評估自身的能力水平。測驗的精度是采用標準誤衡量的，越小的標準誤代表精度越高。在測驗管理平臺中，精度是一個可以設定的參數。

最后是分類標準。這條標準的設置是對某個勝任力模塊的評價分為通過和不通過兩類，只用于簡單判斷受測者是否達到了此勝任力模塊評價的最低合格線。這個分類可以用在培訓最初篩查最需要補充的勝任力項目，使培訓做到有的放矢。

表1 CAT中挑選下一道題目的方法

3 功能與特點

將計算機自適應測試運用于培訓是評價領域的一次全新嘗試。在接受培訓的情境下，受測者參加評價的目的是了解自身真實的能力水平，而不是尋求通過測評或得到較高的分數。因此，心理咨詢師考試培訓的計算機自適應測試系統，兼具測評定位和認知診斷兩種功能，其評價結果將直接服務于加強目標人群的能力建設。

測評定位功能。這是任何一個測驗必須具備的基本功能。相比較于傳統的紙筆測驗，計算機自適應測驗在適當減少考生作答試題的數量的同時，還能夠有效提高測量精度。

認知診斷功能。計算機自適應測驗應用于培訓還兼具認知診斷功能。計算機自適應測驗可以為受測者提供個性化服務，根據不同受測者的能力水平，選擇代表信息量最大的題目，最大限度地估計其能力水平。而且計算機自適應測驗還增加評價的靈活性，可以在培訓的任何時刻選擇參加測評，以了解當時的能力狀態。而且其計分與分數報告都具有即時性。

此外，心理咨詢師考試培訓題庫一個最大的特點是基于崗位勝任力的測評模式。舉辦心理咨詢師職業資格考試的目的是為了檢驗參考者是否具備心理咨詢師的基本能力。而在評估培訓效果時，所涉及的能力不僅限于考試大綱的要求，而是對心理咨詢師崗位勝任力的綜合評估。甚至在一些勝任力維度上還超出了當前職業資格考試能夠考察的范圍。例如，心理咨詢師要求具備一些特定的心理素質，這是通常的知識技能測驗所不能覆蓋的，但計算機自適應測試已經在心理測量，特別是性格測量方面做了大量實踐工作。這也為將來實用型資格考試的改革提供了評價技術方面的準備。

4 結語

將計算機自適應測試運用于心理咨詢師考試培訓領域是一次全新的嘗試。計算機自適應測驗具有明顯優于傳統紙筆測驗的特點，且運用在培訓活動中，能夠較快的定位學員的能力水平，不需要過度考慮題目曝光和測量精度的問題。同時，根據勝任力模型創設的自適應測試還具有認知診斷功能，可以較好的定位學員能力的欠缺方面，為進一步加強針對性的學習提供測試反饋。因此，在未來更為廣泛的培訓領域使用計算機自適應測評技術值得期待。