檢察教育網(wǎng)絡(luò)培訓(xùn)質(zhì)量評價機(jī)制的完善

摘 要：現(xiàn)階段，檢察教育網(wǎng)絡(luò)培訓(xùn)質(zhì)量評價還不夠科學(xué)規(guī)范，存在評價目標(biāo)不明確、評價主體較單一、指標(biāo)設(shè)置缺少差異化考慮、評價結(jié)果簡單、智能程度不高等問題。以中國檢察教育培訓(xùn)網(wǎng)絡(luò)學(xué)院為例，完善檢察教育網(wǎng)絡(luò)培訓(xùn)質(zhì)量評價機(jī)制，應(yīng)把握評價原則，明晰發(fā)展目標(biāo)方向；借鑒評價模型，科學(xué)設(shè)定序列指標(biāo)；形成反饋閉環(huán)，動態(tài)調(diào)整完善評估機(jī)制。

關(guān)鍵詞：檢察教育培訓(xùn) 網(wǎng)絡(luò)培訓(xùn)質(zhì)量評價

檢察教育網(wǎng)絡(luò)培訓(xùn)質(zhì)量評價主要包括：第一，對檢察教育網(wǎng)絡(luò)培訓(xùn)機(jī)構(gòu)或主辦單位、承辦單位以及相關(guān)工作的評價；第二，對網(wǎng)絡(luò)培訓(xùn)班次的評價；第三，對各類網(wǎng)絡(luò)課程的評價，及對相關(guān)師資的關(guān)聯(lián)評價；第四，對網(wǎng)絡(luò)培訓(xùn)平臺建設(shè)運(yùn)營和管理的評價；等等。多個評價體系的結(jié)果交叉考量，也即對當(dāng)下的檢察教育網(wǎng)絡(luò)培訓(xùn)進(jìn)行系統(tǒng)評價。但基于發(fā)展階段、人員配置、資金制約等因素，檢察教育網(wǎng)絡(luò)培訓(xùn)質(zhì)量評價的實(shí)際情況和研究狀況都尚有較大差距，之于改進(jìn)培訓(xùn)的作用發(fā)揮不充分，亟待加強(qiáng)研究。

一、檢察教育網(wǎng)絡(luò)培訓(xùn)質(zhì)量評價現(xiàn)狀

當(dāng)下，檢察教育網(wǎng)絡(luò)培訓(xùn)評價模式與其辦訓(xùn)形式密切相關(guān)，可大致分為不做評價、借鑒實(shí)體培訓(xùn)評價、網(wǎng)絡(luò)培訓(xùn)專門評價和混合評價模式等。通過內(nèi)部電視電話會議系統(tǒng)組織培訓(xùn)，一般不做評價。通過即時通訊工具或互聯(lián)網(wǎng)會議系統(tǒng)組織培訓(xùn)，常借鑒實(shí)體培訓(xùn)質(zhì)量評價標(biāo)準(zhǔn)采用問卷調(diào)查方式，征求學(xué)員對課程安排、師資選配的意見。通過專門化網(wǎng)絡(luò)培訓(xùn)平臺（自建或定制）組織培訓(xùn)，可結(jié)合平臺設(shè)置的班級評價、課程評價模塊進(jìn)行質(zhì)量評價。采混合評價模式的典型代表如中國檢察教育培訓(xùn)網(wǎng)絡(luò)學(xué)院（以下簡稱“中檢網(wǎng)院”），其作為最高檢主管、國家檢察官學(xué)院主辦的全國性檢察教育網(wǎng)絡(luò)培訓(xùn)平臺，培訓(xùn)模式多樣化，錄播與直播相結(jié)合、組織調(diào)訓(xùn)與自主選課相補(bǔ)充、線上線下培訓(xùn)相融合，綜合采用了平臺模塊打分、學(xué)員問卷調(diào)查、管理員意見反饋等評價方式。

二、檢察教育網(wǎng)絡(luò)培訓(xùn)質(zhì)量評價存在的問題與分析

上述評價模式建立運(yùn)行更多基于經(jīng)驗(yàn)，但質(zhì)量評價工作的科學(xué)性規(guī)范性還有所不足，作為評價的核心內(nèi)容和主要依據(jù)的指標(biāo)體系尚未有效建構(gòu)，缺乏可操作的評價標(biāo)準(zhǔn)與流程。主要問題在于：

（一）評價目標(biāo)不明確，質(zhì)量評價意識有所欠缺

中檢網(wǎng)院已實(shí)現(xiàn)檢察教育培訓(xùn)全員覆蓋，但培訓(xùn)班次、人次仍是普遍關(guān)注重點(diǎn)；課程開發(fā)量、學(xué)員學(xué)時數(shù)仍是考評關(guān)鍵數(shù)據(jù)。統(tǒng)計(jì)中存在“重?cái)?shù)據(jù)、輕質(zhì)量”的現(xiàn)象，一方面，仍把網(wǎng)絡(luò)培訓(xùn)的量當(dāng)做重要指標(biāo)，另一方面，對質(zhì)的評價尚無充分研究，囿于相關(guān)考慮欠缺，質(zhì)量評價目標(biāo)設(shè)置模糊不清。

（二）評價主體較單一，質(zhì)量評價結(jié)果不夠科學(xué)

現(xiàn)有評價機(jī)制中，質(zhì)量評價主體主要是學(xué)員，但學(xué)員評價整體存在優(yōu)秀打分傾向，使得個別化的意見突顯，出現(xiàn)評價結(jié)果信息偏差，同時，這種單一的評價主體模式?jīng)]有兼顧主管部門、教師、專家、同行等相關(guān)者的評估，影響了評價的廣度和深度，使得評價結(jié)果難以全面反映培訓(xùn)的真實(shí)效果和存在問題。

（三）評價標(biāo)準(zhǔn)未細(xì)化，質(zhì)量評價指標(biāo)差異化不足

網(wǎng)絡(luò)培訓(xùn)最富特色的是其教學(xué)方式，且應(yīng)服務(wù)于教學(xué)培訓(xùn)需要，但諸如視頻直播（互動）、系列微課等課程形式卻沒有對應(yīng)的質(zhì)量評價內(nèi)容，僅沿用常規(guī)課程評價標(biāo)準(zhǔn)，細(xì)化程度遠(yuǎn)遠(yuǎn)不夠。如中檢網(wǎng)院課程評價不區(qū)分教學(xué)形式和課程類型，均設(shè)置“立場觀點(diǎn)正確、注重問題導(dǎo)向、內(nèi)容豐富全面、課程生動形象、教學(xué)切實(shí)有效”等評價打分選項(xiàng)，設(shè)定的評價指標(biāo)要素權(quán)重一致，缺乏差異化評估，導(dǎo)致無法精準(zhǔn)反映不同課程的真實(shí)質(zhì)量。

（四）評價結(jié)果簡單化，質(zhì)量評價智能程度不高

評價結(jié)果多以滿意度百分比形式呈現(xiàn)，學(xué)員信息、課程數(shù)據(jù)、管理統(tǒng)計(jì)數(shù)據(jù)和評價數(shù)據(jù)各自獨(dú)立，無法交叉關(guān)聯(lián)比對，學(xué)員學(xué)習(xí)時長、進(jìn)度、互動等學(xué)習(xí)行為數(shù)據(jù)無法通過智能化網(wǎng)絡(luò)培訓(xùn)系統(tǒng)自動捕捉，難以深入剖析這些數(shù)據(jù)背后的學(xué)習(xí)模式與效果差異。

三、檢察教育網(wǎng)絡(luò)培訓(xùn)質(zhì)量評價機(jī)制的完善

（一）把握評價原則，明晰發(fā)展目標(biāo)方向

一是以高質(zhì)效作為評價目標(biāo)。檢察教育網(wǎng)絡(luò)培訓(xùn)已實(shí)現(xiàn)規(guī)模效應(yīng)，正開啟高質(zhì)量發(fā)展新征程，而質(zhì)量評價應(yīng)在其中發(fā)揮關(guān)鍵作用。網(wǎng)絡(luò)培訓(xùn)要實(shí)現(xiàn)更高水平的飛躍，要從高質(zhì)效辦好培訓(xùn)班、做好視頻課、請好主講人等方面開展有效評價，滿足各方期待，讓廣大學(xué)員感受到網(wǎng)絡(luò)培訓(xùn)不亞于實(shí)體培訓(xùn)的效果和水準(zhǔn)；同時，要突出網(wǎng)絡(luò)培訓(xùn)的優(yōu)勢特色，有效發(fā)揮“互聯(lián)網(wǎng)+教育培訓(xùn)”的作用。

二是評價主體多元化結(jié)構(gòu)化。建立“1+N”的多元主體評價模式?！?”是學(xué)員評價，體現(xiàn)學(xué)員中心的培訓(xùn)理念并反饋其對班次和課程的滿意度，再引入其他“N”個相關(guān)主體進(jìn)行多角度評價，如教師（自評）、同行（評價）、平臺（數(shù)據(jù)）和專家（評價）等［1］。在中檢網(wǎng)院培訓(xùn)情境下，還可以將主辦單位、承辦單位、組織管理機(jī)構(gòu)或中檢網(wǎng)院管理員等作為評價主體。待多元評價主體確定后，還應(yīng)將評價模式固定化結(jié)構(gòu)化，以確保后續(xù)指標(biāo)設(shè)定的科學(xué)性、評價標(biāo)準(zhǔn)的統(tǒng)一性、結(jié)論數(shù)據(jù)的可比性。

三是評價指標(biāo)精細(xì)化標(biāo)準(zhǔn)化。根據(jù)《全國干部教育培訓(xùn)規(guī)劃（2023-2027年）》，對干部教育培訓(xùn)機(jī)構(gòu)、班次、課程的質(zhì)量評估，要堅(jiān)持定量與定性相結(jié)合。定量數(shù)據(jù)采集在量表基礎(chǔ)上開展，應(yīng)總結(jié)梳理有關(guān)經(jīng)驗(yàn)并深入研究培訓(xùn)規(guī)律，對積累的數(shù)據(jù)開展對照分析，并初步設(shè)定一級指標(biāo)、二級指標(biāo)，數(shù)據(jù)采集測試后予以驗(yàn)證調(diào)整，逐步完善細(xì)化各項(xiàng)指標(biāo)；同時，定性數(shù)據(jù)采集也應(yīng)有規(guī)范的操作流程，從底層設(shè)計(jì)上架構(gòu)起具有評估標(biāo)準(zhǔn)的交流框架和問答提綱，以便提取有效信息。其中，冗余指標(biāo)項(xiàng)可予剔除，保留核心指標(biāo)，并可視情探索指標(biāo)的加權(quán)平衡，以及定量定性評價結(jié)論的混合輸出。

四是評價手段智能化應(yīng)用化。定量定性數(shù)據(jù)的采集與分析，涉及到大量的數(shù)字和文字，以傳統(tǒng)人工方式處理難以滿足效率和質(zhì)量的要求，必須借力智能化手段?？梢浴盁o感知”采集形式獲取學(xué)員基本信息、操作痕跡和學(xué)習(xí)數(shù)據(jù)等，并對定量數(shù)據(jù)做描述性統(tǒng)計(jì)（計(jì)量、等級、計(jì)數(shù)/比率）和差異性分析，有條件的情況下可進(jìn)一步做相關(guān)與偏相關(guān)分析［2］；對學(xué)員的留言、課程評論等文本做過濾處理，并進(jìn)行詞頻分析和傾向性分析［3］。考慮到實(shí)踐的需要，數(shù)據(jù)采集規(guī)劃要有取樣導(dǎo)向，以確保所采數(shù)據(jù)能夠被分析，結(jié)論具有應(yīng)用價值。

（二）借鑒評價模型，科學(xué)設(shè)定序列指標(biāo)

一方面，學(xué)習(xí)借鑒常見評價模型。教育培訓(xùn)領(lǐng)域較為常用的評價模型有CIPP評價模型和柯氏四層次評價模型。CIPP評價模型認(rèn)為，為了改進(jìn)培訓(xùn)（而非證明），培訓(xùn)前、中、后期應(yīng)設(shè)置分段評價指標(biāo)，細(xì)化為背景（Context）、輸入（Input）、過程（Process）和成果（Product）四個評價環(huán)節(jié)［4］?？率纤膶哟卧u價模型著眼點(diǎn)在于，結(jié)合主觀反應(yīng)評價層級和實(shí)踐效果客觀評價層級，并融入知行合一的考慮，包括反應(yīng)層/感知層、學(xué)習(xí)層/成果層、行為層/反饋層、結(jié)果層/效果層［5］的遞進(jìn)測量。

以上述兩個評價模型為借鑒，檢察教育網(wǎng)絡(luò)培訓(xùn)的評價機(jī)制應(yīng)注意更新評價設(shè)置思路，延伸評價時間跨度，從培訓(xùn)全流程擴(kuò)展到隊(duì)伍建設(shè)整體考慮評價設(shè)置的必要性和可行性，從“訓(xùn)前基礎(chǔ)能力—訓(xùn)中學(xué)習(xí)表現(xiàn)情況—訓(xùn)后水平提升”或“問題需求調(diào)研—訓(xùn)前內(nèi)容匹配—訓(xùn)中學(xué)思調(diào)整—訓(xùn)后踐悟行動”等方面進(jìn)行評估測量，掌握培訓(xùn)在不同時段不同層級產(chǎn)生的積極影響以及不足之處，并借助智能化手段比較其程度變化。

另一方面，根據(jù)檢察教育網(wǎng)絡(luò)培訓(xùn)特點(diǎn)和實(shí)際科學(xué)設(shè)定評價對象指標(biāo)。首先是網(wǎng)絡(luò)課程評價。根據(jù)評價主體包括課程定制方、課程設(shè)計(jì)人、主講人、聽課人以及領(lǐng)域?qū)＜?、同行、教育培?xùn)組織者等的專業(yè)方向和職責(zé)權(quán)威擬定評價方案，選擇采用定性或定量方法、分散或集中模式、打分或評星形式等。針對不同的課程類型如專題講授、案例教學(xué)、情景模擬、訪談研討、庭審觀摩、翻轉(zhuǎn)課堂［6］等的特點(diǎn)和要求，科學(xué)化指標(biāo)設(shè)置，同時，課程評價與師資評價要進(jìn)行關(guān)聯(lián)，以主講人的每一門課程評價為基礎(chǔ)，匯總加權(quán)得出師資水平評價。具體指標(biāo)設(shè)置應(yīng)參照國家標(biāo)準(zhǔn)《干部網(wǎng)絡(luò)培訓(xùn)課程評價指標(biāo)》（GB/T38859-2020），在課程內(nèi)容、學(xué)習(xí)活動、課程形式、在線學(xué)習(xí)支持等各方面做量化設(shè)計(jì)，并可以豆瓣式留言補(bǔ)充主觀評價。評估結(jié)果總體呈現(xiàn)為百分制或十分制得分，可以多邊形雷達(dá)圖長短邊形式展示不同維度優(yōu)缺點(diǎn)和均衡度，以評價關(guān)鍵詞字體顏色大小形式展示評估結(jié)果重點(diǎn)和課程特色亮點(diǎn)。

其次是培訓(xùn)班次評價。評價主體應(yīng)進(jìn)一步多元化，以助于立體化呈現(xiàn)班次在設(shè)計(jì)、組織實(shí)施、保障等各方面的水平效果，如綜合考慮主辦方、承辦方、組織管理方、學(xué)員、學(xué)員所在單位部門、授課人、領(lǐng)域?qū)＜一蛲械鹊脑u估意見。在設(shè)置指標(biāo)時，既要統(tǒng)一通用指標(biāo)，如主題設(shè)置科學(xué)性、課程選配合理性、授課內(nèi)容指導(dǎo)性、師資多元水準(zhǔn)權(quán)威、班次組織功能發(fā)揮、交流互動便捷高效等，可適用于所有班次，以實(shí)現(xiàn)總體評估可比性；也要留出指標(biāo)空間，根據(jù)班次類型如業(yè)務(wù)班次或是綜合班次，班次規(guī)模如全員班次或是條線班次，開展培訓(xùn)的方式如線上班次或是線上線下融合班次等，設(shè)置符合班次培訓(xùn)規(guī)律、具有數(shù)據(jù)采集意義的特殊指標(biāo)。

最后是組織管理和技術(shù)保障評價。作為評價對象，組織管理既可以納入班次評價，也可以單獨(dú)設(shè)置評價指標(biāo)。在開展班次培訓(xùn)的場景下，指標(biāo)設(shè)置首先對齊具體班次的組織，同時，因網(wǎng)絡(luò)培訓(xùn)涉及到平臺、工具的選擇、使用和幫助，評估項(xiàng)也可擴(kuò)大到學(xué)習(xí)輔助、檔案管理、用戶體驗(yàn)、技術(shù)咨詢等方面。在與課程整合方面，信息技術(shù)融合教學(xué)法并賦能教學(xué)內(nèi)容、創(chuàng)設(shè)學(xué)習(xí)環(huán)境是否充分有效，也可以作為單獨(dú)指標(biāo)或合并在課程評價指標(biāo)中，這也是網(wǎng)絡(luò)培訓(xùn)質(zhì)量評價區(qū)別于實(shí)體培訓(xùn)評價的重要特征。

（三）形成反饋閉環(huán)，調(diào)整完善評估機(jī)制

在質(zhì)量評價機(jī)制標(biāo)準(zhǔn)化運(yùn)行后，隨著數(shù)據(jù)不斷積累，評估設(shè)置在某些方面的科學(xué)性不足將有所顯現(xiàn)，管理部門應(yīng)注意評估結(jié)果趨同的低效信息和顯著離散值中的特殊信息等，通過跟蹤調(diào)研、會商總結(jié)等方式收集反饋意見，進(jìn)一步在優(yōu)化指標(biāo)量化和分值賦權(quán)上下功夫［7］，調(diào)整評估項(xiàng)目。同時，考慮更為廣泛的評估意見，明確應(yīng)予補(bǔ)充的評估環(huán)節(jié)，從而完善評估機(jī)制。