用戶視角的教學資源庫應用效果評價指標體系研究

劉方歆

（湖南汽車工程職業學院 湖南 株洲 412000）

建設高水平的教學資源庫是新時代深化教學改革，提高育人質量的重要途徑?！秶衣殬I教育改革實施方案》明確提出：“健全專業教學資源庫，建立共建共享平臺的資源認證標準和交易機制，進一步擴大優質資源覆蓋面?！彪S著建設的持續深入，當前資源庫也暴露出一些問題，如資源利用率低、資源更新不及時、資源內容建設實踐教學創新型不足、資源不能滿足用戶需求以及資源庫效益不顯著。[1]而這些問題出現的原因之一，就是尚未形成一套科學的以用戶視角為出發點的教育資源庫應用效果評價體系。

一、初步設計

本研究涉及的專業教學資源庫是以2015年度立項，2018年度驗收通過的汽車營銷與服務專業（以下簡稱汽營專業）國家教學資源庫為典型研究個案。綜合分析資源庫建設背景、資源庫建設現狀及資源庫應用存在的問題?；谟脩艚嵌染C合構建了第一輪專家意義咨詢表，共三個級別，一級指標包括資源內容、交互功能、平臺技術、個性定制。

1.資源內容

下設資源質量和資源更新兩個二級指標。在資源質量包含資源全面性、資源完整性、資源實用性、資源前瞻性、資源創新性、資源原創性、學生用戶資源使用率、教師用戶資源使用率、企業用戶資源使用率和社會用戶資源使用率12個三級指標。主要評價包含是否有來自企業、行業或校企共建的資源；視頻、動畫、音頻、文本、虛擬仿真等信息化資源是否豐富；是否完整闡釋了知識點，課程體系是否包含課程思政元素、1+X元素；是否對學習、工作和生活有幫助；是否體現了最新的行業動態；是否有形式或內容上的創新；是否是課程組的原創資源；學生、教師、企業用戶、社會用戶報名學習的人數、使用資源的頻率、引用資源的次數等。資源更新下設更新率和僵尸資源占比兩個三級指標，主要評價包含資源更新的數量和頻率；未瀏覽、未調用的資源占比等。

2.交互功能

下設的二級指標包括交流形式和交互響應。在交流形式中主要考慮作業布置、作業批閱、作業提交、消息提醒、互動論壇、學生評價教師、教師評價學生、課堂活動組織、彈幕9個三級指標。主要評價內容為作業布置是否便捷，能否手機操作，形式能否多樣；評閱方式是否便捷，能否手機批閱，是否有未批閱提醒功能；提交途徑是否便捷，遲交、未交是否有實時記錄；對平臺任何消息能否起到即時提醒作用；能點對點、點對多發布消息提醒，并顯示閱讀狀態；帖子發布數量與質量；教師、學生回復數量與質量；師生之間是否有多元化評價；教師能否根據需要在線組織教學活動：如分組討論、抽答、題目推送、投票；是否具備彈幕功能；檢索功能是否健全、全面率、準確率等。交互響應下設交流數量和回應即時性2個三級指標。主要評價內容為互動論壇的帖子數量是否合理，帖子內容是否跟學科相關；論壇的提問是否及時有效回復等。

3.平臺技術

下設的二級指標包括平臺設計和穩定速度。在平臺設計中主要考慮界面美觀度、導航便捷度、學習有效性監控技術、App功能完整性、第三方接口功能、資源上傳、資源下載、題庫管理8個三級指標。主要評價內容為界面設計、欄目設計色彩搭配、元素布局是否合理；導航系統是否方便易讀，方便用戶使用；是否具有防止用戶刷課，掛機的監控功能；配套的手機App是否與PC端具有同樣的功能；能否開通相應的微信公眾號或小程序直接進行平臺訪問；資源上傳及下載是否方便，有無大小、格式、權限限制，上傳屬性限制是否合理，支不支持批量上傳，多媒體資源類型兼容性強；是否支持題目類型豐富，題干和答案支持圖文或動畫混排；是否能及時更新并準確提供后臺數據，查詢數據是否便捷等。穩定速度下設平臺速度、平臺穩定性、應用指導和客服響應4個三級指標。主要評價內容為平臺能否迅速響應各種操作，傳輸速度；平臺技術是否成熟穩定，能否支持同時段大批量訪問；能否支持長期有效訪問資源；開通和使用過程中用戶是否得到過平臺方培訓指導；使用過程中遇到問題與阻礙，平臺服務方響應速度是否及時，能否有效解決問題等。

4.個性定制

下設的二級指標包括功能定制和內容定制。功能定制指個性化功能，如隨心定制界面如皮膚、排版方式；是否可以自行取消不需要的功能；搭建個性化課程是否可以便捷調用平臺資源。根據大數據分析推送用戶關注的內容；能根據平臺伴隨式的評價對學生進行精準的數字畫像，實現學生的精準分層；針對學生所處層級進行學習內容、作業、測驗等的智能推送等。

二、評價指標體系修訂

為了確保職業教育專業教學資源庫應用效果評價指標體系的合理性和科學性，本課題采用Delphi法。借助專家的知識和經驗，將初步設計評價指標通過匿名方式征得專家意見，進行整理、歸納、統計，再匿名反饋給專家，照此循環，直到意見趨于穩定。

本課題研究選擇的專家為國家級職業教育專業教學資源庫建設負責人、國家級職業教育專業教學資源庫團隊成員、多年從事職業教育教學的專家，以匿名方式咨詢意見進行了兩輪[2]，在咨詢過程中，各專家對初步設計的評價指標的重要程度進行評估及賦值，對初步設計的指標體系提出有效的改進意見。其中重要程度劃分為五個等級，從“很重要”“重要”“一般重要”，到“不重要”“很不重要”，賦值依次為5—1。對兩輪咨詢結果數據計算相應的算術均值、滿分次數，標準差以及變異系數，參照界值法對指標體系進行改進。

1.第一輪專家意見咨詢

首次發放12份咨詢表，回收8份。專家組成當中，國家級職業教育專業教學資源庫建設負責人和團隊成員分別為2人（占25%）和5人（占63%），多年從事職業教育教學的專家1人（占13%）。專家從事職業教育與教學的教齡，20年以上有2人（占25%），15—20年的有4人（占50%），10—15年的有2人（占25%），另具備高級職稱的有6人（占64%），有38%的專家擔任國家級或省級教師職業能力競賽的評委，主編過國家級規劃教材或精品課程的專家占63%，對資源庫的建設有著寶貴的經驗。專家對某一問題或者方向的權威力度，其值的大小影響評價的可靠性；反之，專家不能對每一問題或者方向的研究給出權威的意見。為得到更為科學的結果，針對熟悉程度系數、判斷系數和權威系數進行綜合分析?；趯＜业淖晕以u價，第一輪專家咨詢得到的熟悉程度系數為0.77，判斷系數為0.91，權威系數為0.84，說明咨詢結果具有可靠性。

在第一輪咨詢法中，期算術均數、滿分頻率的界值為4.717和0.367，數值大于以上兩項界值者保留其評價指標；變異系數界值為0.183，數值小于界值的評價指標保留。為了謹慎起見，暫只刪除算術均數、滿分頻率、變異系數界值均未入選的評價指標；然而對于有一或兩個不符合界值而未入選的指標，通過討論確定是否保留。同時，對初步設計的指標體系進行修改。

2.第二輪意見咨詢

共發放20份咨詢表，回收12份。專家組成員當中，國家級職業教育專業教學資源庫建設負責人2人（占17%），國家級職業教育專業教學資源庫團隊成員8人（占67%），多年從事職業教育教學的專家2人（占17%）。專家從事職業教育與教學的教齡，20年以上有3人（占33%），15—20年的有4人（占33%），10—15年的有2人（占17%），另具備高級職稱的有8人（占67%），與第一輪相比，來自國家級職業教育專業教學資源團隊成員占比由63%提高到67%。第二輪專家咨詢的熟悉程度系數為0.87，判斷系數為0.95，權威系數為0.88，反映咨詢結果的可靠性進一步提高。

結合第一輪專家的修改建議，綜合計算出算術均數界值為4.874，滿分頻率的界值為0.372，數值大于以上兩項界值者保留其評價指標。變異系數的界值為0.308，數值小于變異系數界值者保留其評價指標，同時對職業教育專業教學資源庫應用效果評價指標體系進行了一定調整。其中，“資源內容”下的三級指標“學生用戶資源使用率”“教師用戶資源使用率”“企業用戶資源使用率”“社會用戶資源使用率”與“資源活躍性”有所屬關系，因而進行整合；同理，將“交互功能”下的三級指標“學生評價教師”“教師評價學生”整合成“評價反饋”，將“平臺技術”下的三級指標“資源上傳”“資源下載”合并成“資源上傳與下載”，并根據專家意見增加一個“搜索功能”和“數據管理”指標；另外，由于二級指標“穩定速度”包含面較小，由此改成“平臺服務”。

三、評價指標體系權重計算

層次分析法（Analytic Hierarchy Process，AHP）是由T.L.Saaty教授提出，是對定性問題進行定量分析的多準則決策方法。本課題研究中分為建立層次結構模型、構建判斷矩陣、權重計算與一致性檢驗、層次總排序與一致性檢驗四個步驟。

1.建立層次結構模型

根據Delphi法對職業教育專業教學資源庫應用效果評價指標體系的調整，本研究以用戶為中心，建立“四梁八柱”層次結構模型，如圖1所示。

圖1 職業教育專業教學資源庫應用效果評價層次模型

2.構建判斷矩陣

本課題繼續采用匿名方式，面向國家級職業教育專業教學資源庫建設負責人、國家級職業教育專業教學資源庫團隊成員、多年從事職業教育教學的專家發放判斷矩陣表，采用9分法對元素進行判斷并賦值。其中AHP數據格式上右下斜對角線一定為1，表示自己與自己的重要性完全相等，右上角和左下角數據呈互為倒數對稱格式，其數字代表指標之間的相對重要性，數字越大代表相對重要性越強。最后各項取其平均值，得到一級指標判斷矩陣表，如表1所示。

表1 一級指標判斷矩陣表

3.層次單排序與一致性檢驗

本課題采用在線SPSS分析軟件，通過綜合評價中AHP層次分析功能，設置判斷矩陣階數，輸入表1中的指標及數據，使用默認和積法方式進行研究，得出一級指標層次分析結果，如表2所示。

表2 層次分析結果

從上表可知，針對資源內容、交互功能、平臺技術、個性定制總共4項構建4階判斷矩陣進行AHP層次法研究，分析得到特征向量為（1.394，0.999，0.907，0.701），并且總共4項對應的權重值分別是：34.840%，24.968%，22.674%，17.518%。除此之外，結合特征向量可計算出最大特征根（4.003），接著利用最大特征根值計算得到CI值為0.001。計算公式為：CI=（最大特征值-n）/（n-1），其CI值用于一致性檢驗使用。

通常情況下CR值越小，判斷矩陣一致性越強，通常情況下CR值小于0.1，則判斷矩陣滿足一致性檢驗；如果CR值大于0.1，則說明不具有一致性，應該對判斷矩陣進行適當調整之后再次進行分析。[3]本次針對4階判斷矩陣計算得到CI值為0.001，針對RI值查表為0.890，計算得到CR值（CR=CI/RI）為0.001＜0.1，意味著本次研究判斷矩陣滿足一致性檢驗，計算所得權重具有一致性，如表3所示。

表3 一致性檢驗結果匯總

4.層次總排序與一致性檢驗

遵循以上方法，使用在線SPSS分析軟件，對二級指標和三級指標分別進行層次單排序與一致性檢驗，其CR值分別為0.001、null、null、null、null、0.002、null、0.001、null、0.002、0.006、均小于0.1，全部層次單排序一致性檢驗均通過，說明層次總排序一致性檢驗通過，即職業教育專業教學資源庫應用效果評價指標體系合理有效，如表4所示。

表4 職業教育專業教學資源庫應用效果評價指標體系

四、應用實例

湖南汽車工程職業學院是國家“雙高計劃”A類專業群建設單位，選取湖汽職院汽車營銷與服務專業、汽車智能技術、智能控制技術三個重點建設專業的國家教學資源庫，邀請6名由老師、學生、企業、管理者構成的評價主體，按照表4進行評價，評價結果如下：

在二級指標“資源質量”方面，由于資源庫C是最晚立項的，資源前瞻性和創新性相對做得好些，因此C得分最高。在“交互響應”方面，資源庫A立項早、使用久，且推廣力度大些，所以A評價最高。由于三個資源庫使用的都是一個平臺，因而在“平臺服務”“功能定制”“內容定制”方面得分一樣。根據評價總分，可以判斷出三個資源庫在應用上的效果，此結果與管理者的評價一致。

表5 資源庫多主體評價測評結果

五、結語

本課題對職業教育專業教學資源庫應用效果進行評價以一定標準為憑據，構建的“四梁八柱”教學資源庫應用效果評價指標體系豐富了教學評價的定量分析方法，促進了數理統計與教育學的跨學科交叉引用。本研究從用戶角度發現資源庫建設和應用中存在的問題和用戶的需求，為資源庫應用效果評價指標體系提供了一個新的研究視角。