高校在線課程質量評價指標體系構建研究

顧云鋒，陸 慧，吳鐘鳴，管兆昶

(1.金陵科技學院教務處 江蘇 南京 211169；2.金陵科技學院人力資源處 江蘇 南京 211169)

課程是高校人才培養的核心要素。隨著“互聯網+教育”的發展，近幾年，我國積極探索在線課程建設，目前我國的在線課程數量和應用規模已居世界第一，已逐漸成為世界慕課建設和應用的領導者。在線課程因其資源多樣性、學習個性化、評價多元化廣受學習者歡迎，正變革傳統教與學的形態。然而，并非所有在線課程的質量都是令人滿意的，很多課程建設和應用效果堪憂。學習者作為在線課程的主要參與者和最大受益者，其評價是課程質量最為直觀的反饋，具有重要的探索和研究價值。那么，何種在線課程能吸引并滿足學習者的學習需求？對學習者而言，在線課程的哪些環節相對更重要？教師應采取何種措施提高在線課程的教學質量？基于上述問題，本研究試圖從學習者學習體驗出發，基于因子分析法去構建符合“互聯網+教育”時代要求的在線課程質量評價指標體系，旨在為課程建設和質量提升提供依據。

1 文獻綜述

通過文獻分析發現，國內外關于在線課程質量評價的相關研究不少。目前在已有的國內外研究成果中有很多值得借鑒參考，如美國QM標準[1]、復旦大學研發的中國版FD-QM 課程質量標準[2]、教育部“國家精品在線開放課程”的評價指標體系[3]、國家標準化管理委員會發布的《信息技術―學習、教育和培訓―在線課程》標準[4]，等等。

總體來看，近年來關于在線課程質量標準的研究是業內關注的熱點問題之一，其中不僅有宏觀層面的定性探討，也有實證角度的定量分析，但還是存在不少不足：第一，現有研究更側重于“教”。第二，現有研究更多從應用效果與影響去評價課程質量，而忽視或者不夠重視學習者的直接學習體驗。第三，現有評價指標體系存在指標重復性較高、覆蓋不全面等問題。第四，實證研究不夠充分，很多研究形成的評價指標體系未能就其信度和效度進行檢驗，缺乏實證數據支持。

2 研究內容

2.1 主要研究設計和研究方法

評價指標遴選與體系構建是一個較為復雜、嚴謹且不斷完善的過程。本研究首先通過文獻調研、多輪專家訪談等方式，初步確定在線課程質量評價初選指標，并進行問卷調查；然后對初選指標進行修正，確定從學習者體驗出發的在線課程質量評價問卷；通過問卷調查對高校在校生和社會學習者進行數據收集；運用SPSS、AMOS 軟件，采用因子分析法和結構方程模型[5]對問卷調查結果和評價指標進行實證分析。

在實證分析過程中，筆者首先對問卷調查數據進行信度和效度分析，保證問卷調查質量。在此基礎上進行探索性因子分析和驗證性因子分析，再運用結構方程模型對各項指標及模型擬合度、適配度、區分效度進行驗證。

2.2 初始問卷設計和數據收集

初步構建在線課程質量影響因素。通過對已有研究進行文獻梳理，并面向業內專家收集意見，整理歸納出具有代表性的、覆蓋學習者學習全過程的51 個測量問題項。然后在一所大學本科生中開展小范圍預調查，每個測量問題項都讓受訪者從自身學習體驗出發，針對問題項的重要程度作答，回答項采用李克特五級量表計分法。初步調查采用問卷星開展，時間從2022 年11 月開始，最終回收有效問卷數116 份。

2.3 初步問卷調整和數據收集

初步分析問卷調查統計結果，發現Q4“課程負責人和團隊成員的介紹”、Q5“課程提供授課對象說明”、Q13“知識點視頻主講老師知名度高”和Q35“平臺提供筆記功能”等問題項上學習者選擇“不重要”或“非常不重要”頻率百分比較高，分別為8.6%、6%、6.9%、7.8%。分析原因，一是在Q4 和Q13 兩個問題項上，雖然在很多在線課程質量認定中較看重該指標，但從學習者的角度來說，這些指標對課程的教學質量可能并沒有太大影響，因此決定把兩個問題合為一個“課程在學生學習之前提供課程負責人和教學團隊的基本情況說明”；二是Q5 和Q6“課程明確說明了學習者應具備的前期基本知識”兩個問題含義重復，舍去問題Q5，保留并調整Q6；三是舍去Q35 問題項。同時，對于部分表述不是特別準確的測量問題項進行修改，原則是從基于學習者的角度去描述，而不是基于教師、課程管理者或課程評價認定者的角度。最終形成正式測量問題項48 題。

正式問卷中包括受訪者基本信息的問題項3 題、測量問題項48 題（編號為Q1 至Q48）。調查使用問卷星線上開展，時間為2023 年4 月至5 月?；厥諉柧?362 份，去掉作答不完整以及所有回答完全重復的無效問卷1052 份，最終得到有效問卷3310 份，問卷有效率為75.9%。

3 研究數據實證分析

3.1 內在信度分析

在SPSS 中對有效問卷結果進行內在信度分析。結果表明，問卷數據的信度系數為0.979，大于0.9，說明問卷整體信度較好。

3.2 探索性因子分析

3.2.1 可行性分析（效度分析）

運用SPSS 進行KMO 和Bartlett 球形度檢驗分析，判斷問卷中問題項是否符合因子分析要求。經過SPSS 分析，問卷數據的KMO 值為0.986，接近于1.0，KMO 值較好；同時，Bartlett 球形度檢驗給出的相伴概率為0.000，小于顯著性水平0.05。因此可以拒絕零假設，認為相關系數矩陣與單位矩陣有顯著差異，調查數據適合做因子分析。

3.2.2 因子提取

在攤鋪之前應將攤鋪機清理干凈，防止原有瀝青的污染。常溫彩色鋪面的下承面應清潔平整，攤鋪常溫彩色瀝青混合料前灑布淺色膠結料配制的稀釋油作為黏層油。

對問卷數據進行因子提取。通過累積方差解釋率和旋轉后每個因子方差解釋率的具體數值，來判斷因子提取信息量的程度。

SPSS 分析結果顯示，問卷數據可被提取出5 個公共因子，其累積方差解釋率為65.43%，各因子旋轉后方差解釋率分別是：15.84%、13.97%、12.45%、12.33%、10.84%。通過這幾個數值可知，提取出的5 個因子可代表研究問題項65%以上的信息量，且各因子提取的信息量較為均衡，綜合說明本次因子分析結果良好，解釋率較高。

3.2.3 確定公共因子與問題項的對應關系

確定問題項的公共因子歸屬。采用最大方差正交旋轉法分析因子載荷系數和變量共同度，了解各具體問題項與每個因子的對應關系。因子載荷系數是反映因子與問題項之間相關程度的重要指標，可通過系數絕對值判斷，數值越大表示相關度越高。公因子方差是體現全部公因子對具體變量的描述程度。SPSS 分析結果顯示，本研究數據中各問題項所對應的因子載荷系數最大值為0.763，對應選項Q47“提高學習者自身自信力”，最小值為0.435，對應選項Q16“視頻提供字幕”。所有的問題項因子載荷系數絕對值大于0.4，全部保留。

同時，為進一步明確指標結構，運用SPSS因子分析計算各問題項的變量共同度。根據各問題項的共同度結果，計算出各評價指標及各維度的權重比例。從統計結果可知，48 個問題項的共同度值分布在0.435―0.763 內，均大于0.4，表示各因子可以有效提取問題項信息，問題項與因子之間存在較強關聯度，因子提取總體效果比較理想。

基于上述統計分析，結合因子與問題項的對應關系，對5 個因子進行命名解釋：課程預置因子，主要包括課程說明、前期知識要求和技術準備等問題項；資源設計因子，主要包括學習資源和教學設計等問題項；互動支持因子，主要包括個性化學習支持和師生互動等問題項；平臺功能因子，主要包括支持移動學習和個人學習數據分析等問題項；效果評價因子，主要包括學習效果和學習期望問題項。

3.3 驗證性因子分析

3.3.1 模型構建

經探索性因子分析后，已明晰因子與問題項之間的對應關系。因此本研究基于5 個因子構建評價指標體系的一級維度，形成指標體系模型。這個模型在一定程度上解決了根據理論建立的模型存在某些可測指標劃分歸屬不清晰的問題。

在AMOS中實現該模型，將5 個因子定義為5 個潛在變量，48 個問題項定義為48 個觀測變量，并為每一個觀測變量添加誤差測量項，選擇最大似然估計進行模型運算，并對載荷系數進行標準化處理。

從AMOS模型運算結果看，5 個潛在變量間是相關的，使用斜交驗證性因子分析是適宜的?？ǚ阶杂啥戎禐?4.293，大于常用標準值3。由于本研究基于的樣本量達3310 個，屬于大樣本數據，因此卡方自由度值可僅作參考。同時RMSEA為0.063，小于0.08 這一標準，在標準范圍內。但是增值適配度指數NFI、RFI、CFI 等指標小于0.9。綜合來看，模型構建欠佳，需要進行模型修正。

3.3.2 模型修正

參考AMOS 中M I 分析結果，查看因子與觀察變量的回歸系數值，發現互動支持因子對Q22“對課程的操作使用方法提供明確易懂的指導說明”和Q23“在整個學習過程中能獲得適應性的學習指導和幫助”的修正指數較大，分別為304.083、199.867，表明這兩個指標可能不屬于因子學習資源設計。因此，在模型中作相應調整后，發現RMSEA值降低，CFI 等數值升高，模型得到優化。

同時，在檢查模型修正指數中觀測變量和潛變量之間的協方差值后，發現Q33“平臺提供學習者個人學習空間”和Q34“平臺提供對學習行為的分析、個性化學習建議與規劃、學習進度跟蹤”兩個觀測變量的誤差項e25 和e26 之間的修正指數達1011.235。結合這兩個觀測變量，Q33 和Q34 問題項所測量的數據確實存在某種類同，將這兩個觀測變量的誤差項e25 和e26 設成有共變關系，理論上是合理的，因此在兩個殘差項中建立相關鏈接。以此類推，對模型進行修正。

模型修正之后，再次進行斜交驗證性因子分析，得到相應的擬合結果。從擬合指數對比中可以看出，模型修正后整體擬合指數得到了提高，RMSEA 值為0.051，基本達到良好的標準，NFI、CFI 等指標都達到0.9 以上。

3.3.3 組合信度和效度檢驗

由于Cronbach's Alpha 系數可隨著問卷題數的增加而自然提高，因此本研究還借助結構方程模型對指標體系進行進一步組合信度和平均方差抽取量檢驗。具體方法是通過AMOS 驗證分析，得到所有潛變量對觀測變量路徑的標準化后的因子載荷值，并根據標準化因子載荷和誤差計算出每一個因子的組合信度和平均方差抽取量。通過組合信度和平均方差抽取量這兩個指標來評價指標體系內在質量。

AMOS驗證分析結果表明，構建的評價體系中各潛變量對觀測變量路徑的組合信度值均在0.9 以上（遠大于標準0.6），表明修正后的模型信度達到要求，模型的內在質量比較理想，具有較好的內容效度。同時，計算得到的各潛變量平均方差抽取量在0.5 以上，表明模型的建構效度較好。從48 個問題項對應的觀察變量的標準化因子負荷值可知，所有參數的估計值都在0.45―0.95 內，觀察變量在潛變量上的因子載荷都達到了顯著水平（p<0.001），無負的誤差變異數，表明模型基本符合擬合評價標準，構建的評價指標體系具有良好的收斂效度。

3.3.4 區分效度檢驗

對評價指標體系中5 個一級指標進行區分效度檢驗。采用的區分效度檢驗方法是Fornell-Larcker 標準，其判定條件是：因子平均方差抽取量的平方根是否大于該因子與其他因子的相關系數。經過計算，各因子的平方根值大于該因子與其他因子間的相關系數，說明構建的在線課程質量指標體系中5 個一級指標具有良好的區分效度。

3.4 在線課程質量評價指標體系

通過上述實證分析，將測量問題項聚類、歸納為5 個因子并作為一級指標，48 個問題項作為二級指標，并計算出各指標的權重比例分布，最終構建了在線課程質量評價指標體系。

具體一級指標為課程預置、資源設計、互動支持、平臺功能和效果評價，權重分別為15%、20%、25%、20%、20%。

一級指標“課程預置”下，分為8 個二級指標，具體為：清晰明確的教學大綱、明確說明學習者應具備的前期知識、介紹怎樣學習課程及如何獲得學習資料、說明參與學習的最低技術要求、提供明確的評價方式、提供課程負責人和教學團隊的基本情況說明、提供簡短的介紹視頻、提供課程教材和其他參考資料推薦，其權重從高到低依次為2.07%、1.96%、1.93%、1.91%、1.87%、1.84%、1.78%、1.63%。

一級指標“資源設計”下，分為10 個二級指標，具體為：學習任務分配適當、學習單元邏輯完整并符合認知規律、提供視頻的同步課件和電子文檔、提供擴展性學習資源、支持協作學習和探究性學習、課程內容形式表現多樣、視頻制作質量高、有明確的以及可測量的單元學習目標、時長設置合理、視頻提供字幕，其權重從高到低依次為2.30%、2.25%、2.11%、2.07%、2.03%、2.02%、2.01%、1.99%、1.83%、1.40%。

一級指標“互動支持”下，分為12 個二級指標，具體為：明確說明師生互動計劃和要求、提供適應性的學習指導、方便互動交流和資源共享、提供不同層次的練習并反饋、及時和針對性響應學習者問題、即時了解學習者掌握情況、提供學業成績分析和評價標準、提供使用指導說明、視頻中提供測試、根據需要及時更新視頻內容、提供智能推送等自動化的學習者支持、定期召開視頻會議或線下見面會，其權重從高到低依次為2.20%、2.20%、2.18%、2.16%、2.14%、2.13%、2.09%、2.05%、2.03%、2.01%、1.96%、1.80%。

一級指標“平臺功能”下，分為9 個二級指標，具體為：運行穩定、安全性較高、支持移動端學習、提供對學習行為的分析和個性化學習建議與規劃以及學習進度跟蹤、兼容性好、提供學習者個人學習空間、保護學習隱私信息、界面美觀協調、較完善的防作弊監督機制，其權重從高到低依次為2.46%、2.45%、2.34%、2.31%、2.29%、2.18%、2.11%、2.00%、1.86%。

一級指標“效果評價”下，分為9 個二級指標，具體為：提高學習者自信力、幫助解決現實生活中遇到的問題、提升專業知識和技能、較大改變學習者的日常行為、滿足學習者之前對課程學習的期待、引發深層次的思考、吸引和激發學習興趣、獲得相應的共享學分、獲得相應的學習證書，其權重從高到低依次為2.39%、2.38%、2.32%、2.31%、2.30%、2.23%、2.19%、2.10%、1.79%。

4 總結

本研究主要探究從學習者體驗出發的在線課程質量評價指標體系的構建，以及對指標體系進行可操作性和有效性的實證檢驗。運用SPSS 探索性因子分析，將測量問題項聚類、歸納為5 個因子并作為一級指標，48 個問題項作為二級指標，并計算出各指標的權重比例分布，然后在AMOS 中運用驗證性因子分析和結構方程模型對指標體系進行模型驗證和模型修正。最終形成的指標體系經過模型驗證表明是可信、有效、內在質量理想，且與實際數據有較高契合度的。