基于HMM模型的網絡課程學習過程多維評價研究

魏勍颋 鄒宏 左有遊

摘要：網絡課程學習過程評價形式單一的問題亟待解決。因此提出一種基于隱馬爾可夫模型的多維評價方法，對學生學習事件進行持續跟蹤和統計，運用隱馬爾可夫模型識別隱含在學習事件序列中不同維度學習狀態序列，將其作為網絡課程學習過程多維度評價結果。實驗表明，該評價方法準確率、精度和召回率分別平均達到0.64、0.75和0.80。基于HMM模型的網絡課程學習過程多維評價結果可有效反映學生學習狀態過程性變化。

關鍵詞：網絡課程;學習過程;多維評價;隱馬爾可夫模型

DOI：10. 11907/rjdk. 192679 開放科學（資源服務）標識碼（OSID）：

中圖分類號：G434文獻標識碼：A 文章編號：1672-7800（2020）005-0247-05

0 引言

網絡課程因其交互、共享和開放的優勢，已成為傳統課堂教學改革的一種重要形式。與傳統課堂教學一樣，學習評價是網絡課程學習的一個重要環節，是檢驗學習效果是否達到預期教學目標的有效手段。近年來，網絡課程學習評價不再以關注學習成果作為唯一評價指標，而是把關注點更多地放在對學習過程的考核上[1]。但是網絡課程學習活動大部分是由學生自主進行的，教師無法面對面地了解學生學習狀態。即使許多學習平臺提供了作業、測驗、討論和學習統計等功能，在一定程度上可反映學生學習狀態，但教師仍然很難完整地把握每個學生學習過程，只能簡單地根據一些指標給出終結性或階段性分數或等級。

因此本文針對網絡課程學習過程，提出一種有效的評價方法——基于隱馬爾可夫模型（Hidden Markov Model，HMM）[2]的多維評價方法。該方法可綜合分析和評價學習者整個學習過程，不同于傳統單一的分數或等級評價。具體指對每位學習者學習過程中的學習事件進行持續跟蹤和統計，運用隱馬爾可夫模型識別隱含在學習事件序列中不同維度學習狀態的序列，作為網絡課程學習過程多維度評價結果。應用該方法的學習過程評價目的不再是分出優劣，而是讓教師和學生把握學習狀態變化，找到學習進步或退步的內在規律，從而更好地促進學習。同時本文還提供一套可進行學習數據分析與學習過程評價的自動化軟件工具，可較方便地利用現有網絡教學平臺學習數據，對平臺上已開設的課程進行學習過程評價。

1 網絡課程學習過程評價研究現狀

網絡課程學習過程評價指在網絡課程學習過程中，在過程性評價等理論指導下，依據相關評價標準，利用計算機網絡記錄和跟蹤技術，從學習者學習過程中學習動機、學習方法和學習效果等多維角度進行的持續跟蹤評價活動[3]。目前國內大多數高校已建立網絡教學平臺，并在互聯網上開放了慕課、微課，由此網絡課程學習過程評價研究成為教育技術研究熱點。相關研究工作可分為評價標準、評價指標體系、評價方法和評價工具等幾個方面。本文研究工作可歸于評價方法與工具范疇。

評價標準方面的研究工作國外居多。比較著名的網絡學習評價標準包括Lynette Gillis等[4]提出的“網絡學習認證標準（E-Learning Certification Standards）”、英國Wales Bangor大學Sandy Britain等[5]完成的“虛擬學習環境的教育評價框架（A Framework for Pedagogical Evaluation of Virtual Learning Environments）”，以及美國國家教育政策研究所和BlackBoard公司聯合發布的“在線基準質量（Quality On The Line）”[6]。朱凌云等[7]通過比較分析以上標準，總結出網絡課程評價應遵循全面、客觀和唯一原則。此外，還有美國社會訓練與發展組織制定的網絡課程認證標準（E-learning Courseware Certification Standards）[8]、歐洲標準委員會制定的質量保證指南（Quality Assurance Standard）[9]和我國教育部科技司開展的現代遠程教育標準研究項目[10]。高丹丹[11]指出，國內外制定的標準在評價組織、數據定量、學習效果評價等方面涉及不多。

評價指標體系方面的研究工作集中在國內。王均霞等[12]就“現代教育技術”課程確定了學習能力目標、 知識理解目標和技能應用目標為課程的評價目標，并基于此設計了相應評價指標體系;趙蔚等[13]從動機、過程和效果3個維度構建網絡學習評價體系，設計了不同的功能模塊;王江[14]建立了包含知識成果、資源利用、交流協作及網絡態度4個維度的網絡學習過程評價模型，并使用層次分析法確定了各評價指標的權重;杜茹娟[15]以實際網絡學習平臺為基礎，從用戶日志及數據庫中提取用戶行為數據作為指標，找出其中與學習成績顯著相關的16項指標;李君玉等[16]研究了學生對網絡學習平臺的訪問時長與其學習成績的相關性。但這些評價指標體系研究大多從教育學意義上進行分析和描述，因此相關模型一般無法采用計算機進行模擬和仿真。

網絡學習評價方法主要包括總分法、加權平均法、模糊綜合分析法和層次分析法[14]。肖鳳翔等[17]在課程評價上提出采用3種方法：①通過等級評價量表測評予以量化分值最終得出加權平均值;②一級指標采用模糊綜合評價統計模糊綜合評價結果;③采用蘇格拉底式研討評定法進行質性研究。鄭志高等[18]在對xMooc的學習評價研究中，通過對Coursera、ed X及 Udacity 3個平臺各門課程學習評價方法進行梳理和統計分析，認為這些網絡課程評價還是近似于傳統學習評價，缺少學習過程評價。

常見學習過程評價工具包括：電子檔案袋、問卷評估表、學習契約等。電子檔案袋評價是以音頻、視頻、圖片、文本等多種媒體形式記錄學習過程的數據，并收集和組織在電子檔案袋中，是學習者學習過程的全紀錄[19];問卷評估表是以問題或評價條目組織的表單，讓學習者通過回答預選設計好的問題啟發反思;學習契約是一份學習者擬定了學習目標、學習內容和方法、學習時間和評估方式的合同，通過檢查學習者是否履行契約達到學習過程評價的目的。但這些評價工具操作比較復雜，容易讓學習者產生回避評價的心理，而且評價可能存在主觀性誤差，使評價結果無法準確反映網絡課程學習者各階段學習狀態變化。

2 基于隱馬爾可夫模型的網絡課程學習過程多維評價

學習評價不但需關注學習結果，更應關注學習過程中的進步[20]。遵循該思想，本文將模式識別領域經典的隱馬爾可夫模型運用到網絡課程學習過程評價中。從學習動機、學習方法或學習效果3個維度，通過識別學習過程狀態序列，從本質上理解學習過程中的現象和規律，提出不同于現有研究常用的分數（量性）或等級（質性）評價的一種評價結果形式。

2.1 評價維度

網絡課程的學習是一個多元素協同作用的復雜過程，包含學習者學習動機、學習方法和學習效果等要素。學習動機是引發與維持學習行為、并使之指向一定學業目標的一種動力傾向，是學習的起因;學習方法是通過學習實踐總結出的快速掌握知識的方法，是學習過程的推動因素;學習效果是學習過程的成效和結果。三者缺一不可。因此，參照文獻[3]對網絡課程學習過程評價的定義，本文從學習動機、學習方法和學習效果3個維度入手，研究網絡課程學習過程多維評價方法。

2.2 評價結果形式

學習動機、學習方法和學習效果這3個維度，對應網絡課程學習過程的不同要素，其在某個學習階段總處于一定的狀態。例如，學習動機的狀態可以是強或一般，學習方法狀態可以是適合或不適合，學習效果狀態可以是理想或不理想。本文將各維度網絡課程學習過程評價結果表示為維度要素在不同學習階段所處狀態的序列，采取一種簡化的維度要素狀態集合，如圖1所示。

以學習動機維度為例，如果評價時間范圍為4個連續的教學單元，評價結果可能表示為學習動機要素的狀態序列“q1q2q2q1”。將幾個維度的狀態序列綜合在一起，構成整個網絡課程學習過程評價結果。

2.3 評價依據

學習動機、學習方法和學習效果在不同學習階段所處狀態是隱含的，并不能被直接觀測到，只能通過觀察各階段與網絡課程學習活動相關事件，分析各維度要素狀態變化序列。這些事件往往是特定學習狀態下才會產生。譬如，學習動機強時進入課程的次數增多，學習方法適合時參與課程活動的次數增多，學習效果令人滿意時階段測驗分數也會同時提高。最終本文選擇了比較容易觀測和統計的3種類型事件，即訪問數、任務完成比例、測驗成績，分別作為與學習動機、學習方法和學習效果狀態相關的代表性事件，如圖2所示。其中任務是指教師布置的學習任務，包含學習PPT、觀看視頻及上交作業等。d1、d2和d3均為設置的閾值，通過實驗反復比較，本文方法將其分別設為10、0.5和60。

2.4 評價模型

為識別網絡課程學習過程中各維度學習狀態序列，本文使用模式識別領域的隱馬爾可夫模型（Hidden Markov Model，HMM）。HMM是一種統計模型，用來描述一個含有隱含未知參數的馬爾可夫過程。該類過程在每個時間點處于某個狀態，每個狀態的轉移只依賴于狀態序列中前k個狀態。當k=1時，稱為一階馬爾可夫過程。隱馬爾可夫模型實際上是標準馬爾可夫模型的擴展，其過程中各時刻狀態是隱藏的，不能直接被觀察到，只能通過分析觀測狀態序列獲得。任意時刻是哪一種可觀測狀態僅依賴于當前時刻隱藏狀態。

在網絡課程學習過程中，學習動機、學習方法和學習效果變化也可認為是具有馬爾可夫性質的隨機過程。以網絡課程學習動機狀態變化為例，當表示為隨機變量S，則P（St+1=s | S0，…， St）=P（St+1=s | St），符合馬爾可夫過程特征。同時學習過程狀態是隱藏的，只能通過觀測學習事件狀態，倒推學習過程狀態。因此，本文分別構建學習動機、學習方法和學習效果的隱馬爾可夫模型，評價網絡課程學習過程。

2.4.1 模型定義

通常隱馬爾可夫模型可以用5個元素描述λ=（Q，V，π，A，B），包括2個狀態集合（隱含狀態集合Q、可觀測狀態集合V）和3個概率矩陣（初始狀態概率矩陣π、隱含狀態轉移概率矩陣A、觀測狀態轉移概率矩陣B）。對于學習動機、學習方法和學習效果的HMM模型，隱含狀態集合分別為圖1所示的Qa、Qb和Qc。可觀測狀態是各維度要素的學習事件，集合分別為Va、Vb和Vc，如圖2所示。而另外3個參數定義如下（以包含N個隱含狀態和M個可觀測狀態的HMM為例）：

2.4.2 模型參數設置

構建隱馬爾可夫模型的一個重要問題是模型參數π、A和B的設置。如果已知樣本觀測序列和隱藏狀態序列，可用極大似然估計方法，先統計初始隱藏狀態、隱藏狀態轉移以及觀測狀態轉移頻數，再計算參數近似估計。但在多數情況下，只有樣本觀測序列，無法得到對應隱藏狀態序列。

本文采用Baum-Welch算法[21]，對學習動機、學習方法和學習效果的HMM模型中參數π、A和B分別進行估計。該算法利用已知樣本觀測序列，通過學習反推最有可能導致這樣結果的參數值，即求解使P（O|λ）最大化的π、A和B。參數學習的過程由最大期望算法（Expectation-Maximization Algorithm，EM）[22]實現：先確定觀測序列O和隱藏狀態序列I的對數似然函數logP（O，I|λ），再求該函數關于隨機變量I的數學期望Q，然后通過求偏導計算使Q極大化的各個參數式，在多次迭代后獲得模型參數π、A和B。

2.4.3 基于HMM模型的狀態序列解碼

在本文方法中，網絡課程學習過程的評價等價于：根據學習動機、學習方法和學習效果的觀測序列求取最有可能的狀態序列。該問題實際上是隱馬爾可夫模型解碼問題，即根據模型λ為觀測序列O=O1O2…OT尋找一條最有可能的狀態序列P*，模型在狀態序列的每一個隱藏狀態下均生成一個可觀測事件，要求使得P（O|P*）最大。

本文采用Viterbi算法[21]解決該問題。Viterbi算法使用動態規劃求解概率最大（最優）路徑。從t=1時刻開始，遞推計算在時刻t狀態為i（1≤i≤N）的各條部分路徑最大概率。直到計算到時刻T，各條路徑最大概率即為最優路徑概率。將每個時刻部分路徑概率最大狀態連接起來，即得到最優路徑所有節點。

3 實驗

為對本文方法進行驗證，從南昌大學網絡課程學習平臺導出2019年生物信息學課程378名學生連續4個月的真實學習數據。根據圖2所示的學習事件的定義，將數據轉換為學習動機、學習方法和學習效果觀測序列集合。觀測序列集被分為3個子集：訓練集、驗證集和測試集，序列樣本數分別為131、125和122。

先使用訓練集觀測序列學習HMM模型的參數，對驗證集學生發放調查問卷，獲取學生對各階段學習動機、學習方法和學習效果狀態自我評價;使用驗證集觀測序列預測狀態序列結果，與調查問卷相比較，檢驗模型有效性并調節模型;最后對測試集學生的學習動機、學習方法和學習效果的狀態序列進行預測，作為網絡課程學習過程評價結果。

3.1 評價準備

3.2 模型驗證

以調查問卷的結果作為參照，采用準確率（Accuracy）、精度（Precision）和召回率（Recall）3個指標，衡量建立的HMM模型對驗證集學生的學習動機、學習方法和學習效果預測結果是否符合學生自我評價。指標定義如下：

其中TP代表預測正確的正樣本，TN代表預測正確的負樣本。正樣本指狀態為“q1”的樣本，負樣本指狀態為“q2”的樣本。FP和FN則代表錯誤的正/負預測。模型對驗證集的預測結果如表1所示。

從對驗證集預測結果來看，本文建立的HMM模型預測準確率、精度和召回率分別平均達到0.64、0.75和0.80。尤其是對學習動機正樣本的預測，召回率可高達0.98，說明模型對學習動機處于“強”的狀態比較敏感。

3.3 預測分析

使用驗證并調節后的HMM模型，對測試集122名學生的學習動機、學習方法和學習效果的狀態序列進行預測，作為網絡課程學習過程的評價結果。預測結果中，第1個月的學習狀態始終為q1，這表明課程學習開始時，學生學習動機均為“強”，學習方法為“適合”，學習效果為“理想”。但是，從第2個月開始，學生學習狀態出現了分化。表2列出了3個維度8種可能的狀態序列實際對應的預測樣本數。圖5給出了表2預測結果的時間變化示意圖，圓圈代表狀態（圖中只有q1和q2兩種狀態），帶箭頭的線條代表狀態在不同月之間的跳轉，線條粗細程度根據狀態序列預測樣本數進行設定。

從表2和圖5可以看出，測試集107名學生（107/122=87.7%）在4個月的學習過程中學習動機始終保持“強”的狀態，15名學生（12.3%）學習動機從第2個月起持續為“弱”。這說明，學生學習動機具有時間連續性，課程學習的第2個月對激發學生的學習興趣至關重要。

測試集28名學生（23.0%）的學習方法始終為“適合”的狀態，67名學生（54.9%）的學習方法從第2個月起變為“不適合”，其它3種狀態序列的27名學生（22.1%）學習方法在中間某一個月或者兩個月暫時為“不適合”，最后變為“適合”，沒有學生在學習的最后一個或兩個月學習方法由“適合”變為“不適合”。這說明學習方法的掌握一般在學習過程前期，有部分學生一開始就掌握了適合自己的學習方法，大部分學生從第2個月被困于錯誤的學習方法，少量學生可在學習中間階段糾正錯誤的學習方法。

測試集52名學生（42.6%）的學習效果始終為“理想”狀態，18名學生（14.8%）從第2個月起學習效果變為“不理想”并一直陷于該狀態，33名學生（27.0%）在中間兩個月學習效果為“不理想”，最后一個月才變為“理想”，其它兩種狀態序列的19名學生（15.6%）在學習的最后一個或兩個月學習效果由“理想”變為“不理想”，沒有學生可在中間某一個月學習效果由為“不理想”突變為“理想”。這說明學習效果的負作用周期較長，一旦某個月的學習效果變差，將嚴重打擊學生學習積極性，使后續一個或多個月學習效果持續不佳。

4 結語

基于隱馬爾可夫模型的網絡課程學習過程多維評價是網絡課程教學方法改革的一種新探索。在跟蹤和統計學習事件的基礎上，構建不同維度學習狀態的隱馬爾可夫模型，根據學習事件序列預測學習狀態序列，并將其作為網絡課程學習過程多維評價結果。課題組已在生物信息學課程網絡輔助教學中運用該學習過程評價方法。實踐表明，學習狀態序列形式的評價結果比較符合學生對各階段學習動機、學習方法和學習效果的自我評價。基于該方法的評價結果，任課教師可較全面地把握學生學習狀態變化過程，在課程成績評定時考慮該評價結果。此外，本文方法還可以推廣到國內其它高校網絡教學平臺，或在互聯網慕課、微課中使用，為我國教育現代化建設助力。

下一步將把基于隱馬爾可夫模型的網絡課程學習過程多維評價方法應用于南昌大學網絡教學平臺其它的網絡課程，改革學習過程評價形式，以期激發學生學習興趣，提高課程教學質量，改進課程管理流程，創新課程學習考核方式。

參考文獻：

[1] 萬正剛. 基于SCLEs 的網絡學習過程評價方法研究[J]. 科教導刊，2012（3）：45，49.

[2] RABINER L， JUANG B. An Introduction to Hidden Markov Models[J]. IEEE ASSP Magazine， 1986（3）： 4-16.

[3] 王娜. 網絡課程中學習過程評價的方法研究[D]. 長春：東北師范大學，2010.

[4] 黃榮懷，張進寶，董艷. 關于網絡教學過程認證標準的研究[J]. 開放教育研究，2003（5）：5-9.

[5] BRITAIN S，LIBER O. A framework for pedagogical evaluation of virtual learning environments[R]. ?U.S.： Joint Information Systems Committee （JISC），1999.