基于資源訪問序列的在線學習者認知沖突建模與識別

李宜錕　季雋

摘? 要： 為了解在線學習者在遭遇高程度認知沖突網絡學習行為的變化，并探究免傳感器條件下基于行為序列的預測模型在識別正遭遇認知沖突的學習者的可行性，本文通過聚類分析和過程挖掘，研究了學習者的資源訪問模式具有的差異化特點.研究發現，當學習者遭遇高程度的認知沖突時，兩者均表現出了大量的回溯型導航行為，但其行為模式仍保持固有的學習策略，并基于學習者的資源訪問序列構建認知沖突識別模型.實驗結果驗證了該方法的可行性.

關鍵詞： 認知沖突; 資源訪問序列; 教育數據挖掘; 免傳感器

中圖分類號： TP 391??? 文獻標志碼： A??? 文章編號： 1000-5137（2022）02-0180-13

LI Yikun， JI Jun

（School of Education，Shanghai Normal University，Shanghai 200234，China）

To understand the changes in online learners’ learning behaviors when encountering high levels of cognitive conflict， and to investigate the feasibility of a predictive model based on behavioral sequences in sensor-free conditions to identify learners who were experiencing cognitive conflicts， learners’ resource access patterns were analyzed to differentiate in this study. The study was carried out through cluster analysis and process mining. It was found that when learners encountered high levels of cognitive conflict， both of them showed a large number of retrospective navigation behaviors， while their behavioral patterns still maintained inherent learning strategies. Finally a cognitive conflict identification model was constructed based on the learners’ resource access sequences. The experimental results verified the feasibility of the algorithm.

cognitive conflict; resource access sequence; educational data mining; sensor-free

0? 引言

學習者在接觸新知識時往往需要打破原有認知，并重整知識體系.在這個過程中，學習者容易催生困惑、厭倦等認知情緒.針對認知沖突開展及時的教學干預，對學習成績和個人成長具有積極影響.在線下環境中，教師能通過學習者的表情、姿態等舉動感知到其正遭遇困惑，需要得到教師幫助，但在線上環境中，這種情況就不存在了.研究者嘗試基于外部傳感器對學習者的網絡學習行為進行建模，依據學習者的面部表情、生理信號等數據的波動，推測學習者認知狀態的變化.然而在真實環境下，這種教學方式會受到成本和規模的制約.此外，監視環境可能引發學習者的不安，對模型測算的結果產生干擾.基于點擊流數據的免傳感器方法能夠在非侵入性的環境中對學習者進行建模，該方法一般將學習過程切分為不同的學習區間（session），通過聚合計算提取區間內的行為特征.例如DONNELLAN等以每20 min為一個區間切分學習者在數字學習平臺上的點擊流數據，并統計平均耗時、答題次數等行為特征用于訓練機器學習模型，但這種方法僅聚焦行為結果，具有相同統計量的學習區間可能具有截然不同的資源訪問次序.免傳感器環境下，基于資源訪問序列對學習者的認知沖突建模的研究較少，因此研究網絡學習行為模式與認知沖突的關系具有一定啟發意義.

本研究使用聚類分析、教育過程挖掘和滯后序列分析法，探究在網絡學習情境中大學生遭遇高程度認知沖突時的行為轉變規律.根據網絡學習行為對學習者聚類，分別從高/低認知沖突程度標簽所對應的資源訪問序列中挖掘Petri Net圖和顯著行為轉換模式，進行差異分析.在此基礎上，對遭遇了高認知沖突的不同學習者群體的行為模式進行了比較，探究差異化群體在應對認知沖突時，行為轉變上存在的區別.另外，本研究旨在驗證使用基于行為序列的數據模型預測學習者認知沖突的可行性，使用N?Gram方法表征資源訪問序列，并設計實驗以比較不同值下，決策樹、支持向量機、最近鄰、隨機森林和邏輯回歸5種典型機器學習算法在5折交叉驗證集上的表現.

1? 相關研究

認知沖突及其外部體現

當個體遇到超出原有認知的事物時，會引發認知沖突和混亂狀態.困惑是認知沖突的情感特征，通常與學習新事物時陷入認知僵局有關.對認知沖突的理解、識別有助于在線學習系統中教學干預的設計和實施，促進學習績效.

在數字化學習環境中能夠間接觀測到認知沖突，例如學習者可能表現出眉毛壓低的神情、收緊的眼瞼和牽動的唇角，也會體現在眼部運動、生理信號、姿態運動中.在記錄學習者行為的日志數據中也能觀測到認知沖突的存在，例如學習者的認知沖突表達與答題次數、使用提示等.

近年來，研究人員開展了一些對學習者行為序列的相關研究，YANG等發現在長度不超過3的訪問序列中，練習、視頻與導覽頁面的相互訪問行為與困惑情緒相關;CEREZO等使用過程挖掘技術探索學習者在電子學習過程中的自我調節過程.然而學習者訪問資源的行為很大程度受到個體動機和環境的影響，很可能表現出截然不同的行為模式，有必要研究不同類型的學習者在遇到認知沖突時訪問模式的不同，這將有助于設計針對性的教學干預策略.

認知沖突識別

要設計適切的干預策略，首先需要準確識別正在面臨麻煩的學習者.許多研究人員通過生理特征信號的變化判斷學習者的困惑狀態.然而，這種識別方式需要使用外部傳感器獲取學習者的生理特征信號，增加了識別系統的成本.

因此，一些研究人員開始研發免傳感器的識別系統，如在探究Web日志中的學習行為，并從點擊流數據中提取行為特征.雖然這種方法非常直觀，但其忽略了動態且具備方向性的過程信息.學習行為序列能反映學習者的認知狀態，雖然已有一些研究表明基于時間序列的建模方式能夠達到甚至優于有傳感器的系統的預測結果，但是直接對資源訪問序列建模以預測學習者認知狀態的研究卻不多.

綜上所述，以往研究注重捕捉認知沖突的外在表現，然而在真實環境下，外部傳感器的使用受到成本和規模的限制.此外，資源訪問的先后次序和持續時間特征蘊含著大量的信息，具有啟發性.本研究通過對Web日志建模，識別不同類型的學習者在遭遇高程度認知沖突時訪問模式的不同，并探究基于資源訪問序列識別處于認知沖突的學習者的可能性.

2? 基于資源訪問序列的認知沖突方法

探索學習者的資源訪問策略

探究學習者的資源訪問策略的方法如圖1所示，首先從網絡學習平臺導出帶有時間戳的點擊流數據，對日志數據進行特征工程處理，構建行為特征集，然后應用?means算法對學習者進行數據聚類，最后結合運用過程挖掘算法和滯后序列分析不同學習者群體在遭遇高/低程度認知沖突時資源訪問模式的差異.

在特征工程階段主要有4個步驟，包括剔除停留時間過短的記錄（小于5 s）、構建行為特征集、填充特征集中的缺失值、使用Z?Score方法對特征集歸一化、特征篩選.其中，特征集的構造遵循OCCP學習者行為分類理論，如圖2所示，分別從認知、問題解決、協作3個維度聚合日志數據中行為記錄.其中，觀看時長比為觀看時長與視頻原始長度之比值;相對拖延時間指對于某一習題，學習者的初次訪問時間與該習題的最早被訪問時間之差;絕對拖延時間指對某一習題的最終提交時間與初次訪問時間之差.在特征篩選上，本研究采用包裹式方法選擇用于聚類的特征子集，即將?means作為基學習器，以輪廓系數為評價指標，在不同的子集上訓練若干聚類模型并計算其輪廓系數，取最優結果所對應的特征集合作為最優子集.

在學習者聚類階段，基于?means算法對學習者的網絡學習行為進行聚類分析.本研究首先通過肘部法確定值，隨后根據聚類結果將不同群體在認知、問題解決、協作3個維度的數據分布可視化，結合啟動拖延、學習跨度、行為密度等行為投入指標以分析學習者在學習策略上的差異.網絡學習者具有差異化的需求，因此具有截然不同的資源訪問模式.聚類分析的目的有兩個：第一，了解學習者的資源訪問模式有哪些類別，從行為層面解讀差異化群體的學習策略以使下一階段的序列分析有的放矢;第二，降低日志數據的異質性以滿足過程挖掘算法的使用條件.

在行為序列分析階段，研究主要探究兩方面的內容：一方面，通過比較學習者在遭遇高/低程度認知沖突的過程中其資源訪問序列之間的差異，以了解認知沖突的外在表現;另一方面，通過對比具有不同行為模式的學習者在遭遇高程度的認知沖突時其認知過程在行為上的變化，以檢驗學習者應對認知沖突的方式是否會受到學習策略的影響.對于行為序列分析，過程挖掘和滯后序列分析都是主要的分析工具，其中，過程挖掘技術能夠對事件日志進行建模，以揭示流程的潛在問題，近年來逐漸被用于教育領域.而滯后序列分析法則主要用于檢驗人們發生一種行為之后，另一種行為出現的顯著相關性.本研究使用ProM 6.11過程挖掘工具中的Inductive Miner算法插件，將學習者的資源訪問序列映射到Petri Net圖，并采用GSEQ 5.1軟件進行滯后序列分析以檢驗二元行為轉換的顯著性.研究表明，高異質性的日志數據會大幅影響過程挖掘算法的擬合性能，因此本研究僅采用具有最多學習行為記錄的第二單元的日志數據以降低時間跨度對過程挖掘建模的影響.

對資源訪問序列的建模

對學習者的資源訪問序列建模的方法如圖3所示.首先從原始數據中劃分學習區間，對各區間內的學習活動編碼及序列化;隨后從資源訪問序列中提取N?Gram特征并將其向量化;最后訓練機器學習模型并評估模型在5折交叉訓練集上的表現，以驗證基于資源訪問序列識別處于認知沖突的學習者的可行性.

在劃分區間階段，由于網絡課程中各知識點與配套習題組一一對應，習題的最后一次提交代表完成了學習者對知識點的學習，而知識點與學習者則是多對多的關系，因此本研究以“知識點-學習者”為單位劃分學習區間，將學習者初次訪問知識點相關內容（學習視頻、配套練習、外部文檔鏈接）的時間戳視為起始點，以最后一次提交配套練習作為終止點，總共構建了2 206個有效學習區間.

在編碼與序列化階段，各學習行為的編碼方案如表1所示，主要有視頻訪問、中斷間隔、練習訪問、外部鏈接訪問以及評論區訪問4類行為.其中，在學習過程中學習者往往會表現出回顧歷史知識點、參考過去的習題答案、超前學習等行為，因此按課程大綱順序，以當前學習的知識點為參照進一步將視頻/練習訪問行為劃分為當前視頻/練習訪問、先前視頻/練習訪問和未來視頻/練習行為6類學習行為.中斷間隔是指學習者離開課程平臺的時間，本研究假設中斷間隔能反映學習者的拖延、反思、放棄等行為，經統計，將其按時間長度劃分為3類間隔：3.6～15.0 s為小型時間間隔，15.0～180.0 s為中型時間間隔，大于180.0 s為大型時間間隔.將各學習區間內的行為編碼按時間順序連接后，得到學習者在該區間的資源訪問序列（圖4）.

在N?Gram表征階段，研究首先采用N元模型窮舉長度在2～10之間可能的訪問子序列，例如“CE-CV-CE”是一種可能的3?Gram子序列，隨后分別以詞頻（Term Frequency，TF）和詞頻-逆文本頻率指數（Term Frequency-Inverse Document Frequency，TF-IDF）計算各子序列在各資源訪問序列的特征值，并分別獲取TF值和TF-IDF值最高的10個特征組成特征集合，最終得到兩個向量化數據集;此外，為獲取全部子序列的特征信息，研究應用主成分分析（Principal Component Analysis，PCA）分別對各子序列在各資源訪問序列的TF和TF-IDF的全部特征值降維，得到另外兩個向量化數據集，記為PCA-TF和PCA-TF-IDF.

在建模與評估階段，本研究按3∶1的比例劃分訓練集和測試集，通過5折交叉驗證方法考察數據模型的預測性能.其中，認知沖突標簽來自于對學習者自我報告的判斷.根據本研究對認知沖突的定義，認知沖突發生于新知識、新問題等外部環境刺激與個體原有認知結構之間不一致時.在概念學習過程中具體表現為，學習者在答題時因無法順利將新知識納入原有認知結構或改造認知結構以適應新知識，從而導致在運用新知識時解題思路與課程思想發生偏離.因此在每次練習提交后，學習者需要在答題反饋頁面比對該題的解題思路與自己的答題思路，按“更好”“一致”“接近”“不同”“都不是”報告兩者的一致性程度.在標簽構造中，前兩者視為低程度的認知沖突，后三者則視為高程度的認知沖突.

研究應用了決策樹、支持向量機、最近鄰、隨機森林和邏輯回歸五個典型機器學習算法對學習者認知沖突建模，并使用正確率、準確率、F1指標、ROC曲線下面積和Kappa一致性指標評估模型在9種N?Gram序列長度、4種向量化表示方法、是否納入間隔編碼共72種條件下的預測性能，以探究在免傳感器條件下，基于學習行為序列特征的機器學習模型能在多大程度上識別遭遇認知沖突的學習者.

3? 實驗結果與分析

實驗環境

實驗依托 STEM College云學習平臺，參與者為79名選修《Python與機器學習》課程的本科生，年齡在22～24歲.課程共11個單元，包含69個學習視頻和55個隨堂練習.通過記錄參與者在學習過程中的行為，共生成20 851條日志數據，如圖5所示.

學習者聚類

在79名學習者中，有2人的課程完成率不足10%，因其學習行為過少而作為異常值排除.通過肘部法則發現當=2時，取得了最好的聚類效果，因此使用?means算法將學習者聚為兩類，輪廓系數為0.765.為比較這兩類學習者在認知、問題解決和協作3個維度下行為指標的差異，研究繪制了小提琴圖將網絡行為可視化（圖6）.其中，小提琴圖同時具有盒圖與核密度圖的特點，常用于展示多組數據的分布狀態和概率密度.從圖6中可以看出，兩類學習者在認知和問題解決維度上的數據分布存在較大差異，表現出不同的學習行為模式.在認知維度上，聚類1的學習者在視頻觀看時長、次數和時長比的中位數均高于聚類2，具有“長時間觀看”“反復播放”等特點，表現出了更高的學習投入水平.此外，在數據分布上看聚類2在視頻觀看時長和時長比上普遍處于較低的水平，但是在視頻觀看數上與聚類1差別不大，說明聚類2中的學習者在資源訪問過程中存在“頻繁切換”“跳躍觀看”的傾向.

在問題解決維度上，聚類1中的學習者表現出了更多的答題次數、更久的答題時長以及更少的拖延行為，更具有“多次修改”“試錯反思”的傾向.聚類2的學習者在問題解決維度的投入水平較低，但在完成所有學習任務上所花費的總時間更少.此外，從數據分布來看聚類2學習者的相對拖延時間更久、更分散，說明學習任務的啟動時間因人而異，而非像聚類1學習者一樣盡早投入學習.顯然，兩類學習者的行為模式的差異很可能源于學習策略的選擇.

學習策略是學習者為了達到學習目標，有意識地制定的有關學習過程的行為方案，與學習者的動機有較強的關聯.為進一步探究兩類學習者在學習策略上的區別，研究基于學習投入理論構建了啟動拖延、學習時間跨度、訪問次數和行為密度4個行為投入指標以進一步分析兩者的差異.其中啟動拖延是指在同一個學習單元中，個體與同批學習者最早訪問學習資源的時間之差;學習時間跨度指學習者在單元時間中總共花費的天數;行為密度指學習者的學習活動次數與學習時間跨度的比值.由于這些行為指標不符合正態分布，因此本研究應用曼-惠特尼檢驗分析兩類學習者在4個行為指標上的差異.結果表明（表2），兩類學習者在啟動拖延上存在顯著性差異（=0.003），聚類2學習者的啟動拖延高于聚類1學習者，結合小提琴圖中相關拖延的分布，可知該類學習者的啟動時間較為分散，具有較高的靈活性.此外，雖然兩類學習者在學習時間跨度、訪問次數和行為密度上不存在顯著差異，但從平均值和秩平均值來看，聚類1學習者表現出了更高的學習持續時間和資源訪問次數.

綜上，大學生的網絡學習行為模式具有差異性，按學習策略主要可分為兩類.類別1的學習者具有高持續、高投入的學習特點，能較快開展學習活動，并且保持較高頻的資源訪問行為，為持續性學習者;類別2的學習者傾向挑選合適的時間集中學習，并快速完成習題任務，為策略型學習者.學習者會受外部和內部動機的驅使開展學習活動，以知識掌握為導向的學習者表現出較高的投入水平和探索欲，而以完成任務為目的的學習者則傾向于集中訪問個別資源，快速完成學習任務，這與本研究的結果相一致.

學習者在認知沖突表現上的差異

通過過程挖掘技術，繪制訪問記錄的Petri Net，研究比較了遭遇高、低認知沖突的學習者的行為模式（圖7，8）.其中，藍色節點表示資源訪問行為，顏色越深則該行為的發生頻率越高;帶箭頭的弧線代表行為的轉變;弧線上的數值表示該轉變發生的次數.

從路線分支來看，低認知沖突組的Petri Net較為簡潔，其中包含對當前習題或視頻反復瀏覽的行為，部分學習者會訪問之后的學習內容;高認知沖突組的Petri Net則包含更多的非線性訪問行為，傾向頻繁訪問以往的學習內容（PV）和習題（PE）.此外，中等間隔（MI）的后繼在兩組中也存在差別：在低認知沖突組中，MI的后繼只有當前練習（CE）;而在高認知沖突組中，中等間隔的后繼指向歷史資源（PE，PV）和當前練習（CV）， 這說明學習者產生了較大的認知沖突，試圖求證、參考以往的學習內容.

進一步采用滯后序列分析檢驗兩組在二元行為模式上的差異，該方法需要統計兩兩行為之間的轉換頻次，并在此基礎上統計調整后殘差表.基于滯后序列分析理論，當調整后殘差值（Z?Score）大于1.96，則表明該二元轉換具有顯著意義.表3中列出了高/低程度認知沖突對應的學習區間中具有顯著意義的行為轉換.此外，包含間隔行為的序列通常需結合前、后繼組成三元行為模式進行解讀，因此本研究排除了中斷間隔行為.

如表3所示，高認知沖突組中，PE和PV的相互訪問形成了閉環，這說明學習者在遭遇認知沖突后，試圖通過反復對歷史知識的回顧使舊知識結構與新知識達成新的平衡，同時也存在在討論區求助 （DIS->SUB，SUB->DIS）的行為.為考察不同群體遭遇認知沖突時行為模式的變化，分別對高認知沖突組中持續型學習者和策略型學習者的資源訪問序列進行建模（圖9，10）.

從路線分支來看，兩者關注的資源各有側重，持續型學習者傾向于通過對練習的反復修改，獲得認知以及提高解決問題的能力，表現出以掌握為導向的學習策略;策略型學習者傾向于從以往練習和視頻中獲取解題線索，表現出以完成任務為指向的學習策略.由此可知，在遭遇認知沖突后，學習者雖然會體現出更多的非線性學習行為，但仍秉持一貫的學習策略.

基于資源訪問序列的認知沖突識別

研究使用N?Gram方法表征學習區間內的行為序列，并使用決策樹、支持向量機、最近鄰、隨機森林和邏輯回歸5個典型機器學習算法構建了認知沖突識別模型，并使用正確率、準確率、F1指標、ROC曲線下面積和Kappa一致性指標評估模型在9種N?Gram序列長度（2～10）和4種向量化表示方法共36種條件下的預測性能.

實驗結果表明（表4），當=5，并采用詞頻統計向量化行為子序列時，模型的預測效果最好，決策樹模型在交叉驗證測試集上的正確率為0.800，準確率為0.857，F1指標為0.657，ROC曲線下面積為0.748，Kappa一致性為0.550.其中，準確率是指標簽中的正例在模型預測正例中的占比.識別遭遇了高程度認知沖突的學習者，準確率是較為重要的指標.研究結果表明，5個算法模型的最優實例的準確率均超過了0.700，說明基于學習者的訪問流程預測學習者是否處于認知沖突狀態在很大程度上是可行的.

進一步驗證模型的可信度，將預測模型應用于未提供自我報告的學習區間生成預測標簽，然后統計各知識點遭遇認知沖突的人數，共定位了4個高困惑知識點.結合學習者在評論區的留言發現，大部分學習者掌握高困惑知識點存在困難，如“有點抽象”“自己找思路有困難”.

4? 結論

本文作者研究了在線學習者在遭遇認知沖突后，其資源訪問行為發生的變化，以及在免傳感器條件下，利用這種變化識別遭遇認知沖突的學習者，得出3個結論：

1） 在線學習者的資源訪問模式具有差異化特點，持續型學習者具有高學習投入、低學習拖延的特點，表現出能力提升導向的學習策略;策略型學習者具有高自主性的特點，表現出以績效為導向的學習策略.

2） 遭遇高程度認知沖突時，學習者均傾向于反復訪問歷史學習內容和練習，并且學習者在訪問行為上依然會秉持其一貫的學習策略，為了解高校學生在在線學習平臺上的資源訪問模式提供了有價值的見解，有助于自適應學習路線的規劃.

3） 基于學習者資源訪問序列的機器學習模型能夠在很大程度上識別陷入認知沖突的學習者，且具有盡早干預的潛力.教師往往以學習周為單位，制定學習計劃，并根據學習者的反饋修改下一周的教學策略或者改進教學資源.然而不少學習者會忘記提交自我報告，這對教師造成了困擾.通過對每周的行為數據進行建模，可以有效地補全未提交的自我報告，并發現薄弱知識點和有待提高的教學資源.研究基于學習者日志事件序列建模而非靜態統計數據或額外采集的數據，對免傳感器的認知沖突識別與應用研究具有啟發意義.

盡管本研究對在線學習環境下學習者遭遇認知沖突后的行為模式轉變提出了新的見解，并證實了基于行為序列預測學習者困惑狀態的可行性，但研究仍具有一些局限性.首先，本研究的數據均來自同一門課程，研究結果具有一定的片面性.未來的研究應該探索不同學科下學習者的認知沖突在學習行為上的體現.其次，研究僅采用N?Gram表征學習者的行為序列，未來可以考慮與其他不同的行為序列表征方式進行比較，并探索行為序列特征與靜態行為統計數據相結合的可行性.

參考文獻：

[1]? D’MELLO S K， GRAESSER A C. International Handbook of Emotions in Education [M]. London： Routledge，2014：299-320.

[2]? CHEN Y L， PAN P R， SUNG Y T， et al. Correcting misconceptions on electronics： effects of a simulation-based learning environment backed by a conceptual change model [J]. Educational Technology & Society，2013，16（2）： 212-227.

[3]? TIAM-LEE T J， SUMI K. Analysis and prediction of student emotions while doing programming exercises [C]// Proceedings of the International Conference on Intelligent Tutoring Systems. Kingston： Springer，2019：24-33.

[4]? ATAPATTU T， FALKNER K. Impact of lecturer’s discourse for students’ video engagement： video learning analytics case study of MOOCs [J]. Journal of Learning Analytics，2018，5（3）：182-197.

[5]? ALZOUBI O， D’MELLO S K， CALVO R A. Detecting naturalistic expressions of nonbasic affect using physiological signals [J]. IEEE Transactions on Affective Computing，2012，3（3）：298-310.

[6]? BIJAWAT S， KUSHWAHA R. Applying machine learning approach to detect confused mental state using EEG [J]. Juni Khyat，2020，10（6）：22-25.

[7]? ZHENG Z， NA K S. A data-driven emotion model for English learners based on machine learning [J]. International Journal of Emerging Technologies in Learning，2021，16（8）：34-46.

[8]? KHAN F A， GRAF S， WEIPPL E R， et al. Identifying and incorporating affective states and learning styles in Web-based learning management systems [J]. Interaction Design & Architecture，2010，97（9/10）：9-10.

[9]? DONNELLAN D， PAHL C. Data mining technology for the evaluation of Web-based teaching and learning systems [C]// Proceedings of the E-Learn： World Conference on E-Learning in Corporate， Government， Healthcare， and Higher Education. Norfolk： AACE，2002：1-7.

[10] LI X， WANG T， WANG H. Exploring N-Gram features in clickstream data for MOOC learning achievement prediction [C]// Proceedings of the International Conference on Database Systems for Advanced Applications. Suzhou：Springer，2017：328-339.

[11] WOOLF B， BURLESON W， ARROYO I， et al. Affect-aware tutors： recognising and responding to student affect [J]. International Journal of Learning Technology，2009，4（3/4）：129-164.

[12] MILLER B W. Using reading times and eye-movements to measure cognitive engagement [J]. Educational Psychologist， 2015，50（1）：31-42.

[13] ZHANG Z， LI Z， LIU H， et al. Data-driven online learning engagement detection via facial expression and mouse behavior recognition technology [J]. Journal of Educational Computing Research，2020，58（1）：63-86.

[14] GUO F， LI F， LYU W， et al. Bibliometric analysis of affective computing researches during 1999 similar to 2018 [J]. International Journal of Human-Computer Interaction，2020，36（9）：801-814.

[15] HARDY M， WIEBE E N， GRAFSGAARD J F， et al. Physiological responses to events during training： use of skin conductance to inform future adaptive learning systems [C]// Proceedings of the Human Factors and Ergonomics Society Annual Meeting. Los Angeles： SAGE，2013：2101-2105.

[16] D'MELLO S K， GRAESSER A. Multimodal semi-automated affect detection from conversational cues， gross body language， and facial features [J]. User Modeling and User-Adapted Interaction，2010，20（2）：147-187.

[17] YU H， GUPTA A， LEE W， et al. Measuring and integrating facial expressions and head pose as indicators of engagement and affect in tutoring systems [C]// Proceedings of the International Conference on Human-Computer Interaction. Washington D.C.： Springer，2021：219-233.

[18] BAKER D R S， GOWDA S M， WIXON M， et al. Towards sensor-free affect detection in cognitive tutor algebra [C]//? Proceedings of the 5th International Conference on Educational. Chania： WikiCFP，2012：126-133.

[19??? ]? KELKAR K， BAKAL J. Random forest algorithm for learner’s confusion detection using behavioral features [C]// Proceedings of the International Conference on Mobile Computing and Sustainable Informatics. Lalitpur： Springer，2020：551-562.

[20] BOGARIN A， CEREZO R， ROMERO C. A survey on educational process mining [J]. Wiley Interdisciplinary Reviews-Data Mining and Knowledge Discovery，2018，8（1）：e1230.

[21] DIYI Y， ROBERT E K， CAROLYN P R. Exploring the effect of student confusion in massive open online courses [J]. Journal of Educational Data Mining，2016，8（1）：52-83.

[22] CEREZO R， BOGARIN A， ESTEBAN M， et al. Process mining for self-regulated learning assessment in E-learning [J]. Journal of Computing in Higher Education，2020，32（1）：74-88.

[23] DEL VALLE R， DUFFY T M. Online learning： learner characteristics and their approaches to managing learning [J]. Instructional Science，2009，37（2）：129-149.

[24] CHI M T H， WYLIE R. The ICAP framework： linking cognitive engagement to active learning outcomes [J]. Educational Psychologist，2014，49（4）：219-243.

[25] GUO P J， REINECKE K. Demographic differences in how students navigate through MOOCs [C]// Proceedings of the First ACM Conference on Learning @ Scale. Atlanta： ACM，2014：21-30.

[26] LEHMAN B， MATTHEWS M， D’MELLO S， et al. What are you feeling？Investigating student affective states during expert human tutoring sessions [C]// Proceedings of the International Conference on Intelligent Tutoring Systems. Berlin： Springer，2008：50-59.

[27] ABIDI S M R， HUSSAIN M， XU Y， et al. Prediction of confusion attempting algebra homework in an intelligent tutoring system through machine learning techniques for educational sustainable development [J]. Sustainability，2019，11（1）： 1-21.

[28] MANDALAPU V， GONG J. Towards better affect detectors： detecting changes rather than states [C]// Proceedings of the International Conference on Artificial Intelligence in Education. London： Springer，2018：199-203.

[29] STEINLEY D. K-means clustering： a half-century synthesis [J].British Journal of Mathematical and Statistical Psychology，2006，59（1）：1-34.

[30] PENG W H. Analysis and modeling of E-learning behaivor [D]. Wuhan： Central China Normal University，2012.

[31] ROMERO C， VENTURA S. Data mining in education [J]. Wiley Interdisciplinary Reviews-Data Mining and Knowledge Discovery，2013，3（1）：12-27.

[32] SAINT J， WHITELOCK-WAINWRIGHT A， GASEVIC D， et al. Trace-SRL： a framework for analysis of microlevel processes of self-regulated learning from trace data [J]. IEEE Transactions on Learning Technologies，2020，13（4）： 861-877.

[33] SACKETT G P. Theory and Applications in Mental Retardation [M]. London： University Park Press，1978.

[34] VAN DER AALST W. Process Mining Software [M]. Berlin： Springer，2016.

[35] BAKEMAN R， QUERA V. Analyzing Interaction： Sequential Analysis with SDIS and GSEQ [M]. Cambridge： Cambridge University Press，1995.

[36] ZHU M， DOO M Y. The relationship among motivation， self-monitoring， self-management， and learning strategies of MOOC learners [J]. Journal of Computing in Higher Education，2021，33：1-22.

[37] LI S， ZHANG Y. A cluster study on MOOC students’ participation patterns： a case study of a Chinese MOOC [C]// Proceedings of the 2018 Seventh International Conference of Educational Innovation through Technology. Auckland： IEEE，2018：184-188.

[38] YANG X M， WANG H B， LI Y H， et al. The application of lag sequential analysis method in analyzing learning behavior [J]. China Educational Technology，2016（2）：17-23，32.

（責任編輯：包震宇，郁慧）