基于混合智能的學習狀態實時采集與動態分析方法

摘要：實時采集并分析課堂學習狀態，有助于教師及時掌握課堂動態、提升教學效果，但現有的方法存在實時性較弱、準確率不高等問題。對此，文章提出了一種包含學習狀態判定標準、學習狀態識別方法和課堂表現實時評價方法的學習狀態實時采集與動態分析（Learning Status Real-time Collection and Dynamic Analysis，LRD）方法。文章首先闡釋了LRD方法的工作原理，之后研發了課堂學習狀態實時采集與動態分析系統，最后通過此系統的性能實驗和有效性實驗，驗證了LRD方法具有實踐可行性和有效性。文章提出的LRD方法能夠實時、準確地識別和分析學生的學習狀態，提高教師掌握學生課堂表現的水平，為智慧教育的發展提供了一種新的研究思路和技術儲備。

關鍵詞：學習狀態；LRD方法；課堂表現；系統性能；有效性

【中圖分類號】G40-057 【文獻標識碼】A 【論文編號】1009—8097（2023）07—0108—10 【DOI】10.3969/j.issn.1009-8097.2023.07.012

課堂學習狀態能夠直接反映學生的學習興趣和對知識的理解程度，始終是任課教師分析課堂動態的重要依據。因此，研究學習狀態的采集與分析方法對于提高課堂教學效果具有重要意義，符合“數字化賦能教學質量跟蹤”的發展趨勢^[1]。目前，學習狀態采集與分析方法的相關研究已逐步發展為基于數據或論據的智能分析方法，根據數據特點又可分為統計分析法和客觀事實法^[2]。其中，統計分析法是一種以問卷調查、隨堂測驗、專家評估等方式直接獲取師生群體感官認知的常用方法^[3][4][5]，具有目的明確、重點突出、操作簡單等優勢，但數據可靠性弱、分析過程耗時長，使得分析結果的可信度低、實時性差^[6]；客觀事實法是基于隨堂視頻、學生筆記等客觀事實，利用數據挖掘、深度學習等智能技術采集和分析學生學習狀態的新型方法^[7][8]，具有數據可靠性好、自動化水平高等特點，但缺乏準確的學習狀態分類標準和判定依據^[9]，并前期訓練周期較長、數據計算量較大，致使識別精度較低、實用性不高^[10]。綜上可知，采用單一的分析方法已很難解決實時性差、準確率低的問題，因此本研究借鑒“分而治之，優勢互補”的混合智能設計思想，提出融合面部識別、機器學習、數據分析等多種技術手段的LRD方法，并研發一款課堂學習狀態實時采集與動態分析系統，以實時、準確地識別和分析學生的學習狀態。

一 LRD方法的工作原理

LRD方法由學習狀態判定標準、學習狀態識別方法、課堂表現實時評價方法三個部分組成，對應于數據采集、狀態識別、智能分析三個步驟，體現了“分解學習狀態實時采集與動態分析過程，分別采用優勢技術予以解決”的混合智能設計思想，即“分而治之，優勢互補”。LRD方法的工作原理如下：以多路攝像頭為信號源進行周期性數據采集與分析，在一個周期內，使用學習狀態識別方法定位學生的面部表情，并依據學習狀態判定標準分析學生的學習狀態，然后利用課堂表現實時評價方法完成實時課堂動態的評價，視頻信號和所有分析結果將同步反饋給任課教師，具體如圖1所示。

1 學習狀態判定標準

（1）學習狀態的分類

借鑒多維學習狀態表征體系^[11][12]，結合與多位一線教師反復研討的結果，本研究將學習狀態分為兩大類型：①專注態，是指學生正在認真聽課，表現出積極的學習狀態。根據學生的課堂表現和對學習內容的掌握程度，可將專注態劃分為掌握態、認知態和疑惑態。其中，掌握態表示學生已基本掌握了知識點，學習效果較好；認知態表示學生在集中精力認真聽講并能夠進行適當互動；疑惑態表示學生沒有完全理解知識點，存在一定的困惑或不解。②游離態，是指學生出現了思維離線，表現出消極的厭學情緒。根據學生的心理活動變化情況，可將游離態劃分為被動態和抵觸態。其中，被動態表示學生試圖認真聽課，但由于心理動機或其他客觀因素而無法投入；抵觸態表示學生對學習內容不感興趣并產生抵觸情緒。以此為基礎，本研究構建了學習狀態的判定指標體系，包含坐姿、頭部狀態和面部表情三大指標，如表1所示。

（2）學習狀態的判定特征與計算方法

坐姿、頭部狀態和面部表情是面部圖像中蘊含的三類敏感特征，可用于識別不同類型的學習狀態^[13]：①坐姿是反映學生消極或積極態度的直觀表征，其識別可依靠基本的坐姿匹配算法。②頭部狀態方面，成年人頭部轉動的角度通常圈定在[-45°， 45°]的固定范圍，據此可以通過計算多維歐拉角度認定其當前所處的行為狀態。本研究從頭頸上部動作指標中選定俯仰角F、偏航角P和滾轉角G三項特征作為頭部狀態的判定標準，分別用于反映抬/低頭程度、頭部偏斜程度和臉部扭轉程度。這三項特征的計算方法如圖2（a）所示，具體過程如下：首先計算F、P、G的數值，再通過旋轉矩陣求解F、P、G的歐拉角度，進而判定頭部狀態。③面部表情方面，選定眼、唇、眉、鼻四項特征作為學生面部表情識別的關鍵指標，這也是普遍認知能夠反映學習狀態的敏感特征。綜上所述，上述8項特征的組合可以準確地刻畫目前學生的學習動機、學習狀態和知識理解程度，具體的判定標準如表1所示，圖2（b）～圖2（f）給出了不同學習狀態的面部表情示例及特征值域。

2 學習狀態識別方法

①定位面部區域并進行必要的數據預處理：首先，定義S表示t時刻多路攝像頭采集的視頻圖像集合，采用區域搜索算法從S中取出所有面部區域；然后，利用Cys視域優選技術、幾何歸一法和灰度歸一法^[14]，消除遮擋、強光、側位、重疊等隨機噪聲干擾；最后，形成面部區域集合A={A_i}， A_i={p_i，x， p_i，y， l_i， w_i}。其中，P_i，x、P_i，y分別表示面部區域起點的橫、縱坐標，l_i、w_i分別表示高度、寬度。由于學生在課堂上不會發生過多的位移行為，因此定位操作不會在每個周期內反復進行，而是僅在初始狀態A_status的基礎上更新實際位移——此改進可以降低40%的計算量，為滿足學習狀態采集的實時性需求提供了保障。

②提取面部特征并依托前文學習狀態的判定指標體系獲取學習狀態。考慮到AdaBoost是面部特征提取的較為有效的算法之一^[15]，Haar-Like小波特征能夠快速分解面部區域并提取關鍵特征^[16]，組積分圖則可以在保證速度的同時保持隨機因子的穩定性^[17]，因此本研究在AdaBoost算法的基礎上融入Haar-Like小波特征和組積分圖，以加快學習狀態的識別速度，這也體現了混合智能的設計思想。三者的融合過程如下：首先，利用Haar-Like小波特征對面部區域進行切割，得到單項特征區域；然后，使用AdaBoost算法訓練強分類器在單項特征區域中準確地確定特征邊界，并選用二維Gabor濾波器進行面部特征提取^[18]；最后，利用組積分圖加速特征求值過程，并通過知識推理的方式輸出學習狀態的分析結果。為進一步提高面部特征的提取速度，后續可以采用PCA算法^[19]，在提取特征后進行數據降維。

3 課堂表現實時評價方法

本研究提出的課堂表現實時評價方法主要參考了課堂教學行為評價指標體系^[20]，評價指標可分為抬頭率和課堂氛圍兩項一級指標。

（1）抬頭率

抬頭率包括綜合抬頭率和瞬時抬頭率兩項二級指標，計算因子為俯仰角F。其中，綜合抬頭率刻畫了學生個人或群體上課以來的綜合表現，而瞬時抬頭率反映了某一時刻學生群體的課堂表現。

（2）課堂氛圍

利用賦分法間接評價課堂氛圍，包括課堂綜合氛圍和課堂瞬時氛圍兩項二級指標。與抬頭率的計算方法類似，這兩項二級指標分別反映了上課以來、某一時刻的課堂動態。定義w₁～w₅表示五種學習狀態對應的分值，為體現評價的合理性并凸顯游離態學生群體，賦分原則要求滿足以下約束條件：①五種學習狀態的分值依次遞減；②專注態的三種學習狀態為正分遞減，且相鄰差值小于平均值；③游離態的兩種學習狀態為負分遞減，且絕對值與專注態的賦分值接近。

每個學習周期結束時，教師可以基于已經采集的學習狀態數據，應用課堂表現實時評價方法，計算個人綜合抬頭率、群體綜合抬頭率、群體瞬時抬頭率、課堂綜合氛圍和課堂瞬時氛圍。在實踐中，個人綜合抬頭率可以用于關注游離態學生群體，其他四項可以較為全面地反映學生的課堂表現。

二 課堂學習狀態實時采集與動態分析系統

本研究團隊聯合東軟集團、卓創科技等多家國內知名企業的智慧教育軟件開發團隊，在教育部“產學合作協同育人”項目的支持下，研發了課堂學習狀態實時采集與動態分析系統（Classroom Learning Status Real-Time Collection and Dynamic Analysis System，CRAS）。CRAS是一款以LRD方法為理論基礎，采用前沿軟件架構與開發技術研發的教學輔助應用軟件系統，主要用于實踐并檢驗LRD方法的有效性，同時用于促進教學成果轉化。目前，CRAS已完成內部測試并準備推廣使用。

CRAS由基礎平臺、公共服務模塊和教學業務功能模塊組三部分組成（如圖3所示）：①基礎平臺提供用戶權限控制、操作日志管理等功能.。②公共服務模塊提供網絡信息安全管理、物聯網設備管理等功能。③教學業務功能模塊提供學習狀態實時采集、學習狀態綜合評價、教學過程調整輔助決策等功能，也是CRAS的核心功能。具體來說，學習狀態實時采集功能包括學習狀態數據實時采集、重點關注人員管理和異常行為動態預警。其中，異常行為動態預警能夠基于實時視頻信號研判當前課堂出現的異常舉動，并向任課教師及時反饋。學習狀態綜合評價功能是系統采用課堂表現實時評價方法，對個人學習狀態和課堂學習狀態進行統計與分析，并根據任課教師的教學需要或使用習慣，將學習狀態統計和分析的結果以柱狀圖、曲線圖、雷達圖等形式呈現出來。教學過程調整輔助決策功能是基于當前學生的課堂表現，結合專家先驗知識，經系統自動分析、推理，有針對性地向教師提出教學策略調整建議，并精準推送相關聯的教學資源。例如，當多數學生處于疑惑態時，系統會建議任課教師采用實例教學、分組討論等方式來加深學生對知識點的理解程度。

三 實驗設計

本實驗由CRAS的系統性能實驗和有效性實驗組成：系統性能實驗是通過分析CRAS在真實環境下的運行數據，來檢驗LRD方法的實踐可行性；有效性實驗采用師生調查問卷和學生隨堂測驗兩種方式，開展針對CRAS應用效果的主客觀評價，以此論證LRD方法是否切實提升了學習效果，進而檢驗LRD方法的有效性。

1 實驗準備

①實驗環境。本研究選取東北地區D大學超星校企共建智慧教室作為實驗場地，實驗場地由控制室、教師區和學生區組成。控制室裝有13個高清旋轉攝像頭和3塊液晶大屏幕，教師區的3個攝像頭用于記錄教師的教學行為，學生區的10個攝像頭用于實時獲取學生的面部區域。控制室的核心服務器部署了CRAS，運行界面會被實時推送至教學區的液晶大屏幕。在系統初始化時，CRAS會從多路攝像頭采集的同一名學生多個面部區域中自動選取最佳區域。

②課程選取。本研究選取黑龍江省級一流精品課“操作系統”作為實驗課程，課時選取綜合考慮知識點類型、難度、預期授課時長等因素。實驗課程的知識點涵蓋了概念理解、實踐操作、原理分析、算法設計四種類型，授課時長和知識點難度較為適中，其基本信息如表2所示。

③樣本設置。本研究選取D大學計算機科學與技術專業的56名在讀本科生作為實驗對象，并依據其當前成績績點（Grade Point Average，GPA）和專業核心課程的平均成績（Professional Core Course Average，PCA）分為實驗組（2.3≤GPA≤3.92）和對照組（2.4≤GPA≤3.95），每組均為28人（61≤PCA≤95）。兩組的獨立樣本t檢驗結果如表3所示，其中GPA、PCA的p值分別為0.995、0.988，說明兩組樣本具有一致性，分組設置比較合理。

2 系統性能實驗設計

①基本性能測試：關注的技術指標為平均響應時間、分析過程延時、面部定位的準確率和狀態識別的準確率。實驗流程是先在隨機選定的10節課中啟動CRAS（每節課時不大于45分鐘），監測并記錄CRAS運行日志；然后由系統計時器獲取平均響應時間和分析過程延時，并采用人工對比的方法計算面部定位的準確率和狀態識別的準確率；實驗結束后，對記錄結果進行分析與討論。

②穩定性測試：由專業測試工程師實施，關注的技術指標為處理器占用率、內存消耗、外存消耗和帶寬占用。實驗流程是先啟動CRAS并保持運行3小時以上，然后記錄CRAS對各類系統資源需求的變化幅度，最后評價CRAS的穩定性和資源消耗情況。

3 有效性實驗設計

（1）有效性主觀評價

有效性主觀評價由教師調查問卷和學生調查問卷兩部分組成，均以紙質問卷形式于2022年6月底發放，目的是通過收集并分析師生對CRAS的評價結果，來驗證LRD方法的有效性。

①教師調查問卷由CRAS的普及程度、操作復雜性、運行穩定性、功能全面性、用戶友好度、是否利于教學工作改善、評價準確性、獲取信息的質量、輔助決策意見的可行性共9個題目組成，調查對象為D大學計算機科學與技術專業的在職教師，共發放問卷40份、回收有效問卷40份。

②學生調查問卷從對CRAS的認知程度、評價準確性、是否影響學習過程三個方面設計了6個題目，調查對象為D大學計算機科學與技術專業的全日制本科生，共發放問卷200份、回收有效問卷200份。為保證調查結果的可靠性，測試工程師臨時開放了學習狀態查詢服務，學生可以在線查詢自己的課堂表現。

（2）有效性客觀評價

有效性客觀評價是論證LRD有效性的重要環節。本研究根據選取的四節課程設計了隨堂測驗，其題型和內容如表2所示。其中，實驗組在裝有CRAS的教室上課，對照組則在普通多媒體教室上課，每次課程結束后兩組都進行隨堂測驗。四節課程結束后，系統將匯總兩組的單次測驗成績，并計算學生平均測驗成績和分組平均測驗成績，之后進行有效性客觀評價：先采用獨立樣本t檢驗，分析實驗組和對照組后測成績的差異性；再通過配對樣本t檢驗，對比實驗組的前、后測成績；最后對比實驗組與對照組的后測成績平均值，對實驗結果展開分析與討論。

四 實驗結果的分析與討論

1 系統性能實驗數據的分析與討論

基本性能測試的運行結果如表4所示，可以看出：平均響應時間的值域為56～81ms，分析過程延時的值域為69～85μs，說明CRAS的響應和延遲時間極短，運行較為流暢；面部定位的準確率＞95.8%，狀態識別的準確率＞97.2%，說明CRAS面部定位和狀態識別的準確率較高。

穩定性測試的運行結果如表5所示，可以看出：處理器占用率始終＜20%，內存消耗始終≤95Mb，外存消耗控制在180Mb/h以內，帶寬占用≤1.1Mb/s，說明CRAS資源消耗量相對較低，能夠長時間穩定運行。需注意的是，CRAS在初始運行時由于需要加載面部定位和數據預處理模塊，因此會大量占用CPU并急劇消耗內存資源，但很快就能進入低耗、平穩的運行狀態。

2 有效性實驗數據的分析與討論

（1）有效性主觀評價數據的分析與討論

教師問卷調查結果顯示，目前D大學計算機科學與技術專業已有近90%的教師經常使用CRAS，且認為其操作簡單、運行穩定、用戶體驗友好，其反饋的信息與授課教師的主觀評價結果基本一致，能夠客觀、準確地跟蹤和評價學生的課堂表現，有助于教師實時掌握課堂動態并隨實際情況做出教學調整。

學生問卷調查結果顯示，91%的學生知道目前學校教室配備有CRAS，但并沒有對教學環境產生干擾；96.5%的學生認為CRAS反饋的結果與自己的課堂學習狀態相符，有利于課后反思自己的不足之處。此外，70%以上的學生認為CRAS具有一定的警示作用，能于無形之中督促自己時刻保持較好的學習狀態。

（2）有效性客觀評價數據的分析與討論

實驗組和對照組的前、后測成績如表6所示。其中，平均測驗成績（Average Test Score，ATS）被設定為后測成績，而PCA被設定為前測成績。本研究采用Jarque-Bera檢驗方法對實驗組的后測成績進行正態性校驗，樣本數n=28，x²=0.446，df=2，p=0.800，說明后測成績呈現出顯著的正態分布特點。

本研究采用獨立樣本t檢驗對比實驗組和對照組的后測成績，結果如表7所示。同時，本研究采用配對樣本t檢驗對比實驗組的前、后測成績，結果如表8所示。表7、表8顯示，獨立樣本t檢驗結果t=2.168，p=0.035，配對樣本t檢驗結果t=5.104，p＜0.001，說明實驗組和對照組的后測成績、實驗組的前測成績和后測成績均存在顯著差異。

進一步深入分析實驗結果，本研究發現：①實驗組的后測成績平均值比對照組提高了3.89分，比前測成績平均值提高了4.54分，整體成績有了明顯提高；②實驗組后測成績的標準差（6.15）不僅低于其前測成績的標準差（9.72），而且低于對照組后測成績的標準差（7.24），說明實驗組的后測成績波動較小、學生個體表現相對穩定。

上述基本性能測試和穩定性測試的運行結果表明，CRAS的資源需求量較少、運行穩定，具有較高的實用價值。同時，本研究從主、客觀評價兩個角度驗證了CRAS有助于教師掌握課堂整體表現、及時做出教學調整，并有利于提高學生的課堂學習效果，對于保障教學質量也有促進作用，由此驗證了LRD方法的有效性。此外，CRAS作為一種教學輔助工具，在提升教師教學自信的同時，也會對學生學習起到敦促和提醒的作用。

五 結語

基于混合智能的設計思想、融合多種人工智能技術來輔助提高教學質量和教學水平，是《“十四五”國家信息化規劃》中關于“構建高質量教育支撐體系”的重要手段^[21]，為解決教育改革領域的相關問題提供了一條新的解決路徑。LRD方法正是這一背景下的研究成果，不僅可以彌補教學過程性分析與評價能力的不足，而且有助于形成“基于客觀證據”的教育新形態。本研究通過CRAS的系統性能實驗和有效性實驗，驗證了LRD方法的實踐可行性和有效性。然而，體現課堂表現的數據并不僅限于學習狀態數據，還涉及其他維度的課堂表現數據，這些數據的潛在價值有待充分挖掘。為此，后續研究將對LRD方法進行拓展和延伸，開展對其他維度課堂表現數據的實時采集與分析，并嘗試與學習狀態數據相結合進行多維度、多尺度的綜合研判，以充分利用各種前沿智能技術的優勢進行教學行為的深度挖掘與測評診斷，加速智慧教室、智慧學校的建設，助力終身數字教育的實現。

————————

參考文獻

[1]張文梅，祁彬斌，范文翔.數據驅動的教學行為分析：現狀、邏輯與發展趨向[J].遠程教育雜志，2021，（1）：84-93.

[2]蓋君芳，黃寶忠.教育人工智能：新的革命[J].浙江大學學報（人文社會科學版），2022，（6）：53-65.

[3]路遠，李彥敏.基于雷達圖法的在線學習狀態綜合評價框架設計[J].中國教育信息化，2020，（11）：30-34.

[4]馮曉英，劉月，吳怡君.學習者在線學習水平的學習分析模型研究——臨場感學習分析模型構建與方法探索[J].電化教育研究，2018，（7）：40-48.

[5]晉欣泉，王林麗，楊現民.基于大數據的在線學習情緒測量模型構建[J].現代教育技術，2016，（12）：5-11.

[6]肖鳳翔，張雙志.算法教育治理：技術邏輯、風險挑戰與公共政策[J].中國電化教育，2020，（1）：76-84.

[7]周楠，周建設.基于深度學習的學生行為分析與教學效果評價[J].現代教育技術，2021，（8）：102-111.

[8]Patel A， Vidyarthi A. PTXNet： An extended UNet model based segmentation of pneumothorax from chest radiography images[J]. Expert Systems， 2022，（3）：1-15.

[9]趙麗，賀瑋，王洋.人工智能支持的課堂教學行為分析：困境與路徑[J].電化教育研究，2022，（1）：86-92.

[10]劉浩，劉笑笑，辛濤.人工智能賦能基礎教育監測的應用與挑戰[J].北京師范大學學報（社會科學版），2022，（2）：136-142.

[11]王天平，楊玥瑩，張嬌，等.教師視野中的學生深度學習三維狀態表征體系構建[J].現代遠程教育研究，2021，（5）：63-71、81.

[12]張逸謙，王志強，梁正平.基于托普利茲逆協方差的學習狀態挖掘算法[J].現代教育技術，2021，（8）：119-126.

[13]Ferrario V F， Sforza C， Pizzini G ， et al. Sexual dimorphism in the human face assessed by euclidean distance matrix analysis[J]. Journal Of Anatomy， 1993，183：593-600.

[14]Bagherzadeh J， Asil H. Proposing a new method of image classification based on the AdaBoost deep belief network hybrid method[J]. Telecommunication Computing Electronics and Control， 2019，（5）：2650-2668.

[15]李美娟，高婧穎，陳莞.基于歸一化雙向投影法的動態評價方法[J].系統科學與數學，2021，（10）：2730-2742.

[16]Cheng E， Prasad M， Yang J， et al. A fast fused part-based model with new deep feature for pedestrian detection and security monitoring[J]. Measurement， 2020，151：107081.

[17]Hou C， Xu W， Luo M. Integral function to optimize mass exchange network synthesis model[J]. Journal of Chemical Engineering of Japan， 2020，（6）：254-266.

[18]周德龍，張捷，朱思聰.多方向多尺度Gabor特征表示及其匹配算法[J].電子學報，2019，（9）：1998-2002.

[19]王春夢，王子熠，孟凡彬，等.基于Gabor和PCA的面部圖像識別方法[J].信息技術，2021，（2）：20-25、32.

[20]炕留一，葉海智，張瑾，等.基于多維數據的課堂教學行為評價研究[J].現代教育技術，2022，（4）：68-77.

[21]中國網信網.“十四五”國家信息化規劃發布[OL]. lt;http：//www.cac.gov.cn/2021-12/27/c_1642205314518676.htmgt;

Learning Status Real-time Collection and Dynamic Analysis Method Based on Hybrid Intelligence

ZHANG Ke-jia¹""" TIAN Feng¹""" WANG Bo²""" SUN Fei³""" LIU Tao¹

（1. School of Computer amp; Information Technology， Northeast Petroleum University， Daqing， Heilongjiang， China 163318;

2. School of Software and Microelectronics， Peking University， Beijing， China 102600;

3. School of Economics and Management， Northeast Petroleum University， Daqing， Heilongjiang， China 163318）

Abstract： Real-time collection and analysis of classroom learning status can help teachers grasp classroom dynamics in time and improve teaching effect， but the existing methods have problems of weak real-time and low accuracy. In this regard， the paper proposed a learning status real-time collection and dynamic analysis （LRD） method containing the criterion of learning status， the recognition method of learning status and the real-time evaluation method of classroom performance. Firstly， this paper explained the working principle of the LRD method. Secondly， a classroom learning status real-time collection and dynamic analysis system was developed. Finally， by the property and effectiveness experiments of this system， the practical feasibility and effectiveness of the LRD method were validated. The LRD method proposed in this paper can identify and analyze students’ learning status in real time and accurately， improve the level of teachers to grasp the students’ classroom performance， and provide a new research idea and technical reserve for the development of wisdom education.

Keywords： learning status; LRD method; classroom performance; system property; effectiveness