聯(lián)合面部線索與眼動特征的在線學(xué)習(xí)專注度識別 *

武法提，賴 松，高姝睿，李魯越，任偉祎

(1.北京師范大學(xué) 教育學(xué)部 教育技術(shù)學(xué)院，北京 100875；2.北京師范大學(xué) 數(shù)字學(xué)習(xí)與教育公共服務(wù)教育部工程研究中心，北京 100875)

一、引言

隨著信息技術(shù)的發(fā)展，在線學(xué)習(xí)受到越來越多的關(guān)注，逐漸成為不可或缺的一種學(xué)習(xí)方式。與傳統(tǒng)的面對面學(xué)習(xí)不同，在線學(xué)習(xí)打破了時(shí)空界限，學(xué)習(xí)者可以隨時(shí)隨地開展學(xué)習(xí)，并能根據(jù)自身需求靈活選擇學(xué)習(xí)內(nèi)容、合理規(guī)劃學(xué)習(xí)安排。盡管在線學(xué)習(xí)具有諸多優(yōu)勢，但時(shí)空分離的學(xué)習(xí)方式使得教師實(shí)時(shí)監(jiān)控學(xué)習(xí)者成為較大挑戰(zhàn)，學(xué)習(xí)者也因缺少監(jiān)督及與教師和同伴的情感交流而出現(xiàn)難以專注于學(xué)習(xí)的情況，這會在很大程度上影響學(xué)習(xí)者對學(xué)習(xí)內(nèi)容的記憶與加工，從而影響學(xué)習(xí)效果，因此在線學(xué)習(xí)的專注度問題亟需得到關(guān)注與探究。為了幫助學(xué)習(xí)者意識到在線學(xué)習(xí)時(shí)自身的專注狀態(tài)，并幫助教師及時(shí)了解學(xué)習(xí)者情況，以據(jù)此調(diào)整教學(xué)策略，探索有效的在線學(xué)習(xí)專注度評估方法顯得尤為重要。

傳統(tǒng)的學(xué)習(xí)專注度評估方式主要有兩類，一類是由教師通過觀察學(xué)習(xí)者的外部行為表現(xiàn)(如肢體語言、面部表情等)判斷其專注程度，另一類則是由學(xué)習(xí)者進(jìn)行專注狀態(tài)的自我報(bào)告，這兩類方法均存在一定主觀性，且難以實(shí)現(xiàn)對專注度實(shí)時(shí)、動態(tài)的評估，無法滿足在線學(xué)習(xí)的評估要求。隨著數(shù)據(jù)采集技術(shù)的成熟，教與學(xué)過程變得透明化，大量學(xué)者對如何基于學(xué)習(xí)者數(shù)據(jù)實(shí)現(xiàn)專注度的自動分析進(jìn)行了探究。其中，較為常見的一種方法便是假設(shè)學(xué)習(xí)者在處于不同的專注狀態(tài)時(shí)，會表現(xiàn)出不同的非語言行為，因此可使用攝像頭以非侵入的方式采集學(xué)習(xí)者的計(jì)算機(jī)視覺數(shù)據(jù)，從中提取相關(guān)特征，并通過不同的機(jī)器學(xué)習(xí)方法識別學(xué)習(xí)專注度，該類方法已取得了不錯(cuò)的識別效果。目前，體現(xiàn)個(gè)體外在行為表現(xiàn)的計(jì)算機(jī)視覺數(shù)據(jù)得到廣泛關(guān)注，而反映學(xué)習(xí)者信息關(guān)注范圍的眼動數(shù)據(jù)卻少有用于專注度識別。先前研究已發(fā)現(xiàn)，眼球運(yùn)動與人類的認(rèn)知和大腦活動之間存在著密切聯(lián)系[1][2]，可識別吸引學(xué)習(xí)者注意的內(nèi)容和潛意識行為。由此眼動追蹤技術(shù)也常用于多媒體學(xué)習(xí)研究領(lǐng)域，是一種記錄學(xué)習(xí)者行為與狀態(tài)的有效方法[3]，故同樣具有識別在線學(xué)習(xí)專注度的可能。因此，本研究試圖探究結(jié)合面部線索與眼動特征來預(yù)測專注度的有效性，助力實(shí)現(xiàn)在線學(xué)習(xí)專注度的精準(zhǔn)識別，為優(yōu)化在線學(xué)習(xí)過程、提升在線學(xué)習(xí)效果提供有力支持。

二、相關(guān)研究

(一)面部線索是識別學(xué)習(xí)專注度的有效特征

從計(jì)算機(jī)視覺數(shù)據(jù)中提取面部線索、身體姿態(tài)等特征是識別專注度的常用方法。由于在線學(xué)習(xí)場景的特殊性，身體姿態(tài)難以被完整記錄，而通過高清攝像頭伴隨式地采集學(xué)習(xí)者的眼睛注視方向、頭部姿態(tài)、面部特征等面部線索數(shù)據(jù)易在在線學(xué)習(xí)場景中實(shí)現(xiàn)，因此，從該類數(shù)據(jù)中提取相應(yīng)特征并建立學(xué)習(xí)專注度識別模型，是診斷在線學(xué)習(xí)專注狀態(tài)的有效方式，先前大量研究結(jié)論也證實(shí)了通過以上面部線索識別專注度的可行性。眼睛注視方向是通過個(gè)體眼球在三維空間中的注視點(diǎn)坐標(biāo)識別出的視線關(guān)注點(diǎn)，是判斷學(xué)習(xí)者是否將注意力集中于學(xué)習(xí)內(nèi)容的重要依據(jù)：例如鄭天陽通過計(jì)算學(xué)習(xí)者眼神在左右方向、上下方向的偏移值是否在合理范圍內(nèi)來判斷專注狀態(tài)[4]；Daniel等人則證實(shí)學(xué)習(xí)者對相應(yīng)任務(wù)的注視時(shí)間、注視率、注視次數(shù)等是識別專注度的有效指標(biāo)[5]。類似地，反映學(xué)習(xí)者頭部偏轉(zhuǎn)情況的頭部姿態(tài)也可較好地反映學(xué)習(xí)者的注意力范圍，從而判斷其是否專注于學(xué)習(xí)：如Useche等人認(rèn)為可通過學(xué)習(xí)者頭部的俯仰值與偏航值判斷其是否專注[6]，Xu等人同樣通過頭部的俯仰角、偏航角與旋轉(zhuǎn)角實(shí)現(xiàn)了較高精度的專注度識別[7]。面部特征則能通過個(gè)體五官的動作單元反映其情緒、疲勞程度等狀態(tài)，同樣是識別專注度的可行依據(jù)：如劉冀偉等人[8]與Peng等人[9]均是通過人臉的眉毛、眼睛、嘴巴等部位的運(yùn)動特征實(shí)現(xiàn)了較高準(zhǔn)確率的專注度識別；郭曉旭[10]、Sharma等人[11]、Gerard等人[12]均通過學(xué)習(xí)者的面部特征識別其表情，并通過給每種表情賦予不同權(quán)重從而計(jì)算學(xué)習(xí)專注度分?jǐn)?shù)；張雙喜則基于學(xué)習(xí)者的眨眼及哈欠情況判斷其是否疲勞，并通過計(jì)算疲勞幀數(shù)比例判斷其是否專注[13]。

此外，也有研究在識別專注度時(shí)融合了以上幾類面部線索，表現(xiàn)出更高的識別準(zhǔn)確率：Li等人使用面部特征、眼睛注視方向等特征訓(xùn)練專注度識別模型，得出識別準(zhǔn)確率為73.3%，相較于單獨(dú)使用面部特征或眼睛注視方向，準(zhǔn)確率分別提升了4.67%及15.66%[14]；熊碧輝融合了學(xué)習(xí)者的眼睛注視方向、頭部姿態(tài)、面部特征，通過計(jì)算3秒內(nèi)無人臉幀數(shù)、頭部偏離幀數(shù)、眼睛閉合幀數(shù)和視線偏離幀數(shù)等占內(nèi)總幀數(shù)的比值判斷學(xué)習(xí)者是否出現(xiàn)了不專注狀況，最終獲得了89.3%的準(zhǔn)確率[15]；阮益權(quán)則將有無人臉、眼睛開閉、視線落點(diǎn)等作為判斷學(xué)習(xí)者是否專注的依據(jù)，發(fā)現(xiàn)單一特征類型的最高準(zhǔn)確率為74.1%，而融合全部特征依據(jù)后準(zhǔn)確率高達(dá)91.9%[16]。可見，大量研究已證實(shí)，通過計(jì)算機(jī)視覺數(shù)據(jù)提取的面部線索是識別專注度的有效特征。

(二)眼動特征具有識別專注度的較高潛力

近年來，隨著眼動儀智能化程度的不斷提高，眼動追蹤技術(shù)常被用于多媒體學(xué)習(xí)領(lǐng)域。根據(jù)Just與Carpenter提出的“眼-腦”(Eye-Mind)假設(shè)，眼球運(yùn)動為個(gè)體注意力的分配提供了動態(tài)追蹤的可能[17]，即眼動特征與信息加工機(jī)制有著密切的聯(lián)系[18]。眼動特征中常關(guān)注的指標(biāo)包括視線落點(diǎn)、注視時(shí)間及次數(shù)、眼跳路徑等：視線落點(diǎn)反映了個(gè)體所關(guān)注的具體信息區(qū)域，可明確其注意的位置和范圍；注視時(shí)間反映了加工難度與注意量，注視時(shí)間越長，一般說明在相應(yīng)區(qū)域投入的注意量越多，信息處理可能會表現(xiàn)出復(fù)雜深入的特點(diǎn)[19]；眼跳路徑則是個(gè)體注意力的動態(tài)轉(zhuǎn)移軌跡，能反映更為精細(xì)的視覺加工信息，如著名的帕福利迪斯實(shí)驗(yàn)發(fā)現(xiàn)，閱讀困難者的回視路徑更多，因此可認(rèn)為閱讀困難兒童負(fù)責(zé)行為順序的中樞存在缺陷，進(jìn)而導(dǎo)致注意力的持續(xù)時(shí)間較短[20]。

由于專注度是注意集中程度的體現(xiàn)，故而眼動特征也為學(xué)習(xí)專注度的識別提供了可能性。目前，有少量研究探索了采用眼動特征識別專注度的可行性：例如D' Mello等人聚焦于在線閱讀場景，基于學(xué)習(xí)者對閱讀材料整體的注視頻率、注視持續(xù)時(shí)間、眼跳長度等全局特征以及不同長度單詞的閱讀時(shí)間、跳過的單詞數(shù)量、首次注視長度等關(guān)注材料詞匯的局部特征判定其是否專注于學(xué)習(xí)內(nèi)容，結(jié)果顯示全局特征的識別精度高于局部特征，且結(jié)合全局特征與局部特征的識別準(zhǔn)確率最高[21]；Bixler等同樣關(guān)注到在線閱讀時(shí)的全局特征與局部特征，證實(shí)了采用眼動數(shù)據(jù)識別閱讀專注度的可行性[22]；Veliyath等人則從學(xué)習(xí)者的眼動數(shù)據(jù)中提取出其眼球注視位置、被查看的任務(wù)位置及相應(yīng)的時(shí)間戳等特征，使用四種機(jī)器學(xué)習(xí)方法進(jìn)行專注狀態(tài)評估，最佳方法的識別準(zhǔn)確率為77%[23]。可見，眼動特征具有較高的專注度識別潛力。

通過現(xiàn)有研究可以發(fā)現(xiàn)，結(jié)合多模態(tài)特征可以顯著提升學(xué)習(xí)專注度評估模型的性能，但目前，多數(shù)相關(guān)研究集中在從計(jì)算機(jī)視覺數(shù)據(jù)中提取的面部線索特征組合上，少有學(xué)者同時(shí)結(jié)合眼動數(shù)據(jù)預(yù)測學(xué)習(xí)專注度，這種組合可能會為專注度識別補(bǔ)充額外的有效信息，進(jìn)而提高識別效果。因此，本研究通過伴隨式采集學(xué)習(xí)者在線學(xué)習(xí)中的過程性視頻數(shù)據(jù)和眼動數(shù)據(jù)，分別提取面部線索特征與眼動特征，通過傳統(tǒng)機(jī)器學(xué)習(xí)方法構(gòu)建學(xué)習(xí)專注度評估模型，以探索對學(xué)習(xí)專注度的識別效果。

三、研究過程與方法

(一)實(shí)驗(yàn)場景

在在線學(xué)習(xí)中，閱讀是基于文本材料獲取并理解知識的重要途徑，也是常見的學(xué)習(xí)任務(wù)。本研究則聚焦在線閱讀場景，實(shí)驗(yàn)環(huán)境設(shè)置如圖1所示。該學(xué)習(xí)場景選定在實(shí)驗(yàn)室中，室內(nèi)有可正常使用的辦公桌椅、臺式電腦等物理硬件，主要光照為日光燈。實(shí)驗(yàn)過程中，需要伴隨式采集的數(shù)據(jù)包括面部線索數(shù)據(jù)以及眼動數(shù)據(jù)；同時(shí)采集能較為客觀、準(zhǔn)確地反映被試專注度的腦電數(shù)據(jù)[24]，以標(biāo)定專注度真值。因此，實(shí)驗(yàn)中需配備的數(shù)據(jù)采集硬件設(shè)備包括三類：(1)內(nèi)置ThinkGear AM芯片的腦電頭帶設(shè)備，采集大腦的Alpha波、Beta波、Theta波等信號數(shù)據(jù)及由其系統(tǒng)計(jì)算的學(xué)習(xí)專注度數(shù)據(jù)(0—100)；(2)Logitech網(wǎng)絡(luò)攝像頭，固定在顯示器的上邊緣中間位置，分辨率為1920×1080，采集被試的計(jì)算機(jī)視覺數(shù)據(jù)；(3)Tobii X2-60眼動儀，固定在顯示器的下邊緣中間位置，與被試雙眼的距離約為70cm， 采集被試的眼動數(shù)據(jù)。

圖1 環(huán)境設(shè)置

(二)實(shí)驗(yàn)材料

實(shí)驗(yàn)以一篇插圖文本形式的閱讀材料作為實(shí)驗(yàn)材料(如圖2所示)，材料主題為龍卷風(fēng)的產(chǎn)生原理，由標(biāo)題部分、文本部分、插圖部分和思考題部分組成。文本部分包括三個(gè)部分：第一部分簡要描述了龍卷風(fēng)是什么；第二部分詳細(xì)闡述了龍卷風(fēng)是如何形成的；第三部分則介紹了龍卷風(fēng)的分類。材料中包含兩張插圖：第一張插圖呈現(xiàn)了龍卷風(fēng)的形態(tài)；第二張插圖則與文本中的第二部分相關(guān)，詳細(xì)描述了氣流運(yùn)動的過程。思考題部分包含三道與文章主題相關(guān)的題目，被試可在完成材料閱讀后進(jìn)行思考。整份閱讀材料可完整顯示在屏幕上，閱讀時(shí)間為10分鐘。閱讀實(shí)驗(yàn)完成后，被試需完成由三道思考題組成的后測問卷，三個(gè)問題的分值均為6分，根據(jù)答案的正確性和完整性程度進(jìn)行評分。

圖2 閱讀材料

(三)實(shí)驗(yàn)對象

實(shí)驗(yàn)面向北京某高校招募了61名非地理專業(yè)的大四學(xué)生(24名男生，37名女生)作為被試，全部被試的視力正常或矯正視力正常。被試本著自愿的原則參與該實(shí)驗(yàn)，實(shí)驗(yàn)前全部被試均簽署了知情同意書，并在實(shí)驗(yàn)結(jié)束后收到實(shí)驗(yàn)酬金。

(四)實(shí)驗(yàn)流程

被試到達(dá)實(shí)驗(yàn)地點(diǎn)后，主試先向其介紹實(shí)驗(yàn)過程與注意事項(xiàng)，被試在無疑問后，需填寫背景信息問卷，而后主試調(diào)試攝像頭以確保被試人臉可被完整捕捉，調(diào)整Tobii X2-60眼動儀以校準(zhǔn)被試眼睛，并幫助被試佩戴腦電頭帶設(shè)備；全部設(shè)備連接無誤后，被試需進(jìn)行5分鐘的基線測試，也作為被試熟悉實(shí)驗(yàn)環(huán)境的時(shí)間，之后正式開始實(shí)驗(yàn)。在實(shí)驗(yàn)過程中，被試仔細(xì)閱讀顯示器上的學(xué)習(xí)材料，并在10分鐘之內(nèi)完成閱讀。閱讀結(jié)束后，被試按下鍵盤上的空格鍵，由主試保存設(shè)備采集的數(shù)據(jù)并幫助被試摘除設(shè)備；而后被試需填寫有關(guān)學(xué)習(xí)主題的知識后測問卷，以明確被試對知識的掌握程度。

四、數(shù)據(jù)預(yù)處理

實(shí)驗(yàn)完成后，對采集的多模態(tài)數(shù)據(jù)進(jìn)行檢查與篩選，剔除數(shù)據(jù)采集有誤的樣本，最終獲得55個(gè)有效樣本，每個(gè)樣本均包含視頻數(shù)據(jù)、眼動數(shù)據(jù)與腦電數(shù)據(jù)。其中，視頻數(shù)據(jù)的相關(guān)指標(biāo)提取流程如圖3所示，即通過開源工具箱Open Face逐幀分解圖像[25]，對每一幀圖像進(jìn)行人臉檢測、面部特征點(diǎn)估計(jì)、面部特征輸出等步驟從而計(jì)算抽象特征，集成后獲得包含眼部視線方向、頭部姿態(tài)、面部動作單元等特征向量，并通過統(tǒng)計(jì)分析計(jì)算相應(yīng)的均值、標(biāo)準(zhǔn)差、最小值與最大值等，共提取104個(gè)具體指標(biāo)；眼動數(shù)據(jù)則通過Tobii Studio軟件進(jìn)行預(yù)處理[26]，首先使用區(qū)域劃分工具將閱讀材料標(biāo)記為文本部分、插圖部分與思考題部分三個(gè)興趣區(qū)，而后導(dǎo)出在時(shí)域與空域上皆有追蹤痕跡的眼動數(shù)據(jù)，并提取出各興趣區(qū)的眼動特征，通過統(tǒng)計(jì)分析共得到12個(gè)眼動數(shù)據(jù)的量化指標(biāo)，如表1所示；腦電數(shù)據(jù)則由頭戴式設(shè)備采集，根據(jù)eSense的相關(guān)參數(shù)[27]，將具體的專注度數(shù)值劃分為高(簡稱H，數(shù)值為60—100)、中(簡稱M，數(shù)值為40—60)、低(簡稱L，數(shù)值為0—40)三種類型，以確定專注度標(biāo)簽。此外，因不同特征的量綱不同，特征的實(shí)際數(shù)值間差異較大，不具備直接比較的意義，故使用Z-Score標(biāo)準(zhǔn)化方法將116個(gè)指標(biāo)的取值轉(zhuǎn)化為標(biāo)準(zhǔn)分?jǐn)?shù)。

圖3 面部線索特征提取流程

表1 視頻數(shù)據(jù)與眼動數(shù)據(jù)的相關(guān)指標(biāo)

續(xù)表1

五、研究結(jié)果

(一)學(xué)習(xí)專注度的分類結(jié)果

完成數(shù)據(jù)處理后，選擇六個(gè)常用且有效的機(jī)器學(xué)習(xí)方法同時(shí)執(zhí)行具有三類學(xué)習(xí)專注度標(biāo)簽的分類任務(wù)，包括單一規(guī)則法(OneRule)、線性邏輯回歸(SimpleLogistic)、支持向量機(jī)(SVM)、貝葉斯網(wǎng)絡(luò)(BayesNet)、決策樹(DecisionTree)與隨機(jī)森林(RandomForest)。為了評估和比較以上六種方法的預(yù)測性能，將基于混淆矩陣計(jì)算得出的準(zhǔn)確率、精確率、召回率和F1分?jǐn)?shù)作為性能參數(shù)[28]。此外，為了減少有監(jiān)督機(jī)器學(xué)習(xí)方法中常見的過度擬合問題，利用交叉驗(yàn)證來提高最終預(yù)測模型的魯棒性：采用五折交叉驗(yàn)證配置來訓(xùn)練和測試分類模型，即整個(gè)特征數(shù)據(jù)集被隨機(jī)分為5份子樣本，其中4份子樣本作為訓(xùn)練數(shù)據(jù)，1份子樣本作為驗(yàn)證數(shù)據(jù)，在選取可用的子樣本作為驗(yàn)證數(shù)據(jù)后，得出的性能指標(biāo)數(shù)值是5次迭代的平均值。一般而言，對于特定的分類任務(wù)，分類性能更好的方法具有更強(qiáng)大的預(yù)測能力，通常會被優(yōu)先選擇，而任何比基線分類器性能更好的模型實(shí)際上均是有效的，本研究則選擇OneRule作為基線分類器。

為了明確結(jié)合視頻數(shù)據(jù)和眼動數(shù)據(jù)提高學(xué)習(xí)專注度識別的準(zhǔn)確性，分別評估了單模態(tài)和多模態(tài)的機(jī)器學(xué)習(xí)模型的分類性能，如下頁表2所示。根據(jù)分析結(jié)果，基于從視頻數(shù)據(jù)中提取的面部線索特征的識別學(xué)習(xí)專注度的效果普遍并不理想，其中SVM、DecisionTree與RandomForest的表現(xiàn)不如OneRule基線分類器，所有性能參數(shù)均低于0.500。而眼動模型整體的評估效果較好，全部識別性能參數(shù)均高于0.500，能較為有效地區(qū)分不同的學(xué)習(xí)專注程度。此外，多模態(tài)模型的學(xué)習(xí)專注度評估性能整體優(yōu)于基于單個(gè)模態(tài)的模型，性能參數(shù)值至少提高5.5%，且不論是單模態(tài)模型還是多模態(tài)模型，BayesNet方法的預(yù)測表現(xiàn)都是最優(yōu)的，尤其在多模態(tài)模型中的識別準(zhǔn)確率達(dá)到了0.745，是較為理想的識別結(jié)果。

表2 學(xué)習(xí)專注度分類結(jié)果

(二)不同特征對專注度分類結(jié)果的混淆概率

為了對比眼動模型與視頻模型的識別能力，本研究基于混淆矩陣計(jì)算了兩類特征對專注度類別的混淆概率，如圖4所示。通過分析可知，在視頻模型中，H被混淆為M的概率是14.3%，反之則為18.2%， M被混淆為L的概率是36.4%，反之為42.1%；在眼動模型中，H被混淆為M的概率是14.3%，反之則為13.6%，而M被混淆為L的概率是18.2%，反之則為21%。可見，眼動特征比面部線索特征對M和L的識別精度更高。總之，相比較而言，眼動特征比面部線索特征具有更強(qiáng)的學(xué)習(xí)專注度識別能力。

圖4 不同特征的學(xué)習(xí)專注度類別混淆概率

(三)眼動特征的有效性驗(yàn)證

為了進(jìn)一步驗(yàn)證融合常用的面部線索特征與眼動特征識別專注度的有效性，使用配對樣本t檢驗(yàn)測試了有無眼動特征的學(xué)習(xí)專注度分類F1分?jǐn)?shù)的差異，分析結(jié)果如表3所示。實(shí)驗(yàn)結(jié)果顯示，除了SimpleLogistic方法外，其它方法呈現(xiàn)的結(jié)果均表現(xiàn)出了不同水平的顯著差異。可見，使用從眼動數(shù)據(jù)中提取的特征明顯提高了分類器的預(yù)測能力。

表3 眼動特征的有效性檢驗(yàn)

(四)專注度與后測成績的相關(guān)性分析

為明確專注度與學(xué)習(xí)結(jié)果的關(guān)系，判斷專注度是否會顯著影響學(xué)習(xí)者的學(xué)習(xí)成效，本研究對被試在實(shí)驗(yàn)過程中的平均專注度與后測成績進(jìn)行了相關(guān)性檢驗(yàn)。分析結(jié)果顯示，平均專注度與后測成績在0.001水平上呈中等程度的顯著正相關(guān)，相關(guān)系數(shù)為0.536。可見，學(xué)習(xí)越專注的學(xué)習(xí)者，其學(xué)習(xí)成效越好。

六、分析與討論

(一)眼動特征比面部線索具有更好的識別潛力

通過分類結(jié)果可知，基于眼動特征的識別準(zhǔn)確率整體高于面部線索，眼動特征的最佳識別準(zhǔn)確率可高于面部線索14.5%；根據(jù)分類結(jié)果的混淆概率，眼動特征對中專注狀態(tài)與低專注狀態(tài)的識別精度明顯高于面部線索。可見，相較于面部線索，眼動特征具有更好的專注度識別能力，尤其表現(xiàn)在對中專注狀態(tài)與低專注狀態(tài)的診斷上，而在在線學(xué)習(xí)中，低專注狀態(tài)往往更需師生關(guān)注，且也是后續(xù)開展學(xué)習(xí)干預(yù)的重要依據(jù)：具體來說，若將過多中專注狀態(tài)混淆為低專注狀態(tài)，難免造成學(xué)習(xí)者接受不必要干預(yù)的現(xiàn)象，干擾其正常學(xué)習(xí)；若將低專注狀態(tài)識別為中專注狀態(tài)，則會導(dǎo)致相應(yīng)學(xué)習(xí)者未能接受必要的教學(xué)指導(dǎo)，難以實(shí)現(xiàn)在線學(xué)習(xí)專注度診斷的核心價(jià)值。因此，眼動是更具備專注度識別潛力的有效特征。

面部線索中的眼部視線、頭部姿態(tài)、面部動作單元等特征是從學(xué)習(xí)者個(gè)體出發(fā)，明確其主要關(guān)注的內(nèi)容范圍以及從面部動作中反映出的內(nèi)部狀態(tài)；而眼動特征則是關(guān)注學(xué)習(xí)者對學(xué)習(xí)材料認(rèn)知加工的實(shí)際落點(diǎn)，揭示其視覺信息的選擇模式及信息加工機(jī)制[29]。眼動特征表現(xiàn)出更好的在線學(xué)習(xí)專注度識別效果，其原因可能是：從特征產(chǎn)生上來看，在線學(xué)習(xí)時(shí)學(xué)習(xí)者僅能與固定范圍的機(jī)器進(jìn)行人機(jī)交互，產(chǎn)生的動作幅度較小，且實(shí)驗(yàn)時(shí)間較短，學(xué)習(xí)者尚未進(jìn)入身體疲勞狀態(tài)或放松狀態(tài)，能出現(xiàn)的頭部姿態(tài)變化與面部動作單元十分有限，導(dǎo)致學(xué)習(xí)者處于不同專注狀態(tài)時(shí)的面部表現(xiàn)差異不大，故而面部線索對專注度識別的貢獻(xiàn)較小；從特征本身的特性來看，眼動特征與面部線索分別關(guān)注學(xué)習(xí)者的內(nèi)部與外部特征，而對于無教師引導(dǎo)、僅能由學(xué)習(xí)者自行安排學(xué)習(xí)進(jìn)度與策略的在線學(xué)習(xí)，學(xué)習(xí)者的認(rèn)知加工方式會表現(xiàn)出較大差異，相較于個(gè)體狀態(tài)，其信息加工機(jī)制更能反映對學(xué)習(xí)材料的心理資源投入程度，故而眼動特征更具在線學(xué)習(xí)專注度的識別能力。

(二)多模態(tài)專注度識別效果顯著優(yōu)于單模態(tài)

從專注度分類結(jié)果中可以看出，融合了面部線索與眼動特征的多模態(tài)專注度分類結(jié)果整體優(yōu)于單模態(tài)；根據(jù)配對樣本T檢驗(yàn)結(jié)果可知，除SimpleLogistic方法外，使用其余算法進(jìn)行多模態(tài)專注度識別的效果顯著優(yōu)于僅使用面部線索的單模態(tài)識別效果。雖然在視頻模型與多模態(tài)模型中使用SimpleLogistic方法的F1分?jǐn)?shù)未表現(xiàn)出統(tǒng)計(jì)顯著性，但融合眼動特征后，其識別性能得到了改善，這可能是因?yàn)樵谙嗤臏y試集下，有無眼動特征時(shí)錯(cuò)誤識別的學(xué)習(xí)專注度類型幾乎是不同的。整體而言，融合多模態(tài)特征的專注度識別效果明顯優(yōu)于單模態(tài)特征。

學(xué)習(xí)過程具有復(fù)雜性，學(xué)習(xí)的發(fā)生會體現(xiàn)在學(xué)習(xí)者心理特征、生理特征與行為特征的一系列變化[30]，因此基于人的多重感知模式、采用多種方式追蹤學(xué)習(xí)過程、通過不同層面數(shù)據(jù)洞悉學(xué)習(xí)過程的多模態(tài)學(xué)習(xí)分析逐漸得到學(xué)者關(guān)注[31]。正如在專注度的識別中，單一模態(tài)的數(shù)據(jù)往往僅能片面地反映學(xué)習(xí)過程：面部線索主要可反映個(gè)體在學(xué)習(xí)過程中的一般專注程度，但難以明晰對學(xué)習(xí)內(nèi)容的具體加工情況，較難確認(rèn)其是否將注意力集中于學(xué)習(xí)內(nèi)容；而外顯化的眼動特征往往較易“偽裝”，雖能明確學(xué)習(xí)者關(guān)注的具體信息，但對于其處理信息時(shí)內(nèi)在狀態(tài)的判斷較為有限。而來自不同模態(tài)的面部線索特征與眼動特征代表了學(xué)習(xí)專注度的不同方面，能綜合判斷學(xué)習(xí)者對學(xué)習(xí)內(nèi)容的專注程度，因而與僅使用單模態(tài)數(shù)據(jù)相比，不同模態(tài)的互補(bǔ)信息可以構(gòu)建更為穩(wěn)健的學(xué)習(xí)專注度評估模型。

(三)學(xué)習(xí)專注度是優(yōu)化在線學(xué)習(xí)的重要抓手

根據(jù)學(xué)習(xí)專注度與后測成績的相關(guān)性分析可知，學(xué)習(xí)專注度會對學(xué)習(xí)成效產(chǎn)生顯著的影響，這也與先前的大量研究結(jié)論不謀而合。當(dāng)學(xué)習(xí)者將較多的心理資源投入到學(xué)習(xí)過程中，其能較好地記憶學(xué)習(xí)內(nèi)容并對相關(guān)信息進(jìn)行處理與編碼[32][33]，處于攝取知識的最佳狀態(tài)[34]；若學(xué)習(xí)者投入的心理資源較少，有效學(xué)習(xí)將難以發(fā)生。可見，專注度是學(xué)習(xí)狀態(tài)的重要呈現(xiàn)，故而學(xué)習(xí)專注度可作為優(yōu)化在線學(xué)習(xí)的重要抓手。

具體來說，對在線學(xué)習(xí)材料設(shè)計(jì)者而言，專注度識別利于明確學(xué)習(xí)者在面對不同內(nèi)容時(shí)的學(xué)習(xí)狀態(tài)，可以此為依據(jù)進(jìn)行材料中學(xué)習(xí)內(nèi)容與教學(xué)設(shè)計(jì)的優(yōu)化；同時(shí)，面部線索中的眼部視線、頭部姿態(tài)以及眼動特征等可明晰學(xué)習(xí)者對材料呈現(xiàn)的關(guān)注區(qū)域與關(guān)注重點(diǎn)，也可基于此完善學(xué)習(xí)材料的展現(xiàn)形式、頁面布局、色彩搭配等呈現(xiàn)方式。對教師而言，自動化的專注度識別可解決時(shí)空分離帶來的學(xué)習(xí)狀態(tài)診斷難題，及時(shí)、準(zhǔn)確地了解全部學(xué)習(xí)者的學(xué)習(xí)專注狀態(tài)；依據(jù)學(xué)習(xí)者整體的專注度識別結(jié)果，教師可進(jìn)行教學(xué)計(jì)劃的調(diào)整與教學(xué)內(nèi)容的修正，完善學(xué)習(xí)者的學(xué)習(xí)內(nèi)容；基于學(xué)習(xí)者個(gè)體的專注度識別結(jié)果及其表現(xiàn)出的認(rèn)知加工策略，教師也可為其提供個(gè)人學(xué)習(xí)方案、學(xué)習(xí)腳手架等個(gè)性化的干預(yù)策略，助力精準(zhǔn)教學(xué)的實(shí)現(xiàn)。而對學(xué)習(xí)者而言，反饋學(xué)習(xí)專注度有助于了解自身的學(xué)習(xí)狀態(tài)，進(jìn)而調(diào)整個(gè)人學(xué)習(xí)方法與學(xué)習(xí)策略，促進(jìn)自我調(diào)節(jié)的發(fā)生；也可在在線學(xué)習(xí)平臺中嵌入“專注提醒”功能，當(dāng)學(xué)習(xí)者的專注度低于某一閾值時(shí)進(jìn)行彈窗提示，召回其注意力，提升在線學(xué)習(xí)效果；同時(shí)，可依據(jù)學(xué)習(xí)特定內(nèi)容時(shí)的專注度了解可能存在的學(xué)習(xí)漏洞，便于后續(xù)進(jìn)行有針對性的查缺補(bǔ)漏；此外，專注度也是個(gè)人素養(yǎng)重要的組成部分，長期的專注度監(jiān)控也利于學(xué)習(xí)者培養(yǎng)專注習(xí)慣，助力個(gè)人良好綜合素養(yǎng)的養(yǎng)成。

七、總結(jié)與展望

本研究著眼于在線學(xué)習(xí)專注度的識別問題，由于專注度是與許多非言語線索相關(guān)的復(fù)雜內(nèi)隱現(xiàn)象，僅使用單一模態(tài)數(shù)據(jù)難以建立準(zhǔn)確率較高的專注度評估模型，因此本研究收集了學(xué)習(xí)者的視頻數(shù)據(jù)與眼動數(shù)據(jù)，從中提取出相關(guān)的面部線索特征與眼動特征，進(jìn)而使用機(jī)器學(xué)習(xí)方法進(jìn)行在線學(xué)習(xí)專注度識別。實(shí)驗(yàn)結(jié)果表明：相比較而言，眼動特征對學(xué)習(xí)專注度的識別效果更為出色，而面部線索特征的評估表現(xiàn)稍顯遜色，這表明眼動特征能為專注度識別提供更有價(jià)值的信息，可更為準(zhǔn)確地揭示學(xué)習(xí)者的專注狀態(tài)；而與使用單模態(tài)相比，多模態(tài)融合可以明顯提高學(xué)習(xí)專注度識別的準(zhǔn)確性，來自不同模態(tài)的特征代表了學(xué)習(xí)者專注度的不同方面，通過整合互補(bǔ)信息可以建立一個(gè)更為穩(wěn)健的學(xué)習(xí)專注度評估模型，顯示了多模態(tài)學(xué)習(xí)分析的優(yōu)勢，這也說明了融合不同模態(tài)的特征來識別學(xué)習(xí)專注度是具有良好發(fā)展前景的有效方式。融合多模態(tài)特征實(shí)現(xiàn)在線學(xué)習(xí)專注度的識別，有助于學(xué)習(xí)材料設(shè)計(jì)者優(yōu)化材料內(nèi)容與呈現(xiàn)方式，幫助教師及時(shí)掌握學(xué)習(xí)者狀態(tài)，并恰當(dāng)調(diào)整教學(xué)計(jì)劃，實(shí)施個(gè)性化的干預(yù)策略，且利于學(xué)習(xí)者了解并調(diào)整自身學(xué)習(xí)表現(xiàn)，促進(jìn)有效學(xué)習(xí)的發(fā)生或維持，并有助于專注習(xí)慣的養(yǎng)成。

研究雖取得了一定成果，但也存在些許局限，可能會在一定程度上影響研究結(jié)論的推廣價(jià)值，未來可進(jìn)一步予以完善。首先，由于眼動儀的跟蹤范圍有限，被試的注意力被限制在一個(gè)固定的區(qū)域內(nèi)，因此他們的外部表現(xiàn)難以完全地、自然地展現(xiàn)，這可能會影響學(xué)習(xí)專注度的識別效果。同時(shí)，由于學(xué)習(xí)材料內(nèi)容較少，閱讀時(shí)間較短，被試可能在實(shí)驗(yàn)過程中一直保持著生理緊張狀態(tài)，未能表現(xiàn)出放松狀態(tài)下的較多姿態(tài)特征，這也是本研究中面部線索特征的專注度識別準(zhǔn)確率低于先前研究結(jié)論的可能原因，因此未來研究中可適當(dāng)增添實(shí)驗(yàn)材料內(nèi)容，增加實(shí)驗(yàn)時(shí)長；而因閱讀材料僅有一頁，不需被試進(jìn)行點(diǎn)擊操作，故未能獲得學(xué)習(xí)者的點(diǎn)擊流數(shù)據(jù)，但有研究表明鼠標(biāo)動力學(xué)特征對學(xué)習(xí)專注度具有一定的預(yù)測力，故而今后可進(jìn)一步探究融合點(diǎn)擊流數(shù)據(jù)是否能提高在線學(xué)習(xí)專注度的識別準(zhǔn)確性。此外，由于有效樣本量較少，本研究未能利用卷積神經(jīng)網(wǎng)絡(luò)、循環(huán)神經(jīng)網(wǎng)絡(luò)等深度學(xué)習(xí)方法來探索更好的預(yù)測性能，因此未來可擴(kuò)大樣本量，建立更大范圍的數(shù)據(jù)集，提取更有意義的指標(biāo)以構(gòu)建更可靠的學(xué)習(xí)專注度預(yù)測模型，并驗(yàn)證深度學(xué)習(xí)方法是否能夠有效提高學(xué)習(xí)專注度的預(yù)測能力。