基于表情識別的在線學(xué)習(xí)效果監(jiān)測研究

潘翔

(廣西職業(yè)師范學(xué)院,計算機與信息工程學(xué)院，廣西，南寧 530007)

0 引言

“互聯(lián)網(wǎng)+”時代為傳統(tǒng)教育改革提供了新的方向，讓在線學(xué)習(xí)方式成為教學(xué)新模式。在線學(xué)習(xí)具有線下課堂學(xué)習(xí)無法比擬的優(yōu)勢，學(xué)習(xí)者只需通過各種用戶終端即可完成課堂上的學(xué)習(xí)任務(wù)，線上學(xué)習(xí)平臺擁有豐富的學(xué)習(xí)資源，多元化的學(xué)習(xí)渠道使學(xué)生輕松愉快地學(xué)習(xí)，根據(jù)用戶學(xué)習(xí)行為的差異進(jìn)行個性化學(xué)習(xí)路徑推薦，學(xué)生可以選擇自己感興趣的課程項目自主學(xué)習(xí)，不受時間和空間限制隨時隨地在線學(xué)習(xí)。線上教育發(fā)展到今天越來越成熟，平臺功能特色也更加完善齊全，在線學(xué)習(xí)對教育領(lǐng)域影響重大，它提高了教學(xué)資源的利用率，但也存在著一定的局限性，缺少在線學(xué)習(xí)的監(jiān)測方法，學(xué)生的學(xué)習(xí)效果和質(zhì)量無法得到保障。面部識別等人工智能技術(shù)在教育中的應(yīng)用，為在線學(xué)習(xí)系統(tǒng)監(jiān)控學(xué)習(xí)者的學(xué)習(xí)過程提供了有效途徑，基于表情識別的學(xué)習(xí)效果監(jiān)測不僅能夠驗證學(xué)習(xí)者的身份，還能檢測學(xué)習(xí)者的學(xué)習(xí)狀態(tài)和學(xué)習(xí)情緒。

1 感知教學(xué)理論

1.1 感知教學(xué)

感知教學(xué)依賴于在線學(xué)習(xí)系統(tǒng)，通過對用戶線上學(xué)習(xí)實時感知，實現(xiàn)用戶學(xué)習(xí)行為的監(jiān)測反饋，幫助學(xué)習(xí)者認(rèn)知、理解、運用和升華課堂知識，從而提高學(xué)習(xí)的效果和質(zhì)量。在線學(xué)習(xí)行為感知包括學(xué)習(xí)者本原感知、眼睛狀態(tài)感知和學(xué)習(xí)情緒感知，其中學(xué)習(xí)者本原感知用來驗證學(xué)習(xí)者身份，判斷是否為本人登錄在線學(xué)習(xí),眼睛狀態(tài)感知用于眼睛開合檢測，判斷學(xué)習(xí)者否是有在學(xué)習(xí),學(xué)習(xí)情緒感知通過面部表情識別來判斷學(xué)習(xí)者學(xué)習(xí)狀態(tài)如何[1]。感知教學(xué)解決了在線學(xué)習(xí)系統(tǒng)教師與學(xué)生之間的交互問題，以全面、深度感知觀察學(xué)習(xí)者學(xué)習(xí)行為的一系列變化，做到課堂學(xué)習(xí)偏差及時糾正，追蹤了解學(xué)生的課程知識點掌握程度。

1.2 學(xué)習(xí)效果監(jiān)測

學(xué)習(xí)效果監(jiān)測是對在線學(xué)習(xí)系統(tǒng)上的學(xué)習(xí)者的學(xué)習(xí)時間、作業(yè)成績、問題回答、面部表情等進(jìn)行綜合監(jiān)控，以此來判斷學(xué)習(xí)者的學(xué)習(xí)效果。人類情感表達(dá)55%是通過面部表情傳遞的，對于在線學(xué)習(xí)的學(xué)習(xí)者來說，同樣可以通過表情識別來鑒別學(xué)習(xí)者的學(xué)習(xí)情緒狀態(tài)，以達(dá)到在線學(xué)習(xí)效果監(jiān)測的目的[2]。在整個線上學(xué)習(xí)過程中，可以通過眼睛狀態(tài)檢測和學(xué)習(xí)情緒感知進(jìn)一步監(jiān)測學(xué)習(xí)者的學(xué)習(xí)情況，采用面部表情識別來獲取學(xué)習(xí)者的情感狀態(tài)，捕獲學(xué)習(xí)者圖像經(jīng)過表情識別進(jìn)行表情特征分類，完成其學(xué)習(xí)狀態(tài)的檢測和學(xué)習(xí)效果的監(jiān)測。

2 系統(tǒng)設(shè)計

在線學(xué)習(xí)系統(tǒng)融入了線上學(xué)習(xí)、表情識別和學(xué)習(xí)效果評價為一體的情感分析模型，以感知技術(shù)、人臉識別技術(shù)和表情特征檢測技術(shù)作為技術(shù)支撐，通過攝像頭設(shè)備實時感知獲取用戶人臉圖像，經(jīng)過表情識別處理，判別學(xué)生的學(xué)習(xí)狀態(tài)，進(jìn)行感情評價反饋。在線學(xué)習(xí)系統(tǒng)模型設(shè)計如圖1所示。

圖1 在線學(xué)習(xí)系統(tǒng)模型設(shè)計

在線學(xué)習(xí)系統(tǒng)由注冊登錄模塊、知識推薦模塊、情感識別模塊、學(xué)習(xí)效果評價模塊和教學(xué)流程再造模塊組成。知識推薦模塊主要功能是為學(xué)習(xí)者自動、智能地推薦學(xué)習(xí)資源，形成具體的學(xué)習(xí)方案。情感識別模塊是系統(tǒng)的核心模塊，其主要作用可按設(shè)定好的時間自動獲取用戶人臉圖片，對圖像進(jìn)行表情識別以及疲勞狀態(tài)檢測，得到用戶線上學(xué)習(xí)的情感狀態(tài)，當(dāng)學(xué)習(xí)者出現(xiàn)情感狀態(tài)不佳的現(xiàn)象，要進(jìn)行教學(xué)流程再造相關(guān)學(xué)習(xí)[3]。學(xué)習(xí)效果評價模塊包括自我評價、認(rèn)知程度評價和情感狀態(tài)評價。教學(xué)流程再造模塊主要目的是調(diào)動學(xué)習(xí)者的學(xué)習(xí)情緒，活躍課堂氛圍，提高學(xué)生的學(xué)習(xí)熱情。

3 表情識別算法

3.1 表情分類與數(shù)據(jù)采集

根據(jù)學(xué)習(xí)者學(xué)習(xí)狀態(tài)的不同，將其面部表情分為正常(Neutral)、高興(Happy)、驚訝(Surprise)、厭惡(Disgust)、生氣(Angry)、害怕(Fear)、悲傷(Sad)，構(gòu)建包含這7種表情的數(shù)據(jù)庫，進(jìn)行數(shù)據(jù)采集以獲取人臉圖像，經(jīng)過濾波去噪、灰度歸一化和尺度歸一化等常規(guī)圖像預(yù)處理之后，提取面部表情特征，建立初始化模板，這是表情識別的訓(xùn)練過程[4]。本研究采用RealSense感知技術(shù)自行錄制數(shù)據(jù)庫，對現(xiàn)有的表情數(shù)據(jù)集進(jìn)行改進(jìn)優(yōu)化，構(gòu)建信息完整的表情數(shù)據(jù)庫。

以表情數(shù)據(jù)庫中的圖片作為模板構(gòu)造與之對應(yīng)的彈性圖，對這些彈性圖進(jìn)行網(wǎng)格分割。網(wǎng)格圖尺度和方向轉(zhuǎn)換公式如下：

(1)

將每個網(wǎng)格與各濾波器Ψμ,v(z)做卷積運算得到特征集合，如下：

Oμ,v(z)=I(z)×Ψμ,v(z)

(2)

通過式(2)所得到網(wǎng)格特征矢量共同構(gòu)成表情模板的彈性圖，依次構(gòu)造各個表情的模板彈性圖并形成鏈表，用于表情識別的匹配檢測。

3.2 表情特征選取

表情識別的過程包括人臉檢測與定位、表情特征提取與分類。人臉檢測是表情識別的基礎(chǔ)，挑選人臉圖像有用的特征信息，保存表情展現(xiàn)強度大的圖片序列，為表情特征提取的實現(xiàn)提供數(shù)據(jù)來源。表情特征提取是表情識別的關(guān)鍵，其有效性直接影響表情特征分類的正確性，保證表情特征提取的準(zhǔn)確性可以提高表情分類識別率，為學(xué)習(xí)者在線學(xué)習(xí)的情感狀態(tài)提供評價的依據(jù)。

由面部動作編碼系統(tǒng)(Facial Action Coding System, FACS)可知，人體面部肌肉的運動促使臉上表情的產(chǎn)生，人臉表情是不同運動單元(Action Unit, AU)相互作用的結(jié)果，這些AU單元可以獨立呈現(xiàn)或者以組合的形式出現(xiàn)，對嘴巴、眉毛、眼睛、鼻子部位的AU描述，與之對應(yīng)有不同的人臉表情，而6種基本表情自身也有著顯著的表現(xiàn)和結(jié)構(gòu)特點[5]。FACS一般采用歐氏距離去分析表情，能夠較好地描述臉部表情變化，但對于臉部姿態(tài)變化檢測精確度不高，結(jié)合RealSense中臉部特征點的組成，通過增加角度特征向量提高檢測效果。這里的角度是指由臉部特征點構(gòu)成的角度，角度的變化幅度反映出表情的變化情況，一個完整的表情描述應(yīng)該包括臉部區(qū)域、特征描述、角度特征向量、AU單元組合、對應(yīng)表情和特征點位置等內(nèi)容。

攝像頭捕獲到的人臉圖像經(jīng)過尺寸歸一化后，再經(jīng)過灰度歸一化處理得到最終結(jié)果。灰度圖轉(zhuǎn)化公式如下：

(3)

式中，(x,y)表示圖像像素點的坐標(biāo)。

表情識別匹配圖像之間能量值的歐氏距離計算式：

(4)

其中，EVG為待識別圖像G的特征向量，EVG′為模板彈性圖G′的特征向量，兩者維數(shù)均是N。人臉的特征向量由嘴巴、鼻子、眼睛3個區(qū)域的Gabor特征組成，選取G與G′間最小距離作為結(jié)果返回。

3.3 支持向量機(SVM)建模

建立用于表情特征分類的SVM模型，選取臉部區(qū)域72個特征點，并將它們的幾何特征作為訓(xùn)練對象，使用SVM分類器進(jìn)行表情特征訓(xùn)練，首先采集表情數(shù)據(jù)樣本，“正常、高興、驚訝、厭惡、生氣、害怕、悲傷”7種表情各抽取50張，分別存儲在不同的目錄中，對表情樣本進(jìn)行特征分析與記錄，為特征點做標(biāo)記后訓(xùn)練分類器，待測圖片經(jīng)過關(guān)鍵點檢測和加載訓(xùn)練好的表情分類模型，由SVM預(yù)測關(guān)鍵點類型，最后輸出表情分類結(jié)果[6]。表情分類識別過程如圖2所示。

圖2 SVM模型分類識別過程

如圖2所示，整個表情識別的工作流程大致可分為圖像錄入、人臉檢測、幾何特征標(biāo)記、加載訓(xùn)練的特征點數(shù)據(jù)到模型中、采用SVM分類器判斷圖像特征對應(yīng)的表情類別、在界面上顯示出結(jié)果。其中，SVM模型構(gòu)建的具體步驟如下：提取訓(xùn)練對象，收集人臉表情樣本，各種表情分別取50幅作為訓(xùn)練數(shù)據(jù)集，在輸入的訓(xùn)練樣本集提取人臉關(guān)鍵點并進(jìn)行歸一化縮放；訓(xùn)練SVM分類器，包括模型加載，存儲關(guān)鍵點幾何信息，進(jìn)行測試表情預(yù)測。在表情識別之前先要檢測定位人臉，下一步提取表情特征點并貼上標(biāo)簽，以方便后續(xù)表情的分類，根據(jù)SVM模型檢測到的結(jié)果，確定表情的所屬類型。

4 學(xué)習(xí)效果監(jiān)測

基于表情識別的在線學(xué)習(xí)效果監(jiān)測，重在檢測學(xué)習(xí)者的學(xué)習(xí)狀態(tài)，這也是表情識別的意義所在。利用C4.5決策樹評估方法對用戶學(xué)習(xí)行為進(jìn)行分析評估[7]。第一，采集學(xué)習(xí)行為數(shù)據(jù)，行為數(shù)據(jù)從本原感知、眼睛狀態(tài)感知和情緒感知中獲得，數(shù)據(jù)類型有本人和非本人，睜眼、閉眼和半閉眼，愉悅、疲勞和平靜；第二，構(gòu)建決策樹，采用C4.5算法挖掘數(shù)據(jù)特性，找出面部識別感知與學(xué)習(xí)行為之間存在的關(guān)系；第三,建立決策樹分類規(guī)則，進(jìn)行規(guī)則合并，去除無用規(guī)則，形成規(guī)則集合，分類成組化簡相同規(guī)則得到最終結(jié)果[8]。例如,如果本原感知是本人，則感知繼續(xù)，否則視為學(xué)習(xí)無效；如果眼睛狀態(tài)是睜眼或半閉眼或閉眼，情緒感知為愉悅或平靜或疲勞，相對應(yīng)的學(xué)習(xí)狀態(tài)則為良好、一般、欠佳。

抽取10名學(xué)習(xí)者作為實驗對象，準(zhǔn)備一段45分鐘左右的視頻，通過用戶學(xué)習(xí)行為感知評估學(xué)習(xí)者的在線學(xué)習(xí)效果，在用戶學(xué)習(xí)過程中隨機截圖保存，在視頻播放的前后半段和中間段分3次共截取30張圖像，對圖片進(jìn)行面部表情識別得到本次實驗檢測結(jié)果，如表1所示。

表1 學(xué)習(xí)效果監(jiān)測結(jié)果

“睜眼愉悅、半閉眼愉悅、閉眼愉悅”用符號X代表；“睜眼平靜、半閉眼平靜、閉眼平靜”用符號Y代表；“睜眼疲勞、半閉眼疲勞、閉眼疲勞”用符號Z代表。不同的學(xué)習(xí)行為組合所表示的學(xué)習(xí)狀態(tài)也不同:3x、2x+y、2x+z表示學(xué)習(xí)狀態(tài)良好；3y、2y+x、2y+z、x+y+z表示學(xué)習(xí)狀態(tài)一般；3z、2z+x、2z+y表示學(xué)習(xí)狀態(tài)欠佳。從表格中可以看出，對學(xué)習(xí)者的學(xué)習(xí)行為分析和學(xué)習(xí)狀態(tài)評價與實際情況相符合，實驗結(jié)果表明從學(xué)習(xí)者的臉部一些特征表現(xiàn)可以檢測出其學(xué)習(xí)行為上的變化，根據(jù)學(xué)生的學(xué)習(xí)狀態(tài)適當(dāng)?shù)卣{(diào)整教學(xué)策略，進(jìn)而提高學(xué)生的學(xué)習(xí)效果和質(zhì)量。

5 總結(jié)

本研究針對在線學(xué)習(xí)存在教學(xué)情感缺失的問題，建設(shè)在線學(xué)習(xí)系統(tǒng)對學(xué)生進(jìn)行情感識別與分析，并做出情感狀態(tài)評價和學(xué)習(xí)效果評價，全面管理監(jiān)控學(xué)生的在線學(xué)習(xí)情況。系統(tǒng)應(yīng)用表情識別有關(guān)方法和手段，獲取人臉圖像進(jìn)行預(yù)處理，檢測人臉提取表情特征點，自動識別學(xué)習(xí)者的表情狀態(tài)；同時通過實時感知用戶學(xué)習(xí)行為去判斷學(xué)習(xí)者的學(xué)習(xí)狀態(tài)，彌補了在線教育中教師與學(xué)生情感交互的不足。隨著科學(xué)技術(shù)知識的更新迭代和技術(shù)水平的提升，在線學(xué)習(xí)人臉表情識別所涵蓋的專業(yè)知識會更加的深廣，對于先前研究的面部識別技術(shù)方案也要適時修改，以便提高人臉識別的檢測率和準(zhǔn)確率。