基于智慧學習環境下的學習畫面情感識別模型

韓杰　肖瑩慧

摘要：在智慧學習環境下，學習者在學習過程中的情感交互是教育領域的一個重要研究內容，主要通過智能學習終端進行情感識別。學習情感主要包括專注、高興、常態的積極情緒，走神、悲傷、憤怒的消極情緒，對學習者的學習過程具有影響和調節的作用。因此，本文提出了一種基于智慧學習環境下，構建學習畫面情感識別模型。本模型根據學習者在學習中的情緒反饋，自適應改進和推送學習內容，促進學習過程中的積極情緒，促進情感交互率，也可作為輔助評估課程的教學質量和學習資源質量的支撐依據。

關鍵詞：學習畫面;學習情感;情感識別;智慧學習環境

中圖分類號：G642? ? ? ? 文獻標識碼：A

文章編號：1009-3044（2021）03-0195-02

Abstract： In the smart learning environment， the emotional interaction of learners in the learning process is an important research content in the field of education， and emotion recognition is mainly performed through smart learning terminals. Learning emotions mainly include positive emotions such as concentration， happiness， and normalcy， and negative emotions such as distraction， sadness， and anger， which have an influence and regulation effect on the learning process of learners. Therefore， this paper proposes a smart learning environment to build a model of emotion recognition in learning images. This model adaptively adjusts and pushes learning content according to the emotional state of learners， promotes positive emotions in the learning process and increases the emotional interaction rate. It can also be used as a supporting basis for assisting in evaluating the quality of teaching and learning resources of courses.

Key words： Learning Screen; Learning Emotion; Emotion Recognition; Smart Learning Environment

1 引言

隨著教育信息化和人工智能技術的變革，智慧學習環境作為數字化的高端學習形態而呈現。智慧學習環境即智慧教室，可通過攝像頭等終端設備，利用信息技術手段記錄教學數據，捕捉學習者的學習情況，包括動作，神態，眼動追蹤等，通過獲取學習行為數據，為學習者提供適合個人偏好的學習內容和學習資源，調節學習者的積極情感。

學習過程中的情感交互近年來受到研究者的廣泛關注，吳興華等[1]提出數字化學習應融合情感交互，增強教學臨場感，促使其更合理高效。沈映珊等[2]通過表情識別、語音識別、手勢、眼動等身體姿態來識別學習者的情感，結合學習者的認知能力和學習行為，構建網絡情感交互模型。

2 相關概念

2.1 學習畫面

學習畫面主要指學生在智慧學習環境中獲取的信息載體，即接收的學習內容，包括由文字、圖像、視頻、語音等組成的多媒體信息，能通過智能學習終端設備進行獲取或顯示。學生可以通過學習畫面接收學習內容的相關信息，同時，可以采集學生在畫面學習中所反饋的情感認知，這種情感認知主要由視覺情感所反饋的學生外在表現出來的直觀感受。

2.2 學習情感

學習情感也指學習情緒，包含在學習中表現出來的各種情緒和心境，主要通過生理信息、外部表現等體現。積極情緒稱為高學習情感，包括興奮、愉快等。消極情緒稱為低學習情感，包含厭煩、失望等。好的學習情緒可以有效提升學生認知學習的開展。

2.3 情感識別

利用人工智能和深度學習技術進行情感識別，是實現學習過程情感量化的基礎。面部表情是情感狀態中的重要體現，可利用智慧學習環境中的攝像頭采集面部表情，Mehrabian提出，在人們的對話中有93%的信息是通過非語言行為傳遞的，面部表情占比55%，本文主要利用卷積神經網絡（Convolutional Neural Networks，CNN）進行面部表情識別，判斷學習者的學習情感。

3 基于學習畫面的情感識別模型

學習畫面是指學習者在學習中接收的學習內容的信息畫面，主要由多媒體數據組成，如文本、圖像、Flash、動畫等，并在學習者的智能終端屏幕進行顯示的畫面。根據學習內容畫面識別、識別學習者情感、判斷視覺偏好進行調整。情感識別模型如圖1所示。

3.1 學習者情感識別

學習者情感識別模塊，采集智慧學習環境中的攝像頭拍攝的學習者面部表情，利用人工智能技術進行情感識別。首先，將采集的圖像進行歸一化處理，利用Adaboost方法提取學習者面部區域，進行特征提取，然后利用7層卷積神經網絡CNN將圖像提取的特征與模糊分類相結合，分別進行3次卷積、3次池化、1次全連接，最后輸出學習者情感，主要分為高興、專注、常態、憤怒、厭倦5種類型。

3.2 學習畫面情感識別

學習畫面主要通過學習管理系統，根據學習者的學習偏好和認知能力進行個性化推薦，或者在課堂教學中由教師通過智能終端進行屏幕分享。學習內容中的版面布局、色彩搭配等對學習者的學習興趣、認知及情感有重要影響。所以在發布和呈現教學內容的時候，更加注重文本、圖像等多媒體的選擇。首先，將學習畫面實時的傳送給學生，利用9層CNN模型進行訓練學習畫面情感，包含4次卷積，4次池化，1次全連接，最后輸出學習畫面情感，主要分為溫馨、活潑、幽默、歡快、沉悶、枯燥、空洞、繁雜等8種類型。

3.3 學習者視覺情感偏好

通過對學習內容的畫面和學習者面部表情情感進行同步采集，挖掘兩者之間的相關性，分析學習者情感偏好。學習者可以根據個人偏好進行重新設置學習畫面。在系統的數據采集過程中，按某一固定時間段計算學習者情感識別系數和學習畫面情感識別系數，最后，結合相關度高的學習畫面和情感特征存入數據庫中，進行視覺情感偏好設置。

3.4 學習情感調整模型

根據上述三類情感識別數據，綜合學生的積極偏好，實時調整學習畫面的推送風格選擇，使其設置符合學習者偏好的學習畫面，提高學習過程中的學習興趣。主要調整視覺特征的方法有：圖像混合法、色彩搭配法、圖像疊加法等。學習情感調整模型需要實時的自動變化，使學生盡量體現出良好的學習情緒。學習情感調整系統采用Python、Matlab等開發工具，分別開發教師端和學生端。教師端傳送教師機屏幕的學習畫面給學生，學生端接收學習畫面圖像，根據學習者情感、學習畫面情感、偏好特征來調整，反饋給學習者。

4 結束語

在現代智慧教育教學中，除了提供個性化學習內容外，還需根據學習者的情感偏好提供學習畫面。將課堂講授與學習情感相結合。應用深度學習進行智能情感計算、大數據技術進行行為統計，來構建學習情感調整模型，為學習者在學習過程中提供情感分析與偏好設置的支持。

參考文獻：

[1] 吳興華，張仕華.情感交互：解數字化學習中異步交互缺憾之策[J].成人教育，2016，（7）：36-39.

[2] 沈映珊，湯庸.社交學習網絡中基于學習認知的情感交互研究[J].現代教育技術，2015（9）：90-96.

[3] 龔朝花，李倩，龔勇.智慧學習環境中的學習投入問題研究[J].電化教育研究，2018，39（6）：83-89.

[4] 王健，郭敏，肖冰.基于線性判別深度信念網絡的人臉表情識別[J].陜西師范大學學報（自然科學版），2018，46（4）：28-34.

[5] 徐振國，張冠文，孟祥增，等.基于深度學習的學習者情感識別與應用[J].電化教育研究，2019，40（2）：87-94.

[6] 梁迎麗，梁英豪.人工智能時代的智慧學習：原理、進展與趨勢[J].中國電化教育，2019（2）：16-21.

[7] 吳偉國，李虹漫.PAD 情感空間內人工情感建模及人機交互實驗[J].哈爾濱工業大學學報，2019，51（1）：29-37.

[8] 張金剛，方圓，袁豪，等.一種識別表情序列的卷積神經網絡[J].西安電子科技大學學報 ，2018，45（1）：150-155.

[9] 王琳琳，劉敬浩，付曉梅.融合局部特征與深度置信網絡的人臉表情識別 [J].激光與光電子學進展，2018，55（1）：204-212.

[10] 馬建軍，乜勇.國內智慧教育的研究熱點與發展趨勢——基于多維尺度和社會網絡分析的方法[J].現代教育技術，2018，28（10）：42-48.

[11] Ray A， Chakrabarti A. Design and implementation of technology enabled affective learning using fusion of bio-physical and facial expression[J]. Educational Technology & Society， 2016（4）：112-125.

[12] Plass J L， Heidig S， Hayward E O， et al. Emotional design in multimedia learning： effects of shape and color on affect and learning[J]. Learning and Instruction， 2014， 29：128-140.

[13] Mao X， Ding Y K， Moutian Y. Analysis of affective characteristics and evaluation on harmonious feeling of image[J]. Acta Electronica Sinica， 2001， 29（12A）： 1923-1927.

【通聯編輯：王力】