基于人臉表情識別的在線學習情感計算研究

楊金朋+薛耀鋒+李佳璇+郭威

摘 要 在線學習是實現繼續學習與終身學習的有效方式。通過人臉表情識別技術對在線學習平臺的學習者在學習過程中的情感進行計算與可視化處理，幫助學習者和學習平臺實時掌握學習者的情感狀態，在一定程度上解決了在線學習過程中學習者情感缺失問題，使在線學習平臺有可能為學習者提供個性化學習支持服務。

關鍵詞 在線學習；人臉表情識別；深度攝像頭；個性化學習；情感計算

中圖分類號：G652 文獻標識碼：B

文章編號：1671-489X（2017）18-0035-03

1 引言

在線學習是教育產業化發展的主要渠道，已成為遠程教育、教育技術及圖書館等領域的研究熱點之一[1]。隨著信息化技術的快速發展，Moodle、MOOC、可汗學院、網易云課堂等在線學習平臺逐漸成為莘莘學子課外求學的神器。數據顯示，2010年美國注冊在線學習的大學生人數比2009年多了將近100萬；截至2013年，世界各國的在線注冊學生人數占高等教育人數的比例已超過25%[1]。

近幾年來，在線學習衍生出來的翻轉課堂、移動學習、虛擬學習等學習方式逐漸成為研究熱點。《國家中長期教育改革和發展規劃綱要（2010—2020 年）》明確提出[2]：“到2020年，基本實現教育現代化，基本形成學習型社會。”在線學習作為新時代產生的學習方式，可以為學習者提供終身學習和個性化學習的學習環境，是形成學習型社會的有效途徑。

但是由于在線學習的局限性，在線學習者經常因情感得不到有效疏通而對學習失去興趣[3]。數據表明，情感關懷在很大程度上能夠提高學習者的學習效率與興趣[4]。

本文基于人臉表情識別技術的研究，設計并開發了在線學習情感計算系統，實現對在線學習者人臉表情數據的實時收集和情感狀態計算，并對學習者的情感數據進行可視化處理。通過可視化數據分析發現，在線學習者的臉部表情會在一定程度上反映出其當前的學習狀態。在線學習平臺和教學工作人員可以根據學習者的情感數據，了解他們的學習狀態和學習特點，調整教學策略，為學習者提供個性化的學習服務。

2 在線學習情感計算系統體系架構

設計開發的在線學習情感計算系統的體系架構如圖1所示。此系統在學生端安裝深度攝像裝置，實時獲取學生在線學習的情感數據，對收集到的學生情感數據進行實時分析與處理，并通過互聯網將信息和數據結果實時傳送給服務器；服務器根據接收到的信息和數據，將學生當前情感狀態進行識別。此應用系統將在線學習者的情感識別、劃分為六種常規情感類型（開心、悲傷、驚訝、害怕、生氣/憤怒、中性等），并實施相對應的學習干預策略或干預措施，從而進一步提高在線學習者的學習效率，實現新一代在線學習平臺的個性化學習服務目標。系統架構主要由以下幾個模塊構成。

在線學習者臉部表情數據收集及處理 學習者通過驗證登錄在線學習情感計算系統，攝像設備自動開啟，捕獲人臉表情原始數據。通過特定接口，人臉表情數據傳入在線學習情感系統后臺數據庫，系統利用情感計算算法對這些數據進行處理并提取情感特征，從而將情感進行分類。

數據可視化 為了更直觀地了解在線學習者的情感狀態以及情感變化軌跡，本系統將情感數據進行可視化處理，學習者和在線平臺管理人員能夠方便地查看在線學習者的情感軌跡以及實時的情感狀態，識別在線學習者的整體情感反映，并做出有效的評價與干預。

行為干預 在人臉表情識別的基礎上，對學習者做出行為干預，以提高在線學習效率。從學習流程來看，干預措施可以分為兩種：過程干預與最終干預。顧名思義，過程干預就是在學習過程中進行干預，當檢測到學習者在學習過程中長時間出現悲傷等消極學習情緒時，應給予來自文字、表情或虛擬教師的鼓勵；當檢測到學習者處于開心等積極學習情緒時，應適時給予表揚或不作為（為避免干擾學習者專心致志地學習）。最終干預是在學習者階段性學習結束后進行的干預，主要體現在學習策略的調整、學習資源的更替以及與來自真實世界教師或其他學習者的交流與溝通等。

3 基于深度攝像頭的人臉表情識別技術

在線學習系統情感數據可以多途徑多渠道獲得：可以通過攝像設備獲取臉部表情、身體姿態，可以通過聲音的分貝、高低等進行語音情感識別，或者對在線學習者發表的文本數據進行挖掘處理以提取情感因素，甚至可以依靠可穿戴設備感知學習者的心理和生理的變化來預測學習者情感的變化[5]。而研究結果表明，感情表達等于7%的言辭、38%的聲音以及55%的面部表情[6]。鑒于現實生活中的推廣、實用和技術性因素，本文采用基于深度攝像頭的臉部表情數據，探究在線學習者的學習情感。

深度攝像頭是一種利用時間或空間間隙實現3D立體攝像的攝像裝置。相較于普通攝像頭，深度攝像頭可以實時獲取當前人臉的色彩信息以及深度信息，從而進一步對人臉位置進行定位，收集人臉運動單元（Action Units，AUs）和臉部特征點（Facial Feature Points，FPPs）。深度攝像頭的存在方式有很多種，既可以通過單個攝像機多次不同對焦或移動角度計算空間距離，也可以通過雙攝像頭的視差或相位延遲等實現深度測量。深度攝像頭的實現方式多樣，其原理也各有不同，但歸根結底都是基于空間、時間技術實現深度距離的計算[7-9]。

基于深度攝像頭的人臉表情識別技術，主要是通過對反映情感特征的人臉AU的識別，實現實時人臉定位與追蹤、提取臉部情感特征、進行臉部表情分類等功能。本文主要是通過對嘴巴、眼睛、眉毛的特征分析，識別用戶當前的學習情感狀態。

4 在線學習情感計算系統開發與實現

在線學習情感計算系統是在Visual Studio開發平臺的Windows呈現基礎（Windows Presentation Foundation）上開發的，采用高級面向對象編程語言C#。本研究通過將人臉表情識別技術結合到已有的在線學習系統中，實現學習者在線學習過程中人臉表情數據的收集、分析與可視化。endprint

數據的收集 本研究通過Kinect深度攝像頭收集學習者在線學習的臉部表情數據。當學習者打開在線學習平臺進行視頻學習時，Kinect深度攝像頭開始工作，后臺人臉表情識別模塊自動運行，學習者臉部表情數據被實時監控并記錄到后臺數據庫。

系統可靠性分析 為了檢測系統的可靠性，本研究招募12名在線學習者參與系統測試。在測試過程中，要求被試學員學習相同的在線學習資源，情感計算系統實時對在線學習過程中學員臉部表情數據進行收集與處理。測試結果表明，測試者的表情軌跡與實際表情一致，驗證了系統的可行性和有效性。

數據處理及可視化分析 當學習者進行在線學習時，Kinect深度攝像頭開始進行數據采集，情感計算模塊對數據進行分析與處理，并將可視化界面實時顯示在電腦終端，如圖2所示。圖2的折線既反映了在線學習者在線學習的整體學習情感，又反映了在線學習者的過程性學習情感。從整體學習情感來看，圖2數據對應的學習者在學習過程，中性情緒比例最大，愉悅和驚奇等學習積極情緒比生氣、悲傷等消極情緒較多，說明此在線學習者對所觀看視頻具有良好的學習興趣，觀看效果總體較好。而基于在線學習者的過程性臉部表情，則能針對單個知識點對在線學習者的學習情感進行分析。

5 結束語

隨著互聯網的快速發展，學習方式發生天翻地覆的變化。作為終身學習、泛在學習的有效途徑，在線學習將逐漸成為人們學習生活中的常態。然而相較于傳統的學習方式，情感缺失成為在線學習一大缺陷。將人臉表情識別技術與在線學習平臺緊密結合，可以幫助教師和其他教學工作人員實時掌握學習者的學習情緒，更好地解決師生間由于不能面對面交流而產生的情感缺失問題。隨著信息技術的進一步發展，情感計算將成為在線學習平臺更大的助推力。

參考文獻

[1]王紅艷，胡衛平.中國在線學習研究現狀與啟示[J].中國遠程教育，2013（8）：30-34，95.

[2]薛薇，穆青，聶陽陽.青少年發展政策選編及評析（下）[M].北京理工大學出版社，2012.

[3]李勇帆，李里程.情感計算在網絡遠程教育系統中的應用：功能、研究現狀及關鍵問題[J].現代遠程教育研究，

2013（2）：100-106.

[4]王濟軍，馬希榮，何建芬.現代遠程教育中情感缺失的調查與對策研究[J].現代遠距離育，2007（4）：29-31.

[5]晉欣泉，王林麗，楊現民.基于大數據的在線學習情緒測量模型構建[J].現代教育技術，2016（12）：5-11.

[6]孫波，劉永娜，陳玖冰，等.智慧學習環境中基于面部表情的情感分析[J].現代遠程教育研究，2015（2）：96-103.

[7]余濤.Kinect應用開發實踐：用最自然的方式與機器對話[M].機械工業出版社，2013.

[8]張毅，羅元，徐曉東.移動機器人技術基礎與制作[M].哈爾濱工業大學出版社，2013.

[9]Hansard M， Lee S， Choi O， et al.Time of Flight Cameras： Principles， Methods， andApplications[M]. Springer Publishing Company， Incorporated， 2012.endprint