機器學習在情緒識別中的應用研究

李思琦

摘要：人類的感情理解一直都屬于人工智能的重要課題，計算機在人機交互中如果能夠智能地理解人的感情變化就能夠提供更好的服務。因為情緒通常是經由一些外在因素刺激而產生的主觀體驗（如喜、怒、哀、懼等情感），并伴有外部表現的變化（如面部表情、身體行為和聲音語調等）和生理反應的變化（如皮下的特定活動、心率的節奏等）。假設數據的觀測值有效可靠，那么就可以根據這些數據把潛在的情緒狀態推測出來。情緒在人類的感知、推理、決策的過程中扮演著極其重要的角色，長期以來，對情緒的研究只存在于心理學和認知科學領域。近年來，隨著人工智能的發展，情緒研究與機器學習方法相結合產生了基于機器學習的情緒識別這一研究方向。本文分為以下幾部分進行介紹：首先是機器學習的發展歷程以及原理，然后是機器學習在情緒識別中的應用，最后是對未來機器學習在情緒識別方向發展的展望。

關鍵詞：情緒識別;機器學習;微表情;宏表情

一、前言

人類在對外界事物進行探索和認知的過程中，會產生諸如喜悅、悲傷、憤怒、恐懼等主觀情感。人們把對客觀事物的態度體驗以及相對應的行為反應，稱為情緒。情緒作為一種不同于認識和意識的心理形式，不同程度上影響著人的學習、工作效率以及行為模式。如今隨著人工智能發展走上正軌，各項人工智能技術都已經適用于學習生活中的各個方面。其中最重要的一個方面就是人和計算機的信息交互。要給計算機加入人的一些基本功能如視覺和聽覺，這樣人與計算機就消除了基本的隔閡[1]。分別從面部表情、語音語調、生理信號和身體動作與姿勢等多種角度對情緒進行識別。對面部表情和語音語調的識別是基于非生理信號的情緒識別方法。面部表情識別方法是根據表情與情緒間的對應關系來識別不同的情緒，在特定情緒狀態下人們會產生特定的面部肌肉運動和表情模式，如心情愉悅時嘴角會上翹，眼部會出現環形褶皺; 憤怒時會皺眉，睜大眼睛等。語音語調識別方法是根據不同情緒狀態下人們的語言表達方式的不同來實現的，如心情愉悅時說話的語調會比較歡快，煩躁時語調會比較沉悶。但是基于非生理信號識別方法缺點是不能保證情緒識別的可靠性，因為人們可以通過偽裝面部表情和語音語調來掩飾自己的真實情緒，而這種偽裝往往不易被發現。其次，對于患有某些特殊疾病的殘疾人來說，基于非生理信號識別的方法往往難以實現。通過心率、呼吸、眼動、血氧或皮膚電等生理信號是基于生理信號的情緒識別來推測或者解釋心理活動，具有自然、高效、真實可靠的特點。在此基礎上，為了讓人和計算機的交互更加常態化，需要給計算機加入情感理解和情感識別，讓計算機能夠很自然地和人交流，擁有情感理解和情感識別的計算機是人工智能未來的發展趨勢 [2]。

二、機器學習的源起與發展

（一）機器學習的發展歷程

機器學習是基于經驗數據的函數估計問題，它通過從已知的觀測樣本中學習并歸納出數據的模型或規律，然后通過這個規律或模型推測出未知的輸入數據所對應的未知輸出數據。

對于機器學習而言，已經發展出以下一些流派，他們都在歷史上繁榮一時，占據過一定的地位。五十年代中后期，神經網絡的“連接主義”這一階段為熱烈時期20世紀60年代中期到70年代末，基于邏輯表達的“”符號主義“。這個時期的研究方向是模擬人類大腦的學習過程，并采用邏輯推理或圖結構作為機器學習機制的描述，但當時缺乏大內存和高處理速度的計算機以及龐大的數據庫支持，也沒人知道如何能讓一個程序學習這么大量的知識。20世紀80年代至21世紀初，基于數學統計的“統計學習”時期，這一時期在全世界范圍內又掀起了機器學習研究的熱潮，用隱單元來計算與學習非線性函數的方法，從而克服了早期神經元模型的局限性。加之計算機硬件的突飛猛進的發展 ，使神經網絡的實現成為現實。1995 年提出了支持向量機的概念，2001年提出了隨機森林算法，這些都是機器學習領域的重大突破。2006年，首次提出了深度學習的概念，并指明可以通過逐層初始化來解決深度神經網 絡在訓練上的難題。大大提高了人工神經網絡的能力，對支持向量機形成了挑戰，開啟了深度學習的浪潮。

（二）機器學習在情緒識別中的應用

越來越多的學者對情緒識別展開研究，用于情緒識別的對象一般有面部表情、語音、語義、姿態和生理信號。如趙國朕（2016年）等人的基于生理大數據的情緒識別將腦電、皮膚電、心電、呼吸、皮膚溫度、面部肌電、眼電等數據進行機器學習發現支持向量機在基于生理大數據的情緒實時識別應用中優勢明顯[3]。蔣小梅等人為準確有效地對情緒狀態進行識別，對4種情緒狀態高興、生氣、悲傷、緊張下的多生理信號（心電、肌電、呼吸、皮電）進行預處理和特征提取，利用ReliefF算法進行特征選擇，利用J48決策樹分類器最終實現對4種情緒狀態的識別。J48決策樹分類器對4種情緒狀態的平均識別率為96.74%[4]。慕永利等人結合卷積神經網絡，提出了一種基于集成卷積神經網絡的情緒原因識別方法[5]，實驗結果表明，該文的方法在情緒原因識別方面取得了較好的效果，對于情緒歸因的方法研究具有一定的指導作用。甚至還有對于殘疾人士采用機器學習對其情緒進行準確識別，（魯心靈，2018）利用支持向量機對殘疾人情緒孤獨心理進行識別，明該模型的精確度為93.33%[6]。

人類表達情緒的表情還包括微表情，其是人們情緒和心理健康的真實表現。在臨床診斷、情感計算、國家安全詢問、謊言檢測等領域有普遍的應用。與普通的面部表情相比，微表情具有顯著的特征—持續時間短（1/3至1/25秒）和低強度。它們在持續時間短的情況下與宏觀表達明顯不同，并且顯示出抑制的影響。肉眼難以察覺微觀表達。即使是受過訓練的人也能夠正確區分微觀表達，準確率低于50%。李等人借鑒動態紋理識別的方法提取微表情特征，用支持向量機做分類器[7]。在高速微表情數據庫上測試得到48.78%的識別率。顏等人得到了63.41%的識別率[8]。吳奇等人提出采用過濾器（特征提取）和支持向量機（分類器）來識別微表情[9]。基于運動的特征提取的方法，（楊文杰，2018年）發現深度卷積算法使用人臉表情為數據進行情緒識別方法，準確率高達85.4%，識別率以及系統魯棒性都有較好的效果[10]。

從之前的研究發現，基于機器學習基于微表情的情緒識別的研究得到的識別率并不高，近幾年研究者將深度學習應用于微表情識別中，識別率有很大的提升，目前研究并不多，仍有很大的潛力可以挖掘。

人臉表情分析在人機交互中起著至關重要的作用。表情識別與人臉面部的運動變化有關，它提供了豐富的關于人的情感、內涵及其它內在狀態的信息。盡管目前仍舊沒有關于“情感”一詞的精確定義，但人類情感的存在是毫無疑問的，而且它是我們的日常生活的重要組成部分。人類能夠理解“情感”，并能針對它人的“情感”做出相應的反應，正因為如此，人類的之間的交互活動才顯得如此豐富多彩。

三、展望

情緒識別是一個高度綜合和復雜的研究領域。通過機器學習理論與認知科學、心理科學的結合，研究人與人交互的情緒表達的特征，找尋到其內在真實的或統計意義上的規律，將有可能實現人與計算機和諧的情緒交互。這首要的問題就是要使計算機能夠識別情感狀態，而生理信號情感識別以其特有的，潛在的優勢備受重視。但這方面的研究還很不成熟，未來希望能有更多的采用生理信號結合機器學習算法來進行情緒識別。

隨著計算機等硬件條件的發展、大數據時代的到來，深度學習在計算機視覺領域備受關注。目前已成為計算機視覺等眾多科研領域的研究熱點。在情緒識別領域，深度學習很好地解決了傳統機器學習對人臉姿態、光照、遮擋物 等敏感問題，提高了表情情緒識別的魯棒性。深度學習雖在人臉表情等分類領域具有優良的性能，但目前其理論知識尚不完備，大多數學者都是通過調參的方法去提高識別率，把深度學習當作一個黑匣子使用，如何用理論知識指導實踐，用實踐促進理論知識的理解是研究者需要解決的。綜上所述，如何處理與理解深度學習與傳統機器學習的關系，取長補短，是未來情緒識別研究的重點與方向。

參考文獻：

[1]潘崢嶸賀秀偉.人臉表情識別在智能機器人中的應用研究[J].計算機技術與發展，2018，28（2）：173-177.

[2]崔鳳焦表情識別算法研究進展與性能比較[J].計算機技術與發展，2018，28（2）：145-149.

[3]趙國朕， 宋金晶， 葛燕， 姚林， & 文濤. （2016）. 基于生理大數據的情緒識別研究進展.計算機研究與發展， 53（1）， 80-92.

[4] 蔣小梅，張俊然，陳富琴， 等.基于J48決策樹分類器的情緒識別與結果分析[J].計算機工程與設計，2017，38（3）：761-767.

[5] 慕永利，李旸，&王素格. （2018）.基于e-cnn的情緒原因識別方法. 中文信息學報，32（2）.

[6]魯心靈，李欣，田紅梅，李安巧，杜若飛，&陳林.（0）.殘疾人情緒孤獨研究——基于機器學習的實證研究.第十一屆全國運動心理學學術會議.

[7]李等人.自發的微表達數據庫：誘導，收集和基線[C] // IEEE自動面部和手勢識別國際會議和研討會。 2013：1-6。

[8] 嚴等人.改進的自發微表達數據庫，基線評估 PLOS ONE，2014，9（1）：1-8。

[9] 吳等人.機器知道您要隱藏的內容：一個自動微表情識別系統[J]。 2011：152-162。

[10]楊文杰. . 基于VGGNet深度卷積特征的人臉表情識別方法研究. （廣東工業大學）.