表情識別在情緒測量中的應用探索

王擇青 鄧寧 趙敏 于潮杰 高晗 潘建設

中圖分類號：B842.6 文獻標識：A 文章編號：1674-1145（2019）3-191-02

摘 要 人是企業發展中的核心要素，員工隊伍的工作情緒對公司安全生產、提質增效、爭創世界一流能源互聯網有深刻持久的影響，國網江蘇省電力有限公司基于對情緒內涵、結構和測量手段的持續研究，率先嘗試應用表情識別技術、心理科學和機器學習測量員工隊伍的群體情緒，作為員工隊伍工作心態智能感知的重要組成部分，取得了一定的成效。

關鍵詞 情緒結構 情緒測量技術 表情識別 心態智能感知

一、情緒的基本內涵和結構

（一）基本內涵

身體知覺觀認為是先有事件刺激帶來的生理變化，再有情緒體驗。進化主義觀認為情緒是進化過程中為適應環境挑戰而形成的，演變為一種本能反應，能夠被刺激事件或情境誘發。認知評價觀認為情緒的生理反應過程，依賴于個人短時或持續的評價。幾種觀點爭論的焦點在于情緒產生的先后順序，以及情緒的核心成分到底是主觀體驗和感受，是認知評價和情感記憶，還是生理、神經活動和行為反應。以Arnold和Lazarus為代表的情緒認知評價理論認為對個體對外部影響環境進行的主觀評價是情緒產生的直接原因，并概括出情緒產生的三個來源，即外部環境刺激、身體生理刺激和評價刺激。我國學者傅小蘭嘗試將情緒定義為“情緒是往往伴隨著生理喚醒和外部表現的主觀體驗”。

（二）情緒的結構

情緒是一個異常復雜的心理概念，具有十分獨特的內部結構。Izard對情緒成分的劃分最具有代表性，情緒劃分為主觀體驗、外部表現、生理喚醒三個成分。對情緒結構的認知探索過程中，目前心理學界尚未達成一致的看法和理論觀點，在理論分析和實驗探索的取向上主要可以分為兩大類：分類取向和維度取向。

1.分類取向。對基本情緒的分類主要是圍繞情緒的主觀體驗和評價展開的。在對基本情緒的分類學說中，有Tomkins（1970）提出的8種原始基本情緒說，Izard（1991）提出的10種基本情緒說，以及現在被普遍認可的Ekman（1971）提出的6種基本情緒說——快樂、悲傷、憤怒、恐懼、厭惡和驚訝。這6種情緒相互組合，又可以派生出各種各樣的復合情緒，復合情緒包括愛與依戀、自豪、羞恥與內疚、敵意、焦慮與抑郁和道德情緒。分類取向在主觀體驗和評價上的情緒分類更復雜，更詳細，但系統性稍遜；維度取向的理論基礎比較系統，其評價工具的結構相對清晰，但在維度的劃分方面不如分類取向詳細。

2.維度取向。其中，Plutchik（Plutchik，1970，1980，2000）提出的情緒三維環形模型有一定的代表性。三維即強度、相似性和兩極性，情緒可以按照強度變化（憂郁和悲痛之間），也可以按照與其他情緒的相似性變化（快樂和期待比厭惡和驚奇之間相似性更高），或者按照兩極性變化（厭惡與接納相反）。圖中的倒錐體及其展開圖為Plutchik的情緒三維環形結構模型，錐體界面劃分為8種原始情緒，相鄰的情緒是相似的，對角位置的情緒是對立的，錐體自下而上表明情緒由弱到強的變化。

二、情緒的測量手段

在情緒測量研究領域中，目前存在三種主流的研究范式，一是認知神經科學研究范式，研究對象主要是大腦杏仁核；二是意見挖掘與情感分析范式，研究對象主要是用戶評論和網絡信息文本；三是人工智能研究范式，研究對象涵蓋了面部表情識別、姿態識別、自然語言處理、人體生理信號識別、多模情感識別、語音識別等。由此可見，研究的范式和承載情緒的相關載體密切相關。本文依據情緒的三個主要成分說法，把情緒的三個成分作為研究對象，介紹一些相應的測量手段。

（一）主觀體驗測量

情緒的主觀體驗，主要是對各種情緒的主觀感受。主觀體驗的測量，比較通用的做法是采用主觀報告法和量表測試法。美國現代心理學的創始人James曾經說過“內省觀察是我們需要優先并要一直使用的研究方法”（James，1890）。主觀報告的當事人雖然無法很好地進行內省觀察，并進行心理語言的表達，但為了實現對情緒的全面了解，內省法仍有存在的價值。量表測試的當事人同樣面臨對自我情緒進行區分和判斷的難題。

（二）外部表現測量

情緒的外部表現是情緒主觀體驗、生理喚醒時的外部宣泄，主要是肌肉反應，主要分為面部表情、姿態表情和語調表情，只要對表情語言所代表的含義多加學習，就可以選擇人為觀察法對他人的面部表情進行觀測。隨著人工智能技術的興起，以及表情識別技術的發展，計算機可以比人更迅速更直接地讀懂代表個體瞬時情緒的面部表情以及微表情。

（三）生理喚醒測量

情緒的生理喚醒幾乎和主觀體驗同時進行，兩者之間存在較高的關聯性和一致性。生理喚醒是情緒產生和體驗時個體大腦神經元被激活后的內臟和腺體的反應活動。通過生理測試一個人的心率、肌電、皮膚電、血壓、呼吸頻率等，可以測量個體情緒反應的激烈程度。通過腦功能成像技術（腦電圖、正電子放射斷層掃描、功能性磁共振成像、腦磁圖等）測試腦功能結構和內部神經活動情況，可以探索個體情緒神經中樞反應模式。

測量情緒具體內容的不同，導致所選擇的測量手段也不同。其中，人們對主觀報告、生理測試和中樞神經測試這幾種手段研究得比較深入，但這幾種手段對個體情緒進行實驗分析研究時價值較大，對大面積用于個體情緒的測量應用時，其實用性較差。量表測試雖然實用性較強，但作為長期反復使用的調研手段，會帶來被測群體的反感和排斥。反觀表情識別技術，對廣泛應用于組織內個體情緒和群體情緒的測量和研究，則有較大的用武之地，且目前國內外對此方面的研究和應用幾乎空白。

三、面部情緒的測量維度

面部情緒體驗的表達模式雖然一定程度上受制于群體或個體所接受的文化背景差異，雖然這為面部情緒識別增加了研究的難度，但考察組織內群體面部情緒的變化規律仍然有重要的意義和價值。利用表情識別技術自動識別組織中的員工隊伍在工作場合下的工作表情，是分析研究員工隊伍的工作狀態下情緒變化的重要基礎。由于員工隊伍的情緒是一個復雜的系統，而且由于每個人的情緒反應模式都不一樣，簡單的個體特征疊加無法描繪出員工隊伍的情緒指數，因而，既要關注個體情緒的變化，又要關注員工隊伍整體的情緒狀態和變化趨勢。

對于不穩定事物的變化波動情況，我們通常從某種事物出現的頻率（持續性）、事物表現的強度（受控性）、事物波動的幅度（穩定性）等方面考察，情緒也可以從這幾個指標進行考察。頻率是指出現的次數，員工隊伍情緒變化的頻率，具體一點就是，員工一段時間內正性、負性和平靜情緒出現的頻率。強度是指某種情緒的強弱程度，比如快樂的強度可以劃分為一級到三級，具體一點就是平靜、欣喜、狂喜。波動幅度是指情緒發生頻率和情緒表現強度的波動幅度。

根據某段時間內員工隊伍某種或幾種面部情緒出現的總頻率，基本可以判斷這一時間段內員工隊伍的情緒指數。通過對不同時間段內員工隊伍的某種情緒出現頻率、強度進行對比，就可以考察員工隊伍某類情緒發生頻率和情緒表達強度的波動情況，如周波動情況、月波動情況，甚至是年波動情況。根據波動幅度可以考察員工隊伍受組織環境內不同相關事件的影響深淺程度、群體心理的自控能力，以及這些事件影響的持續時間等等。對各種表情發生頻率及波動幅度的考察是目前技術層面可以實現的，而對表情強度及波動幅度的考察目前還難以實現。

四、表情識別的探索應用

為探索表情識別技術對員工隊伍工作心態指數測量的價值，國網江蘇省電力有限公司聯合國內權威的專業心理學機構和人工智能研究機構，積極試點表情識別技術，在國內首次實現運用人工標定技術和神經網絡技術來提高表情識別技術應用在自然環境下將地域文化中人群面部表情識別為對應情緒的精度，將一段時間內員工隊伍面部表情反映的情緒狀態作為員工隊伍心態智能感知系統建設的重要構成部分，在智能感知實時心態時，重點感知員工隊伍的正性情緒頻率、平靜情緒頻率和負性情緒頻率，以及各類情緒頻率變化波動的幅度，實時呈現員工隊伍的當下情緒指數及情緒變化波動曲線。經前期實踐驗證，該系統測量得出的情緒狀態指數能夠一定程度上真實反映員工隊伍的情緒狀態，未來還需要在更長一個時間范圍內進一步沉淀樣本數據量，以優化測量模型，提高員工隊伍表情識別預判情緒和心態的貢獻度。

參考文獻：

[1] 傅小蘭.情緒心理學[M].上海：華東師范大學出版社，2016：1-22.

[2] 丁漢青，劉念.情緒識別研究的學術場域——基于CiteSpace的科學知識圖譜分析[J].新聞大學，2017（2）：119-132.

[3] 徐新飛.劉惠義.基于卷積神經網絡的人臉表情識別[J].國外電子測量技術，2018（1）：106-110.