情緒測量技術綜述

謝 黎，史豐碩，康曉管

（東莞理工學院，廣東 東莞 523808）

1 單模態情緒測量

現有情緒測量技術中，按照技術可分為兩大類：生理反應測量技術和心理反應測量技術。生理信號可以更客觀真實地反映人們的情感狀態，文章基于心理學的生理反應測量技術，從單模態情緒測量和多模態情緒測量角度，聚焦于面部表情測量、聲音測量、腦電生理信號測量三種單模態情緒測量方法以及多模態情緒測量這四大方面，采用文獻分析法，以中國知網為文獻數據源，綜述我國情緒測量技術發展狀況。

1.1 技術簡述

情緒是人對客觀事物的態度體驗，以復雜多維的方式存在交互作用，包括主觀感受、面部動作、中樞和外周神經系統、認知或信息處理的變化以及行為動作傾向。單模態情緒測量是以某一個特定維度進行對被試人員的測量。

目前情緒測量研究大多集中在人臉表情測量、語音測量、肢體測量等單模態領域，單模態信息量不足且容易受到外界各種因素的影響，如面部表情容易被遮擋、語音容易受噪聲干擾等。但其優點也很明顯，相關技術已較為成熟、測量流程也相對簡便。

1.2 各項技術發表年份分析

通過檢索“面部表情測量”“聲音測量”“腦電生理信號測量”三個關鍵詞，以是否以情緒測量技術為研究目的作為篩選依據，篩選出國內近14年發表的387篇有效的學術論文。

2008年至今，關于單模態情緒測量技術的學術研究論文數量呈偶有下落、總體上升的趨勢。其中，腦電生理信號測量為其中最熱門的研究方向，14年間發文量達到97篇，其他兩項技術的研究熱度則相對較低。

1.3 面部表情測量

1.3.1 技術簡述

面部表情，是情緒鮮明客觀的外在表現，由于其直觀的顯現和豐富的行為信息而得到關注。目前國內外常用的面部表情測量技術有傳統表情測量和面部肌電圖測量 。

傳統表情測量是指通過測量眼部肌肉、顏面肌肉和口部肌肉的變化規律來表現各種情緒狀態。面部肌電圖（EMG）是在臉部安置電極來測量面部肌肉電位，通過面部肌肉電位圖形所顯示的面部各部位和肌肉活動所產生的面孔的變化來分析個體情緒體驗狀態。人在處于厭惡、高興、生氣、愉悅等狀態時會改變他們的面部肌電等生理信號，通過面部肌電信號能夠有效區別厭惡和生氣。由于面部肌電的測量需要在面部安置肌電測量裝置，其使用場景在一定程度上受到限制。

1.3.2 文獻分析

通過檢索“面部測量”“面部表情”“情緒測量”等關鍵詞，2008年至今共篩出45篇有效文獻。各年產量動態變化、趨于平穩，其中2010年后研究熱度突發，2017年前后的研究熱度較高，之后呈動態上升趨勢。通過中國知網的可視化計量分析來看，面部表情測量技術主要應用于情緒測量、教育、醫療康復中，其距離民用化、商用化還處于起步階段。國內面部表情測量的主要研究應用方向可分為：傳統表情識別、微表情面部測量以及卷積神經網絡面部測量。

面部表情研究始于19世紀Darwin的研究，Ekman和Frieser制定了情緒測量系統：“面部肌肉運動編碼系統”（FACS），這是面部測量早期的基礎系統，它對面部肌肉進行了編組，通過觀察各組肌肉的運動來實現對復雜表情變化的測量。趙明珠采用三維數字圖像相關方法對面部普通表情及微表情的變形測量進行了精確計算和定量分析，提出的方法以參數優化和消除剛體位移來提高因面部變形而影響測量的精度。

表面肌電信號測量技術是面部肌電測量技術中的一種，記錄人體表面肌肉通過收縮產生的生物電流的數據。表面肌電圖是由單個運動單元電生理信號組成的時間、空間的組合信號，它反映的是整塊肌肉的電生理特性，是安全、易掌握、非侵入性的記錄面部肌電的技術。針電極信號測量是面部肌電測量技術中的另一種，指記錄插入到肌肉中的針電極收集到的在針電極周圍有限范圍內的運動單位電位總和的測量技術，具有干擾小、易辨識的優點，但測量過程會對人體造成一定影響。

1.3.3 小結

從文獻數據來看，國內面部情緒測量的研究不多，精確測量需要一定的設備支持，屬于較小眾的研究領域，研究門檻較高。基于深度學習的面部表情識別技術，在國內是較熱門的研究領域。

1.4 聲音測量

1.4.1 技術簡述

聲音測量是將聲音信號的各種參數轉化為不同情緒狀態的測量方法，通過測量設備將聲音信號以一定的時間間隔分為若干片段，再提取其中若干組特征參數，利用機器深度學習技術將這些數據轉化為動態變化的情感，得出各種情緒所占比例。由于人不會一直保持說話的狀態，其聲音特性是動態變化的量，音調、語氣等也會隨著人的情緒變化而變化，增加了測量難度。

1.4.2 文獻分析

通過檢索“聲音測量”“語音測量”“情緒測量”等關鍵詞，從2008年至今的時間跨度中篩選出66篇有效的學術論文與期刊。從發表年份來看，聲音測量研究發文各年的產量較不穩定，其中2012年后研究熱度突發，而后兩年又鮮有相關研究論文；2021年的研究熱度最高，當年產出14篇相關研究論文。從研究學科分析，聲音測量主要涉及電信技術，語音測量的主要應用領域為情感識別、語音識別、語言學習研究，表明語音測量現在的主要功能是將聲音信號可視化、情感化，并具體應用于智能設備中，如智能語音助手。

祝宇虹利用平均短時能量和平均短時過零率結合進行語音端點的測量方法，構建出了用于情緒識別的語音基音周期測量分析方法。劉曉峰采用了PC機、USB數據采集卡V1.2和聲音傳感器模塊為硬件平臺，LabVIEW 2012為軟件開發環境，設計了聲音測量系統，可以實時準確地測量聲音信號，反映出的聲音信號更加直觀。葛佳燁對于輸入電網調度語音序列存在語音片段停頓、靜默聲較多、有無效字符占位的測量問題，設計出了含聯結時序分類（Connectionist Temporal Classification，CTC）方法的網絡解決該問題，通過測量電網調度語音感知電網調度員的情緒變化，從而盡可能降低電網調度運行中人的失誤。楊麗佳利用聲譜圖對語音信號進行測量，測量出的語音信號兼具時域和頻域特征。

東南大學在這方面貢獻量最高，于2008年至今產出了18篇聲音情緒測量相關文獻，國內相關的研究最早從東南大學趙力等人開始。為了解聲音測量應用在國內的研究進展，在東南大學相關文獻中，通過以“語音情感識別”“情緒測量”等關鍵詞，進一步檢索自2008年至今產出“語音情感識別”相關的文獻，最后檢索得出89篇。

1.4.3 小結

從分析結果來看，情緒測量領域中聲音情緒測量研究熱度較高，且應用領域較廣；涉及到的應用有：音樂情感識別、智能語音助手、醫療病癥診斷等，這些都是目前國內乃至世界范圍的熱門、前沿研究領域。

1.5 腦電生理信號測量

1.5.1 技術簡述

生理信號直接受自主神經系統和內分泌系統控制，與傳統情感分析相比，可以更客觀真實地反映出人們的情感狀態。其種類有腦電、心電、皮電等，腦電信號等，在情緒識別中因其具有較高的識別率和較為豐富的情緒特征而成為情感識別最主要的手段之一。腦電信號（EEG）測量是通過在大腦皮層特定神經中樞對應的頭皮位置上布置電極，記錄一段時間內各區域神經元放電現象，繪制成隨時間變化的動態曲線的過程。目前，腦電信號的測量技術主要有三種：濕電極測量、半干式電極測量和干電極測量，三種方式具備不同特點，適用于不同研究環境與研究內容。

濕電極腦電測量方法，被稱為EEG信號采集的金標準，通過高導電性的電解物質（電解凝膠）作為導電介質，降低皮膚與電極接觸面的阻抗大小，進而測量個體的EEG信號。半干式電極也被稱為水基腦電測量，與濕電極相比，它采用少量的液體電解質替代電解凝膠，就可以達到相對較低阻抗并獲得高質量的腦電信號。干電極測量技術與傳統的依賴于與頭皮的低阻抗測量原理不同，傳感器結合創新的電子處理技術，減少對人體共模信號的拾取和敏感性。不需要任何導電介質，直接將腦電帽電極貼附在頭皮表面即可。

1.5.2 文獻分析

此處通過檢索“腦電測量”“EEG”“情緒測量”等關鍵詞，從2008年至今的時間跨度中共篩選出97篇有效的學術論文與期刊。從發表年份來分析，各年的產量動態變化、總體呈現上升趨勢，其中2020年的研究熱度最高，當年產出了18篇論文或期刊。

事件相關電位測量技術是在某種特定刺激條件下所引起的一種腦電位變化的測量手段。陶熔鑄針對非接觸式干電極提出了AE芯片與BE芯片配合工作的四通道腦電信號測量接口專用集成電路方案設計，該方案能夠有效地抑制電極偏移、降低電極高阻抗和完成腦電信號模擬到數字的信號轉換。鄔明洲基于Δ～2Σ ADC結構提出了一種高性能生物電信號測量電路，解決了以EEG為代表的生物電信號幅值小、頻率低，易受低頻噪聲、電極失調和運動偽影等測量問題。宋振宇研制了一種基于章魚吸盤仿生結構的柔性干電極的可穿戴腦電（EEG）采集系統，該系統有便捷吸附、易于剝離、可多次重復使用的優點。

從文獻涉及學科占比分析，腦電情緒測量的應用除了涉及到廣義的電信技術外，主要與生物醫學工程、精神病學、生物學關聯，而涉及電信技術的文獻主要研究了腦波的各種特征數據。通過進一步分析關鍵詞發現，腦電情緒測量涉及的領域還包括“注意力檢測”“教育學習”“駕駛員情緒檢測”等。

1.5.3 小結

從分析結果可見，腦電情緒測量技術研究主要集中在腦電信號測量設備的便捷性和腦電信號自身幅值小、易受干擾的特性研究中。腦電信號測量技術的應用領域相當廣泛，目前已在生物學、醫學、精神病學、教育學等各大熱門領域有了相當的研究進展。但限于腦電測量設備比較笨重，且測量時較不穩定，容易產生較多噪聲，現腦電測量主要用于醫療觀察方面，距離民用化還有較長的距離；但不可否認的是腦電測量是情緒測量中較為準確的一種方式，其較非生理信號測量更能準確反映真實情緒的一大優勢，奠定未來腦電情緒測量將迎來更廣闊的發展前景。

2 多模態情緒測量

2.1 技術簡述

“多模態”（Multimedal）一詞最早由Bigun和Duc等人最先于1997年提出。從信息來源的角度來看，可以有文字、聲音、圖像、味覺、觸覺等，每一個這些信息的來源被稱為一個模態。不同的模態提供的信息不同，因此同時結合多個模態對被測者進行測量，并對其統一建模，這就是多模態信號測量。受到人類感知方式的啟發，研究認為每個模態對事物的描述具有相對獨立性，使用多模態數據的互補表述能夠使事物呈現更立體、表現更全面。

前文提到，腦電信號蘊含的情緒特征豐富且不受用戶的主觀影響，能更真實地反應被測者的情緒狀態，但腦電信號有著幅值小、易受噪聲干擾等缺陷；相反，表情、聲音等非生理信號測量雖然更容易被測出，但在特殊情況下，如：情緒偽裝的情況下，就會導致真實情緒與測量值存在偏差。因此，高精準、便攜式、可擴展性的多生理參數測量硬件架構和測量技術是多模態情緒識別研究走向工程應用是先決條件。

2.2 文獻分析

此處通過檢索“多模態情緒測量”“雙模態情緒測量”結合“生理信號”“語音”“面部表情”等多組關鍵詞，篩選得出179篇有效的相關研究論文。2017年以前，國內研究此領域的學者較少，2017年研究熱度突發，當年產出17篇相關研究論文，其中2020年、2021年的研究熱度最高，當年分別產出了44篇、49篇相關的研究論文。

通過分析關鍵詞出現次數，不難看出，國內研究學者在對多模態進行情緒測量研究時，主要研究模態組合為腦電信號、其他生理信號（如肌電信號心電信號等）、人聲與面部表情。

在這一技術領域上，南京郵電大學的研究貢獻較高，2017～2022年共產出了11篇相關研究論文；其次為上海交通大學，于2016～2022年產出了10篇相關研究論文。由于多模態情緒測量為前文多個模態的情緒測量方法的融合，其中以電信技術、計算機軟件及計算機應用、生物醫學工程、心理學為主；進一步分析標題與關鍵詞發現，多模態情緒測量的應用研究大多建立在醫療、教育等方面上。

盡管多模態數據在描述事物特征時具有明顯優勢，但仍面臨著較大的挑戰。①受到不同成像設備和傳感器的限制，難以收集到大規模、高質量的多模態數據集；②多模態數據需要匹配成對用于研究，任一模態測量的缺失都會造成可用數據的減少；③圖像、視頻數據在處理和標注上需要耗費較多的時間和人力成本，這些問題使得目前本領域的技術尚待攻關。

2.3 小結

不斷增加的研究表明多模態情緒測量逐漸成為主流的情緒測量方法，多模態情緒測量的準確性、穩定性在一個個實踐項目中也得到了論證。多模態情緒測量實驗也逐漸由模擬場景走向更為真實的人機交互環境，例如通過對舞臺表演者的語音、表情和姿態的測量來進行多模態情感識別。

3 總結

文章采用文獻分析法，綜述了面部表情測量、聲音測量、腦電生理信號測量、多模態情緒測量四種主要的情緒測量技術的發展現狀與研究進程，并簡述了四種測量技術方法與局限性。除了文章提到的幾種測量技術外，當今研究現狀也不乏如化學刺激、磁共振成像（FRMI）、腦磁圖（MEG）等更為前沿與精確的測量技術。

當今大多數研究學者都采用了融合多模態的情緒測量這一較為精確的測量技術。若未來的情緒測量技術能參照更多的指標，結合更多種測量方法，使測量結果更精確，才能盡可能地控制并降低測量誤差。由于情緒的復雜性，測量技術的仍存在技術更迭、對象多樣、適宜度、匹配度、精準度等很多待解決的問題。

4 對未來的展望

隨著科技的進步，情緒測量的技術逐漸向柔性可穿戴技術和微小傳感器發展，準確性也正逐步提高，尤其是基于傳感器結合創新的電子處理技術下，感知精度、數據傳輸等關鍵步驟的效率也在不斷提高。在當今社會下，人們對心理健康分析與判斷的需求越來越高，以需求為導向，未來情緒測量將會逐漸走出實驗室，廣泛民用化。