面部微表情分析技術在法醫精神病學領域的研究現狀及應用展望

李雯，李豪喆，陳琛，蔡偉雄

司法鑒定科學研究院 上海市法醫學重點實驗室 司法部司法鑒定重點實驗室 上海市司法鑒定專業技術服務平臺，上海 200063

人臉表情可分為微表情和宏表情。在日常交談過程中能夠被肉眼察覺的通常是宏表情，其能夠被主觀控制。相較于宏表情，微表情是一種動作幅度微小、短暫的、快速的、無意識的表情。微表情具有兩大特點，一是持續時間非常短暫，僅為1/25～1/3 s，靠肉眼難以察覺，基于此，YAN 等[1]將微表情定義為持續時長短于500 ms 或出現時間短于260 ms 的表情；二是不受主觀意識控制，是一種自發式的表情，既無法偽造也無法抑制[2]。因此微表情被看作是揭示隱藏情緒的重要標志[3-5]，能夠反映個體的真實情感[6]。

微表情有關研究已有數十年發展史。1966 年，HAGGARD 等[7]第一次提出了微表情的概念，他們認為，微表情與自我防御機制有關，能夠表達隱藏起來的情緒。1969 年，EKMAN 和 FRIESE 在觀看1 例抑郁癥患者的錄像時發現，雖然表面上該患者無任何異常表現，但慢速播放錄像時卻發現該患者有一個強烈痛苦的表情，而這個痛苦表情僅持續了1/12 s[8]。自此，微表情分析相關研究逐漸發展、拓寬，相關技術逐漸進步、完善。目前在刑事偵查[9-11]、教育[12-13]領域已較廣泛地探討了微表情分析的應用價值，相關醫學領域[14-18]的應用探索在近年也逐漸開展。

微表情分析技術在法醫精神病學領域的應用價值在于該技術對患者情緒反應非常敏感[19]。精神障礙者的癥狀之一是情感癥狀，如情感障礙者可有顯著的情緒高漲或情緒低落，精神分裂癥患者可有情感平淡、情感不協調、或繼發（伴發）抑郁癥狀、器質性精神障礙、神經癥性障礙等，也會表現不同程度的情緒反應。因此，微表情分析作為能夠反映患者真實情緒狀態的技術手段，在輔助精神病鑒定診斷、嚴重精神障礙者的社區監管、暴力風險預測、詐病識別等法醫精神病學研究中的重要議題中都有潛在的應用價值。本文將回顧相關研究，討論微表情分析在法醫精神病學領域的研究現狀，并展望其應用前景和研究方向。

1 面部微表情分析技術及其發展

早期，微表情分析通常依靠研究員逐幀觀看受試者面部錄像視頻來完成。為了對面部表情做系統化分析，方便同類研究結果的比較，研究者編制了面部表情編碼系統。例如，面部動作編碼系統（facial action coding system，FACS）[20]以及表情辨別整體判斷系統[21]等。其中，FACS 是迄今為止最精細的面部動作編碼體系，使用最為廣泛。該系統定義了46 個面部動作單元（action unit，AU），每一個動作單元對應一組面部肌肉收縮[20]。例如，AU2 代表由額肌的外側肌群收縮引起的眉尾提升，AU5 代表由眼輪匝肌內圈和上瞼提肌共同收縮引起的上眼瞼提起等。不同面部動作單元的組合可以描述不同的面部情緒表達，如AU2（額肌外側收縮）、AU5（上瞼提起）、AU25（雙唇分開）3 個面部運動單元同時激活可描述驚訝的表情。不同的面部動作單元組合也可以描述同一種情緒表達，如對于六大基礎情緒（憤怒、厭惡、恐懼、愉快、傷心、驚訝），每種情緒都有多組面部動作單元對其進行描述。在具體研究中，可根據研究內容有針對性地選擇部分面部動作單元或部分面部動作單元組合進行監測和分析[17]。例如，HAYNIE 等[3]依據表情辨別整體判斷系統編碼記錄了7個月、10個月、13 個月月齡的嬰兒在燈光、寵物刺激下的情緒反應，記錄積極的、消極的面部情緒反應應答時間和持續時間。LOTZIN 等[22]使用FACS 記錄了精神分裂癥患兒和健康兒童在一個問題處理任務中的面部表情，結果發現，患兒組每分鐘表達的積極情緒比健康兒童顯著減少。這種通過人工識別分析微表情的方式有諸多局限性，其耗時長、效率低、人工成本高，需要受過系統培訓的專門人員才能操作，而且人工識別準確率有限[23]。此外，早期研究受限于錄影設備及視頻播放設備的幀數限制，持續時間過短的微表情難以被捕捉到。這些都導致微表情分析技術的應用受到限制。

隨著錄影設備的發展，視頻清晰度和幀數得到顯著提升，不過幀數增多意味著工作量增大，通過人工識別來分析時間過長的視頻實屬困難。得益于人工智能技術的發展，微表情的自動化分析得以實現[6]。目前已有眾多研究開發或驗證基于計算機視覺的微表情分析技術。計算機視覺通過分析視覺及其他感官數據來系統研究人類行為[24-26]。例如，OWAYJAN等[27]使用嵌入式視覺系統來捕捉受試者訪談中的視頻，其使用LabVIEW 系統工程軟件（美國國家儀器有限公司）將視頻轉換成一系列幀，然后通過顏色轉換、過濾、確定面部結構的關鍵特征、提取測量數據等幾個步驟檢測受試者微表情，該檢測系統可以解讀快樂、悲傷、喜悅、憤怒、恐懼、驚訝、厭惡和輕蔑8 種面部表情。使用計算機自動分析視頻數據抓捕受試者面部表情具有諸多優勢。首先，高速攝像機可以記錄持續時間非常短暫的微表情，但產生的數據量巨大，基于計算機自動分析技術的微表情抓取則能夠處理人工難以完成的數據量[28]。在建立了穩定的識別模型的前提下，計算機能夠大規模進行微表情識別，顯著提高識別效率[28]。其次，隨著電腦、手機、攝像機等錄影設備的日常化普及，實時拍攝、記錄受試者得以實現，結合微表情自動分析技術處理所得的視頻數據，理論上就能夠實時監測受試者在自然狀態下的行為、表情數據，如監測患者在家時的行為動作和面部表情變化[29]，從而實現病情的動態監測[14]。

目前，微表情的自動化識別主要通過深度學習方法來實現。識別模型的訓練多基于現有的微表情數據集，如SMIC 數據集[30]、CASME 數據集[31]、Polikovsky數據集[32]以及USF-HD 數據集[33]等。深度學習為保證結局指標識別的準確性，納入的變量眾多，樣本需求量大，但現實研究中通常難以獲取足夠的樣本量來訓練模型，因此也有研究嘗試納入語音數據[34-35]或腦電圖數據[36]以優化模型，或在卷積神經網絡、序列融合方法、鏈式融合機制、長短期記憶網絡等的基礎上優化算法[37-39]。目前，除自行建立識別模型外，Noldus FaceReader[40]、Computer Expression Recognition Toolbox（CERT）[41]以及Openface[42]等面部表情分析軟件能夠識別特定面部情緒表情類型，研究者可根據需求在軟件中選取需要抓取、分析的表情類型，也能透過軟件自行建立、定義新的表情類型。

2 微表情分析在法醫精神病學領域研究中的狀況

輔助診斷是目前使用微表情分析技術最常見的研究方向，其中，研究最多的精神障礙為抑郁癥。COHN 等[16]使用FACS 人工編碼和主動外觀模型（active appearance models，AAM）結合語音數據分析抑郁癥患者中有抑郁癥狀和無抑郁癥狀者的面部表情視頻數據，結果發現，人工判別有抑郁者的準確度為88%，自動分析模型判別的準確率為79%。ALGHOWINEM 等[43]對比分析了抑郁癥患者和健康人群臨床訪談視頻中面部128 個眼瞼和眼角的特征點，所得的幾種模型診斷抑郁癥的準確率平均約為88%。PAMPOUCHIDOU 等[44]也比較了抑郁癥患者和健康人群面部表情的視頻，視頻內容為受試者通過人機交互模式和真人對話模式完成一系列測試的過程，不過，該研究所得的視頻分析模型對判別自評焦慮癥狀的準確性更高。此外，也有研究嘗試基于現有數據集通過篩選特征值、引入新算法提高抑郁表情識別的準確性[45]。

既往亦有研究嘗試使用微表情分析輔助自閉癥早期診斷。ALVARI等[17]使用Openface分析了6～12月齡自閉癥幼兒和健康幼兒的家庭錄像，提取了自閉癥幼兒社會性微笑表情的動態變化，結果發現，自閉癥幼兒社會性微笑的頻率和激活強度均明顯降低。EGGER 等[46]則開發了1 個手機APP 收集12～72 月齡兒童的視頻，家長通過該手機APP 帶受試兒童觀看能夠引發自閉癥相關癥狀的短片，并錄制上傳受試兒童觀看短片時的面部表情，視頻收集完畢后研究者使用人工智能自動分析受試兒童的情緒和行為以識別自閉癥患兒。

此外，還有研究探討精神障礙者面部微表情的特征性表現。FUJIWARA 等[18]使用該技術在一組6～8 歲經歷過地震的兒童中識別情感麻木表情，受試兒童先觀看2 min 與地震無關的風景圖片以建立基線情緒反應，再觀看2 min 兒童戲劇，在受試兒童觀看圖片及視頻時錄制他們的面部表情，再使用FaceReader 軟件對視頻進行編碼，該研究發現，創傷后應激障礙癥狀更重者表現出中性面部表情的比例更大[18]。使用傳統面部表情分析技術發現精神分裂癥患者面部動作特征有改變[22]，相較于健康人群，精神分裂癥在面對刺激因素時[47-49]或在社會交往中[50]面部動作顯著減少。

3 微表情分析在法醫精神病學領域應用的展望

3.1 輔助診斷

微表情分析技術有望為精神障礙的診斷提供客觀評估指標。目前，精神障礙診斷分類的基軸主要是患者的癥狀表現，其中情感癥狀是精神障礙的重要癥狀，是精神檢查的重要內容，不同精神障礙的情感癥狀表現會有所不同。微表情識別作為一種對受試者情緒敏感的客觀檢查技術，能夠極大地避免評估者偏倚，有望為精神障礙的診斷提供客觀評估指標，從而輔助精神病司法鑒定診斷。該方法還可以讓患者更少暴露于既往的創傷性經歷。傳統的病情監測手段，如臨床訪談、填寫自評問卷方法，需要患者回憶患病經過，如果接診醫生或測試者處理不當，則會造成對患者的二次創傷，而微表情分析則可以避免這種情況的發生。

3.2 嚴重精神障礙者的社區監管

社區監管是嚴重精神障礙者及強制醫療出院患者康復管理的重要一環[51]，社區監管不到位是該類患者病情控制不佳、出現肇事肇禍違法犯罪行為的重要因素之一。目前，社區對于嚴重精神障礙者的病情監測主要依靠定期精神科隨訪，在隨訪過程中精神科醫生一般依據臨床判斷、監護人對患者病情的反映、相關的他評或自評量表等監測患者病情。這種傳統的監測方法存在顯著不足，如監護人對患者的病情反映可能不準確，自評工具可能有回顧性偏倚，在有限的訪談時間內患者可能會隱藏病情，從而造成病情評估不全面、準確性欠佳的情況。此外，嚴重精神障礙的癥狀是隨時變化的[52-54]，持續監測時間不足也是導致精神障礙診斷不全面的重要因素[55]。

微表情自動化分析技術有望在一定程度上彌補上述傳統病情監測方法的不足，可依托患者或監護人上傳的視頻，實現對患者精神狀態的動態監測及遠程監測。不過這種監測手段首先需要準確可靠的精神癥狀識別模型，未來研究可側重于開發可靠的疾病自動識別模型，為該技術在病情的動態監測和遠程監測中的應用做充足準備。

3.3 暴力風險預測

精神障礙者暴力攻擊風險預測和評估也是法醫精神病學研究中的重要議題。時至今日，雖然有眾多研究從流行病學、神經影像學、神經生化等方面就暴力風險相關因素及可能機制進行了探討[56-58]，并建立了一些風險預測模型[59-60]，但這些預測模型受限于風險因素納入不全、研究對象代表性不足的問題，其預測效度仍待探討。精神障礙者的暴力行為與情緒控制障礙密切相關[61]，因此情緒反應是暴力風險預測的重要方面。在進一步完善、優化暴力風險預測模型時，微表情分析有望成為重要監測指標。

基于視頻監控的微表情自動化識別技術對暴力風險的防控有其獨特優勢。該技術具有隱蔽性好、可操作性強的特點，在精神病醫院、監獄特殊場所，將微表情監測聯合運用于暴力風險監控有助于提高風險預測、防治效力；在公共場所對特殊人群進行微表情監測有助于暴力風險的即時識別。

自殺行為作為一種針對患者自身的暴力行為，亦是法醫精神病學的研究重點。自殺不僅會傷及患者個人人身安全，部分患者可能有擴大性自殺行為從而危害他人人身安全。如前文所述，微表情識別最初的經典研究就是在慢速回放1 例自殺抑郁癥患者生前錄像時，發現了一個極為痛苦但持續時間短暫的表情[8]。基于此，未來研究可考慮分析有自殺行為者在實施自殺行為前的影像資料，提取面部微表情特征值，建立自殺行為的預測模型，并將其應用于重點人群的面部視頻監測，加固自殺風險的防范。

3.4 詐病識別

微表情分析作為一種有效且可靠的測謊技術，有望為詐病的鑒別提供一定幫助。既往研究表明，面部動作單元在某些特定情況下似乎能夠區分“真表情”和“假表情”。EKMAN 等[62]發現，“真”開心表情表現為臉頰上提、眼周肌肉收縮、顴大肌收縮等，而“假”開心則只表現為臉頰上提，眼周肌、顴大肌收縮可能不出現或者延遲出現。PORTER 等[63]令受試者觀看惡心的、悲傷的、恐怖的、快樂的和中性的圖片，然后受試者對真實表情或虛假表情作出回應，通過對基礎表情、微表情及眨眼動作的出現頻率和持續時間進行分析發現，負面情緒比正面情緒難隱藏。MATSUMOTO等[11]在模擬犯罪實驗中監測受試者在初次面談時的面部表情，發現持續時間≤0.40 s 和≤0.50 s 的負性情緒微表情能夠區分說謊者和說實話者。上述研究[11，63]發現，在給予適當刺激時，監測受試者微表情能夠區分受試者說謊與否。不過也有研究者對微表情分析的測謊能力有所質疑，BURGOON[64]認為，欺騙行為伴隨的不僅是消極情緒，也有積極情緒或者無情緒，因此除了關注特定微表情的出現與否外，也應當關注微表情的缺失，以及與欺騙行為有關的起始面部運動模式。我國刑事偵查領域已嘗試將微表情識別作為生理反應監測的內容之一，輔助偵查訊問工作，以識別口供的真偽[65-66]，不過上述研究發現尚未在精神障礙者中得到驗證。綜上，在普通人群中微表情分析能夠在一定程度上辨別“謊言”，未來研究可考慮在精神障礙者中探討微表情分析輔助測謊的可靠性和可行性。

4 挑戰與發展方向

微表情分析作為一種新的檢測手段，其在法醫精神病學領域的應用仍面臨眾多挑戰。（1）可靠的診斷模型和預測模型是實現微表情分析技術應用于精神障礙輔助診斷、社區監管、詐病識別以及風險預測的關鍵，然而，現有模型的可靠性仍待檢驗。①訓練可靠的模型需要良好的訓練數據集，具體來講，需要該數據集中精神障礙的診斷準確、樣本量充足、變量充分，但實際研究所用數據集可能在上述方面存在不足，最終導致所得模型可靠性不佳。②納入模型的微表情特征值提取的準確性仍有待提升。雖然現有研究提出了多種特征提取算法做圖片分析處理，然而現有的算法對精神障礙識別的準確性仍不滿意[45]。③目前基于微表情自動化分析的診斷模型均為判別精神障礙者和健康對照的模型，尚無研究探索不同精神障礙的鑒別診斷模型，這導致目前發現的區分精神障礙者和健康人群的微表情特征是否在該類精神障礙中特異尚未可知，極大地限制了現有模型在實際診斷工作中的應用。④受試者不合作可能導致錄像質量不佳，受試者如經過訓練可能會影響其微表情表達，然而目前仍缺乏研究探討這些方面是否會影響模型的準確性，也缺乏研究探討如何在實際操作過程中避免或控制這些影響因素。因此，未來研究應通過建立可靠的微表情數據集、改良提取微表情特征值的方案、探索各類精神障礙間鑒別診斷模型以及建立面部表情錄制標準化方案等，提高模型可靠性，實現微表情分析技術的臨床應用。（2）目前已有多種微表情識別軟件發布，研究者可以使用軟件識別特定微表情類型。不過，①現有軟件通常只能識別幾種特定的情緒，例如，CERT 軟件只能識別7 種基礎情緒以及中性情緒，這些軟件在識別單一情緒時通常準確性良好，但識別某些混合情緒時準確性會下降[67]。②現有研究多集中探討這些軟件信效度[68]，使用這些軟件來探討臨床問題的研究尚欠缺。因此，未來研究需要提高現有軟件識別混合情緒的敏感性和準確性，并進一步探索如何將現有的微表情識別軟件檢測到的面部表情數據與具體需要解決的精神科問題聯系起來。

綜上所述，微表情分析在精神障礙的輔助診斷、病情監測、風險監控及詐病識別等方面都有很好的應用前景。目前技術已經能夠支撐微表情的自動化分析，不過該分析技術仍面臨諸多挑戰，未來研究應當著重于開發可靠性良好的基于微表情分析的診斷、預測模型，以豐富微表情分析技術在法醫精神病學領域的應用。