基于多模態的貝葉斯網絡疼痛識別方法

郭文強， 趙艷， 徐紫薇， 肖秦琨

(1.陜西科技大學電子信息與人工智能學院，西安 710021； 2.陜西科技大學電氣與控制工程學院， 西安 710021； 3.西安工業大學電子信息工程學院， 西安 710021)

疼痛作為許多疾病的特征，在臨床上可以作為重要指標去監測病情和衡量治療效果。臨床醫護人員通常將自我報告作為疼痛的評估方法[1]。但是對于一些特殊人群，如新生兒、智力發育不良或精神受損的人，他們不具備自我評估疼痛的能力。因此在復雜的醫療環境下，高效準確的疼痛評估結果對患者的治療和護理具有重要的臨床意義。

人的面部表情中包含了大量的疼痛信息，是疼痛常見的評價依據之一[2]。文獻[3]使用支持向量機(support vector machine，SVM)算法進行疼痛識別，平均識別率為87.2%。但其主要針對疼痛的二分類識別，不能詳細描述患者的疼痛強度。在醫療實踐中，人們為了更好地進行醫療決策常將疼痛強度視為多分類問題。對此，文獻[4]采用長短期記憶(long short-term memory, LSTM)通過分析視頻幀間的時間關系進行疼痛強度多分類研究；文獻[5]采用循環神經網絡(recurrent neural network, RNN)實現疼痛等級的劃分。但其均采用“黑箱式”變量關系的表達方式，其模型復雜、可解釋性差。文獻[6]提出了一種基于貝葉斯網絡的疼痛識別方法，其利用貝葉斯網絡(Bayesian network, BN)在表示和推理不確定性問題上的優勢進行疼痛的多分類識別，且網絡結構可以直觀、清晰地顯示變量之間的因果關系[7]。由上述幾種方法可知，其均采用與疼痛相關的面部動作單元(action unit, AU)作為特征向量進行模型訓練，沒有充分考慮到其他與疼痛相關的模態信息，缺乏多樣性。目前在疼痛評估研究中，除面部表情特征外還引入了其他評價手段，如觀察者評估、生物生理學信號(如心率、皮膚導電率等)、語音信號等[8]。研究表明，結合多種模態進行情感分析能夠有效提高準確度[9-10]。

現提出一種基于多模態的貝葉斯網絡(multimodel Bayesian network, MMBN)疼痛識別方法。首先利用互信息對獲取的各疼痛特征進行相關性判斷，剔除冗余的特征向量；然后將多模態特征與BN模型結構靈活可變的優勢相結合來建立疼痛識別模型；最后利用聯合樹推理算法實現對疼痛客觀、準確的評估。

1 基本理論

1.1 多模態疼痛特征

通常將不同的存在形式或信息來源稱為模態，將由兩種或兩種以上模態的組合稱為多模態[10]。所提出的利用多模態進行疼痛識別可以有效提高單模態識別的準確度。在評估疼痛時，通過不同采集方式獲取的信息源具有獨立屬性的疼痛信息，如觀察者評估信息、面部表情、語音信號、生理信號等。以UNBC-McMaster數據庫[11]為例，疼痛信息源主要包括疼痛表情動作單元(AU)、觀察者評估(observers rated pain intensity, OPI)、視覺模擬量表(visual analog scales, VAS)和感官量表(the sensory scale, SEN)等疼痛信息。其中OPI是由接受過大量訓練的觀察者對患者的疼痛進行觀察評估，依據經驗判斷患者的疼痛程度；VAS和SEN是由受試者在每次測試完成后使用感覺和情感語言等疼痛描述符對其產生的疼痛進行評定。

面部表情傳遞著大量的關于疼痛和情緒狀態的信息，Prkachin等[12]基于面部動作編碼系統(facial action coding system, FACS)提出了疼痛度量標準(Prkachin and Soloman pain intensity, PSPI)，發現并證實了眉毛聚攏(AU4)、眼窩收緊(AU6和AU7)、提肌收縮(AU9和AU10)以及閉眼(AU43)這4種核心面部運動行為包含大多數的疼痛信息，并通過AU的強度值來評價疼痛的程度[12]。定義的Prkachin & Solomon 疼痛程度度量式為

PSPI=AU4+max(AU6,AU7)+

max(AU9,AU10)+AU43

(1)

式(1)中：除AU43的強度值為0或1，表示閉眼或睜眼外，其余AU的強度值均為0～5，且值越大說明AU強度越高，即總的疼痛程度為AU4的強度值、AU6或AU7(取最大強度值)、AU9或AU10(取最大強度值)和AU43強度值這4項之和。

圖1為UNBC-McMaster數據庫中的4張包含疼痛表情的圖像幀對應的PSPI值，可以看出，隨著PSPI值的增大，疼痛程度越強烈。

圖1 UNBC-McMaster數據庫的圖像幀及對應的PSPI值Fig.1 Image frame of UNBC-McMaster database and corresponding PSPI value

1.2 貝葉斯網絡

貝葉斯網絡[13]由結構G和參數θ兩部分組成。結構G=(V,E)為有向無環圖，其中n個節點集合V=(X1,X2,…,Xn)是變量，有向邊E集合表示變量間的因果依賴關系。θ是網絡參數，即節點的概率分布，表示節點之間相互影響的程度。θi∈θ表示在給定節點Xi的父節點時Xi的條件概率，節點集合V的聯合概率分布可表示為[13]

(2)

式(2)中：Xi為網絡中的節點變量，i=1，2，…，n；π(Xi)為節點Xi的父節點變量集合。

1.2.1 貝葉斯網絡建模

貝葉斯網絡學習[14]包括BN結構建模、BN參數建模和BN推理三部分，其中BN結構建模常采用專家經驗法和根據給定樣本學習法。

BN參數學習[15]是在建立好網絡拓撲結構后，按照一定的數學準則，利用數據樣本集來學習、計算BN的參數分布。當數據集充足時，常采用最大似然估計(maximum likelihood estimation, MLE)算法進行參數學習；當數據集存在不同程度的數據缺失時，常選用期望最大化(expectation maximization, EM)算法進行參數學習，雖然計算時間相對較長，但比MLE算法更精確。使用EM算法計算參數分布。首先初始化每個節點的概率分布，然后根據訓練數據修改初始概率分布，找到每個參數的最大似然估計。假定θ的初始值為θ0，參數空間為Θ，EM算法的實現步驟如下[15]。

步驟1E步(expectation step)。以當前參數θk和觀測變量x計算對數似然函數lgLc(θ,x)的期望為Q(θ,θk)，計算公式為

Q(θ,θk)=Eθ(k){lgLc(θ,x)}

(3)

式(3)中：Eθ(k)為θ(k)的期望。

步驟2M步(maximization step)。尋找參數最大化期望似然，可表示為

(4)

EM算法使用E步和M步交替計算，直至收斂到局部最優解。

1.2.2 貝葉斯網絡推理

BN推理[16]是指在學習到精確的貝葉斯網絡結構和參數后，通過概率推理的方式對未知變量進行估計或預測，即在已知證據節點集合e的取值狀態下，計算非證據節點o的后驗概率分布P(o|e)。采用計算速度最快、應用最廣的聯合樹(junction tree, JT)推理算法進行精確推理算法，其表達式為[16]

(5)

式(5)中：e為證據；P(e)為常數；P(o)為先驗概率；P(e|o) =L(o|e)為似然函數。

1.3 互信息

為使建立的貝葉斯網絡模型結構更加簡潔，且方便后續模型的訓練和推理，利用互信息進行多模態特征向量間的相關性判斷，剔除冗余的特征向量。互信息是兩個變量間相互依賴性的度量，以任意兩個變量X、Y為例，互信息I(X,Y)可表示為[17]

(6)

式(6)中：P(X,Y)為變量X和Y的聯合概率；P(X)為變量X的概率；P(Y)為變量Y的概率。

2 基于多模態的貝葉斯網絡疼痛識別方法

所提出的基于多模態的貝葉斯網絡疼痛識別方法主要步驟如下。

步驟1獲取有關疼痛的多模態特征樣本數據集。

步驟2判斷是否構建多模態貝葉斯網絡疼痛識別模型。若是，則跳轉至步驟6進行BN推理和識別；否則執行步驟3～步驟5，完成疼痛識別模型的建立。

步驟3確定特征總數和特征樣本之間的相關性閾值φ。

步驟4利用互信息對多模態特征樣本間進行相關性判斷，確定貝葉斯網絡結構。

步驟5對特征樣本數據集中的訓練樣本利用EM算法進行參數估計，完成疼痛識別模型的建立。

步驟6對特征樣本數據集中的待識別樣本(未用于訓練)采用聯合樹推理算法完成BN推理和識別判定，輸出疼痛等級識別結果。

2.1 多模態BN結構設計

所提出的多模態BN結構模型如圖2所示，其由待識別節點T、控制單元S以及證據節點E三部分組成。圖2中，E1、E2、…、En為與待識別節點T相關的證據節點，并設置了一個控制單元S=[S1,S2,…,Sn]，其中Si=1或0(i=1,2，…，n)，若Si=1，則待識別節點與Ei存在有向邊，模型中包含該信息源的信息；反之，則待識別節點與Ei不存在有向邊，模型中不包含該信息源的信息。

圖2 多模態BN結構模型圖Fig.2 Multimodal BN structure model diagram

2.2 樣本獲取

以UNBC-McMaster數據庫為例，將疼痛劃分為不痛、輕度疼痛、中度疼痛和重度疼痛，并將疼痛表情AU特征(AU4、AU6、AU7、AU9、AU10、AU43)、觀察者評估(OPI)兩種信息源作為多模態BN建模的證據節點。根據文獻[11]的方法獲取有關疼痛的AU特征樣本集，即先用主動外觀模型(active appearance model，AAM)系統來跟蹤人臉和提取面部底層特征，最后使用SVM方法對面部特征進行分析得到AU樣本集，為了方便計算對獲取的每個AU強度值加1；數據庫中疼痛信息源OPI為接受過大量訓練的觀察者對患者的疼痛進行觀察評估，依據經驗判斷患者的疼痛程度。對OPI數據進行預處理后，現為3種狀態(1，2，3)且數字越大對應患者疼痛程度越強。采用以上方法來獲取AU特征樣本數據和OPI數據，如獲得的重度疼痛特征樣本數據如表1所示。

2.3 特征去冗余

利用互信息對與疼痛相關的特征進行相關性判斷，剔除冗余的特征向量，確定BN建模時所需的多模態特征。首先設定各特征樣本的相關性閾值φ，然后計算n個特征樣本數據之間的互信息值Mij(i=1,2，…,n；j=1,2，…,n)，若Mij<閾值φ，將Si置1；否則Si仍保留為0。對獲取的特征樣本數據進行互信息計算的結果如圖3所示，其相關性可以通過互信息值的大小反映，范圍在0～1，當大于閾值φ且越接近1時，表示各特征之間的相關性越強；當小于閾值φ時，表示各特征之間相關性較低，其中將閾值φ設為0.6。由圖3可以看出，各特征之間的自我相關性最強，如AU4與AU4間互信息值大于閾值φ= 0.6；而不同特征之間的互信息值均小于閾值φ= 0.6，表明了這7個特征之間的相關性較低，可以作為BN建模時所需的特征向量。

表1 重度疼痛的部分特征樣本數據

圖3 各特征間的互信息計算結果Fig.3 Mutual information calculation results between features

2.4 疼痛識別模型建立

通過多模態BN結構模型圖構建的疼痛識別模型主要過程如下：①確定待識別節點T為疼痛等級，即“不痛”、“輕度疼痛”、“中度疼痛”和“重度疼痛”；②分析并確定疼痛識別的影響因素，即證據節點E，如面部有關疼痛的AU特征和觀察者評估信息；③根據互信息對各影響因素進行相關性判斷，即控制單元S置位判斷，構造出用于疼痛識別的貝葉斯網絡模型的拓撲結構；④分析各因素對疼痛識別的影響程度，確定條件概率表，即采用EM算法進行參數估計，迭代次數設為5 000。

根據上述過程分析，建立的疼痛識別結構模型如圖4所示。圖4(a)為基于單模態的BN疼痛識別結構模型，其只采用了與面部有關的疼痛AU特征作為證據節點，Pain Level節點和OPI證據節點之間不存在有向邊，即控制單元S=[S1,S2,S3,S4,S5,S6,S7]=[1,1,1,1,1,1,0]；圖4(b)為基于多模態的BN疼痛識別結構模型，其采用了有關疼痛的AU特征和OPI疼痛信息共同作為證據節點，Pain Level節點和OPI證據節點之間存在有向邊，即控制單元S=[S1,S2,S3,S4,S5,S6,S7]=[1,1,1,1,1,1,1]。

圖4 基于貝葉斯網絡的疼痛識別模型Fig.4 Pain recognition model based on Bayesian network

圖4中，Pain Level節點表示疼痛等級，包含4種狀態：“不痛”“輕度疼痛”“中度疼痛”和“重度疼痛”；AU各節點表示由疼痛觸發的面部活動單元，其中，子節點AU43共有2種狀態，其他AU子節點各有6種狀態，代表AU發生的強度；OPI表示觀察者評估的疼痛程度，共有3種狀態。

2.5 疼痛識別

疼痛識別的過程實質是利用建立好的貝葉斯網絡模型進行BN推理和識別判定。使用聯合樹推理算法根據式(7)計算Painl的后驗概率，可以得到“不痛”“輕度疼痛”“中度疼痛”和“重度疼痛”4種疼痛等級的概率，其和為1。通過比較各疼痛等級概率的大小，將概率最大且唯一時所對應的疼痛等級識別結果進行輸出。

Pain*=argmaxP(Painl|evidence)

(7)

式(7)中：evidence為輸入特征向量對應的觀測證據;Painl為疼痛識別節點中疼痛等級取值為l的事件，1≤l≤q，其中q取值為4，即“不痛”“輕度疼痛”“中度疼痛”和“重度疼痛”分別用1、2、3、4表示。

3 實驗與分析

3.1 實驗設置

本實驗仿真實驗平臺為Windows10系統，處理器為AMD CPU 1.8 GHz，編程工具為MATLAB R2016b，數據集為UNBC-McMaster數據庫。

UNBC-McMaster數據庫[11]記錄了25位志愿者在主動或者被動轉動其受傷肩部時的200個面部表情視頻，包含48 398個FACS編碼的圖像幀和相應圖像幀的66個AAM特征標記、PSPI疼痛強度值、視頻序列下的自我報告和觀察者評估信息。按照專家先驗知識進行疼痛等級的劃分，其各級疼痛的特征樣本數據如表2所示。實驗中，從各級疼痛圖像樣本中隨機選取268張圖像作為訓練樣本，從剩余的各級疼痛圖像樣本里隨機選取115張圖像作為待識別樣本。

表2 疼痛等級特征值組合

3.2 基于單模態的實驗結果

采用基于單模態的BN模型進行疼痛識別，即僅根據與疼痛相關的AU特征作為疼痛識別的證據節點，其模型結構如圖4(a)所示。為了更直觀地表明該模型的疼痛等級識別效果，采用混淆矩陣的方式表示實驗結果，如表3所示。

由表3可以看出，4種疼痛等級的識別率均達到90%以上。其中“不痛”的識別率可達到100%，可以做到完全區分疼痛與非疼痛表情；“輕度疼痛”

表3 基于單模態的疼痛識別結果

識別率為97.39%，容易與“不痛”混淆；“中度疼痛”的識別率為90.44%，容易與“重度疼痛”混淆。分析可知，基于單模態下BN模型可以準確的劃分疼痛等級，能夠取得較好的疼痛識別結果。

3.3 基于多模態的實驗結果

由于目前UNBC數據庫中OPI數據較少，在模型訓練時可能會存在過擬合現象。為此根據已有的數據及OPI與Pain Level節點狀態存在的關系生成一個有關節點OPI的條件概率表，如表4所示。其可以根據不同Pain Level的狀態隨機生成每張圖片對應OPI值。

利用所提出的基于多模態的BN模型進行疼痛識別，即根據疼痛AU特征和OPI信息共同作為疼痛識別的證據節點，其模型結構如圖4(b)所示，實驗結果用混淆矩陣表示，如表5所示。

由表5可以看出，4種疼痛等級下的識別率均達到93%以上。其中“不痛”的識別率可達到100%，可以完全區分疼痛與非疼痛表情；“中度疼痛”的識別率為93.91%，容易與“重度疼痛”混淆。分析可知，相較于單模態的實驗結果，基于多模態的BN模型對疼痛各等級的識別結果均得到提高，容易混淆的個數得到減少，可以更準確地劃分疼痛等級。

表4 節點OPI的條件概率

表5 基于多模態的疼痛識別結果

3.4 不同方法的實驗結果對比

為進一步驗證本文方法的有效性，與SVM[3]、LSTM[4]、RNN[5]和單模態的BN模型識別方法進行對比。通過平均識別準確率以及機器學習中的接收工作特性曲線下面積(area under the curve, AUC)對分類模型的準確性進行衡量[18]，一般AUC值越大，說明該分類模型的性能更好。不同識別方法的實驗結果如圖5所示。

圖5 不同識別方法的實驗結果Fig.5 Experimental results of different recognition methods

由圖5可以看出，本文方法的準確率為97%，相較于經典的SVM[3]、LSTM[4]、RNN[5]和單模態的BN模型識別方法分別提高了11%、14%、22%和2%，取得了較好的疼痛識別結果。此外，本文方法的AUC值均高于其他方法，說明了MMBN的分類模型有著較強的分類性能，具備一定預測價值。分析可知，在疼痛條件下利用多種模態之間的信息互補性以及貝葉斯網絡模型強大的學習能力和靈活的可擴展性，將不同模態信息融入網絡中，使得疼痛的識別更加準確。

4 結論

高效準確地疼痛評估對患者的治療具有重要意義，為了提高疼痛識別的準確度，打破單模態疼痛識別方法的局限性，提出了一種基于多模態的貝葉斯網絡疼痛識別方法。首先設計了一種結合多模態的BN結構模型，將其應用到疼痛識別過程中；其次獲取有關疼痛的多模態特征，利用互信息對各疼痛特征進行相關性判斷，剔除冗余的特征向量，使得建立的疼痛識別模型更加簡潔；最后在UNBC-McMaster數據庫上利用該方法與其他傳統的單模態方法進行對比，實驗結果表明，本文提出的MMBN方法能夠充分利用多種模態特征之間的信息互補性及BN模型的可擴展性等優勢，可以準確地劃分疼痛等級，有效提高疼痛識別率，解決了以往研究中單模態疼痛識別方法準確度低的問題。

在未來工作中，將進一步與生理信號、語音信號等其他模態信息相結合進行疼痛識別的研究，增強疼痛識別模型的魯棒性，同時在多種疼痛數據集下進行驗證，擴大模型的應用范圍。