多模態數據融合評估新生兒疼痛的研究進展

朱南希,楊柳,諶紹林,王剛,王靖茜,鄧仁麗

疼痛被定義為“一種伴隨著實際或潛在組織損傷的不愉快感官和情感體驗”，世界衛生組織(WHO)將疼痛列為“第五大生命體征”[1-2]。每個新生兒在住院期間平均每天要經歷7.5～17.3次操作性疼痛刺激[3]。反復的疼痛刺激會造成新生兒原發性和繼發性痛覺過敏，引起新生兒機體內代謝紊亂，增加心血管系統負擔，影響神經系統發育，導致嚴重的后遺癥[4-5]。疼痛的準確評估是新生兒在住院期間的疼痛管理及治療得到安全性和高效性的保障[6]。臨床新生兒的疼痛程度多由護士采用疼痛評估量表進行評估，但人工評估存在間歇性、主觀性及耗時長等缺點[7]。近年來，隨著科技發展，借助計算機等設備和智能技術評估新生兒疼痛成為研究熱點。目前的智能疼痛評估技術大多是基于單模態(指的生理或者行為指標中的某一個指標)研制，如對疼痛面部表情或哭聲等的識別，但由于疼痛的復雜性及臨床環境的限制，其臨床適用性差。因此，結合行為及生理等指標的多模態評估技術的提出，是新生兒智能疼痛評估技術領域發展的一大飛躍。現將多模態數據融合(Muti-Modal Data Fusion)用于評估新生兒疼痛的研究進展綜述如下，為護理同仁提供參考。

1 多模態數據融合的概述

多模態是目前最新的一種新生兒智能化評估方式，其數據來源于單模態。多模態數據融合指在研究過程中，采集不同模態的信息，一般由2個或2個以上模態組成，將不同模態下的數據集成到一個空間中，綜合成統一的結果表達[8]。比起單模態數據它可以給予更為豐富及廣泛的信息，并且受數據缺失的影響較小。在新生兒疼痛評估測量中，多模態數據融合是指將新生兒在疼痛狀態下的行為指標(面部表情變化、身體活動、啼哭聲音)和生理指標(生命體征、腦血流動力學)等方面信息的互相聯合轉化。由于新生兒語言交流的限制及疼痛發生的復雜性，將多模態數據融合應用于新生兒疼痛評估，能考慮到疼痛反應的個體差異性，并避免臨床環境中的各種干擾因素導致的某一模態數據的丟失而造成的評估結果偏差，從而提高臨床適用性及疼痛評估結果的準確性。近年來，多模態數據融合在臨床上已被廣泛應用于疾病診斷、信息化管理等方面的研究，在提高臨床管理效能、促進醫學進步上起了重要作用，推動了大數據時代與臨床工作的有效結合[9]。

2 基于行為及生理模態的智能評估技術應用

2.1行為模態

新生兒在受到疼痛刺激時，會同時引起面部表情變化、身體活動及啼哭聲音的發生。近些年，新生兒疼痛智能識別技術在基于疼痛行為表現的研究上已取得一定成就，研究大多利用面部表情或啼哭聲音構建模型，已奠定了人工智能在臨床新生兒疼痛識別應用前景的初步基礎。

2.1.1面部表情 疼痛面部表情被定義為與疼痛刺激相關的面部肌肉運動和扭曲。與新生兒疼痛相關的面部運動包括鼻唇溝加深、皺眉擠眼、嘴巴水平或垂直拉伸、嘴唇撅起或張開、舌頭突出或繃緊和下巴顫抖等[10]。盧官明等[11]利用支持向量機(Support Vector Machine, SVM)技術對210幅新生兒疼痛與非疼痛面部表情靜態圖像進行分類識別，發現性能最佳時，識別率可達到93.33%。經過深入研究后提出基于深度三維殘差卷積神經網絡(Deep Residual-3D ConvNet，DR3D)利用視頻序列設計相應的表情識別系統，識別過程和結果可被更為直觀地展示，其識別準確率達66.54%[12]。國外一項Meta分析通過比較機器學習測量疼痛面部表情與各類基于疼痛指標的量表評估結果準確性顯示[13]，機器學習可以減少訓練成本，快速、準確和持續地監測疼痛。但疼痛表情的識別容易受光照、遮擋、分辨率等的影響，會降低臨床實用性。

2.1.2身體活動 新生兒在經歷疼痛刺激時，往往會有搖頭、伸展手臂和腿、張開手指等表現[7]。在關于身體運動指標的智能疼痛評估技術上，只有Zamzmi等[14]的研究中涉及，借鑒嬰兒運動診斷疾病的相關研究，提出基于侵入性儀器或視頻的方法分析身體運動以測量疼痛，結果顯示基于儀器的方法在捕捉運動上更為敏感，但視頻監測更容易被臨床接受。身體運動可以作為疼痛評估的指標之一，但沒有足夠的疼痛特異性[15]。

2.1.3啼哭聲音 新生兒啼哭是不適、饑餓或疼痛的常見跡象，可作為疼痛測量的輔助指標。葛曉利[16]以6個月內需擇期手術的嬰兒為研究對象，記錄其在手術前至手術后離開蘇醒室這一時間段內的啼哭數據，分析疼痛與非疼痛情況下的聲學特征，構建疼痛哭聲識別模型。Ricossa等[17]將疼痛評分結果納入到新生兒哭聲識別疼痛的技術開發中，提出利用譜熵分析的方法測量哭聲的持續時間、發音障礙和基本頻率，以識別痛苦級別。國內外學者[16-19]通過新生兒哭聲分析疼痛已展開了大量研究，但哭聲識別應用于臨床受環境條件限制，且新生兒重癥監護室大多為早產兒或鎮靜鎮痛狀態下的患兒，啼哭反應不明顯，容易造成測量結果的誤差。

2.1.4面部表情與啼哭聲音結合 Pal等[20]描述了一種多模態情緒檢測方法，基于新生兒的面部表情與啼哭聲音兩個行為指標來預測他們的情緒狀態，從而識別疼痛的存在。使用決策級融合的方式即將每個疼痛指標當作一個分類器，多個分類器的決策結果合并為一個單一的集成決策，以此決定最終的結果。通過尋找條件概率矩陣組合面部表情和哭泣模式，并將概率矩陣中導出的信念向量最大值作為最終的融合決策，最終結果顯示使用決策級融合方法預測嬰兒情緒的總體準確率為75.2%。由于決策級融合的方法能夠組合不同分類器標簽，可綜合考慮各分類器結果，建議此方法可應用于未來的研究中。

2.2生理模態

基于生理測量的疼痛分析包括從生命體征變化和腦血流動力學活動提取相關特征。

2.2.1心率變異性 心率變異性(Heart Rate Variability, HRV)是指逐次心跳周期差異的變化情況，受交感神經與副交感神經調節影響，反映機體自主神經系統的活動情況。當機體受到疼痛刺激時，會增加交感神經活動，而副交感神經活動受到抑制，導致HRV下降。心率變異性分析是一種心臟自主控制的無創測量方法[21]。Lindh等[22]在足跟采血時對輸出的心臟數據進行統計和頻譜分析，計算心率平均值、低頻及高頻功率和總心率變異性，結果顯示HRV對新生兒的疼痛反應有研究價值。Faye等[23]的研究亦證實HRV在新生兒慢性疼痛評估的可行性。心率變異性容易受胎齡及藥物使用的影響，其普適性還需進一步在臨床展開驗證。

2.2.2皮膚電傳導 皮膚電傳導(Skin Conduc-tance, SC)測量是基于交感神經系統對壓力反應的評估疼痛的生理學方法。當疼痛刺激發生時，相關壓力誘導嬰兒手足區域的交感神經興奮產生汗液，從而使用皮膚電傳導監測皮膚電活動的增加和減少以監測疼痛[24]。目前利用皮膚電傳導監測疼痛的相關研究結果不一致，尚需更多原始研究進一步證實，且其在氣管插管或鎮靜鎮痛的新生兒疼痛評估中還待探索[24]。

2.2.3腦血流動力學 近紅外光譜技術(Near Infrared Reflectance Spectroscopy, NIRS)是一種非侵入性方法，可用于檢測大腦氧合血紅蛋白(HbO2)和脫氧血紅蛋白(HHb)濃度的細微變化，反映大腦代謝和灌注變化，腦血流的變化反映了區域神經活動，而區域神經活動是疼痛強度的量度[25]。Slater等[26]使用NIRS來評估新生兒在足跟采血期間體感皮層的血流動力學活動，發現皮層血流動力學和疼痛行為反應之間具有相關性。但近紅外光譜技術對各種可能干擾結果的因素很敏感，受環境條件影響較大，患兒的活動以及可能導致代謝性體感變化的危重疾病均會導致測量結果的偏差，對危重新生兒的疼痛檢測還需進一步探討[25]。

2.2.4大腦神經電位活動 腦電圖(Electroencep-halography, EEG)可以檢測大腦神經元產生的電活動變化，尤其是功能事件相關電位(Event Related Potential, ERP)，其可確定由于內部或外部刺激而引發的大腦特定電生理反應[27]。Hartley等[28]提出一種基于腦電圖的新生兒痛覺性大腦活動測量方法，該大腦活動在急性傷害性刺激后被喚起，并且對痛覺調節很敏感。很多研究者已基本證實了疼痛所顯示的腦電波形態，但大部分研究的疼痛刺激部位為足跟[28-30]，考慮疼痛的復雜性，疼痛刺激部位的不同可能會導致腦電波的不同變化，所以其在實際應用上仍需深入研究。

3 多模態數據融合評估新生兒疼痛的智能評估技術應用

目前研究多是利用單模態檢測新生兒疼痛，由于胎齡、噪聲、氣管插管、藥物鎮靜鎮痛等因素，容易導致數據的缺失。為提高評估結果的準確性及避免單模態數據的丟失，應用行為及生理指標相結合的多模態數據融合評估新生兒疼痛的智能技術較具優勢。Worley等[31]在2012年開發了一種非侵入性綜合方法測量新生兒對周圍感覺和傷害性刺激的神經生理和行為反應。在足跟采血及觸摸刺激的同時，記錄肌肉和中樞神經系統的活動，包括表面肌電圖、腦電圖和近紅外光譜，通過視頻記錄心率、血氧飽和度、呼吸頻率及相關心血管活動。該研究雖然僅僅采集了足跟采血時的疼痛數據來構建模型，但其區分了新生兒在有害與無害刺激時反應的不同，且結果具有較好的敏感性與特異性。Roué等[32]研究發現靜脈穿刺時，新生兒面部編碼系統(Neonatal Facial Coding System，NFCS)評分與唾液皮質醇、皮膚電傳導和NIRS呈輕至中度相關。Zamzmi的研究團隊分別分析面部表情、身體活動、啼哭聲音和生命體征各指標單獨或結合評估疼痛時的精確性，研究顯示行為和生理指標相結合的評估結果精確性可達95%，高于任何單一指標的評估結果[14,33-35]。后續提出研究框架使用卷積神經網絡(Convolutional Neural Network, CNN)集成疼痛行為及生理指標且利用遞歸神經網絡整合時間信息更具效率及優越性[35]。2021年，該團隊用相機記錄已采集了第一個多模態新生兒疼痛數據集，包含了經歷操作性刺激和術后狀態下新生兒的行為及生理反應，其真實標簽由臨床護士使用疼痛評分量表所提供，且對疼痛程度進行分級[34]。目前多模態數據融合評估新生兒疼痛技術在區分新生兒不同疼痛類型上尚待進一步探索，若能夠以疼痛作為人體健康信號出發，通過識別疼痛發生從而預警病情，將能為新生兒臨床診療帶來重大價值，未來該技術在臨床的應用前景值得期待。

4 總結與展望

新生兒疼痛評估需綜合考慮行為與生理反應等多方面因素。隨著人工智能的發展，多模態數據融合評估新生兒疼痛可能是未來臨床新生兒疼痛測量工具發展的一大趨勢，有望在減少人力資源消耗的同時也可以提高評估結果的可靠性，更好地提高臨床疼痛管理效能。

當前的新生兒智能疼痛評估技術幾乎是為急性疼痛或術后疼痛而設計，新生兒慢性疼痛很難評估[36]，而潛在的慢性疼痛識別對醫療診斷工作有巨大的輔助價值，可及時提示病情變化，幫助提高預見性。未來的多模態智能疼痛識別技術在成熟的基礎上應豐富不同疼痛類型識別的算法，抓住新生兒疼痛的共性反應，并在新生兒的疾病發生中檢驗疼痛對病情進展的預警價值。尤其是針對新生兒重癥監護室內因中樞神經系統發育不成熟或病情等因素而對疼痛無法充分作出反應的新生兒，多模態數據融合的智能疼痛識別技術能夠從多維度全面捕捉他們的疼痛信息，從而預知病情可能處于不良進展階段，盡早展開診療，因此具有重大的臨床價值。當前國內的新生兒疼痛智能識別技術為計算機專業團隊研發，建議臨床護理人員與大數據等計算機研究人員合作，學科交叉，資源互補，以臨床角度出發，增強該技術的臨床實用性，聚焦于改善新生兒疼痛評估難點，解決臨床問題，提升新生兒疼痛管理的臨床意義。