基于CTSA-Net的急性腎損傷風(fēng)險預(yù)測研究

張青松, 陳春曉 △,陳利海

(1.南京航空航天大學(xué) 生物醫(yī)學(xué)工程系,南京 211106;2.南京市第一醫(yī)院麻醉科,南京 210006)

0 引言

急性腎損傷(acute kidney injury, AKI)是重癥監(jiān)護病房(intensive care unit, ICU)中常見的異質(zhì)性并發(fā)癥之一[1-2]。AKI不僅是患者死亡的獨立危險因素之一[3-6],還與住院時間及住院費用的增加高度相關(guān)[7-8]。

AKI通常被定義為血清肌酐的顯著升高或尿量的顯著減少[9-12]。總體而言,AKI是一種異質(zhì)性疾病,發(fā)病機制復(fù)雜[13],涉及多種危險因素[2,14]。因此,充分利用臨床數(shù)據(jù),構(gòu)建預(yù)測模型對AKI高風(fēng)險患者進行早期識別、降低AKI的發(fā)生率及改善患者預(yù)后[13-16]具有重要意義。

隨著醫(yī)療信息數(shù)字化技術(shù)的發(fā)展,電子健康記錄(electronic health record, EHR)系統(tǒng)構(gòu)建了規(guī)模龐大且復(fù)雜的醫(yī)學(xué)數(shù)據(jù)庫。機器學(xué)習(xí)作為大數(shù)據(jù)分析的有效方法也被逐漸應(yīng)用于AKI的風(fēng)險預(yù)測。Koyner等[17]收集了30多萬條住院病例的EHR數(shù)據(jù),基于梯度提升決策樹法構(gòu)建模型,在發(fā)病前24和48 h預(yù)測2期或以上AKI的受試者工作特征曲線下面積(area under the receiver operating characteristic curve, AUC)分別為0.90和0.87。Petrosyan等[18]構(gòu)建了一種隨機森林和傳統(tǒng)邏輯回歸混合預(yù)測模型,基于心臟手術(shù)患者的術(shù)前參數(shù)構(gòu)建模型,對1期及以上AKI預(yù)測的AUC為0.74。然而,患者入院后的各種生理參數(shù)常隨時間發(fā)生變化,基于機器學(xué)習(xí)的模型利用參數(shù)的靜態(tài)值,忽視了數(shù)據(jù)的時間依賴性。

近年來,深度學(xué)習(xí)在時間序列分析領(lǐng)域取得了迅速發(fā)展,也被逐漸應(yīng)用于AKI預(yù)測。Toma?ev等[19]基于循環(huán)神經(jīng)網(wǎng)絡(luò)(recurrent neural network, RNN)模型對患者的血清肌酐變化進行預(yù)測,預(yù)測患者48 h內(nèi)發(fā)生AKI風(fēng)險的正確率為55.8%。Alfieri等[20]使用ICU患者的尿量數(shù)據(jù)構(gòu)建卷積神經(jīng)網(wǎng)絡(luò)(convolutional neural networks, CNN)模型,對2期以上AKI提前12 h預(yù)測的AUC為0.89。然而,血清肌酐和尿量均為AKI的晚期非特異性標志物,預(yù)測AKI時通常還需考慮其他風(fēng)險因素。Pan等[21]基于RNN提出一種自校正機制和正則化方法,在公開數(shù)據(jù)集MIMIC-Ⅲ和Philips eICU上的AUC分別為0.893和0.871,但是提前預(yù)測窗口較短。Rank等[22]納入心胸外科手術(shù)后患者的96種臨床參數(shù),對2期或以上AKI進行連續(xù)預(yù)測,總體AUC為0.893,優(yōu)于臨床醫(yī)生的表現(xiàn),但該研究并未納入1期AKI。

上述研究結(jié)果表明,深度學(xué)習(xí)在AKI預(yù)測方面具有巨大潛力,但仍存在EHR數(shù)據(jù)未被充分利用、提前預(yù)測窗口較短及缺少連續(xù)預(yù)測等不足。因此,本研究基于MIMIC-III數(shù)據(jù)庫的患者數(shù)據(jù),提出了一種CNN和兩階段交叉注意力的混合網(wǎng)絡(luò)模型(convolutional and two-stage attention network, CTSA-Net),實現(xiàn)對1期及以上AKI的每小時連續(xù)預(yù)測。模型的兩階段交叉注意力支路、CNN支路及特征融合模塊可增強對時間序列數(shù)據(jù)的全局表示以及局部細節(jié)的感知能力,從而充分利用兩種特征的優(yōu)勢,提高對AKI的連續(xù)預(yù)測性能。

1 材料和方法

1.1 研究人群

本研究使用MIMIC-III數(shù)據(jù)庫[23]驗證模型性能,該數(shù)據(jù)庫由美國麻省理工學(xué)院計算生理學(xué)實驗室發(fā)布,記錄了2001～2012年期間五萬余名ICU患者的數(shù)據(jù)。本研究作者取得由美國國立衛(wèi)生研究院的《保護人類研究受試者》培訓(xùn)課程證書(編號:57111944),申請并獲得使用MIMIC-III數(shù)據(jù)庫的權(quán)限,豁免患者知情同意。

1.2 患者選擇及標簽劃定

納入標準:(1)年齡在18～90歲的患者;(2)患者首次入住ICU的記錄;(3)在ICU停留時間大于等于48 h且小于等于60 d的患者;(4)基線肌酐值,即入住ICU前最后一次測量的血清肌酐值低于4 mg/dL的患者。

排除標準:(1)人口統(tǒng)計學(xué)信息存在缺失的患者;(2)ICU期間無尿量記錄或血清肌酐測量的患者,或存在連續(xù)缺失10%以上的患者。

根據(jù)KDIGO的診斷和分期標準,符合以下情況之一的患者即可被診斷為AKI(1期或以上):(1)48 h內(nèi)血清肌酐升高超過26.5 μmol/L(0.3 mg/dL);(2)7 d內(nèi)血清肌酐升高超過基線1.5倍;(3)尿量持續(xù)6 h以上小于0.5 mL/(kg·h)。在本研究中,符合該標準的患者標簽被劃定為陽性,否則為陰性。最終,本研究納入6 884名患者,其中陽性4 790例,陰性2 094例。每例患者的觀察時間從進入ICU開始,到患者出院、滿足陽性標準或入住ICU滿7 d為止。

1.3 納入?yún)?shù)選擇及數(shù)據(jù)預(yù)處理

在專業(yè)醫(yī)生的指導(dǎo)下,本研究從MIMIC-III數(shù)據(jù)庫中納入47個與AKI發(fā)生潛在相關(guān)的臨床參數(shù)構(gòu)建模型。所有的輸入?yún)?shù)及其分組下:

(1)人口統(tǒng)計學(xué)(2種,靜態(tài)):性別、年齡;

(2)生命體征(8種,時間序列):心率、呼吸率、體溫、外周氧飽和度、血糖水平、收縮壓、舒張壓、平均動脈壓;

(3)實驗室檢查(18種,時間序列):肌酐、白細胞計數(shù)、血紅蛋白、紅細胞比容、血小板、氯化物、血尿素氮、碳酸氫鹽、pH、氧分壓、二氧化碳分壓、鉀、葡萄糖、鎂、部分凝血活酶時間、凝血酶原時間、紅細胞計數(shù)、國際標準化比率;

(4)流體(1種,時間序列):尿量;

(5)合并癥(14種,靜態(tài)):充血性心力衰竭、冠心病、先天性心臟病、瓣膜性心臟病、心房纖顫、高血壓、慢性阻塞性肺病、糖尿病、腎病、肝病、動脈瘤、淋巴瘤、肥胖、貧血;

(6)用藥(4種,動態(tài)):利尿劑、非甾體抗炎藥、血管加壓藥、鎮(zhèn)靜劑。

本研究對人口統(tǒng)計學(xué)和合并癥中的靜態(tài)參數(shù)進行二進制編碼。對于生命體征、實驗室檢查及尿量等時間序列參數(shù),使用線性插值填充缺失值。由于患者用藥時間隨機,因此,本研究對其進行二進制編碼,在藥物施用后,立即在單個時間點處將其值設(shè)置為1。針對所有的時間序列參數(shù),按照式(1)進行縮放,并按照式(2)進行歸一化,以減輕數(shù)據(jù)中異常值的影響。

(1)

(2)

其中,Max(Xscaled)、Min(Xscaled)分別為縮放后所有值的最大和最小值。

對于提取的時間序列參數(shù),將數(shù)據(jù)統(tǒng)一間隔為1 h,并對缺失值進行線性插值。此外,對序列尾部進行填充,以統(tǒng)一序列長度,并在模型中對填充的無關(guān)值進行掩膜處理。

1.4 CTSA-Net模型

本研究提出的CTSA-Net急性腎損傷預(yù)測模型整體結(jié)構(gòu)見圖1。該模型的兩個并行支路用于提取多維時間序列輸入的不同風(fēng)格特征。同時,在兩個支路間使用特征融合模塊進行特征耦合。最后,對兩個分支的分類器輸出加權(quán)求和,獲得最終預(yù)測結(jié)果。

圖1 注意力支路、CNN支路和特征融合模塊實現(xiàn)細節(jié)

1.4.1注意力支路 注意力支路使用塊嵌入方式對序列進行塊劃分,不僅可減少輸入特征向量的數(shù)量,降低模型復(fù)雜度,還可以保持時間序列的局部性。具體細節(jié)見圖2。按照一定的窗口與步長將序列劃分成多個塊后,進行正余弦位置編碼,嵌入位置信息。同時,使用卷積及長短期記憶單元進行特征提取,得到詞嵌入向量。最終,融合位置嵌入和詞嵌入向量輸出塊的特征。

圖2 塊嵌入

兩階段注意力包括時間注意力和維度注意力,見圖3。時間注意力階段以塊嵌入的輸出作為輸入,對于D維時間序列中第d維度所有時間步的向量X:,d,對每個維度應(yīng)用多頭自注意力捕捉該維度下的跨時間依賴:

圖3 兩階段注意力

(3)

(4)

式中,1≤d≤D,LN為層標準化,MHSA(Q,K,V)為多頭自注意力,其中Q、K、V用作查詢、鍵和值,MLP為前饋神經(jīng)網(wǎng)絡(luò)。在時間注意力階段之后,相同維度的時間段之間的依賴關(guān)系在Xtime中被捕獲,而后將Xtime作為維度注意力階段的輸入。

(5)

(6)

(7)

(8)

式中,1≤i≤L。

1.4.2卷積支路 卷積支路的卷積塊使用1*1 卷積變換通道數(shù)、3*3 空間卷積進行特征提取,并引入殘差連接。卷積核在重疊的特征圖上滑動,從而保留精細細節(jié)的局部特征。

1.4.3特征融合模塊 為融合全局表示和局部特征,特征融合模塊將CNN支路的局部特征輸入到注意力支路,以豐富其對局部細節(jié)的感知。將注意力支路提取的全局上下文特征反饋到CNN支路,以增強其對全局信息的感知能力。上采樣和下采樣分別采用插值和池化進行。

1.4.4損失函數(shù) 本研究分別對CNN和注意力支路計算交叉熵損失,訓(xùn)練時,為兩部分分配不同的權(quán)重系數(shù)α,模型整體損失如下:

(9)

1.5 訓(xùn)練與測試

本研究使用的CPU為AMD Ryzen 7 5800H;GPU為NVIDIA GeForce RTX 3060 Laptop;操作系統(tǒng)為Windows 11;編程語言為Python 3.7;深度學(xué)習(xí)框架為PyTorch 1.13,按照4∶1的比例將數(shù)據(jù)集劃分為訓(xùn)練集和測試集。訓(xùn)練時,使用五折交叉驗證調(diào)整超參數(shù),優(yōu)化器采用Adam,初始學(xué)習(xí)率設(shè)置為0.001,并使用余弦退火調(diào)整學(xué)習(xí)率。測試時,在觀察期內(nèi)選取AKI發(fā)生時、發(fā)生前24、48、72 h四個時間點和觀察期內(nèi)隨機選取的時間點作為預(yù)測點。在五個預(yù)測點,模型輸入該時間點前的數(shù)據(jù)進行預(yù)測。

1.6 評價指標

本研究使用的評價指標有AUC、準確率(accuracy, Acc)、敏感性(sensitivity, Sens)、特異性(specificity, Spec)、陽性預(yù)測值(positive predictive value, PPV)、精確率-召回率曲線下面積(area under precision-recall curve, PR-AUC)以及F1分數(shù)。相關(guān)計算如下:

(10)

(11)

(12)

(13)

(14)

其中,TP、TN、FP和FN分別為真陽性、真陰性、假陽性和假陰性。

2 結(jié)果

2.1 對比實驗

為驗證CTSA-Net模型性能,本研究將其與AKI預(yù)測領(lǐng)域常用模型以及時間序列分類領(lǐng)域較新的模型進行了比較,包括長短期記憶網(wǎng)絡(luò)[24](long short-term memory, LSTM)、Transformer[25]、TimesNet[26]、Autoformer[27]。

圖4為不同模型在五個預(yù)測時間點的ROC曲線。表1展示了不同模型的AUC、Acc、Sens、Spec、PPV以及F1分數(shù),并采用Bootstrap法計算AUC的95%置信區(qū)間。在五個預(yù)測時間點, CTSA-Net模型均取得了最高AUC值,分別為0.946、0.907、0.895、0.879和0.860,同時Acc及多項指標也顯著高于其它模型。圖5為CTSA-Net的ROC和PR曲線。在五個預(yù)測時間點的PR-AUC分別為0.979、0.960、0.949、0.939和0.939。

表1 不同預(yù)測時間點CTSA-Net模型與其它模型性能對比

圖4 不同預(yù)測時間點不同模型的ROC曲線

圖5 CTSA-Net在不同預(yù)測時間點的預(yù)測

2.2 消融實驗

為驗證本研究CTSA-Net模型各模塊的作用,對塊嵌入、時間注意力、維度注意力、CNN支路及特征融合模塊進行消融實驗,設(shè)計了四組實驗:(1)僅使用時間注意力,記為TA;(2)使用塊嵌入和時間注意力,記為Patch-TA;(3)使用塊嵌入、時間注意力及維度注意力,記為Patch-TA-DA;(4)使用塊嵌入、時間注意力、維度注意力、CNN支路及特征融合模塊,記為CTSA-Net。

表2展示了四組模型在四個預(yù)測點的各項評價指標。圖6為四組模型在不同預(yù)測點的ROC曲線。結(jié)果顯示,在四組模型中,CTSA-Net在AKI發(fā)生時、發(fā)生前24、48 h以及觀察期內(nèi)的隨機時間點四個預(yù)測點取得了最高的AUC。相較于TA模型,在五個預(yù)測時間點,AUC分別提高了0.19、0.61、0.48、0.41和0.34,模型的整體分類性能取得了較大提升。

表2 不同預(yù)測時間點四組模型性能對比

圖6 不同預(yù)測時間點四組模型的ROC曲線

3 討論

本研究基于MIMIC-III數(shù)據(jù)庫中患者的47種臨床參數(shù),提出了一種CNN結(jié)合注意力的混合網(wǎng)絡(luò)(CTSA-Net),可對1期及以上的AKI進行每小時的連續(xù)預(yù)測。

在對比實驗中,在AKI發(fā)生時、AKI發(fā)生前24、48、72 h以及觀察期內(nèi)的隨機時間點五個預(yù)測點,CTSA-Net均取得最高的AUC和準確率,其它指標也表現(xiàn)優(yōu)秀,說明CTSA-Net連續(xù)預(yù)測性能較好。PR曲線顯示,在不同的預(yù)測點,模型在保證較高召回率的同時,仍有較高的精確率,說明模型總體分類性能較好,魯棒性強。

在消融實驗中,塊嵌入極大地增強了模型對序列局部特征的感知能力。維度注意力的實驗說明關(guān)注參數(shù)間的關(guān)系具有意義。而引入CNN支路和特征融合模塊有效利用了局部和全局特征,進一步增強了模型性能。

然而,本研究仍存在一定的局限性。為了更好地應(yīng)用于臨床實踐,需要驗證模型在臨床數(shù)據(jù)上的性能。此外,需對模型的可解釋性進行研究。未來會評估模型在臨床數(shù)據(jù)上的性能,并對各模塊的貢獻進行分析,幫助醫(yī)生理解模型的預(yù)測依據(jù),輔助醫(yī)生進行臨床決策。

4 結(jié)論

針對過去研究存在的臨床時間序列數(shù)據(jù)未被充分利用、提前預(yù)測窗口較短及缺少連續(xù)預(yù)測等不足,本研究基于MIMIC-III數(shù)據(jù)庫,提出了一種CNN結(jié)合兩階段交叉注意力的混合網(wǎng)絡(luò)模型(CTSA-Net),可對1期及以上AKI進行每小時的連續(xù)預(yù)測。CTSA-Net的CNN支路引入卷積模塊,以保留時間序列的精細局部特征。注意力支路的塊嵌入對原始序列進行分塊映射,既保持了時間序列的局部性,又減少了輸入特征向量的數(shù)量,降低了模型復(fù)雜度。在時間注意力的基礎(chǔ)上引入維度注意力,捕捉多元時間序列維度間的關(guān)系。此外,兩個并行支路間的特征融合模塊將CNN支路的局部特征與注意力支路的全局表示耦合,彌補了CNN難以捕捉全局表示和注意力機制,忽略局部特征細節(jié)的問題。在不同的預(yù)測時間點,CTSA-Net預(yù)測模型均表現(xiàn)出良好的分類性能。將該模型集成到EHR系統(tǒng)中對患者實時監(jiān)測,可輔助醫(yī)生進行臨床決策。