術后風險預測任務的結構化數據生成方法?

羅曉輝 周瑞豪 張偉義 舒紅平 王亞強 郝學超

（1.成都信息工程大學軟件工程學院 成都 610225）（2.成都信息工程大學數據科學與工程研究所 成都 610225）（3.成都信息工程大學軟件自動生成與智能服務實驗室 成都 610225）（4.四川大學華西醫院麻醉手術中心 成都 610044）

1 引言

在手術前對患者進行系統的、全面的信息收集以及身體檢查形成的結構化術前數據十分重要。這份術前數據可以幫助醫生了解患者的健康情況，評估手術風險，制定合適的麻醉計劃，同時預防術中以及術后可能出現的潛在風險。

近年來，結合結構化的術前數據和機器學習，用于預測術后風險已經成為醫學領域的重要趨勢。Thottakkara 等［1］使用邏輯回歸、樸素貝葉斯和支持向量機用于預測術后膿毒癥和急性腎損傷的發病情況。Grsbeck 等［2］使用機器學習預測吸煙者的術后并發癥發生率。Yu 等［3］使用邏輯回歸識別進行婦科手術后，術后疼痛的高危患者。

為了更好地應對術后風險預測的挑戰，專家和研究人員意識到多中心數據共享的重要性。通過采用基于多中心數據的模型訓練方法，可以從更廣泛和多樣化的數據中學習，從而使模型更好地適應不同的患者群體和臨床場景，提高模型的泛化能力。Getachew 等［4］使用多中心數據研究術前疼痛與術后疼痛以及手術時間的關系。Peter 等［5］使用多中心數據減少了成人脊柱畸形矯正手術的ICU入院率。

然而，術前檢測數據包含大量敏感的個人醫療信息，共享這些原始數據可能會暴露隱私，單純進行數據匿名化也存在隱私暴露風險［6］。同時，用于預測術后風險的術前結構化數據存在類別不平衡問題［7］。這兩個問題限制了術前數據的共享以及術后風險預測模型的效果。

因此，針對以上問題，本文使用CTGAN［8］為基礎模型，對其進行改進，添加分類器，使模型更適應于下游任務，本文將提出的模型稱為ACCTGAN。我們使用該模型生成與原始數據高度相似的數據，使用生成比原始數據量更大規模的數據，訓練下游任務分類器，以達到數據增強的效果，并且達到平衡數據類別的目的，以此方式提升下游模型預測性能。且生成數據可通過生成符合真實數據概率分布并且從未出現在真實數據里的假數據，用于數據共享。為預測術后并發癥數據的類別不平衡問題以及數據共享的問題提出解決方案，主要貢獻包括以下幾個方面：

針對術后風險預測問題，本文使用新的GAN網絡，它引入了一個分類器，提供了額外的監督，以提高生成數據在下游任務中的效果。

在不平衡數據集上，使用大量的生成數據增加少數類樣本。使用生成數據訓練的分類器與基線相比，下游任務分類器效果有顯著提高。

使用生成模型生成與真實數據相似的生成數據，使用高質量的生成數據解決數據共享問題。

實驗結果表明，在術后并發癥預測任務中，通過使用GAN 模型生成的數據，使預測效果有明顯提升，且生成數據在特征列的統計分布情況和列與列的相關性上與真實數據高度相似，最后通過隱私暴露風險實驗證明這些生成數據可用于學術研究下的數據共享。

2 相關工作

2.1 生成對抗網絡

生成對抗網絡（GAN）［9］是近年來發展起來的一種生成模型，通常用于生成圖像或文本。該模型基于一個生成器和一個判別器，它們的學習過程采用了一種零和極小極大游戲的方式。

在表格類型的生成對抗網絡研究中，一些方法基于原始的GAN 模型，并針對特定的應用進行改進。Yahi 等［10］使用GAN 生成連續時間序列病歷，他們通過生成對抗網絡模擬真實病例數據的分布，從而生成具有連續性的時間序列數據。MedGAN［11］結合了自動編碼器和GAN 的思想。它能夠生成既包含連續變量又包含離散變量的醫療數據，并且已經在電子病歷數據的生成任務中得到應用。Table-GAN［12］也試圖解決表格類型數據集的生成問題，它在GAN 框架中引入了信息丟失和分類器，它的生成器、判別器和分類器都是用的卷積神經網絡構成。CrGAN-Cnet［13］使用GAN進行航空旅客姓名記錄的生成，除了生成連續和離散類型的數據外，CrGAN-Cnet還可以處理表中的缺失值。

由于使用原始的GAN 控制生成數據的局限性，條件GAN 被越來越多地使用，它的條件向量可以用來指定生成某一類數據。當可用數據有限且高度不平衡，并且需要特定類別的合成數據來重新平衡分布時，此功能非常重要。CW-GAN［14］是一種將Wasserstein 距離［15］應用到條件GAN 框架中的模型，它利用條件向量對少數類進行過采樣，以解決表格數據生成不平衡的問題。CTGAN［8］在判別器中集成PacGAN［16］結構，使用WGAN 損耗加梯度懲罰［17］訓練條件GAN 框架。它還采用了一種采樣訓練策略，利用條件向量來處理分類變量的不平衡問題。DRL-GAN［18］使用生成對抗網絡與強化學習相結合，用于提升檢測網絡攻擊的準確率。Hindistan等［19］使用GAN 與差分隱私來保護工業物聯網操作中的敏感數據。這些方法的出現提高了生成數據的質量，豐富了生成對抗網絡的應用領域，并針對特定問題提供了更好的解決方案。本文基于生成對抗網絡，旨在對術后風險預測的數據進行建模和生成。通過訓練模型，可以生成與原始數據具有相似特征和分布的生成數據。生成的數據可以用于改進下游任務的效果，并且可以用于數據共享的目的。

2.2 術后風險預測

術后風險預測是醫學領域中的一個重要研究方向，已經吸引了廣泛的學術和臨床關注。目前主要聚焦于優化機器學習模型，提升在該領域的實際應用效果。Hill 等［20］采用機器學習模型，將美國麻醉醫師協會身體狀況特征與術前特征結合，提升術后死亡風險的預測性能。Chiew 等［21］使用隨機森林、自適應增強、梯度增強和支持向量機對候選模型進行訓練，用于預測ICU 入室等風險。Fritz［7］使用了一個多路徑卷積神經網絡模型，結合多種數據來預測術后死亡風險。這些工作都是在下游任務上訓練更好的分類模型，提升術后并發癥的預測效果。暫無有人從數據端出發，提升模型的預測效果。

3 任務定義

我們將真實的結構化術前數據定義為Ddata={(X,Y)}，其中X={X1,X2,…,Xm}為表格類型數據，其中Xm?Rn，即總共有m 個樣本，每個樣本有n 個特征，在標簽上，Y={Y1,Y2,…,Ym}，其中Ym?R2，它們構成標簽集，在本文中標簽為術后風險的發生情況，用1 和0 來標識術后并發癥的發生與未發生。這些變量遵循一個未知的聯合分布，每一行都是聯合分布的一個樣本，每一行都是獨立采樣的，即我們不需要考慮每一行的順序。我們的目標是得到一個生成模型，該模型有三部分，生成器、判別器和分類器，我們將生成器表示為G，判別器表示為D，分類器表示為C。通過訓練使該生成模型生成的表格T 達到以下標準，首先，把T 用于訓練分類模型，并在真實的測試集上達到與真實訓練集類似甚至更好的效果，其次，生成表格T 與原始數據集擁有類似的統計分布。

4 模型定義

GAN 模型由兩個神經網絡組成：生成器和判別器。我們的基礎模型CTGAN［8］也是如此。我們的模型ACCTGAN 采用了CTGAN［8］原始的架構，但有一個額外的神經網絡，稱為分類器，每個結構的功能介紹如下：

1）生成器產生與真實記錄具有相同分布的生成數據樣本，且生成樣本要足夠真實能夠欺騙判別器。

2）判別器用于區分真實的數據和生成樣本。

3）分類器用于預測生成記錄的標簽。在訓練生成器的過程中，添加一個分類器可以維護生成記錄中值的一致性，這個在本節的后文中有詳細介紹。

ACCTGAN的生成器和判別器的結構以及條件向量的生成方式都與CTGAN［8］中一致。

ACCTGAN 中的分類器的隱藏層使用了3 層全連接網絡，每層有256 個神經元，每層的激活函數都用的是Leaky ReLU，并且使用了dropout 防止分類器過擬合。這個分類器是根據原始表中的真實標簽來訓練的，可以學習標簽和特征之間的關系。當給定一條生成的記錄時，分類器可以判斷該記錄在特征與標簽上的關系是否正確。若分類器檢測錯誤，可為生成器提供反饋，可以幫助生成器生成更準確、更真實的生成數據，這樣可以提高生成數據的質量和可信度。

事實上，判別器本身也可以在某種程度上學習特征與標簽之間的關系。關系不正確的生成樣本可能不會被判別器分類為真實的。然而，判別器的主要任務并非考慮特征與標簽之間的關系，因此我們在基礎的GAN 模型中添加分類器，使生成器能更好的學習特征與標簽之間的關系。本文模型的整體結構如圖1所示，其中FCN表示全連接層（Fully connected network，FCN），BN 表 示 批 標 準 化（Batch Normalization，BN）。

圖1 ACCTGAN模型基礎架構

在判別器和生成器部分，我們使用原始CTGAN 的損失函數，并將它們表示為它們分別用來衡量判別器和生成器的性能和指導它們參數的更新。在分類器上，它的損失函數如式（1）所示：

ACCTGAN的分類器使用二分類交叉熵損失函數，其中k是每輪訓練的樣本數，yi是第i個樣本的所屬類別，pi是分類器對每個標簽的預測概率，取值范圍為0～1。在訓練過程中，分類器有兩次輸入，分別輸入真實數據和生成數據，先輸入真實數據，學習真實數據中特征與類別之間的關系，再將學習到的關系應用在生成數據中，分析生成數據是否有不合理的關系，之后再更新生成器的參數，因此，分類器損失函數在輸入真實數據時定義為，這表示使用該損失函數評估分類器，優化分類器模型，在輸入生成數據時為，這表示使用它更新生成器參數，優化生成器。

我們通過一個例子來詳細的解釋分類器如何幫助生成器學習特征與標簽之間的關系。如圖2所示，在一次訓練中，先將條件向量與噪聲向量輸入生成器，讓生成器生成樣本，然后通過條件向量選出對應的真實數據，之后先將真實數據的特征輸入分類器，使用損失函數對分類器預測的結果進行評估，使用Adam 更新分類器參數。然后將生成器生成樣本的特征輸入分類器，可以注意到圖2中，生成器生成的樣本中手術部位為皮膚，ICU 入室標簽為真，但真實數據集中沒有這樣的數據，這就與分類器從真實數據中學到的特征與標簽之間的關系不符，這樣損失函數L的值就會比較大，較大的損失函數值通常會導致更大的梯度，這將影響模型參數的更新幅度，以幫助模型更快地向著更優的參數方向移動。這樣使用Adam 優化器根據更新生成器參數時，可使生成器更快地學習特征與標簽之間的關系。

圖2 ACCTGAN模型部分訓練過程

5 實驗

5.1 實驗數據

建立術后并發癥數據的生成模型，需要使用大量的數據來訓練模型。我們使用的是某三甲醫院手術麻醉管理系統中的數據來構建模型。該數據集包含患者的基本身體狀況信息和實驗室檢查數據，并且對這份原數據本文采取以下處理。

1）刪除了病人的身份信息、手術開始日期和手術編號等信息，以保護患者隱私。

2）選擇了與術后并發癥相關的特征，并且僅保留這些特征用于建立生成模型。這些特征的選擇是基于醫學先驗知識和經驗進行的，以確保訓練下游分類任務時分類模型具有較高的預測性能和準確性。

最后得到兩個術后并發癥預測任務數據集，包含了三種術后并發癥的標簽。第一個數據集有17356 個樣本，兩種標簽，分別是肺部并發癥和心血管不良，第二個數據集有12240 個樣本，1 種標簽，標簽為ICU 入室風險，這些標簽的陽性率分別是14.05%、6.16%和2.74%，如圖3所示。

5.2 實驗方法

本次研究的主要目的是驗證ACCTGAN 是否能夠有效捕獲數據集中的特征分布，并且生成的數據是否能夠直接用于訓練模型，訓練模型的實驗在Ubuntu 18.04 系統上運行，機器的CPU 為Intel（R）Xeon（R）Silver 4210R CPU @ 2.40GHz，顯 卡 為RTX 3090。此外，我們希望通過增加生成數據的數量來增強下游任務中的分類模型的性能，以此達到數據增強的效果。

為了達成目標，我們使用了以下幾種方式分別驗證生成數據集在下游任務中的有效性，生成數據與真實數據的統計相似性，以及生成數據的隱私暴露風險。

5.2.1 機器學習效用

機器學習效用（ML utility）是指將原始數據分為7∶3 的訓練集與測試集，使用訓練集訓練一個GAN 模型和訓練下游任務分類器，將GAN 用于生成數據，再用GAN 模型生成的數據訓練另一組分類器，之后用真實的測試集數據分別對這兩組分類器做評估，對比它們的效果。

在訓練的分類器上我們使用精確率（Precision）、召回率（Recall）和F1值評估模型的效果。下面是評估指標的計算公式：

在本文中，我們選擇了三個醫學上常用的機器學習模型，邏輯回歸（Logistic Regression，LR）［22］、隨機森林（Random Forests，RF）［23］和CatBoost 以及兩種最新針對表格類型數據的深度學習模型Tabnet 和TabResnet 來構建分類器模型。LR 和RF 采用scikit-learn 框架［24］實現，CatBoost，Tabnet 和TabResnet 我們使用它們的開源代碼庫［25～26］和原始參數設置進行實現。

5.2.2 統計相似性

本文使用三個度量指標來度量真實數據和生成數據之間的統計相似性。

Jensen-Shannon divergence（JSD），它的取值范圍在0 和1 之間，其中0 表示兩個數據概率分布完全相同，1 表示兩個數據概率分布完全不同。它在機器學習中經常用于衡量概率分布之間的差異。在本文中，該值越小則證明生成數據集與真實數據的差異越小，生成的效果越好。JSD 的計算公式如式（5）所示，P、Q 分別為真實數據集與生成數據集的概率分布。

Wasserstein distance（WD），它的值越小，表示兩個概率分布越相似。與其他距離度量不同，Wasserstein 距離可以處理具有不同質量的概率分布，而不僅僅是在集合上測量距離。在本文中，該值越小則證明生成數據集與真實數據的差異越小，生成的效果越好。WD 的計算公式如式（6）所示。其中，P、Q分別為真實數據集與生成數據集的概率分布，Π(P,Q)表示分布P 與Q 組合起來的所有可能的聯合分布的集合。

關系系數比較，我們使用皮爾遜相關系數比較兩組數據之間關系的差異。相關系數的取值范圍在-1～1 之間，越接近1 或-1，則說明特征列之間的關系越強。使用相關系數生成熱力圖，通過比較熱力圖的差異來衡量生成模型是否捕獲到數據之間相關性。

5.2.3 隱私暴露風險分析

Distance to Closest Record（DCR）是指在兩個數據集之間，數據集A 中數據點到數據集B 中數據點的最近距離，也就是說該值越大，隱私暴露的風險就越小。我們對每條生成數據選取與其最近的s條真實數據，對它們的距離求平均值，然后對生成數據集的DCR 求平均，得出一個數據集的平均DCR。本文在兩個數據集上分別做了3 次DCR 實驗，s取值分別為1、5、10，以分析隱私暴露的風險及可能性。

5.3 實驗分析

5.3.1 機器學習效用

機器學習效用的研究結果見表1。數據源分別為真實數據集，使用CTGAN 和ACCTGAN 生成的數據集，將這三個數據源分別稱為“Origin”，“CTGAN”和“ACCTGAN”。表1 中首先是用“Origin”訓練的下游任務分類器在真實測試集上的性能，然后展示了使用“CTGAN”和“ACCTGAN”訓練的分類器在真實測試集上的表現，這些生成數據規模分別是原始訓練集的1、2、4、8倍。

表1 機器學習效用結果

實驗結果表明，使用ACCTGAN，可以有效提升下游分類任務模型的性能。實驗中發現，生成適量的數據可以達到最佳的結果，具體而言，在本文進行實驗時，生成4 倍于原始訓練集數量的數據可以取得最佳效果。在肺部并發癥、ICU 入室和心血管不良這三個任務中，使用ACCTGAN 生成的數據訓練的下游分類器的F1 值分別為0.531、0.547 和0.343，相比與只使用原始數據集訓練的分類器，效果有所提升，同時，使用CTGAN模型數據的分類器F1 值也分別為0.527、0.517 和0.336，其評價指標同樣高于只使用原始訓練集訓練的分類器。這證明了使用GAN 模型生成的數據可以擴展原始數據集少數類的規模，有助于緩解數據不平衡的問題，并改善分類模型的訓練效果。可以達到數據增強的作用，提升下游分類模型。表格1 中的P、R 和F 分別代表評價指標Precision，Recall和F1值。

實驗結果進一步驗證了ACCTGAN 作為一種輔助任務增強的生成器，能夠更好地利用現有數據，生成高質量的生成數據。通過生成大量的高質量生成數據，用于訓練下游分類器，從而增強了下游分類模型的泛化能力和性能。

5.3.2 統計相似性

在統計相似性和隱私暴露風險分析這兩個實驗中，我們都使用與原始訓練集同規模的生成數據集進行比較。因為我們的模型是通過分類器考慮標簽與特征之間的關系，以下游任務為導向生成的數據，在第一個數據集上有肺部并發癥和心血管不良這兩種標簽，因此我們的模型根據這兩種標簽生成了兩個數據集，在實驗中我們以標簽的名稱命名數據集。

表2 展示了統計相似性分析的結果，圖中顏色越淺變量之間正相關性越強，顏色越深則變量之間負相關性越強。ACCTGAN在肺部并發癥和心血管不良數據集上的JSD 和WD 指標均優于CTGAN，在ICU 入室數據集上的JSD 值也優于CTGAN，但WD指標上CTGAN的結果略優于ACCTGAN，這證明了在肺部并發癥和心血管不良這兩個數據集上ACCTGAN生成的數據集更接近于原始數據集的分布。JSD和WD指標主要用于驗證生成的數據集是否符合原始數據集的分布，結果表明這兩個GAN模型均符合原始數據集的分布。

表2 統計相似性結果對比

此外，我們還進行了一組實驗，記錄原始數據集每列的最大和最小值，并計算生成數據集出現在該區間內的頻次。該頻次的結果值范圍為0～1，如果結果為1，則表示所有生成數據都在該區間內。結果如表3 所示，從結果可以看出，這兩個GAN 模型都沒有生成原始數據集最大最小值區間外的異常值，這說明了生成的數據集與原始數據集在最大最小值區間保持了高度的相似。這個結果表明這兩個生成模型在生成數據時能夠有效地控制數據的范圍，避免生成異常值。這對于保持生成數據的可信度和質量至關重要，使得生成數據能夠更好地與原始數據集相匹配，并在下游任務中具有可用性。

表3 非異常數據分布檢測結果

相關性的熱力圖如圖4、5、6 所示，比較了原始數據集和通過CTGAN 模型生成的數據集以及通過ACCTGAN模型生成的數據集這三者之間的相關性差異。我們首先觀察三個數據集的整體情況，CTGAN 模型生成數據集的熱力圖比原始數據的熱力圖顏色要整體偏深，這代表CTGAN 生成數據集的相關性與原始數據有一定差異，而ACCTGAN 生成數據的熱力圖與原始數據的熱力圖顏色分布基本類似，這證明ACCTGAN 更好的學習到了原始數據之間的相關性，且在幾個強相關的點，ACCTGAN都有學習到。這證明了ACCTGAN 生成的數據更貼近于原始數據的相關性。

圖4 肺部并發癥數據集熱力圖

圖5 ICU入室數據集熱力圖

圖6 心血管不良數據集熱力圖

綜上所述，實驗結果表明ACCTGAN 在統計相似性方面的表現優于CTGAN，這些優勢可歸功于在模型中添加了分類器，使模型更好地保持了原始數據的關聯關系。

5.3.3 隱私暴露風險分析

表4 展示了我們對原始數據集和生成數據集進行的DCR 計算結果。首先可以看出，兩個GAN模型生成數據的DCR 都比原始數據集高，這說明本文所采用的GAN 模型不是簡單地記憶原始數據并生成相同的數據，而是學習了數據之間的模式，生成了與原始數據集不同的新樣本作為生成數據集。其中可以注意到的是，隨著s取值的減少，DCR的結果在真實數據上減少的幅度要大于ACCTGAN。這暗示著生成數據與真實數據之間，最近的s 條數據的距離要大于原數據的距離，這種結果的產生可以被視為對真實數據隱私的一種保護。這兩點表明ACCTGAN 可以有效地生成隱私保護數據，用于數據共享。

表4 DCR結果對比

6 結語

表格數據作為患者病歷的載體，使用表格數據對患者病情進行分析和使用機器學習模型輔助醫生預測術后并發癥是一種常見的方式。但是由于數據的隱私性，這些數據不能被共享，這使得可供訓練模型的數據有限，并且數據陽性樣本很低，導致訓練出來的模型效果一般。為此，本文提出一種以下游任務為導向的生成模型，使用該模型學習原始數據集的信息，生成更多高質量的生成數據用于訓練分類器，提升下游任務模型的效果，為預測術后并發癥任務提出一種新的解決方案。實驗證明，使用ACCTGAN 可以提高下游分類器的預測性能，通過統計相似性和隱私暴露分析證明了GAN 模型有學到原始數據中的相關信息，而不僅僅是記憶原始數據。因此，我們的方法可以作為醫學數據隱私共享問題和不平衡數據對分類器性能的影響的一種新的解決方案。