基于多階段空間視覺線索和主動定位偏移的胰腺分割框架

李嘉銘, 折 嬌, 任書敏, 姬明昊, 句建國*, 王和旭

(1.西北大學 信息科學與技術學院, 陜西 西安 710127; 2.西京學院 西安市智能康復人機共融與控制技術重點實驗室, 陜西 西安 710123)

0 引言

2020年國際癌癥研究機構[1]提供的數據顯示,胰腺癌造成的死亡數約為466 000而當年的病例數約為496 000,兩者幾乎一致,在因癌癥死亡人數中排名第7.更糟糕的是,一項對28個歐洲國家的調查顯示,到2025年,胰腺癌將超過乳腺癌,成為癌癥死亡人數排名第3.胰腺癌早期及時進行干預并開始治療,可以防止疾病進一步發展,提高生存率.從計算機斷層掃描(Computed Tomography,CT)中分割胰腺或胰腺腫瘤在臨床醫生的準確診斷和制定手術方案過程中起著至關重要的作用.在目前的臨床實踐中,器官或腫瘤是由專業的臨床醫生從CT掃描中人工分割出來的,這不僅需要豐富的專業經驗,而且耗時耗力且易受主觀因素影響,有時甚至不同臨床專家之間的觀察也存在較大的差異.因此,亟需智能器官或腫瘤分割方法來減輕醫生大量的繁瑣臨床工作,并消除醫生的主觀因素干擾.

目前,已經有許多工作致力于智能器官或腫瘤分割,以優化計算機輔助診斷(Computer-Aided Diagnosis,CAD)的應用環境[2].具體來說,深度卷積神經網絡(Deep Convolutional Neural Networks,DCNNs)在腦[3]、心臟、肝臟[4]、肺[5]等智能醫學圖像分割方面取得了很大的進展,但這些方法大多是為形狀較為規則且面積較大的器官或病變而設計的特定算法.一些器官,如胰腺及其病變(如圖1 (c)、(f)所示)體積較小,具有高度解剖變異性.這些小目標(例如,胰腺和胰腺腫瘤)的分割仍然是最具挑戰性的任務之一.為了在實踐中解決這一挑戰,一些研究人員采用3D神經網絡來處理胰腺分割問題[6,7].雖然3D卷積可以更好地挖掘高維空間中的語義信息,并學習更有效的特征表示,但它需要花費大量的計算和內存,限制了網絡訓練和測試策略并阻礙了他們進一步的臨床應用和精度的提升.

圖1 器官和病灶的示意圖

2D神經網絡[8]無法學習胰腺(或胰腺腫瘤)CT切片序列之間的上下文信息,在一些實踐中表現出相較于3D網絡略差的結果.為了在不增加額外計算負擔的情況下捕獲空間上下文信息,有研究者提出了一種新的替代模型,即偽3D方法[9,10],該方法將堆疊的相鄰切片作為模型輸入,輸出中心切片的預測結果.雖然偽三維可以捕獲某些高維信息,但文獻[11]通過在多個數據集上進行測試表明這種方法帶來的提升非常有限而且不穩定.胰腺(或胰腺腫瘤)的智能分割仍有一些局限性有待進一步改進.如圖1(c)所示,胰腺的區域較小,與周圍背景的強度和紋理相似,因此容易混淆模型學習,使其無法準確的預測出邊界.此外,胰腺的大小以及在患者腹腔內的位置在解剖學中表現出高度的可變性,且胰腺的形狀和外觀在不同個體之間具有很大的差異.這促使研究人員提出一類從粗到細的分割框架[12-14],這類框架包括兩個階段,其中粗分割階段提供一個粗糙的定位或部分目標像素,而細分割階段執行目標分割.盡管該框架展現出了比單階段網絡更高的精度,但是細分割階段的輸入往往會對最后的精度產生較大影響.這是因為:(1)大多數方法最終的分割結果高度依賴粗分割的定位結果;(2)細分割階段無法學習到全局的上下文信息,因為細分割階段的輸入是依據粗分割網絡預測結果裁剪后的一個較小的區域;(3)細分割網絡由于從更小的輸入區域進行分割,在減小了問題復雜度的同時也帶來了過擬合的風險.

因此,本文提出了一種新的神經網絡框架來解決以上問題,本文設計了轉換函數和一個主動定位偏移(Active Localization Offset,ALOT)模塊.與之前的工作[15]不同的是,轉換函數融合視覺線索并將其轉化為空間權重圖.該函數通過全監督的方式參與網絡訓練,生成較為平滑的空間權重圖來初始化細分割網絡的輸入,以防止細分割網絡的關注區域受限.并且,受主動學習的啟發,ALOT在粗階段迭代中自適應學習定位偏移策略,從而使細分割階段具有信息性更強的輸入和更精細的分割結果.本文的主要貢獻可以總結如下:

(1)本文提出了一個轉換函數,在保證整體網絡語義連通性的同時指導網絡融合視覺特征線索,生成更平滑的空間權重圖,為細分割階段的輸入提供良好的初始化.

(2)本文提出一個定位偏移模塊,該模塊在粗分割網絡迭代過程中學習偏移策略來動態調整定位結果.自適應地增加了細分割階段目標周圍的語義信息,同時降低了細分割階段過擬合情況.

1 本文提出的方法

1.1 網絡框架

(1)

式(1)中:Fcoar和Ffine分別代表粗分割網絡和細分割網絡,Crop是自定義的裁剪函數用于生成細分割的輸入.本文的主要創新是轉換函數和主動定位偏移模塊(整體記為Ω),通過轉換函數融合視覺信息并且轉換為空間權重圖來為細分割網絡提供良好的初始化,同時可以使兩個網絡進行聯合優化.主動定位偏移模塊從粗分割迭代過程中學習到偏移向量來指導生成裁剪區域,可以在增加目標周圍語義信息的同時減輕細分割網絡過擬合的問題.本文設計的這兩個模塊可以被應用到大部分由粗到細的神經網絡結構以提供更高的識別性能,網絡框架如圖2所示.具體細節將在下面的章節詳細描述.

1.2 轉換函數設計

基于之前的工作[12,15],細分割階段的分割結果直接依賴于粗分割階段的輸出.雖然直接根據粗分割結果進行裁剪,一定程度上減少了冗余背景的干擾,提供了定位信息.但是粗分割網絡只提供了定位功能,忽略了像素級的上下文語義信息.這有時會導致網絡的收斂不令人滿意,甚至有時細分割網絡的精度會低于粗分割網絡.因此,本文提出一個轉換函數來融合視覺線索并轉換為空間權重圖來更新輸入數據.整體過程可以表示為:

(2)

1.3 主動定位偏移模塊

根據1.2小節,細分割網絡可以在排除了大部分背景干擾后的小區域進行分割,但同時也有過擬合的風險.之前的方法[12,15]為了防止網絡過擬合,在裁剪時隨機添加1～60和20個像素來解決這個問題.然而,這在訓練時可能會導致裁剪后目標區域保留不完整,為了可以使細分割階段得到一個有效的輸入,有必要設置一個策略以獲得更為合理的輸入區域.因此,本文的另一個主要創新是提出一個主動定位偏移模塊(ALOT)來學習偏移向量指導生成細分割網絡的輸入數據.如算法1中3～7行的描述,通過迭代的執行粗分割階段以獲得若干張概率圖Pj,j={1,2,…,T}.受到主動學習策略的啟發,該模塊通過計算KL(Kullback-Leibler)散度來找到與平均分割概率圖分布差異最小的一個,之后利用一個共享的自控機制來學習生成位置偏移向量.如圖3所示,具體過程可描述為:

(3)

(4)

r=J[v(Pc)‖v(Pkl)]

(5)

式(5)中:v(·)是自定義的定位函數,該函數根據概率圖尋找最小包圍盒的左上頂點坐標、包圍盒的寬度和高度以及預測目標的質心.J[·‖·]可以被看做是共享卷積核,‖表示堆疊操作.根據偏移向量r,本文設計了一個剪裁函數,Crop(·,Po,r)其中,Po作為參考圖像,并將其二值化Zo=(Po≥0.5),找到覆蓋所有激活像素的最小矩形,然后根據偏移向量生成一個新的裁剪區域.整個過程可描述為:

(6)

DSC Loss[15]是用于分割任務廣泛使用的損失函數,當感興趣的對象僅占輸入圖像數據的非常小一部分時,它能夠定位對象的主要部分,但是它難以獲得精細的對象形狀,根據現有的工作[11],本文采用DSC Loss和BCE Loss對每個階段進行訓練:

(7)

整體損失函數為:

(8)

算法1網絡訓練階段算法

輸入:沿縱軸方向的2D切片Xl,l∈{1,2,…,L},L是該組CT的切片數量.最大迭代次數T

1)t←0,Y0←Xl

2)Pc←Fcoar(Y0)

3)循環

4)Yt←Xl·g[Pc;η]

5)Plist[t]←Fcoar(Yt)

6)t←t+1

7)untilt=T

10)r←J[v(Pc)‖v(Pkl)]

11)P←Ffine(crop(Xl·g[Pc;η],Pc,r))

12)返回:Z=B(P≥0.5)

2 實驗結果與分析

2.1 數據集和評價指標

2.2 實現細節

本文提出的框架基于開源的深度學習框架PyTorch編碼實現,并在型號為Nvidia GTX 3080的顯卡上訓練該框架,并使用RMSProp優化器,學習速率為1e-5,權重衰減為1e-7,學習動量為0.9.在訓練期間并沒有執行過多的數據增強操作,僅以75%的概率水平或垂直翻轉切片.由于該框架使用單通道圖像作為框架輸入,并且沒有合適的自然圖像數據集進行預訓練,所以訓練方案是從頭開始的,但框架仍然可以快速收斂.框架使用U-net[18]作為粗分割階段和細分割階段網絡的主干網絡,并去掉了最后一層下采樣.制作標簽部分,設置p=0.64,q=0.53.在損失函數部分,設置μ=1/3,Lcu中α=2/3,β=1/3,Lfu中α=1/3,β=2/3,以此來鼓勵粗分割網絡進行小前景定位的同時不要忽略邊緣細節和細分割網絡做出更精確的分割.

2.3 NIH數據集

為了證明本文提出的方法優于現有方法,本文在NIH數據集上對現有方法(一階段方法[16,19-21]和兩階段方法[12,15,22-24])進行測試.如表1所示,一階段方法和兩階段方法由虛線隔開,用粗體突出顯示最佳結果,“/”表示基線方法沒有提供相應的結果.以DSC作為評價指標來衡量不同方法的性能.首先可以看出現有方法平均DSC非常接近,這表明NIH胰腺數據集上的分割任務非常具有挑戰性.

表1 不同方法在NIH胰腺分割數據集上的準確性比較(DSC,%)

與單階段方法相比,兩階段方法的性能普遍較為優秀.與基線方法相比,本文提出的框架所需的計算時間大約只是基線方法的1/3,但框架平均DSC比之前的最佳方法[23]高出0.25%,而最低DSC略低于基線方法[14].一個可能的原因是,本文提出的框架為了節省計算時間,既沒有采用偽3d策略,也沒有在精細階段迭代細化分割結果,導致只有微小前景目標的單個切片分割性能較差.

為了定量比較轉換函數和ALOT模塊的有效性,本文進行了消融實驗.首先將轉換函數和ALOT模塊分別與基線方法融合,改進后的框架的平均DSC值分別達到了84.63%和84.94%,均有一定程度的改進.進一步驗證了轉換函數融合了上下文信息,有效的對細分割網絡提供了指導從而提高了精細階段的性能.更重要的是,將原始圖像標注為邊界框來訓練和測試U-net(這并不能在實踐中應用,只是為了測試了模型的上界).最終的平均DSC達到86.48%,而ALOT達到84.94%,相比基線方法高出0.44%,略低于86.48%.這表明,本文提出的ALOT模塊在一定程度上緩解了網絡的過擬合,提高了分割性能.圖4直觀地展示了視覺分割的結果,并與其他方法進行了比較.從視覺效果來看,本文提出的框架實現了更精細的分割邊緣.進一步驗證了通過這兩個模塊學習空間上下文和定位信息,有效的提高了框架的分割性能.

圖4 不同方法胰腺分割結果對比圖(藍、紅、綠分別表示預測區域、標簽和重疊區域)

2.4 MSD數據集

為了證明本文提出方法的泛化性,進一步在MSD數據集上進行了胰腺腫瘤分割.現有研究中關于胰腺腫瘤分割的報道較少,這也反映了這項任務的難度.在表2中,本文提出的方法在精度方面與現有的方法進行了對比.相比于最好的方法,本文提出的方法平均DSC提升了0.5%.可視化結果如圖5所示.顯然本文提出的框架獲得了更好的DSC分數和更精細的分割邊緣.

表2 不同方法在MSD 胰腺腫瘤分割數據集上的準確性比較(DSC,%)

圖5 不同方法胰腺腫瘤分割結果對比圖(藍、紅、綠分別表示預測區域、標簽和重疊區域)

3 結論

本文工作的動機是醫學影像中小器官由于類別失衡、對比度差、邊界模糊而導致的分割困難.本文基于從粗到細的方案,提出了轉換函數和ALOT.轉換函數通過融合視覺線索并轉換為空間權重圖來更新輸入數據,ALOT在粗分割迭代過程中動態的調整定位結果.這兩個模塊共同優化粗階段的結果,為精細階段提供高質量的輸入,從而實現更精細的分割結果.本文提出的框架應用于兩個數據集(NIH和MSD)的胰腺分割和胰腺腫瘤分割,并在一定程度上優于現有的方法.本文的策略可以為小目標或少量數據的任務提供一些新的思路,未來將繼續進一步研究如何利用主動學習理論的優勢對框架進行優化.