醫學圖像精細化分割方法研究

摘要：指出了深度學習方法在醫學圖像分刻中取得較大的進展，但醫學圖像處理的復雜性使得全自動分割方法難以取得較好的分割效果。在卷積網絡分割的基礎上，結合應用場景使用適當的后處理手段來提升圖像的分割效果是一種比較有臨床意義的研究方法。主要研究了基于概率圖的全連接條件隨機場模型和基于用戶交互的深度編輯網絡，并分析總結了這兩種方法的實現原理和各自優勢，并對未來的研究工作進行了一些展望。

關鍵詞：醫學圖像;語義分割;條件隨機場;用戶交互;深度編輯網絡

中圖分類號：R318 文獻標識碼：A 文章編號：1674-9944（2020）04-0177-02

1 引言

近年來，神經網絡技術的興起極大地促進了醫學圖像處理研究的進展川。圖像分割作為影像醫學中的關鍵技術，不少基于卷積網絡的新分割方法相繼被提出并應用，如FCN、DeepLab和UNet等經典分割模型，其中UNet在醫學圖像分割中表現優異[2]。卷積神經網絡能夠自動提取圖像隱藏的高級語義特征，一方面避免了人工設計方法提取特征的困難，另一方面，高級語義信息十分有利于像素級的分類任務。

然而，基于卷積網絡的全自動分割方法在復雜情況下依然無法準確分割病變組織，甚至會存在噪聲的影響，這也導致這些方法也難以直接應用于臨床醫學[3]。所以，在神經網絡分割的基礎上，如何自動編輯修復以精細化分割結果的研究將變得十分有意義。目前存在不少有效的解決方法，本文主要研究分析兩種方法：基于全連接條件隨機場（CRFs）[4]的方法和基于交互式深度編輯框架的方法[3]。

2 基于全連接條件隨機場的方法

2.1 傳統short-range CRFs

傳統的short-range CRFs模型通常用于消除基于手工特征工程的弱分類器存在的錯誤預測，它們傾向于將空間上位置和顏色距離相近的像素歸為一類，因此常起到平滑弱分類器分割噪聲的作用[5]。而卷積神經網絡作為一種強分類器，其分割結果往往比較平滑，不存在很突兀的錯誤分類情況，但缺點也明顯，即目標的邊界處也可能被過度平滑處理了。此時再使用short-range CRFs來進行后處理反而是不利的。

2.2 全連接CRFs

為了克服short-range CRFs的局限性Chen等在其DeepLab系統中引入全連接的條件隨機場模型，其使用的勢函數如下[4]：

其中x是像素的標簽值。假設一元勢函數為θ_i（x_i）=-logP（x_i），其中P（x_i）為像素i通過DCNN計算得到的概率值。對勢函數（pairwise potential）為θ_ij（x_i，x_j）x_j）= 1，否則為0。對勢函數充分考慮了圖像上任意兩個不同像素i和j的關系，即該模型是全連接的概率圖模型。每個高斯核函數依賴于從像素i和j提取到的特征，通常采用位置和顏色（亮度）信息作為特征向量，因此，核函數可表示如下

其中第一個核函數取決于像素的位置和亮度值，第二個核函數僅取決于像素的位置信息。

2.3 模型的學習和推理

信息傳輸（message passing）的更新過程是全連接CRFs模型的主要計算性能瓶頸，但該模型可通過均值場近似（mean field approximation）的方法來近似計算，以簡化加速。高維濾波算法[5]極大提高了模型在每幅圖像上的實際推理速度，該全連接CRFs模型在PascalVOC數據集上平均每幅圖像不到0.5s的計算速度。

3 基于交互式深度編輯框架的方法

3.1 方法概述

雖然DCNN模型的分割效果相比大多傳統方法更加出色，但對于復雜的醫學圖像往往也會出現一些錯誤預測的情況。所以用戶常需要在自動分割結果的基礎上進行人工編輯改善分割效果。而交互式深度編輯框架則是使用一個深度神經網絡來模擬用戶的編輯習慣，自動修復精細化模型的分割結果[3]。目前國內外在這方面的研究并不多，主要因為該方法需要以用戶的編輯習慣作為訓練數據，這樣的數據采集標準高而且難度大，通常需要專業的醫生來操作。

3.2 交互設計

一個好的分割編輯系統其交互方式應該盡可能簡單，并且用戶交互次數應該盡可能少。簡單的交互設計一方面提供了高效的使用性能，另一方面也避免了訓練過程的過擬合情況（復雜且過多的用戶交互會導致網絡過度的依賴用戶交互）。基于這樣的原則，同時結合應用場景的需求，Zhou等設計了如下3種簡單的交互編輯工具[3]。

3.2.1 選擇工具

用戶可通過該工具來點擊一個錯分面積比較大的區域，來消除這些錯誤分割的大面積區域。在模擬用戶的這個編輯習慣時，首先假設用戶一般會點擊一個大的錯分區域的中心位置。基于此假設，將DCNN的初步分割結果與真實標簽相減，對于錯誤分類的大連通區域，反復采用3D腐蝕操作，直到收縮至一個核心體塊，然后從每個大連通區域的核心體塊中選一個體素作為模擬用戶可能點擊的位置。

3.2.2 刷子工具

該工具用于調整修復處于分割邊界上的中等程度錯分區域。因為該筆刷工具是在橫軸切片上進行的，因此模擬操作也是在該方向的2D切片實現。首先找到該切片上錯分的最大區域或者連通域，然后以它們中任意兩點間的最短路徑作為模擬用戶涂鴉的痕跡。

3.2.3 調整工具

該工具允許用戶根據初步分割結果過分割或者欠分割的程度，輸入一個標量值K，進而自動調整分割邊割和真實標簽的體積。

3.3 其他細節

在訓練階段，交互式深度編輯系統首先需要對比DCNN的分割結果與真實標簽之間的差異性，然后通過系統的模擬交互工具，自動編輯標注圖像中錯誤分類的區域，作為初步的模擬用戶編輯行為的訓練數據。接著將編輯標注后的分割圖與原始圖像一并輸入系統的深度編輯網絡，得到更精細的分割結果。如果該分割效果還是不夠好，此時需要人工交互，提供用戶的編輯標注數據來進一步訓練網絡，直到分割效果滿足要求。而在測試階段，真實的用戶交互編輯數據和原始圖像將被直接輸入深度編輯網絡中去修復分割結果，這時候不再限制用戶交互的程度，從而很容易得到較好的改善效果。

4 結語

神經網絡在醫學圖像處理中得到了較成功的應用，但全卷積語義分割網絡在復雜的醫學圖像背景下依然難以取得較好效果。在卷積網絡分割的基礎上，可采用基于概率圖的全連接條件隨機場模型來全自動后處理，或者采用基于交互的深度編輯網絡來半自動后處理，以精細化調整目標的分割邊界。前者全自動化處理，速度較快，但精度提升幅度有限;后者需要用戶參與交互分割過程，處理速度較慢，但能夠獲得更理想的分割效果。兩者也可以結合使用。

此外，關于提高醫學圖像語義分割更細粒度的分割效果方面的研究，還有很多不同場景下的方法，如在全卷積語義分割網絡中引入注意力機制、利用多尺度卷積特征和超像素表示等方法，如何結合當前應用場景來選擇合適的方法至關重要。

參考文獻：

[1]高智勇，萬聽.基于深度學習的肺結節識別[J].中南民族大學學報（自然科學版），2019，38（3）：393^396.

[2]Ronneberger O，Fischer P，Brox T.U—net：Convolutional net-works for biomedical image segmentation [C]//International Con-ference on Medical image computing and computer-assisted inter-vention.Springer，Cham，2015：234～241.

[3]Zhou B，Chen L，Wang Z.Interactive Deep Editing Frameworkfor Medical Image Segmentation [C]//International Conference onMedical Image Computing and Computer—Assisted Intervention.Springer，Cham，2019：329～337.

[4]Chen L C，Papandreou G，Kokkinos I，et al.Semantic image seg-mentation with deep convolutional nets and fully connected crfs[J].arXiv preprint arXiv，2014（4）.

[5]Krahenbiihl P，Koltun V.Efficient inference in fully connectedcrfs with gaussian edge potentials [C]//Advances in neural infor-mation processing systems，2011：109～117.

收稿日期：2020-01-15

作者簡介：黃金鎮（1993-），男，碩士研究生，研究方向為視覺計算與醫學圖像處理。