基于遷移學習策略的肝纖維化分期診斷方法

翟岳仙，劉 翔，宋家琳

(1.上海工程技術大學 電子電氣工程學院,上海 201620;2.中國人民解放軍第二軍醫大學 長征醫院超聲診療科,上海 200003)

肝纖維化是肝臟內結締組織增生異常的病理過程，由各種致病因子誘發[1]。肝臟損傷修復過程中均會發生肝纖維化。纖維化持續發展將會導致具有彌漫性損害的肝硬化，進而誘發肝癌等嚴重疾病。對肝纖維化疾病的診斷常用方法有肝活檢、血清檢查和影像學檢查。肝活檢被稱作“金標準”，但其作為一種有創性檢查易引起出血、昏厥等并發癥。血清檢查則缺乏特異性且檢測效率過低。影像學檢查方法中，CT(Computed Tomography)具有放射性損害；MRI(Magnetic Resonance Imaging)無法實現實時動態檢查且成本較高。近年來，隨著超聲技術的發展，其在大規模篩查和隨訪診斷中具有明顯的優勢，且具有無損、無電離輻射等優點，尤其適合肝纖維化這種彌漫性疾病的診斷。

對于醫學影像的分析，主要采用人工解讀的方式，依賴于醫生的主觀經驗和知識水準，易導致主觀誤判，且診斷效率較低。隨著人工智能技術的發展，計算機輔助診斷的優勢得以體現。通過對醫學影像大數據的自主學習，可最大程度地獲取醫生的經驗。這種對醫學圖像的量化分析方式，避免了主觀因素的影響。同時，計算機輔助診斷系統也可以部署在不同地區，以解決醫療資源分布不均的難題。

肝纖維化的計算機輔助診斷方法已經有諸多研究。文獻[2]依據高頻超聲圖像下的肝表面形態特征，采用計算機輔助打分的方式進行肝纖維化診斷，得到重度肝纖維化的診斷敏感度為89.0%，特異度為61.0%。文獻[3]針對肝硬化疾病的高頻超聲圖像中肝包膜提取率低的問題，采用改進的動態規劃算法提取肝包膜，并將肝包膜特征用于肝硬化的分類，得到了較高的準確率。文獻[4]將灰度共生矩陣(Gray Level Cooccurrence Matrix， GLCM)的相關參數作為神經網絡的數據輸入，分期結果作為輸出，通過神經網絡模型診斷肝纖維化，但S1、S2、S3期的準確率不高。文獻[5～8]應用不同的小波變換等方法提取肝實質紋理特征，通過CART(Classification and Regression Tree，CART)決策樹或者集成分類器分類肝纖維化。這些方法一般用于是否患病的二分類且準確率不高。目前，基于高頻超聲圖像的肝纖維化分類方法中，利用圖像特征結合計算機輔助打分法尚缺乏統一標準，且易受醫師的主觀影響。紋理特征提取法多數只關注到肝實質紋理特征，部分特征并不適用于臨床，分類效果也有待提高[9]。

深度學習強大的特征抽取與表達能力使其在圖像分類識別任務中體現出一定的優勢。因此，本文基于遷移學習策略采用預訓練的ResNet-34 (Residual Network-34)網絡模型，提取高頻超聲肝纖維化圖像中肝包膜與肝實質的高層次特征來代替肝實質紋理、邊緣線條等一些低層次特征，以便實現對肝纖維化的分期診斷。

1 分類思想與方法

1.1 遷移學習

卷積神經網絡(Convolutional Neural Network，CNN)具有強大的圖像分類、語音識別能力。在ILSVRC(ImageNet Large Scale Visual Recognition Challenge，ILSVRC)圖像分類競賽中，AlexNet和GoogleNet分類的錯誤率分別為16.4%和6.7%，并且采用VGG(Visual Genometry Group)和ResNet也都取得了較好的效果[10-13]。深度神經網絡取得較好的分類性能離不開對大數據的學習，而醫學數據不僅涉及病人隱私問題，數據收集與標定也需要耗費大量時間，所以數據集較小且數量有限。人類視覺神經研究表明，低層次提取的圖像特征基本相同，例如顏色、邊緣、線條等，高層次的特征則差異明顯。因此經過大量優秀訓練集訓練的權重參數是可以共享的，僅需加入新數據集進行權重微調即可被應用到新的分類任務中。肝纖維化是一種彌漫性疾病，各期變化特征不顯著，尤其是S2與S3期更加難以區分。在設計網絡結構時，在提取可有效應用于分類的高層次語義特征的同時還要避免誤差累積和梯度彌散問題。針對以上需求，本文基于遷移學習策略，遷移ResNet-34網絡在ImageNet數據集上進行訓練分類任務的模型及參數，調整最后一層的softmax分類器，由原來的1 000分類修改為4分類，并將其結果應用到肝纖維化的分類上。初始化全部層的權值參數，加入肝纖維化數據集進行訓練，微調(Fine Tuning)各類參數，得到新的模型權重。具體流程如圖1所示。

圖1 微調預訓練模型流程圖Figure 1. Flow chart of fine tuning the pre-training model

原數據集為ImageNet數據集，包括120萬張訓練集圖片、5萬張驗證集圖片和10萬張測試集圖片。新數據集為肝纖維化的patch小塊數據集。網絡模型采用ResNet-34網絡[14-15]。

1.2 殘差網絡結構

如圖2所示，ResNet引入了一個重要的殘差學習單元。當網絡層數不斷加深時，將后面的網絡層處理為恒等映射，此時模型退化成一個淺層的網絡，既保證了網絡的深度，提取到了圖像不同層次的語義特征，又避免了梯度爆炸。

圖2 殘差學習單元Figure 2. Residual learning unit

恒等映射函數為H(x)=x。網絡直接擬合比較困難，若將網絡設計為H(x)=F(x)+x，則F(x)=H(x)-x，網絡改為學習輸入與輸出的差值。當F(x)=0時，得到恒等映射函數H(x)=x。這種殘差學習單元在不產生額外參數和計算量的情況下優化了網絡，使網絡分類、識別的性能得到有效提升。

本文采用ResNet-34的結構，其結構如圖3和表1所示。

圖3 ResNet-34網絡結構圖Figure 3. Diagram of ResNet-34 network structure

表1 ResNet-34網絡結構

網絡由5大卷積層和全連接層組成，conv2_x、conv3_x、conv4_x和conv5_x均包含殘差結構的building block，全連接層為softmax分類器。由于本文的目標是4分類，所以將ResNet-34網絡預訓練模型的最后一層修改為4分類輸出，然后采用softmax計算概率。本文在優化網絡訓練過程中采用的是隨機梯度下降法(Stochastic Gradient Descent，SGD)，學習率的設置不再采用單一值法。配合網絡訓練的特點，通過指數衰減進行學習率的更新，避免學習率過大導致網絡激蕩。分類損失采用交叉熵損失函數結合結構風險最小化，損失函數為

(1)

式中，x代表輸入訓練樣本；y代表標簽；q代表預測類別概率；θ代表權重；λ代表權重衰減系數；類別的概率均由softmax計算。

2 實驗結果與分析

2.1 數據來源與預處理

臨床上依據2000年全國病毒性肝炎病理診斷標準[15]對肝纖維化進行分期：S0代表正常且無纖維化；S1代表匯管區擴大纖維化；S2代表匯管區周圍纖維化，有纖維間隔結構；S3代表有大量纖維間隔，小葉結構發生紊亂，無硬結節；S4代表早期肝硬化。

本文高頻超聲兔子肝纖維化的數據來源于第二軍醫大學上海長征醫院，其肝纖維化兔子模型的建立采用為：從健康的雄性，體重在1.8～2.1 kg的新西蘭白兔中隨機選取65只注射硫代乙酰胺溶液，其余15只注射生理鹽水的方式獲取肝纖維化和正常肝臟的超聲和病理圖像。注射后第6～19周采集兔子的二維高頻超聲圖像。將麻醉的兔子仰臥位固定，采用11L-D線陣探頭，頻率在4～10 MHz的美國GE Voluson E8超聲診斷儀于劍突下和右側肋間進行掃查，每個至少采集3張高頻超聲圖像備用。處死超聲檢查后的兔子并取相同部位的組織制作病理切片，在未知超聲檢查結果的情況下進行病理判斷，得到4組實驗數據。綜合圖像質量與臨床醫學價值因素，最終得到數據共有95例，其中S0～S1組有16例；S2組有32例；S3組有24例；S4組有23例像素。圖片平均尺寸為：寬度450 ± 67像素，高度為500 ± 59像素。

為了獲取足夠的數據，本文將原圖進行90°、180°、270°旋轉，按照大小尺寸為64×64，步長為16進行patch裁剪。通過灰度共生矩陣的圖像對比度指標剔除不合格的小塊。本文保留對比度大于0.005的小塊，剔除對比度小于0.005的小塊，建立patch小塊的訓練集a。對于測試集，對原圖采用不同的角度旋轉(45°、135°、225和315°)。patch小塊裁剪尺寸設置為45×45，步長15，通過灰度共生矩陣指標剔除不合格的小塊，建立patch小塊測試集b。

肝纖維化病程中S0～S4期的典型圖像如圖4所示。圖中可以觀察到隨著病程的加劇，肝包膜與肝實質區域都發生了改變。圖5為篩選掉的不合格小塊區域示意圖。

圖4 不同肝纖維化期樣本的高頻超聲圖 (a)S0～S1 (b)S2 (c)S3 (d)S4Figure 4. High frequency ultrasonography of samples with different stages of liver fibrosis(a)S0～S1 (b) S2 (c) S3 (d) S4

圖5 不合格小塊示意圖Figure 5. Diagram of unqualified small patches

2.2 實驗環境與訓練細節

本文基于TensorFlow深度學習框架進行研究，計算機硬件配置為AMD CPU 3.80 GHz，4塊GTX1080ti GPU，共64 GB。軟件環境為：Windows 10 64 bit、Python 3.6.5、CUDA 9.0、CUDNN 7.0以及TensorFlow-GPU 1.12.0。實驗在訓練與測試階段均使用GPU加速，batch-size設置為256，學習率(learning-rate)初始值設置為0.002，學習衰減率為0.000 4，迭代50 000次。

2.3 評價指標

混淆矩陣是評價模型分類結果優劣的指標，本文采用混淆矩陣的相關指標對肝纖維化的分類模型進行評價。正例定義為Positive，反例定義為Negative。真實值是Positive且被模型預測為Positive的數量定義為True Positive(TP)；真實值是Positive但被模型預測為Negative的數量定義為False Negative(FN)；真實值是Negative但被模型預測為Positive的數量定義為False Positive(FP)；真實值是Negative且被模型預測為Negative的數量定義為True Negative(TN)。各指標組成了混淆矩陣，如圖6所示。

圖6 混淆矩陣Figure 6. Confusion matrix

由混淆矩陣得出以下統計指標：

(1)準確率。準確率表示分類模型中判斷正確的數量占總數量的比值

(2)

(2)靈敏度。靈敏度表示在真實值為Positive的所有結果中，預測正確的數量占總數量的比重

(3)

(3)特異度。特異度表示在真實值為Negative的所有結果中，預測正確的數量占總數量的比重

(4)

(4)精確率。精確率表示在預測值為Positive的所有結果中，預測正確的數量占總數量的比重

(5)

F1-score為

(6)

式中，P為Precision；R代表Recall。

2.4 性能評估與分析

測試階段采用patch小塊投票策略實現肝纖維化分類。一幅圖像經分塊送進網絡進行測試，得出每個小塊的類別以及準確率信息，通過如下投票策略得到整幅圖的類別：

(1)Set the initial value:intk=0,inti=0,

intn=num

(2)fori=1,2,3,…,n:

if(ACC)(i)≥75%

k++

(3)ifk≥n×70% judge success

Else judge failure

設置準確率閾值為0.75，大于0.75的小塊即認為判定正確。所有判別正確的小塊占總小塊數的概率值大于0.7，則認為該幅圖的類別為占多數概率的小塊的類別。

采用投票原則對測試集的測試結果如表2和表3所示。

表2 模型測試的混淆矩陣

表3 模型測試的分類性能

表2和表3分別為分類模型的混淆矩陣、特異度、靈敏度和F1-score。由混淆矩陣可以計算得出，對于肝纖維化的S0～S1、S2、S3與S4期的分類靈敏度分別為93.75%、90.63%、87.50%和86.96%；特異度分別為93.75%、87.88%、87.50%和90.91%；F1-score分別為93.75%、89.23%、87.50%和88.90%，相較于其他利用高頻超聲圖像做肝纖維化定量診斷的實驗，達到了較好的效果。由分類性能表格可以看到在F1- score中，S3期與S4期的分數較低，主要原因在于S3與S4時期肝纖維化病程加劇，肝包膜區域均發生斷裂、波浪狀改變，肝實質區域回聲增強，圖像較為相似，模型較難區分。總體來說，本文基于遷移學習的ResNet-34分類方法實現了對肝纖維化的高準確率分類，尤其是在S2與S3期中表現良好，具有較強的實用性。

2.5 與其他方法比較

本文分類網絡選取ResNet-34，同時選取了ResNet-18網絡做肝纖維化四分類的對比試驗。

對于肝纖維化的分期研究中，大多數研究人員采用傳統的提取肝實質紋理特征的方法進行分析或者依據形態特征變化統計分析差異性。文獻[4]將反映肝纖維化聲像圖紋理特征的GLCM參數送入神經網絡，通過建立神經網絡模型對肝纖維化進行分期診斷。文獻[16]采用人工監督和梯度優化結合的方法提取肝包膜骨架，定義肝包膜輪廓的平滑性和連續性特征，并統計分析這些特征的差異性，得到平滑性特征中S0～S1組較其余組差異具有統計學意義；連續性特征中S0～S1組與S4、S2與S4組差異具有統計學意義。

本文選用另外兩組對比實驗，一個是常規的紋理分析法，一個是基于文獻[16]的肝包膜平滑性、連續性特征的分類方法。在紋理分析法對比實驗中選取圖像GLCM的ASM(Angular Second Moment)能量、對比度、逆差矩和熵4個參數指標，將4個參數指標組合成一組特征向量(p1,p2,p3,p4)輸入到支持向量機(Support Vector Machine，SVM)訓練分類器中，從紋理特征分析的角度對肝纖維化進行分類。文獻[16]只是統計分析了肝纖維化各期特征的差異性，沒有進行分期比較。本文基于肝包膜平滑性、連續性特征中的線段數量、熵、線段之間的夾角均值、方差等數據，采用KNN(K-Nearest Neighbor，KNN)、TSVM等分類器進行分類。對比實驗結果如表4所示。

表4 其他網絡模型分類性能對比試驗

對比實驗中設置了相同的實驗環境與條件。表中給出了各期分類的準確率。分析可知， ResNet-18網絡分類性能比ResNet-34差，這是因為隨著網絡層數的增加，高層網絡可以提取到圖像中更加豐富的高層次特征，結合肝包膜與肝實質的高級特征更有利于肝纖維化的分期診斷。同時，遷移學習的加入使得網絡訓練更加高效，而采用基于GLCM參數的紋理分析法和肝包膜特征的分類方法所取得的分類效果并不理想。

3 結束語

本文提出了基于遷移學習策略的ResNet-34網絡用于肝纖維化的四分類任務，采用微調訓練的方式，實現了纖維化的四分類，具有較高的準確率。同時，與常規紋理提取分析用于肝纖維化分類的方法進行了對比分析，驗證了本文方法的有效性。但本文方法還存在一些不足，針對S3與S4時期圖像特征相似所導致的分類精度不高的問題仍有待解決，未來將會進一步對相關的模型優化問題進行研究。