基于深度學(xué)習(xí)的脂肪肝超聲圖像分類方法研究

趙海宇，王詩文，何 晴

（桂林電子科技大學(xué)計算機與信息安全學(xué)院，廣西 桂林 541004）

脂肪肝，于1962 年最先發(fā)現(xiàn)在某些患者的肝臟組織學(xué)病變，與酒精性肝病無法進行區(qū)別，其均由顯著的脂肪性沉積，因此稱其為脂肪肝，直到1980 年被定義為非酒精性脂肪肝炎，其用來指由各種原因引起的肝細胞內(nèi)脂肪蓄積過多，脂肪含量超過肝重量的5%，或在組織學(xué)上超過肝實質(zhì)30%的一種肝臟情況。

在當(dāng)前，脂肪肝的篩查主要是通過B 型超聲進行成像，再由醫(yī)生進行通過肉眼以及自身經(jīng)驗進行判斷，容易增加醫(yī)生的檢查負(fù)擔(dān)。

本文將針對脂肪肝超聲圖像，設(shè)計預(yù)處理算法增強圖像特征，改進現(xiàn)有深度學(xué)習(xí)的方法，使其能對脂肪肝超聲圖像進行更準(zhǔn)確的分類評估，能夠輔助醫(yī)生做出判斷。

1 脂肪肝B 超圖像分類研究現(xiàn)狀

隨著技術(shù)的突破，越來越多的人研究使用計算機來輔助脂肪肝B 超圖像分類的診斷。

Cao[1]等人利用分形維數(shù)和紋理邊緣共生矩陣的方法，從超聲圖像中提取特征，在使用線性分類算法將脂肪肝圖像分為正常和病變。

Achyara[2]等人提出通過曲線變換在超聲圖像上區(qū)分不同的策略，利用CT 系數(shù)的熵特性，通過局部敏感判別分析來選取有效的特征。

Zamanian[3]等人使用卷積神經(jīng)網(wǎng)絡(luò)(CNN)從原始肝臟圖像進行特征提取，然后使用支持向量機(SVM)對網(wǎng)絡(luò)所提取的特征進行分類。

Han[4]等人使用超聲RF 數(shù)據(jù)進行學(xué)習(xí)，通過醫(yī)生選取ROI 區(qū)域進行訓(xùn)練，從而實現(xiàn)分類效果。

2 圖像預(yù)處理過程

超聲成像過程中會產(chǎn)生散斑噪聲、模糊和陰影等嚴(yán)重影響超聲圖像的質(zhì)量和分辨率，使得超聲圖像退化，不利于對超聲圖像進行特征提取。因此，對超聲圖像進行預(yù)處理工作十分有必要。

肝臟超聲圖像上脂肪肝特征主要如下：輕度脂肪肝表現(xiàn)為近場回聲增強，遠場回聲衰減不明顯；中度脂肪肝表現(xiàn)為前場回聲增強，后場回聲衰減，管狀結(jié)構(gòu)模糊；重度脂肪肝表現(xiàn)為近場回聲顯著增強，遠場回聲明顯衰減，管狀結(jié)構(gòu)無法辨認(rèn)。通過增加超聲圖像的強回聲與弱回聲的對比度，能夠增強脂肪肝超聲圖像的特征，有助于對脂肪肝程度進行分類診斷。

直方圖均衡化是一種增強圖像對比度的方法，其主要思想是將一副圖像的直方圖分布變成近似均勻分布，從而增強圖像的對比度。但是由于直方圖均衡化是全局均衡化，針對于脂肪肝超聲圖像的局部區(qū)域過暗時，會使得背景噪聲增強以及增強過度。因此采用對比度受限制自適應(yīng)均衡化直方圖均衡化。

針對于脂肪肝超聲圖像，將其分割成多個大小相等的區(qū)域，并根據(jù)各個區(qū)域的像素特征計算每一區(qū)域的灰度級的平均值，表示為：

公式（1）中，Nm為水平方向的像素數(shù)目。Nn為垂直方向的像素數(shù)目，L 為子塊的灰度級數(shù)。

確定剪切系數(shù)C，調(diào)整剪切系數(shù)到最佳值，再確定剪切閾值Clim，表示為：

根據(jù)上述公式確定計算的剪切閾值，對各個區(qū)域的像素消息進行剪切，把剪切下來的像素數(shù)目重新分配到對應(yīng)直方圖的灰度級中，表示為：

公式（3）中，Sclip為被剪切的像素數(shù)量。

對像素點進行重新分配，如果灰度級的像素數(shù)大于剪切閾值Clim，或者大于平均分配像素數(shù)Na而且小于剪切閾值Clim，則令該灰度級像素數(shù)等于Clim。否則，則將灰度級像素數(shù)加上Na來作為該灰度級像素數(shù)。剩余沒有分配的像素數(shù)均勻分配到小于Clim的灰度級，循環(huán)分配直到將像素數(shù)分配完畢。

對各個區(qū)域的直方圖進行區(qū)域內(nèi)的均值化。然而，僅對各區(qū)域進行單獨處理存在著問題，由于區(qū)域劃分過于明顯，這就導(dǎo)致原本像素點之間柔和過度的部分區(qū)分度變大，最終產(chǎn)生塊效應(yīng)。

為了消除塊效應(yīng)和提高計算速度，將每個區(qū)域中心的灰度值作為參考點，對圖像中像素點進行線性插值，將相鄰的四個參考點對應(yīng)區(qū)域的映射來決定像素點的值。在完成超聲圖像預(yù)處理后，圖像的特征得到增強。

3 改進神經(jīng)網(wǎng)絡(luò)分類方法

3.1 Inception-Resnet-v2網(wǎng)絡(luò)

Inception[5]是Google 的研究人員在2014 年提出的網(wǎng)絡(luò)結(jié)構(gòu)，其通過使用1×1 卷積降低通道數(shù)，再進行不同尺度特征提取得到多個特征后，將特征進行融合輸出。Inception 網(wǎng)絡(luò)結(jié)構(gòu)可以將稀疏矩陣聚類為較為密集的子矩陣來提高計算性能。Inception-ResNet-v2 網(wǎng)絡(luò)是在Inception-v4 網(wǎng)絡(luò)結(jié)構(gòu)中引入了ResNet 的殘差結(jié)構(gòu)，利用Resnet 網(wǎng)絡(luò)結(jié)構(gòu)恒等映射的特點，提高了網(wǎng)絡(luò)的精度。Inception-Resnet-v2 網(wǎng)絡(luò)通過對上一層的輸入使用多個不同尺度的卷積核進行特征提取，在增加網(wǎng)絡(luò)的寬度同時，能夠增加網(wǎng)絡(luò)對尺度的適應(yīng)性。Inception-Resnet-v2 網(wǎng)絡(luò)中Input 為輸入層，Stem 模塊用于并行提取特征信息，Inception-Resnet-A、Inception-Resnet-B 和Inception-Resnet-C 模塊用于特征提取，對應(yīng)的Reduction-A、Reduction-B 和Reduction-C 模塊用于更改網(wǎng)絡(luò)的寬度和高度，AveragePooling 為平均池化層用于提高計算效率，Dropout 為隨機失活層用于保持神經(jīng)網(wǎng)絡(luò)的穩(wěn)定性，Softmax 表示用Softmax 分類器分類。

3.2 注意力機制

注意力機制來源于在視覺上的研究。在進行信息處理時，人們會選擇性地關(guān)注所有信息中的一部分，并且忽略其他可見的信息。在神經(jīng)網(wǎng)絡(luò)中，注意力機制使得神經(jīng)網(wǎng)絡(luò)更注重于感興趣區(qū)域，抑制不相關(guān)背景區(qū)域。超聲圖像噪聲較多，所以更需要網(wǎng)絡(luò)提取有效的特征，強調(diào)關(guān)鍵的信息，從而整體分類的精度。本文將在Inception-Resnet-v2 網(wǎng)絡(luò)中加入SENet(Squeezeand-Excitation Networks)[6]注意力機制模塊。SENet 的核心是通過網(wǎng)絡(luò)根據(jù)訓(xùn)練誤差去學(xué)習(xí)特征權(quán)重，使得有效的特征圖權(quán)重增大，抑制無效或效果小的特征圖的方式訓(xùn)練模型達到更好的結(jié)果。

SENet 模塊對輸入高寬為h、w，通道數(shù)為c1 的超聲圖像進行空間維度的特征壓縮，獲得全局感受野。然后通過參數(shù)w 為每個通道重新生成權(quán)重，再通過兩個全連接層對輸入維度進行降維再升維，將每通道的權(quán)重加權(quán)到原輸入特征圖上，得到輸出。

3.3 改進策略

由于網(wǎng)絡(luò)的深層具有深的語義信息，因此將SEnet模塊融入Inception-Resnet-v2 網(wǎng)絡(luò)的Inception-Resnet-B 結(jié)構(gòu)和Inception-Resnet-C 結(jié)構(gòu)的兩側(cè)含有卷積的分支中，得到SE-Inception-Resnet-B 結(jié)構(gòu)和SE-Inception-Resnet-C 結(jié)構(gòu)。

為了避免隨著網(wǎng)絡(luò)深度加深造成特征信息丟失，對Inception-ResNet-v2 網(wǎng)絡(luò)的Inception-Resnet-A、SEInception-Resnet-B 和SE-Inception-Resnet-C 模塊先經(jīng)過平均池化，再進行特征融合。改進后的網(wǎng)絡(luò)結(jié)構(gòu)如圖1 所示。

圖1 改進后的網(wǎng)絡(luò)結(jié)構(gòu)圖

4 實驗測試分析

4.1 實驗數(shù)據(jù)集和平臺

實驗所使用數(shù)據(jù)來源于公開數(shù)據(jù)集，共有550 張大小為360×575 的肝臟超聲圖像，其中肝臟正常為170 張，輕度脂肪肝50 張，中度脂肪肝110 張，重度脂肪肝220 張。

本文算法使用的計算平臺系統(tǒng)為Ubuntu20.04，深度學(xué)習(xí)框架為Pytorch1.8。硬件環(huán)境為6 核12 線程CPU，32GB 內(nèi)存，顯存24GB 的GPU。

4.2 評估方法

本文研究脂肪肝超聲圖像分類問題，使用準(zhǔn)確率(ACC)、靈敏度(SE)、特異度(SP)作為評價指標(biāo)，對算法進行評估。相應(yīng)公式如下：

式中，TP 為真正例；FP 為假正例；FN 為假反例；TN 為真反例。在相同平臺下，將本算法與其他算法進行對比，結(jié)果表1 所示。

表1 算法評估對比

從表1 可以得出，本文算法相較于其他算法提高了準(zhǔn)確率、敏感度和特異度，能夠?qū)⒅靖纬晥D像進行較準(zhǔn)確地分類。

5 結(jié)論

在診斷脂肪肝的計算機分類算法中，超聲圖像是常用的圖像類型。本文提出一種基于深度學(xué)習(xí)的分類方法，先將脂肪肝超聲圖像進行預(yù)處理，使超聲圖像能夠降低噪聲、增強特征。針對于預(yù)處理后的圖像，改進Inception-ResNet-v2 模型，引入SENet 注意力機制模塊與原模塊構(gòu)建成新的模塊，并將各模塊的輸出進行特征融合，經(jīng)過分類器得到分類的脂肪肝類型。本文算法相較于其他算法，能夠有效地提升分類能力。