基于級聯(lián)網(wǎng)絡(luò)的肝臟腫瘤CT 圖像分割

莫亞霓，陳曉婕，張本鑫

（1.桂林電子科技大學(xué) 數(shù)學(xué)與計(jì)算科學(xué)學(xué)院，廣西 桂林 541004；2.桂林電子科技大學(xué) 計(jì)算機(jī)與信息安全學(xué)院，廣西 桂林 541004；3.桂林電子科技大學(xué) 電子工程與自動化學(xué)院，廣西 桂林 541004）

0 引言

肝癌是一種常見且致命的腫瘤，嚴(yán)重威脅人們的生命健康。計(jì)算機(jī)斷層掃描成像（Computed Tomography，CT）具有快速掃描和高分辨率的優(yōu)點(diǎn)，目前被廣泛用于肝臟病變診斷。然而，目前臨床上對肝臟腫瘤的分割通常需要經(jīng)驗(yàn)豐富的醫(yī)生手動繪制輪廓，這是一項(xiàng)耗時(shí)且煩瑣的任務(wù)。而且，同一患者的肝臟CT 圖像在不同醫(yī)生標(biāo)記下可能會導(dǎo)致不一致的結(jié)果，分割的準(zhǔn)確性嚴(yán)重依賴醫(yī)生的經(jīng)驗(yàn)和技能。因此，研究精確且高效的肝臟腫瘤自動分割方法對于肝癌的臨床診斷和治療具有重要意義。

為進(jìn)一步提高肝臟腫瘤分割的精度，實(shí)現(xiàn)既能相對完整地分割體積較大的腫瘤，又能檢測出體積較小的腫瘤，本文提出一種基于級聯(lián)網(wǎng)絡(luò)的CT 圖像肝臟腫瘤分割網(wǎng)絡(luò)MCPUNet。該網(wǎng)絡(luò)以殘差UNet 網(wǎng)絡(luò)作為骨架，解決因網(wǎng)絡(luò)過深而出現(xiàn)的梯度彌散問題，在此基礎(chǔ)上加入混合深度可分離卷積模塊（MDconv Block）并嵌入坐標(biāo)注意力機(jī)制（Coordinate Attention，CA）。混合深度卷積（MDconv）通過使用不同尺寸的卷積核在不同的通道上進(jìn)行運(yùn)算，將多尺度的卷積核融合到一個(gè)單獨(dú)的卷積操作中，從而捕獲不同分辨率的特征模式，實(shí)現(xiàn)對邊緣細(xì)節(jié)以及更深層的小目標(biāo)特征的提取。坐標(biāo)注意力機(jī)制能夠捕獲跨通道的信息，使得模型能夠更精準(zhǔn)地定位并識別病變區(qū)域。此外，MCPUNet 采用級聯(lián)操作來解決數(shù)據(jù)不平衡的問題，特別是當(dāng)腫瘤在整個(gè)CT 圖像中所占比例較小時(shí)可以更好地處理不同大小和位置的腫瘤。提出的模型在公共數(shù)據(jù)集LiTS 驗(yàn)證了肝臟腫瘤分割任務(wù)上的有效性。

1 相關(guān)工作

1.1 醫(yī)學(xué)圖像分割

近年來，深度學(xué)習(xí)技術(shù)迅速發(fā)展并在醫(yī)學(xué)圖像分割中得到廣泛應(yīng)用。全卷積網(wǎng)絡(luò)（Fully Convolutional Network，F(xiàn)CN）[1]通過端到端實(shí)現(xiàn)對醫(yī)學(xué)圖像進(jìn)行像素級分類，解決了語義級別的圖像分割問題。U 形卷積網(wǎng)絡(luò)（UNet）[2]首次引入了跳躍連接，通過編碼-解碼操作實(shí)現(xiàn)圖像的語義分割。編碼器用于下采樣提取特征以捕捉圖像的上下文信息，解碼器則用于上采樣，精確定位分割區(qū)域。LI等人提出的瓶頸監(jiān)督UNet 模型（BS-UNet）[3]采用混合的緊密連接結(jié)構(gòu)，充分利用網(wǎng)絡(luò)各層之間的信息進(jìn)行分割。SCHLEMPER J 等人將注意力機(jī)制融入U(xiǎn)Net 網(wǎng)絡(luò)，提出了A-UNet（Attention UNet）模型[4]，能夠自動學(xué)習(xí)與分割任務(wù)相關(guān)的區(qū)域特征并抑制不相關(guān)特征。UNet及其各種變體網(wǎng)絡(luò)不斷涌現(xiàn)。總體而言，UNet 及其變體網(wǎng)絡(luò)是廣泛應(yīng)用于醫(yī)學(xué)圖像分割的強(qiáng)大深度學(xué)習(xí)模型。

1.2 注意力機(jī)制

本文通過使用坐標(biāo)注意力機(jī)制CA[5]來提高網(wǎng)絡(luò)對醫(yī)學(xué)圖像的分割性能。CA 是一種高效的注意力機(jī)制，能夠?qū)M向和縱向的位置信息嵌入通道注意力中，使得移動網(wǎng)絡(luò)能夠有效地關(guān)注大范圍的位置信息，同時(shí)保持較低的計(jì)算復(fù)雜性。與傳統(tǒng)的注意力機(jī)制相比，CA 不僅關(guān)注通道間的信息，而且考慮了方向相關(guān)的位置信息，從而有助于模型更精準(zhǔn)地定位和識別目標(biāo)。

2 方法

本文提出的級聯(lián)肝臟腫瘤分割網(wǎng)絡(luò)MCPUNet的結(jié)構(gòu)如圖1 所示。CT 圖像中，肝臟腫瘤通常具有對比度低、邊界模糊、形狀不規(guī)則和位置不固定等特點(diǎn)，直接采用端到端的網(wǎng)絡(luò)模型難以準(zhǔn)確識別腫瘤組織[6]。針對這個(gè)問題，本文提出一種級聯(lián)肝臟腫瘤分割網(wǎng)絡(luò)MCPUNet，采用級聯(lián)的方式自動提取CT 圖像中肝臟區(qū)域。該網(wǎng)絡(luò)架構(gòu)主要由肝臟分割網(wǎng)絡(luò)和肝臟腫瘤分割網(wǎng)絡(luò)兩部分組成。肝臟分割網(wǎng)絡(luò)和腫瘤分割網(wǎng)絡(luò)的結(jié)構(gòu)完全相同。肝臟分割網(wǎng)絡(luò)先從CT 圖像中分割肝臟，提取出腫瘤感興趣區(qū)域（Region of Interest，ROI），再將該區(qū)域作為腫瘤分割網(wǎng)絡(luò)的輸入，進(jìn)一步實(shí)現(xiàn)對腫瘤的精準(zhǔn)分割。

圖1 MCPUNet 網(wǎng)絡(luò)結(jié)構(gòu)

2.1 肝臟分割

肝臟分割網(wǎng)絡(luò)用于提取CT圖像中的肝臟區(qū)域。該網(wǎng)絡(luò)整體采用編碼-解碼架構(gòu)，并以殘差網(wǎng)絡(luò)作為基本骨架。編碼器用于提取圖像的多尺度特征并獲取上下文信息，解碼器用于上采樣從而精準(zhǔn)地定位肝臟區(qū)域。由于肝臟分割網(wǎng)絡(luò)和腫瘤分割網(wǎng)絡(luò)結(jié)構(gòu)完全相同，有關(guān)網(wǎng)絡(luò)的詳細(xì)結(jié)構(gòu)將在腫瘤分割部分中重點(diǎn)描述。使用預(yù)處理后的CT 切片輸入肝臟分割網(wǎng)絡(luò)，得到肝臟的掩膜圖，將輸入的CT 切片與肝臟掩膜綜合處理，僅保留肝臟區(qū)域的原始圖像，以該肝臟區(qū)域作為ROI 進(jìn)行下一步的腫瘤分割。

2.2 腫瘤分割

盡管肝臟腫瘤與正常肝臟組織在密度上存在差異，但與腹部其他器官組織相比，它們的密度非常接近，導(dǎo)致在直接使用網(wǎng)絡(luò)對腫瘤進(jìn)行分割時(shí)，其他組織的干擾使得分割結(jié)果難以達(dá)到理想效果。因此在原始的CT 切片上只保留肝臟區(qū)域的像素，將其他腹部器官的影響降到最低。

經(jīng)過肝臟分割網(wǎng)絡(luò)得到的肝臟區(qū)域作為腫瘤分割網(wǎng)絡(luò)的輸入。腫瘤分割網(wǎng)絡(luò)由編碼器和解碼器構(gòu)成，其中編碼器由5 個(gè)MDB（MDconv Block）和4 個(gè)混合池化模塊MP（Mixing Pooling）構(gòu)成，MDB用于提取圖像特征，MP 用于下采樣降低圖像的分辨率。經(jīng)過MDB 后特征圖的通道數(shù)依次為64、128、256、512、1 024，經(jīng)過MP 后特征圖的通道數(shù)依次為128、256、512、1 024，輸入網(wǎng)絡(luò)的特征圖經(jīng)過第一個(gè)MDB 的通道數(shù)由3 升至64。解碼器由4 個(gè)上采樣結(jié)構(gòu)Up Sample 和4 個(gè)殘差注意力機(jī)制模塊RAB（Residual Attention Block）構(gòu)成。在上采樣結(jié)構(gòu)中，采用雙線性插值擴(kuò)充圖像尺寸，并將擴(kuò)充后的特征圖與編碼路徑中對應(yīng)的特征圖進(jìn)行拼接，達(dá)到更好的特征重建效果。4 個(gè)經(jīng)過Up Sample的特征圖通道數(shù)分別為1 536、768、384、192，4 個(gè)經(jīng)過RAB 的特征圖通道數(shù)依次為512、256、128、64，經(jīng)過最后一個(gè)RA-Block 輸出的特征圖再通過1×1 卷積將腫瘤分割的結(jié)果進(jìn)行輸出。

原始UNet 網(wǎng)絡(luò)中的卷積感受野范圍有限，導(dǎo)致網(wǎng)絡(luò)提取的高分辨率肝臟邊緣及腫瘤的圖像特征不足。對于此問題，本文將混合深度可分離卷積加入MDB。混合深度可分離卷積對通道進(jìn)行分組，利用不同尺寸的卷積核進(jìn)行卷積，從而獲取混合的感受野，同時(shí)捕獲高分辨率特征和低分辨率特征。本文將輸入的圖像的通道均勻分成4 組，分別使用{3×3，5×5，7×7，9×9}的卷積核進(jìn)行卷積，最后將卷積后的4 張?zhí)卣鲌D進(jìn)行拼接。在MDB 結(jié)構(gòu)中，對于輸入的特征圖先進(jìn)行3×3 卷積操作，再進(jìn)行混合深度可分離卷積操作得到特征圖F1。與此同時(shí)，輸入的特征圖再經(jīng)過1×1 卷積和坐標(biāo)注意力機(jī)制，生成特征圖F2。最后將F1 和F2 相加，并使用批歸一化和非線性激活函數(shù)PReLU 以更好地優(yōu)化網(wǎng)絡(luò)訓(xùn)練。

3 實(shí)驗(yàn)及結(jié)果分析

3.1 實(shí)驗(yàn)配置及參數(shù)設(shè)置

本實(shí)驗(yàn)硬件平臺為1 塊Tesla V100 圖形處理器（Graphics Processing Unit，GPU），共32 GB 顯存，Gold Intel 處理器，共24 核。軟件環(huán)境是Ubuntu 16.04、Python 3.7.4，深度學(xué)習(xí)框架是PaddlePaddle 2.4.0，Gcc 版本為7.3.0。肝臟分割網(wǎng)絡(luò)訓(xùn)練60 個(gè)epoch，腫瘤分割網(wǎng)絡(luò)訓(xùn)練50 個(gè)epoch，在腫瘤分割過程中使用翻轉(zhuǎn)裁剪、隨機(jī)旋轉(zhuǎn)和隨機(jī)填充裁剪進(jìn)行數(shù)據(jù)增強(qiáng)。

3.2 對比實(shí)驗(yàn)

不同網(wǎng)絡(luò)在進(jìn)行肝臟腫瘤分割時(shí)，交并比（Intersection over Union，IoU）、準(zhǔn)確度和召回率指標(biāo)的性能如表1 所示。

表1 不同網(wǎng)絡(luò)進(jìn)行肝臟分割的定量指標(biāo)性能對比

從表1 可以看出，所提模型相對于原始的UNet在IoU、準(zhǔn)確度和召回率指標(biāo)上分別提高了3.8%、2.5%和2.0%，相對于Topformer 分別提升了17.2%、10.3%和12.3%，在肝臟腫瘤分割任務(wù)上的整體表現(xiàn)優(yōu)于其他網(wǎng)絡(luò)，對腫瘤的分割更加精準(zhǔn)，對于肝癌的診斷和治療具有重要的參考價(jià)值。

4 結(jié)語

本文提出了一種基于級聯(lián)網(wǎng)絡(luò)的CT 圖像肝臟腫瘤分割模型MCPUNet，在編碼路徑上設(shè)計(jì)了MDB 和MP 以提取圖像的多尺度特征，捕獲上下文信息；在解碼路徑上引入殘差注意力模塊RAB，加快網(wǎng)絡(luò)的收斂速度，使模型重點(diǎn)關(guān)注感興趣區(qū)域，抑制冗余特征。為了排除其他器官對肝臟腫瘤分割的干擾，模型使用了級聯(lián)架構(gòu)。實(shí)驗(yàn)結(jié)果表明，與UNet 等先進(jìn)的醫(yī)學(xué)圖像分割網(wǎng)絡(luò)相比，本文方法整體表現(xiàn)較優(yōu)，在肝臟腫瘤分割任務(wù)上獲得了較好的效果，具有很強(qiáng)的健壯性。