深度學習在結腸息肉分割中的應用綜述

孫福艷，王 瓊，呂宗旺，龔春艷

1.河南工業大學 信息科學與工程學院，鄭州 450001

2.中原智慧園區與智能建筑研究院，鄭州 450001

結直腸癌（colorectal cancer，CRC）是世界三大高發癌癥之一。2020 年，我國CRC 總體發病率已躍升至惡性腫瘤的第2 位，CRC 的死亡率也位居第5 位[1]。近70%～80%的CRC 起源于結腸息肉，早期篩查可以顯著提高存活率[2]。CRC 早期篩查的黃金標準就是使用結腸鏡檢測，在內窺鏡下檢測并切除前驅病變（主要是腺瘤），可大大降低CRC 的發病率[3]。但人工結腸鏡檢查受限于操作者的狀態及經驗，平均有26%的息肉在視頻檢查中被漏檢[4]。

使用計算機輔助診斷系統對結腸息肉進行精確分割，可以輔助臨床醫生定位息肉，提高結腸鏡檢查中息肉的檢出率[5]，對后續的息肉分類、治療環節至關重要。但結腸鏡采集到的息肉圖像存在鏡面高光、腔內褶皺及排泄物遮擋等情況，此外，息肉本身的大小、形狀、顏色、紋理多變，與背景腸壁分界模糊，這些使得息肉分割非常具有挑戰性。

本文首先總結傳統息肉分割算法，分析傳統的圖像處理、機器學習分割算法的優缺點；接著總結基于深度學習的息肉分割算法，按照網絡結構劃分為基于經典CNN 結構、U-Net 結構及多模型融合的分割模型，歸納總結算法改進策略及其優劣勢；然后歸納結腸息肉圖像公開數據集及數據預處理方法；總結各方法在常用數據集上的評價指標結果；最后分析基于深度學習的息肉分割研究面臨的挑戰和發展趨勢。

1 傳統的結腸息肉分割算法

傳統的息肉分割算法按照發展歷程主要可以分為兩類：基于圖像處理技術、基于機器學習技術。

早期的圖像處理技術根據分割方式不同將其劃分為基于閾值[6]、邊緣[7-8]、區域[7，9-10]、形態學[6]四種分割方法。基于閾值的方法將灰度圖像中灰度值高于設定閾值的像素點視為前景區域（即息肉區域）；基于邊緣的方法針對圖像的邊緣像素特點分割息肉；基于區域的方法將圖像分成多個區域，根據同一區域內顏色、紋理、形狀等特征的相似性對區域進行判斷；基于形態學的方法是分割前的預處理操作，腐蝕操作去除圖像噪聲，膨脹操作增強息肉邊界。

機器學習技術更充分地利用提取到的顏色、紋理、形態外觀等特征，通過支持向量機[11-12]、像素聚類[13]等方法自動學習特征并對特征進行分類。基于支持向量機的方法將特征映射到高維空間，以數學方法尋找一個決策邊界將像素點分類為非息肉像素和息肉像素；基于像素聚類的方法將像素轉換為向量形式，將具有相似性的像素點聚類成不同區域。

上述傳統息肉分割算法的應用及對比分析如表1所示。傳統的圖像處理和機器學習方法過分依賴于手工提取特征，其局限性有以下幾點：（1）息肉的形態多變，很難找到一個適合所有息肉的形狀外觀特征。（2）不同成像方式（白光和窄帶光）下息肉的顏色、紋理差異較大，很難找到一個融合息肉多種特征的全局特征提取算法，導致在一組圖像上表現良好的模型在另一組圖像上表現不佳。（3）人工提取特征的算法復雜耗時，分割速度和精度都難以滿足臨床需求。

表1 傳統息肉分割算法對比分析Table 1 Comparison of traditional polyp segmentation algorithms

2 基于深度學習的結腸息肉分割算法

近年來，深度學習被廣泛應用于自然圖像、醫學圖像分割等領域。相對于傳統的息肉分割算法，深度學習模型在處理噪聲、分割精度、處理速度、泛化能力等方面都具有優越性，可以應對不同采樣環境下的圖像及息肉形狀多樣性，模型魯棒性強，自主學習特征和規律，極大地減少手工特征設計的工作量。基于深度學習的息肉分割算法流程圖，如圖1所示。

圖1 基于深度學習的息肉分割算法流程圖Fig.1 Flow chart of deep learning method for polyp segmentation

本章按照深度學習分割模型的網絡結構將其劃分為經典CNN 結構、U-Net 結構及多模型融合三類，總結其改進策略，并分析各改進策略的優勢和局限性。

2.1 基于經典CNN結構的分割模型

2.1.1 基于FCN與傳統特征的改進方法

CNN 網絡[14]在圖像級別的分類和回歸任務中表現良好，全卷積神經網絡（fully convolutional network，FCN）[15]繼承CNN的思想，將CNN的全連接層替換為卷積層，采用反卷積層對最后一個卷積層的特征圖進行上采樣，在上采樣的特征圖中逐像素進行分類，達到在語義級別上分割息肉的效果。CNN與FCN網絡結構如圖2所示。

圖2 CNN與FCN網絡結構Fig.2 CNN and FCN network structure

文獻[16]使用不同深度的網絡進行息肉分割，實驗結果表明相較于深層網絡，淺層網絡的分割結果更精確。這是由于淺層網絡能夠提取圖像的細節信息，如顏色、紋理等特征，這些特征對于息肉分割具有重要意義；而深層網絡更加專注于提取圖像語義信息，如大小、位置等特征，同時隨著網絡層數加深，圖像的邊緣信息會嚴重丟失。

為了充分利用息肉的淺層細節特征，文獻[17]將FCN-8S與Otsu閾值結合進行特征提取，并利用Ground truth 引導圖像塊選擇進行數據增強。該方法能夠更魯棒地適應息肉形狀和顏色強度的變化。同樣文獻[18]結合深度學習和手工提取的特征，采用FCN進行像素預測和初始息肉區域候選，從每個候選區域計算出texton特征，再利用隨機森林分類器對候選區域進行細化，作出最終決策。該方法實現了分層學習息肉特征，accuracy達到97.54%。文獻[19]將預訓練模型和FCN 結合以縮短訓練時間，之后又利用從陰影形狀中導出的相對深度信息作為附加信息輸入通道[20]，提高分割準確率。

FCN在一定程度上實現像素級的分割效果，在自然圖像分割中表現優秀。但連續的下采樣和上采樣操作丟失很多細節信息，導致分割結果邊界模糊，因此在需要精確分割的醫學圖像中應用有限。

2.1.2 基于RNN的改進方法

循環神經網絡（recurrent neural network，RNN）[21]與CNN 相比，擁有一個循環單元，用于處理序列數據，它保存前一時刻的信息并在當前時刻將其作為輸入，因此RNN可以處理任意長度的序列數據。但是由于循環單元的參數共享，容易出現梯度消失、梯度爆炸和長期依賴的問題，長短期記憶網絡（long short-term memory，LSTM）[22]則通過遺忘門將短期記憶和長期記憶結合起來，在一定程度上改善這些問題。文獻[23]使用Deep-Labv3結合LSTM解決網絡加深導致的息肉位置信息丟失問題，利用LSTM的記憶功能增強息肉位置信息。分割效果較DeepLabv3 模型有所提高，但訓練時間較長。RNN在序列檢測和自然語言處理等領域得到了廣泛的應用，但應用于單幀息肉分割的相關研究較少，多用于視頻息肉檢測和分類領域。

2.1.3 基于GAN的改進方法

生成對抗網絡（generative adversarial network，GAN）[24]是生成網絡（G）和判別網絡（D）的組合，兩個網絡仍采用CNN結構。GAN網絡結構如圖3所示。

圖3 生成對抗網絡（GAN）結構Fig.3 Generative adversarial network（GAN）structure

文獻[25]和文獻[26]借助GAN 網絡學習息肉特征生成偽樣本，擴充息肉樣本。G將隨機噪聲矢量作為輸入生成息肉偽樣本；D接收偽樣本和真實樣本并對其進行學習和判別。根據判別結果與真實情況之間的誤差，D進行自身優化使判別結果更加準確；同時誤差反饋給G 指導其優化更新，生成更加真實的偽樣本；G 和D 之間進行迭代對抗訓練直到達到納什平衡。

文獻[27]則是以原始息肉圖像和分割掩碼作為輸入，學習標注區域的特征，G 生成的不是息肉偽樣本而是預測分割掩碼。為了穩定訓練，將原始息肉圖像與掩碼（真實掩碼和生成掩碼）分別配對送入D，D對掩碼的真實性進行判斷。兩個網絡基于D 的判別結果以對抗方式更新迭代，迫使G 生成足夠接近ground truth 的預測分割掩碼來欺騙D，以使D將其分類為真實掩碼。

GAN 在無監督和半監督領域取得了很好的效果，其生成的偽樣本能夠豐富數據多樣性，增強模型魯棒性。但模型訓練過程不穩定，難以找到很好達到納什平衡的方法。

表2 列舉了CNN 結構息肉分割模型基于以上改進策略的其他文獻，并對各改進策略的優勢和局限性進行歸納總結[25-26，28-32]。

表2 CNN結構息肉分割模型的改進方法對比Table 2 Comparison of improved methods for CNN structural polyp segmentation models

2.2 基于U-Net結構的分割模型

2015年，U-Net[33]的提出為醫學圖像分割帶來了革命性的改變，極大地推動了深度學習技術在醫學圖像分割中的應用。U-Net的編碼器和解碼器分別用于捕獲上下文和恢復細節特征，同時利用跳躍連接增強淺層和深層特征的融合，模型可擴展性強；其采用的數據增強技術和Dropout等正則化方法使U-Net能夠適應較小的訓練集，因此在標注較少的醫學圖像數據集上表現優秀。

由于U-Net結構的分割高精確度和高可擴展性，衍生出一系列基于U-Net分割模型的改進方法，將改進方法概括為：基于擴張卷積、改進注意力、Transformer及多尺度特征融合的改進方法。

2.2.1 基于擴張卷積的改進方法

U-Net 中的卷積層感受野有限，雖然增大卷積核能夠增大感受野，但同時也會增加模型參數量；此外下采樣過程中圖像分辨率降低導致信息丟失。針對這些問題，擴張卷積通過在標準卷積中插入“空洞”來增大感受野捕獲更廣泛的上下文信息，同時不增加參數量和模型復雜度，并保持特征圖分辨率。

但通常很難找到一個合適大小的感受野來捕獲不同尺度的息肉信息，文獻[34]選擇聚合不同擴張率的擴張卷積，其設計的深度擴張初始化模塊（depth dilated inception，DDI）結構如圖4所示。初始的逐點卷積加深輸入特征圖；在加深的特征圖上并行連接多個擴張率指數倍遞增的深度卷積，以從不同感受野中積累特征；在每個并行路徑中順序連接（3×1）和（1×3）的不對稱內核深度卷積，這兩個非對稱卷積與（3×3）卷積核有相同大小的感受野，但前者參數少得多；最后級聯聚合多個深度擴張卷積產生的并行輸出，進行最終的逐點卷積。作者將多個DDI順序連接集成到U-Net的層結構中，利用具有變化擴張率的擴張卷積實現了多樣性的息肉特征提取。

圖4 深度擴張初始化（DDI）模塊結構Fig.4 Depth dilated inception（DDI）module structure

文獻[35]在編解碼器之間使用空洞空間金字塔池化（atrous spatial pyramid pooling，ASPP），該模塊同樣通過組合不同擴張率卷積的方式處理不同尺度的息肉。但卷積核邊緣部分穿插的“空洞”導致部分像素丟失，因此分割息肉邊界較為模糊。

2.2.2 基于注意力的改進方法

雖然利用不同大小內核的卷積能夠捕獲多尺度息肉特征，但由于卷積的平等性，重要特征無法突出，注意力機制可以使模型更多地關注重要信息部分。文獻[36]以DoubleU-Net 為基礎架構，在U-Net 內部的跳躍連接處引入空間和通道注意力加強特征傳遞，同時在第二個編碼器的輸入端引入多尺度選擇核心通道注意力模塊，自適應地調節接收域大小，選擇不同的感受野，提高小目標的分割精度。

文獻[37]設計了淺層注意力模型，在深層特征的輔助下過濾掉淺層特征的噪聲并保留小息肉，充分利用不同特征之間的互補性。為解決息肉邊緣與背景腸壁分界模糊導致的分割結果邊緣模糊問題，文獻[38]提出不確定性增強上下文注意方法，將圖像劃分為前景、背景、不確定區域（息肉邊界），增強息肉邊緣信息；此外引入并行軸向注意力作為編碼器主干解決計算量大的問題。考慮到息肉大小的變化對模型訓練的影響（模型在大多數尺寸的息肉樣本上表現優秀，但處理特殊大小的息肉時會提供次優結果），文獻[39]提出了基于文本引導注意力的TGANet，在訓練過程中以文本注意力的形式將息肉圖像特征編碼為{單個，多個，小，中，大}，并為其分配不同的權重。該模型能夠明顯適應不同大小及多個息肉的情況，對臨床診斷中重要的扁平和無蒂息肉提供了更高的分割精度。

注意力機制能夠根據數據的不同情況自適應地調整網絡權重，因此具有高可擴展性和魯棒性。但注意力機制對輸入數據的加權和篩選操作導致信息丟失和誤判；此外大量的矩陣計算和映射操作增加網絡復雜度。

2.2.3 基于Transformer的改進方法

文獻[40]提出了第一個用于圖像識別的基于自注意力的視覺Transformer（vision Transformer，ViT）框架，ViT 計算所有圖像塊之間的成對交互，生成上下文特征。這種上下文分析類似于U-Net中的上采樣過程，不同之處在于U-Net 中卷積層感受野有限，需要通過池化、擴張等操作擴大感受野；而ViT無卷積層，通過多頭注意力機制實現全局感受野。Transformer 編碼器結構如圖5所示。

圖5 Transformer編碼器結構Fig.5 Transformer encoder structure

卷積運算的局限性限制了CNN 建模遠程關系，尤其是當目標間紋理、形狀和大小差異性較大時分割結果較差。Transformer 的全局感受野能夠捕獲遠程相關性解決這一限制，但由于其在所有階段進行全局上下文建模，導致在捕獲細粒度細節方面有局限性。文獻[41]結合兩者的優勢，提出了首個基于Transformer 的醫學圖像分割框架——TransUnet。該方法充分利用來自CNN特征的詳細高分辨率空間信息和來自Transformer的全局上下文編碼，淺層特征的密集融合提升了分割精度。

與TransUnet 以順序方式堆疊CNN 與Transformer不同，文獻[42]設計了一種融合技術——BiFusion模塊，將CNN 與Transformer 以并行方式結合在一起，有效捕獲淺層的空間特征和深層的語義上下文信息，且并行結構不需要非常深的網絡，減輕了梯度消失和特征減少的問題，提高模型推理速度。但分割的息肉邊界存在偽影，分割息肉內部不連續。

2.2.4 基于多尺度特征融合的改進方法

U-Net的跳躍連接結構彌補了深層特征和淺層特征之間存在的語義差距。為了更充分利用這些分層特征中包含的互補性語義信息，文獻[43]在編碼器中引入語義校準模塊（semantic calibration module，SCM），利用深層的高級語義信息對淺層的特征圖進行增強，通過解決語義錯位問題使得兩個相鄰特征映射之間的語義更好地融合，從而有效地緩解了由于語義偏移而導致的息肉邊界模糊和不可信的問題。此外，在解碼器中引入語義細化模塊（semantic refinement module，SRM），在解碼器進行特征融合之前，根據全局上下文信息對特征圖重新加權，可以同時增強目標和減弱背景，提高息肉與背景腸壁的特征區分度。提出的SCM 和SRM 彌補了不同層次特征圖之間的語義鴻溝，從而充分利用這些特征的互補性來提高分割性能。

文獻[44]設計了語義特征增強模塊（semantic feature enhance module，SFEM），并重新設計解碼器結構。SFEM使用三個并行分支對特定窗口大小的塊分別應用非局部關注，該模塊能夠在不丟失空間信息的情況下進一步增強多尺度語義特征。編碼器最后一層特征圖通過SFEM增強后發送到解碼器的每一層，解碼器每一層融合來自編碼器層、SFEM 及上采樣的特征，實現高低層特征融合。

文獻[45]重新設計跳躍連接部分，對跨層級的差異性特征進行聚合。其設計的減法單元（subtraction unit，SU）對相鄰層級的特征圖進行逐像素減法運算，用于捕獲息肉淺層特征和深層特征的互補信息并突出其差異，將多個SU 金字塔式地連接起來構成多尺度減法模塊，模塊結構如圖6 所示。多尺度減法模塊中使用的減法運算降低了輸入到解碼器的結果特征在不同層次之間的冗余度，但對特征的重用仍然導致高計算資源需求。

圖6 多尺度減法模塊結構Fig.6 Multi-scale subtraction module structure

表3列舉了U-Net結構基于以上改進策略的其他文獻，并對各改進策略的優勢和局限性進行歸納總結[38，46-53]。

表3 U-Net結構息肉分割模型的改進方法對比Table 3 Comparison of improved methods for U-Net structural polyp segmentation models

2.3 基于多模型融合的分割模型

ResUNet++[54]、PolypSegNet[34]雖然能夠在多尺度上提取息肉特征信息，但只是對息肉內部區域進行較好的處理，對息肉邊界的分割較為粗糙。許多研究者發現單一模型的預測能力有限，于是提出多模型融合的分割模型，將共享編碼器和多個特定任務的解碼器（例如區域分支和邊界分支）集成到一個網絡中，以提高分割性能。文獻[55]在數據預處理時通過藍色通道提取息肉圖像中鏡面高光部分，再引入Mumford-shah Euler圖像模型的變分修復方法來重建出沒有鏡面反射的圖像。之后集成雙數小波池化CNN 模型（dual-tree wavelet pooled CNN，DT-WpCNN）和局部梯度嵌入式加權水平集方法（local gradient weighting-embedded level set method，

LGWe-LSM），將兩種方法的分割結果進行像素級融合作為最終預測結果。雙數小波池化方法相比傳統的池化方法在保留結構的同時降低特征圖的維數；LGWe-LSM 用于分割高度不均勻性和弱邊界的息肉區域，抑制DT-WpCNN分割的高強度假陽性區域并確保息肉區域的平滑度。

一些多模型融合的分割模型[56-58]提升了多正則化特征表示對相關任務的區分能力，從而顯著降低了過擬合的風險，但區域分支和邊界分支分別進行訓練，忽略了它們之間的相互依賴關系。文獻[59]考慮區域和邊界的雙向約束，提出了SFANet。編碼器和雙解碼器下的選擇性特征聚合結構和邊界敏感損失函數對區域邊界進行約束，解決了邊界模糊問題，但該模型泛化性能較弱。文獻[60]則在恢復息肉邊界的同時更加關注到模型本身的泛化能力。文獻[61]設計了一個具有三個并行解碼器的模型Psi-Net，一個解碼器用于學習分割進行掩碼預測，另外兩個解碼器用于輔助輪廓檢測和距離圖估計。輔助任務對掩碼預測進行規范，以生成具有平滑邊界的精細掩碼。多模型融合的分割模型與單一模型相比分割準確率有所提高，但模型復雜，損失函數的設計較困難，訓練難度和計算量較大，導致網絡實時性較低。

3 常用數據集及預處理方法

3.1 結腸息肉圖像數據集

目前使用的大多數公共息肉數據集都是由MICCAI挑戰賽提供。在EndoVis子挑戰賽[62]上提供了圖片數據集CVC-ColonDB、CVC-ClinicDB和ETIS-Larib，視頻數據集ASU-Mayo Clinic 和CVC-VideoClinicDB。CVCEndoSceneStill組合了CVC-ColonDB和CVC-ClinicDB，增加了其他類別的ground truth 掩碼（管腔及反光），并劃分了訓練、驗證和測試集，使得基于此數據集的分割方法能夠進行直接比較。Kvasir[63]是一個多類圖像數據集，包含息肉類以及其他病理結果標簽。文獻[64]提出了一個大型的視頻息肉數據集LDPolypVideo，包含不同類息肉，并在此數據集基礎上評估了許多息肉檢測方法。此外，文獻[65]提供了一個由不同病變（增生性病變、腺瘤和鋸齒狀腺瘤）組成的視頻數據集，用于息肉分類的研究。

盡管這些數據集被廣泛使用，但一些作者在實驗中同時使用公開與私人數據集或僅使用私人數據集，以及對數據集的不同增強方法使得各方法難以進行公平的比較。表4 總結了當前公共可用的結腸鏡檢查圖像數據集[48-49，64-76]。“CLS”表示息肉類別，“BBX”表示邊界框，“PM”表示二進制掩碼，“D”表示檢測，“S”表示分割，“C”表示分類。

表4 公共可用結腸息肉圖像數據集Table 4 Publicly used colon polyp image datasets

3.2 數據預處理

數據集的數量和質量很大程度上影響模型的性能，但由于涉及到隱私問題以及數據集的標注需要耗費大量人力資源，醫學圖像數據集大小往往受限。為了擴充樣本多樣性，通常在模型訓練時采取一些數據增強策略，通過增加訓練數據量及數據多樣性來減少模型的過擬合，增強模型魯棒性。

文獻[69]在CVC-EndoSceneStill數據集上分析了不同數據增強策略對模型性能的影響，包括縮放、局部變形、裁剪、旋轉以及混合方法等，數據表明混合數據增強方法使息肉類分割的IoU由44.4%提升到54.8%。文獻[77]在數據預處理部分采用中值濾波去除圖像反光像素，對分割結果也產生了一定的積極影響。文獻[5]采用灰度圖進行訓練和識別。實驗結果驗證，當有較多的皺紋或光斑時，使用RGB 圖像進行息肉檢測會更加準確；而當息肉圖像不太明顯時，如未聚焦或殘影，使用灰度圖進行息肉檢測效果更好。為了消除顏色對息肉分割的影響，文獻[37]隨機選取一個圖像并將其顏色傳遞給其他輸入圖像，多次顏色交換后得到內容相同顏色不同的新輸入圖像。顏色交換操作可以解耦圖像內容和顏色，迫使模型更加關注息肉形狀和結構。

4 評價指標及模型性能比較

4.1 評價指標

分割模型常用評價指標計算方式如表5所示，其中最常用的是像素級的Dice和IoU[3]。

表5 常用評價指標計算方式Table 5 Calculation methods of commonly used evaluation indexes

4.2 模型性能比較

各分割方法在結腸息肉數據集上的評價指標結果如表6所示。在CVC-ClinicDB上，基于RNN方法的CRFEfficientUNet[29]采用了多種數據增強策略對訓練集進行擴充，該方法的Dice最高，但該方法對參數的重復利用使得訓練時間過長；基于文本引導注意力的TGANet[39]僅次于CRF-EfficientUNet[29]，取得第二Dice 結果94.6，且該方法處理不同尺寸和數量的息肉圖像時魯棒性較高；Transformer強大的全局特征建模功能極大地提高了模型分割性能，Transfuse[42]并行結合CNN與Transformer的方式取得了94.2 的Dice 結果；基于GAN 方法的結果較差，但文獻[32]在少量訓練數據集（5 張，10 張，25 張）上的Dice要高于有監督的其他模型，適用于訓練數據有限或數據分布不均衡等情況。在Kvasir-SEG上，基于多模型融合的文獻[60]取得最高IoU，但同時雙分支結構使得模型復雜，增加大量參數。

表6 息肉分割方法結果對比Table 6 Comparison of results of polyp segmentation methods

5 總結與展望

本文總結了基于深度學習的息肉分割方法的主要改進策略，分析各方法的優勢及局限性，發現目前該領域仍面臨一些挑戰：（1）數據有限：深度學習網絡模型的訓練需要大量的數據集并且需要對其進行標注，但大規模、高質量的標注醫學圖像數據集尤其是息肉圖像非常稀缺，在一定程度上影響模型訓練性能；（2）數據復雜性：不同成像設備掃描的息肉圖像在顏色及質量方面有很大差異，且息肉形態多變，在不同時期呈現不同的顏色紋理特征，息肉與周圍黏膜之間的邊界不清晰，都導致息肉分割得不精確，模型訓練困難；（3）臨床使用率低：用于模型訓練的數據集背景干凈、清晰，通常與臨床情況下的圖像存在差異，導致模型的準確率在臨床環境中無法再現。

分析現階段深度學習息肉分割領域存在的問題，未來可以從以下幾個方面深入研究：

（1）制作標準的公共數據。一個接近實際臨床環境，并由專家標注的大型息肉圖像數據集能夠大幅提高息肉分割模型的性能，提高模型臨床使用可行性。

（2）提升模型在小數據集上的分割性能。結合弱監督學習，利用少量標注信息，從非標注信息中進行學習；通過無監督的GAN 生成高質量息肉圖像，避免數據較少導致的過擬合問題。或結合遷移學習，將其他數據集上的已訓練好的分割模型參數遷移到息肉分割任務中，并進行微調，應用于小型的息肉圖像數據集。2020年用于圖像處理的視覺Transformer[40]被提出，在醫學圖像處理領域取得優秀的結果，但該方法需要通過大量訓練數據提取全局關鍵特征獲得高分割性能，因此，Transformer模型如何在息肉小數據集上獲得高精度也是未來值得研究的方向。

（3）增強模型魯棒性。從數據角度，通過圖像增強策略提高圖像對比度、清晰度，或通過顏色變換、局部扭曲等操作擴充樣本多樣性；從模型角度，通過引入注意力機制、Transformer[40]、深度可分離卷積[78]等，加強模型特征提取能力，提升其對不同采樣環境、畸變、噪聲等的適應性，進一步提升模型的精度和魯棒性。

（4）研究基于視頻的息肉分割技術。基于視頻的分割模型[48]能夠處理帶有時間維度的動態醫學影像，更準確定位和描述息肉的形態、大小、位置等信息。但目前息肉分割研究多為單幀的圖像分割，視頻語義分割領域仍存在很大挑戰，可以從以下兩方面研究視頻語義分割：基于RNN[21]、LSTM[22]等方法利用視頻幀之間的時序信息提升分割精度；利用幀之間的相似性減少模型計算量、提高模型運行速度。

（5）探究多任務模型。將息肉分割模型與其他檢測或分類網絡結合，通過共享網絡層學習多個相關聯任務的特征表示，模型在分割息肉的同時分類息肉類別（如腺瘤、增生等）。多任務模型通過在任務之間共享權重來減少模型參數，降低過擬合風險。但同時需要在實際任務中考慮數據不平衡、任務優先級及模型復雜度等情況。

6 結束語

目前深度學習在醫學圖像處理領域應用廣泛，但針對特定任務（如息肉分割、腦腫瘤分割、皮膚黑色素瘤分割等）仍有很大改進空間。本文對深度學習在息肉分割方面的應用及其改進策略進行研究分析，總結該領域存在的挑戰及未來研究方向，相信基于深度學習的息肉分割研究能夠更好地輔助臨床醫生早期發現并切除結腸息肉病變。