邊緣增強的變感受野自注意力撕囊評估算法

岳雯倩, 李楨, 劉衛(wèi)朋, 張帥*

(1.河北工業(yè)大學省部共建電工裝備可靠性與智能化國家重點實驗室, 天津 300130; 2.河北工業(yè)大學河北省電磁場與電器可靠性重點實驗室,天津 300130; 3.中國科學院自動化研究所多模態(tài)人工智能全國重點實驗室, 北京 100090; 4.河北工業(yè)大學人工智能與數(shù)據(jù)科學學院, 天津 300130)

白內(nèi)障是全球首位致盲性眼病,治療白內(nèi)障的最有效方法是摘除渾濁晶狀體并植入人工晶體,白內(nèi)障超聲乳化手術現(xiàn)在已經(jīng)成為標準術式,其中前撕囊操作是第一步也是關鍵的一步[1]。

連續(xù)環(huán)狀囊膜切除術(continuous circular capsulectomy, CCC)是最廣泛的撕囊術,在前囊膜上撕出一個圓形的孔洞,能夠為后續(xù)操作尤其是眼內(nèi)人工晶體的植入提供理想的手術空間和入口。眼科手術是精密度極高的手術,對于撕囊操作更是有著嚴苛的要求:理想的前囊孔洞應為直徑5.5 mm左右的圓形且邊緣平滑,這一點僅靠經(jīng)驗操作而沒有任何輔助手段是有困難的。同時,不符合標準的操作將不可避免地導致一些術中并發(fā)癥,如前囊膜撕裂和懸韌帶斷裂及不可逆術的后并發(fā)癥,如囊膜收縮和人工晶體偏心綜合征等[2]。

基于此,白內(nèi)障手術的操作評估已經(jīng)引起了廣泛關注,術中評估能夠及時預警誤操作,避免誤操作帶來的損傷;術后評估能夠縮短實習醫(yī)生的學習曲線,實現(xiàn)優(yōu)質(zhì)手術教育、提高手術質(zhì)量,為病人帶來更好的預后效果。傳統(tǒng)的手術評估極大程度上依賴于手術評估量表,它規(guī)范了醫(yī)生的操作,給定了詳實的評價標準,但這種評級方式依賴于評估者的主觀判斷,費時費力。

近些年,隨著人工智能的發(fā)展,醫(yī)工融合也逐漸涉及疾病診斷、輔助檢測[3]、個性化治療、術后評估等多個領域[4-5],例如虛擬-現(xiàn)實技術與住院醫(yī)師的培訓的有機結(jié)合[6],數(shù)字導航系統(tǒng)在輔助手術中的應用[7]。

深度學習也隨著卷積網(wǎng)絡的復蘇[8]成為了醫(yī)學圖像處理領域的主流,客觀數(shù)據(jù)支撐的評估應運而生并成為了新的研究熱點,通過對手術現(xiàn)場視頻的定量分析,解決人工評估中的主觀性和低效率的局限性。手術階段識別是臨床手術評估、流程分析和整體優(yōu)化的關鍵:Yu等[9]在帶有器械標注的白內(nèi)障手術錄像上測試了時間序列的遞歸神經(jīng)網(wǎng)絡(recurrent neural network, RNN)、卷積神經(jīng)網(wǎng)絡(convolutional neural networks, CNN)、輸入純視頻的CNN-RNN網(wǎng)絡、輸入帶有器械標簽的CNN-RNN網(wǎng)絡的推理能力;Touma等[10]借助了谷歌的自動機器學習平臺AutoML,由兩名無編碼經(jīng)驗的眼科實習醫(yī)生搭建了學習模型并在公開的數(shù)據(jù)集上進行訓練、驗證和測試;Chen等[11]在細粒度的視頻階段分割任務中提出了雙金字塔的時空Transformer來捕捉多尺度的特征更好地推理變時長的手術階段;進一步的,Ye等[12]訓練了基于VGG16和結(jié)合了長短期的VGG網(wǎng)絡將手術階段的識別進一步具象到了手術動作識別。撕囊操作為白內(nèi)障手術中第一步也是至關重要的一步,也獲得了廣泛的關注:Kim等[13]將器械尖端的位置、移動速度和光流場輔助時間卷積神經(jīng)網(wǎng)絡來更好地聯(lián)合學習局部的差異性和時域間的依賴用來評估手術操作者是專業(yè)醫(yī)生還是實習醫(yī)生;之后,為了更好地利用上下文信息,如解剖組織和儀器的相互作用,他們又提出了雙重注意力的時間卷積神經(jīng)網(wǎng)絡[14]。除此之外,手術評估還聚焦在多方面:Baldas等[15]在中提出了基于手術器械運動地操作靈巧性評估;Gu等[16]通過ResNet和ResUnet雙支路獲取切口刀和瞳孔信息用于切口操作的評估;Marafioti等[17]提出的CataNet通過CNN提取單幀特征,RNN聚合的方式推理出醫(yī)生經(jīng)驗、手術階段和剩余手術時間。然而,現(xiàn)有的評估大都局限于評級的方式,無法指明評級差的具體原因及誤操作的所在,使得評估缺乏針對性和改進錨點。

基于此,現(xiàn)提議一種依賴分割網(wǎng)絡評估白內(nèi)障撕囊操作的算法,通過分割出的前囊孔洞來評估撕囊技能。然而此類軟組織邊界的分割也面臨著許多的挑戰(zhàn):一是前囊的透明性使得孔洞的邊緣在圖像上和其他組織的區(qū)分度較弱,識別困難;二是撕囊過程中不易識別完整邊界且存在器械遮擋、囊瓣干擾的情況;三是不同顯微鏡參數(shù)各異,場景色調(diào)、光強不同,場景變化大。針對這些問題,現(xiàn)提出一個基于邊緣增強的分割網(wǎng)絡來評估撕囊操作后前囊孔洞的各項指標。首先,變感受野的級聯(lián)空洞卷積在提取特征的同時保持較高的分辨率,有效地避免傳統(tǒng)卷積操作造成的特征丟失和感受野過于局限的問題;隨后由邊緣模塊提取出的邊緣特征和全局語義特征通過自注意力機制建立依賴,推理出更精準地前囊孔洞分割結(jié)果。最后通過分割結(jié)果推理出撕囊的居中性、圓度、半徑等指標用于手術操作評估,以期縮短醫(yī)生的學習曲線,提供高效手術的新思路,為機器人輔助手術奠定基礎。

1 數(shù)據(jù)集與增強算法

1.1 醫(yī)學數(shù)據(jù)集面臨的問題

深度學習算法是基于數(shù)據(jù)驅(qū)動的,而醫(yī)學圖像由于涉及醫(yī)患隱私、采集難度高、公開數(shù)據(jù)集少等諸多原因在體量上遠小于生活場景圖像數(shù)據(jù)集,過少的數(shù)據(jù)集將會導致模型的訓練效果不佳。基于以上問題,提出的解決方法如下。

(1)開展功效分析計算95%置信度下所需的最小數(shù)據(jù)量,確保實驗結(jié)果的效力。

(2)通過球面化處理進行數(shù)據(jù)增強,補充訓練數(shù)據(jù)量,模擬誤操作。

(3)選取表征更加清晰的手術階段進行圖像采集,減少非目標特征的干擾。

1.2 功效分析

適宜的數(shù)據(jù)量對于網(wǎng)絡的訓練至關重要,如果樣本量太小,研究結(jié)果的可重復性及代表性就欠佳,且容易受到異常數(shù)據(jù)的干擾;如果樣本量過大,研究所需的資源和執(zhí)行難度就越大,且存在倫理問題[18]。為了獲取合適的樣本量,使得在有限數(shù)據(jù)集中開展的實驗仍在統(tǒng)計學上具有說服力,利用了G*Power軟件進行功效分析來解決這個上游問題,結(jié)果如圖1所示。

圖1 功效分析圖

效應分析可以通過給定的指標,如效應值(Effect Size, ES)、顯著性水平(α)和統(tǒng)計功效(1-β)計算在該水平下的最小樣本量。其中α定義了第一類錯誤的可接受上限,通常默認設置為0.05[19];1-β表示拒絕錯誤假設的可能性,即“1-第二類錯誤概率”;ES定義了自變量或變量預測因變量的程度[20]。在缺乏前置研究或初步研究的情況下,遵循Cohen的規(guī)定,實驗中將其設定為“中等”程度即取0.05[20-21]。研究采用了單樣本單邊T檢驗的方法來保證模型泛化結(jié)果的可靠性,以確保該網(wǎng)絡在整體中的效果等于或優(yōu)于數(shù)據(jù)集(樣本)中的指標。在上述條件下,得出所需樣本量隨統(tǒng)計功效的變化,可以計算出在1-β為0.95的水平下,所需的最小樣本量為45。

1.3 數(shù)據(jù)集的建立

為了評估撕囊操作形成的前囊孔洞是否符合手術操作標準及偏離程度,構(gòu)建了撕囊手術評估顯微影像數(shù)據(jù)集。視頻采集于北京同仁醫(yī)院2021年11—12月期間的43臺白內(nèi)障撕囊手術,且所有數(shù)據(jù)的使用已經(jīng)獲得了倫理委員會的批準。撕囊操作示意圖及術中采集到的影像示例如圖2所示。

圖2 撕囊操作示意圖及顯微鏡下術中圖像

為了減少圖像中手術器械、渾濁晶狀體核和囊瓣等非目標組織的干擾,集中選取超聲乳化操作后、人工晶體植入前,軟組織邊緣較為清晰的階段截取數(shù)幀形成數(shù)據(jù)集并按照比例將訓練集和測試集劃分為162張和66張。邊緣信息可以有效地補充原始圖像中的高頻分量且在撕囊結(jié)果評估中具有更顯著的意義。通過Canny算子計算出撕囊孔洞的邊界信息并將此高頻信息與顯微鏡視野下的全彩圖像作為聯(lián)合輸入,使得訓練出的網(wǎng)絡相較傳統(tǒng)分割模型能夠更好地關注邊緣信息,推理出更加完整的軟組織邊界。

1.4 基于球面化處理的數(shù)據(jù)增強

為了獲取更充分的數(shù)據(jù)用于模型的訓練,采用了適合近圓形軟組織邊界的局部圖像球面化方法進行數(shù)據(jù)增強,相較于語義遷移和正則化技術更加經(jīng)濟高效,原理如圖3所示。

箭頭表示邊緣球面化方向

以圖3(a)中的任意點坐標(xm,ym)為例,通過其與球面化圓心坐標(xo,yo)距離,定義為r,來計算球面化后的坐標(xa,yb),公式為

(1)

式(1)中:R為瞳孔的半徑,在球面化過程中隨機選取距離瞳孔圓心[1/2,1]半徑倍數(shù)的點作為球面化圓心,球面化半徑隨機選取[2/3,1]倍數(shù)的前囊孔洞半徑。通過這種方式不僅增加了數(shù)據(jù)量,還有效模擬了實習醫(yī)生在撕囊中可能存在的操作失誤。

2 模型的搭建

2.1 多重空洞卷積

現(xiàn)有的大部分分割網(wǎng)絡都源于為分類任務設計的卷積網(wǎng)絡[23],卷積網(wǎng)絡本身通過連續(xù)的池化和子采樣層整合多尺度上下文信息,降低分辨率,直到獲得全局預測,但這并不適配于密集預測的分割任務。為了更好地結(jié)合全分辨率輸出的多尺度上下文推理,Yu等[22]提出了空洞卷積,它可以在不丟失分辨率的情況下聚合多尺度上下文信息,相比較傳統(tǒng)的卷積網(wǎng)絡更加適用于分割任務,原理如圖4所示。

紅色、藍色像素點代表卷積操作中涉及的像素點;灰色方格代表卷積操作中的無關像素點

在計算紅色點表征的像素時,分別選取膨脹率為1、2、3的卷積,感受野分別為3×3、5×5、7×7。卷積核中灰色方格代表“空洞”,權重為0,僅通過卷積核內(nèi)的藍綠色像素點來推理特征。通過串聯(lián)多層變感受野的空洞卷能夠獲得指倍數(shù)增長的感受野,在保存分辨率和細節(jié)特征的同時指數(shù)級地擴展了感受野,獲取了更廣尺度的特征。

2.2 自注意力機制

自注意力機制是針對自然語言處理任務提出的,對于長距離信息的有效捕捉使得其性能優(yōu)越[23],在被引入圖像處理任務中后,因其降低了外部信息的依賴,更擅長捕捉數(shù)據(jù)或特征的內(nèi)部相關性而成為了新的主流。以二維圖像為例,輸入特征圖記為F∈Rc×h×w,其中c、h和w分別為輸入圖像的通道數(shù)、高和寬。注意力機制能夠給將目標和輔助識別的有效像素點賦予更多的權重,聚焦重要信息并忽略無用信息。其可以描述為查詢(query,Q), 關鍵字(key,K), 值(value,V)對于輸出的映射,其中Q、K和V是通過對F進行線性投影和形變生成的。首先通過矩陣點積得出Q、K的相似度并為了梯度的穩(wěn)定除以通道數(shù)的開方,然后利用Softmax函數(shù)將其歸一化為權重和為1的概率分布,最后點乘V得到加權的每個輸入向量的評分,公式為

(2)

式(2)中:Attention(Q,K,V)表示自注意力機制的輸出;dk為通道數(shù)。通過這種方式,可以獲取更長距離的語義依賴,有效解決了傳統(tǒng)卷積的感受野受限的問題。

2.3 邊緣信息增強的變感受野自注意力分割網(wǎng)絡

為了解決由于前囊的透明性造成的特征區(qū)分度弱的分割難題,設計了一個邊緣信息增強的變感受野自注意力分割網(wǎng)絡,結(jié)構(gòu)如圖5所示。

圖5 網(wǎng)絡結(jié)構(gòu)圖

首先,采用了和DeepLabV3[24]類似的多重空洞卷積結(jié)構(gòu)進行特征預提取。將經(jīng)過殘差網(wǎng)絡預提取后的特征圖記為M0∈Rc×h×w,之后四層使用了變感受野(膨脹率分別為1、6、12、18)的空洞卷積在提取深層特征的同時保留了分辨率,最后一層通過池化(Pool)、卷積(Conv)和激活層(ReLU)后通過插值操作統(tǒng)一特征圖的分辨率,每一層對應的輸出記為Mi。將輸出逐層拼合(Concat)后經(jīng)過卷積操作得到最終輸出結(jié)果Mconcat,表達式為

Mi=AtrousConv(Mi-1),i=1,2,3,4

(3)

M5=ReLU{Conv[Pool(M4)]}

(4)

Ei=ReLU{Norm[Conv(Mi)]},i=1,2,3,4

(5)

Econcat=Conv[Concat(E1,E2,E3,E4,E5)]

(6)

(7)

式中:Ei為第i層中提取出的特征;Econcat為經(jīng)過拼接和卷積后得到的作為自注意力模塊輸入;另一支路中Ei通過卷積層、激活層(Sigmoid)和求和操作得到Eout用于計算邊緣損失。

為了分割更加精準的軟組織邊界,該網(wǎng)絡參考文獻[25]利用自注意力機制融合了卷積提取出的邊緣信息和圖像特征信息,邊緣信息提取過程見式(5)～式(7)。同時。

在邊緣自注意力模塊中,輸入的Mconcat∈Rc/8×h×w變維生成Q∈Rc/8×h×w和K∈Rw×h×c/8,Econcat∈Rc/8×h×w變維生成V∈Rc/8×h×w,依照式(8)得到輸出結(jié)果為

(8)

式(8)中:d為特征圖的通道數(shù)。

最后,將預提取過程中的淺層特征和上采樣后的邊緣自注意力輸出做殘差和卷積處理得到最終的推理結(jié)果。

損失函數(shù)由三部分組成:語義分割損失Lseg采用標準的交叉熵損失評估像素級的分類結(jié)果;邊緣損失Lboundary則用二分類交叉熵函數(shù)來計算;為了增強這兩部分的一致性,引入了Latt來描述沿邊界區(qū)域像素的分割精度[26],計算公式如下。

(9)

(10)

(11)

L=λ1Lseg+λ2Lboundary+λ3Latt

(12)

式(12)中:λ1、λ2、λ3分別為每一部分的權重,訓練過程中將其設置為λ1=1,λ2=1,λ3=1。

3 實驗結(jié)果與分析

3.1 實驗環(huán)境與評價指標

所有的實驗都是在PyTorch和CUDA 10.2上基于單個NVIDIA TITAN X GPU進行的。最初的訓練批大小被設置為12,并變化到8以適應不同的模型。原始論文的學習率被設置為默認值,并在訓練期間進行了一些微調(diào)。所提網(wǎng)絡的初始學習率設置為0.000 1,每30個輪次衰減0.9。所有原始圖像都被調(diào)整為384×648以提取分層特征圖。

為了全面量化所提網(wǎng)絡的性能,引入了交并比(intersection over union, IoU)和Dice指標兩個經(jīng)典分割指標來評價分割網(wǎng)絡的精確度,計算公式如下。

(13)

(14)

式中:TP(TN)為真陽(陰)性,意味著像素的預測結(jié)果與標簽一致;FP(FN)為假陽(陰)性,意味著像素的預測結(jié)果與標簽不一致。準確率(accuracy, Acc)也作為一個指標來評估分類正確的像素在總像素中所占的比例,3類指標的數(shù)值越高即意味著網(wǎng)絡的性能越優(yōu)越。最后,為了能夠精準評定撕囊操作,依據(jù)白內(nèi)障撕囊評估標準選取了圓度(roundness,Rou)、居中度(centrality,Cen)和半徑(radius,Rad)3個指標,公式如下。

Rou=(4πA)/P2

(15)

Cen=1-|OcapOpupil|/R

(16)

Rad=1-|Rcap-R|/R

(17)

式中:A為區(qū)域面積;P為區(qū)域周長;Ocap、Opupil分別為利用網(wǎng)絡分割出的瞳孔圓心和撕囊后前囊孔洞的圓心;R為通過瞳孔歸一化出的標準撕囊半徑(5.5 mm);Rcap為分割出的實際撕囊操作形成的前囊孔洞半徑。

3.2 分割性能實驗

為了驗證分割網(wǎng)絡的性能,選取了多個網(wǎng)絡進行對比實驗,結(jié)果如表1所示。

表1 不同方法測試結(jié)果對比

其中基于編碼器-解碼器結(jié)構(gòu)的Segnet和擁有跳層結(jié)構(gòu)的UNet屬于傳統(tǒng)的卷積網(wǎng)絡,UNet更是因其對于多尺度深淺層特征的聯(lián)合學習成為了醫(yī)學圖像處理中應用最廣泛的分割網(wǎng)絡;于2022年提出的基于量子理論的Wave-MLP網(wǎng)絡屬于新一代的多層感知機網(wǎng)絡;BCANet是使用了邊緣信息進行增強的網(wǎng)絡,但沒有采用更加適合分割任務的空洞卷積。可以看到本文方法在自建的數(shù)據(jù)集中實現(xiàn)了IoU、Dice、Acc分別為92.23%、95.96%以及94.98%,性能相較已有的網(wǎng)絡有著明顯的優(yōu)越性。同時在引入了球面化數(shù)據(jù)增強方法Aug后,IoU、Dice、Acc 3項指標分別得到了1.02%、0.55%以及0.82%的提升,驗證了其有效性。為了更加直觀地評估網(wǎng)絡的分割性能,在圖6中將結(jié)果進行了可視化。

圖6 不同方法分割結(jié)果圖像對比

可以看到提出的網(wǎng)絡達到了最好的分割效果:內(nèi)部完整、邊緣清晰且和標簽相似度高;Segresnet分割出的邊緣存在明顯的鋸齒;UNet甚至無法合理地分割出正確的邊緣和內(nèi)部語義;BCANet雖然很好地關注了邊緣信息,但無法很好地建模內(nèi)部語義的一致性,出現(xiàn)明顯的內(nèi)部誤分割;Wave-MLP雖然可以分割出較為完整且邊緣規(guī)則的語義,但相較于文中提出的網(wǎng)絡,準確性仍有差距。

為了確定合適的學習率,分別選取0.01、0.001、0.000 1和0.000 01進行實驗。如圖7所示。

圖7 評估指標隨學習率變化趨勢圖

圖7是所提網(wǎng)絡的IoU、Dice和Acc隨學習率的變化趨勢,可以看到多種指標都在0.000 1學習率下達到峰值。同時也測試了不同的網(wǎng)絡的Dice指標隨學習率的變化趨勢,并選取了最佳學習率作為最終訓練的參數(shù)。

3.3 撕囊操作評估結(jié)果分析

為了給醫(yī)生提供更加精確的定量評估結(jié)果,選取了圓度、居中度和半徑3個指標并將結(jié)果進行了可視化,如圖8所示,量化評估如表2所示。其中深灰色和淺灰色色塊分別代表分割出的瞳孔和撕囊孔洞,白色同心圓代表可接受的撕囊半徑誤差范圍(5.5±0.55) mm,橙色和藍色標注代表撕囊孔洞和瞳孔的圓心。

表2 不同案例的撕囊結(jié)果評估表

第1、2列圖分別為原始圖像、可視化評估結(jié)果;第1、2行圖分別為案例1、案例2的對比圖

可以看到案例1的撕囊操作在顯微鏡下圖像中可以觀察到較為規(guī)范。表2所示的量化結(jié)果中,居中度和半徑均達到了95%以上的水平,圓度雖存在10.9%的誤差,但仍在可接受范圍內(nèi)。案例2則差強人意,顯微圖像中可以觀察到居中性較差,由分割得出的3類指標的誤差均大于10%,在撕囊半徑和居中度方面仍有可以提升的空間。由此可見,所提出的基于分割結(jié)果的定量評估方法得出的結(jié)論同顯微圖像中定性的評估一致,具有臨床參考意義。

4 結(jié)論

連續(xù)環(huán)形撕囊是白內(nèi)障手術的第一步,也是關鍵的一步,能夠為后續(xù)的步驟提供通道和操作空間。撕囊操作的定量評估對縮短醫(yī)生學習曲線、機器人輔助手術有著重要意義。通過實驗驗證和對比分析,可以看出提出的邊緣信息增強的變感受野自注意力分割網(wǎng)絡在分割軟組織邊界的任務中性能優(yōu)良。空洞卷積的引入有利于獲取更大感受野的特征依賴,對于邊界信息的關注有利于推理出更為精準的邊緣信息,自注意力機制的引入有利于推理邊緣特征和內(nèi)部特征的一致性。同時,自建了一個撕囊評估數(shù)據(jù)集并通過球面化處理進行了數(shù)據(jù)增廣和誤操作模擬,通過對比實驗驗證了其有效性。最后通過分割結(jié)果對圓度、居中度、半徑進行了定量評估并和原始圖像的定性評估進行對比,驗證了其一致性。

下一步將納入更多針對醫(yī)生的手術操作特征的評估指標,如流暢度、操作用時等,獲得更加全局性的評估結(jié)果。