基于結構檢測模型的白內障連續環形撕囊邊界檢測方法

劉衛朋，韓 達,，李 楨，邊桂彬

(1.河北工業大學 人工智能與數據科學學院，天津 300130；2.中國科學院自動化研究所 復雜系統管理與控制國家重點實驗室，北京 100190)

0 引言

白內障是全球首位致盲性眼病。它會使視力下降，甚至導致失明。白內障是由眼組織中的晶狀體蛋白質變性而發生渾濁引起的癥狀。根據白內障產生和發展的不同區域，可將其分為三類：核性白內障，皮質性白內障和后囊膜下白內障[1-4]。在所有的白內障中，老年性白內障是較為常見的眼科疾病，占視力致盲問題的25%～50%。白內障已成為人們生存質量的重大威脅，其危害程度緊隨腫瘤和心血管疾病。隨著社會老齡化程度加重，白內障發病率逐年增長，如果這些白內障患者無法及時接受適當治療，會造成視力下降、病人的生活質量下降，此外會繼發青光眼，造成不可逆的視神經損傷，還能引起過敏性炎癥。世界衛生組織(WHO)公布的統計數據表明，每年有超過1 500萬的白內障致盲者。此外，僅在中國和印度就發現了因為白內障致盲[5-7]的人數為1 800萬。

白內障手術是用人工晶體替換患病變晶狀體的過程。首先，眼科醫生使用專用手術器械對眼球制作切口。下一個步驟是連續環形撕囊操作，這一步驟在整個手術中起著至關重要的作用。 第三，對眼球進行水分離操作，該步驟旨在分離眼睛的組織和組織液。第四步是超聲乳化，它會破碎病變晶狀體。之后，進行去核操作，在此步驟中將清除所有殘留物。下一個操作是注射粘彈劑，這一部分的目的是方便人工晶狀體的植入。在植入了人工晶狀體并調整位置之后，需要清潔眼球內的輔助藥劑和其他處理后，手術結束。圖1中展示了白內障手術的標志性步驟。

圖1 白內障手術的主要步驟

近年來，手術機器人成為高端醫療裝備的重要研究方向。高難度的手術可分解為醫生的一般手術操作及機器人的復雜精細操作，關鍵手術步驟由機器人輔助完成，醫生的手術操作難度明顯降低，手術精細度、安全性顯著提高。外科醫生和研究人員從飛速發展的計算機視覺和醫學影像處理技術中受益良多[8]。探索并測試了關于自主心臟手術機器人的理論。此外，在白內障手術中探索撕囊術的邊界提取[9]以實現機器人手術[10]。研究了用于白內障手術機器人機械臂虛擬約束的算法[11]。則通過深度學習方法實現了針對白內障手術視頻高速分割。

為了實現機器人輔助白內障手術操作，需要術中實時提取連續環形撕囊的邊界，為機器人運動控制提供虛擬約束。如圖2(a)(d)所示，提取工作的主要挑戰在于邊界與周圍環境的對比度低。圖2列出了幾個典型的圖像，它們代表了手術期間發生的不同類型的干擾。第一種類型的干擾是由進行手術時的燈光反射引起的，如圖2(b)所示。第二類干擾是由于撕囊過程中操作不準確而導致邊界部分缺失，如圖2(c)所示。

第三類干擾是手術過程中由于氣體混入而產生的氣泡干擾，如圖2(e)所示。這3種不同類型的干擾增加了檢測邊界的難度。此外，肉眼不易識別的邊界和眼球內組織等很容易導致錯誤檢測，如圖2(f)所示。

圖2 撕囊邊界檢測面臨的主要挑戰

為了更直觀地反映目標邊界像素與圖像周圍背景之間的低對比度，本研究繪制了圖像的灰度值圖表，以說明將邊界檢測方法應用于白內障手術的撕囊邊界檢測時所面臨的挑戰，如圖3。

圖3 邊界像素與周圍像素灰度值對比

從圖像直觀得出，研究的目標邊界與周圍圖像對比度較低，不易于直觀感受。這就給執行白內障手術的醫生提供了巨大的挑戰。而像素灰度折線圖則顯示待檢測像素值與周圍20像素內像素差值較小，同樣不利于機器視覺的檢測和提取。

為了克服上述挑戰，本研究提出了特定的解決方法。首先，預處理可以顯著提高輸入圖像的對比度。接下來，提出了一種結構檢測模型來檢測連續環形撕囊邊界。最后，本研究應用的局部閾值和后處理能夠消除干擾和噪聲而不會影響邊界像素。

本文的主要貢獻歸納如下：

1)結合了預處理和結構檢測模型的提取方案能夠在低對比度的情況下檢測出更精細的晶狀體前囊撕取邊界。

2)利用局部閾值和后期處理能夠檢測并消除小的干擾，而不會同時影響邊界像素。

3)該方案的魯棒性由3種不同干擾下的滿意結果所證實。

4)對所提方案的和已建立的檢測方案進行比較和評估。

本文的其余部分安排如下。第1章具體解釋了具有準確性和魯棒性撕囊邊界的結構檢測模型和邊界提取方案。第2章介紹了一系列手術圖像的實驗結果和評估。最后，結論和討論將在第3章中進行。

1 算法的闡述

提出的算法包括預處理、結構檢測模型、局部閾值和后處理。首先，實施預處理以增加圖像的對比度并使其便于應用模型。然后，建立結構檢測模型以檢測白內障手術圖像中撕囊邊界。接下來，在檢測到細節之后進行局部閾值清除其中的干擾像素。最后，后處理可以消除干擾并獲得撕囊的邊界。算法的框架如圖4所示。

圖4 邊界檢測流程圖

2 算法的闡述

2.1 預處理

預處理過程的工作流程描述如下：將小波變換分解應用于原始圖像，并獲得4個分別稱為低-低，低-高，高-低和高-高的子帶圖像。我們需要處理的照明因子僅存在于低-低子帶圖像中，并且可以通過奇異值分解來處理。借助此屬性，原始圖像可以同時通過一般直方圖均衡和自適應直方圖均衡進行處理[12]。通過應用逆離散小波變換，可以將兩個分離通道的圖像重建為具有高對比度的最終圖像。

圖5列出了輸入圖像和相應的響應圖像的灰度直方圖和三維等高線圖，以說明預處理的有效性。

圖5 預處理前后效果對比

2.2 結構檢測模型

在本節中，將建立邊界檢測模型以檢測撕囊邊界。

首先對輸入圖像與高斯濾波器進行卷積，以便對其進行平滑處理。

Ixx=I*Gσxx(x,y)

(1)

Iyy=I*Gσyy(x,y)

(2)

Ixy=I*Gσxy(x,y)=Iyx

(3)

其中:Gσxx(x,y)代表高斯函數Gσ(x,y)在x軸的二階偏導數,Gσyy(x,y)代表高斯函數Gσ(x,y)在y軸的二階偏導數,Gσxy(x,y)代表高斯函數Gσ(x,y)在x軸和y軸的二階偏導數。σ代表高斯函數Gσ(x,y)的尺度。

定義二階特征矩陣如下：

(4)

建立矩陣后，結構檢測模型的原理可以描述如下:二階偏導數表示二維圖像中導數的變化情況；矩陣的兩個特征值表示圖像在兩個特征向量指示的方向上的各向異性。如果使用特征向量和特征值構成橢圓，則橢圓可以表示某一點處的各向異性變化。結構越線性，各向異性越強。顯然，圓具有最強的各向同性。如圖6所示。

圖6 特征值和特征向量及對應點在圖像中結構

特征矩陣的特征值可以更好地描述線狀結構信息。根據該特性，高斯二階偏導數的目標邊界及其響應相對較大，而在均勻的背景中是均勻的，因此響應較小。我們使用e1和e2表示矩陣特征矩的特征值，λ1和λ2作為對應的兩個特征值，并假定|λ1|<|λ2|，然后定義兩個變量，分別命名為Rb和S，如下所示：

Rb=λ1/λ2

(5)

(6)

圖像中的像素是否為邊界像素可以通過Rb和S判定識別。根據上面討論的信息，我們得出結論:只有當檢測到干擾像素時，Rb就能得到一個較大的值；如果λ1=0或者λ1非常小，此時Rb的值接近0。但是，當檢測到是背景像素而非邊界像素時，S就會得到一個較小的值。考慮到特征矩陣的特性，不同的特征值將對應不同的檢測結果。結合假設條件|λ1|<|λ2|，我們列出了其特征值的三中不同情況，如圖7所示。

圖7 不同特征值及其在圖像中對應的不同結構

結構檢測模型的傳遞函數定義如下：

(7)

基于以上討論的特性，結構檢測模型能夠檢測邊界像素，而與周圍背景無關。預處理后的輸入圖像及其對氣泡和反射光的響應如圖8所示。

圖8 線狀結構和塊狀結構的識別

2.3 局部閾值處理

在本節中應用局部閾值以消除在先前過程中錯誤檢測到的干擾。由于存在細小的血管和低對比度區域，我們可能會錯誤地將邊界像素檢測為非邊界像素。

為了正確區分邊界像素，通過使用滑動子窗口從應用模型后的圖像中分割像素來應用局部閾值。閾值設定如下：

Th(x,y)=m(x,y)+k·v(x,y)

(8)

m(x,y)和v(x,y)在式(8)中分別是滑動子圖像的均值和標準差。滑動子窗口的大小可以自由選擇，這里我們使用9×9；同時，k是一個預定的常數，當k設置為1時將獲得最佳響應結果。

當在結構檢測模型的響應圖像上應用局部閾值時，其對應的算法為：

(9)

在上述過程中，原始圖像被轉換為二值圖像。在逐像素比較之后，如果滿足限定條件R(x,y)>Th(x,y)，則將像素標記為白色，反之將其標記為黑色。在此過程的步驟之后，大多數干擾像素已被消除。

3種典型類型的干擾和輸入圖像的結果在圖9中列出，可以得出結論，局部閾值消除了部分內部干擾。

圖9 局部閾值應用前后對比

2.4 后處理

采用后處理的目的在于去除一些非邊界像素并得到結果。這一過程盡可能需要消除干擾，并同時保留邊界像素。首先，應用連接操作來連接分離的干擾像素。然后，使用收縮操作來使連接的干擾細化。最后，進行清除操作以獲得最終結果。工作原理如圖10所示，白色和灰色邊框中的圖像部分被放大以顯示該算法工作過程，對應解釋連接、細化和清除3種操作。首先，連接操作可以將單獨的干擾連接成連接的干擾，這可以方便地處理。處理過程如下：

圖10 后處理各操作及原理

Xk=(Xk⊕B)∩A;k=1,2,3···

(10)

式(10)表示找到集合中的單獨元素并使它們連接。X0是一個數組{1}，每個連接的元素中都包含元素1，而非連接元素都均為元素0。接下來，收縮操作可以減小干擾，并易于實施清除操作。定義如下：

A?{B}=((···((A?B1)?B2)···)?Bn,

{B}={B1,B2,···Bn}

(11)

式(11)用于細化A；它代表結構元素序列的細化。最后，清除操作適于清除干擾。處理如下：

(12)

其中:X等于輸入圖像I，但所有對象的非接觸像素都已清除。

3 實驗結果與分析

3.1 數據集和相關參數設定

實驗數據來自手術的實時視頻。為了驗證所提出方法的性能，將手術視頻處理為單個圖像。最終獲得了不同的連續環形撕囊術的圖像并進行了測試，以驗證所提出的方法。

在進行對比實驗之前，必須正確地選擇一些關鍵參數。該方法有多個參數，實驗表明，其中只有3個參數對算法的檢測提取性能有重大影響。它們分別是：尺度大小σ，閾值系數k和滑動窗口的大小N×N。

針對不同的尺度σ進行測試，以選擇其理想參數。根據實驗，如果σ設置得太小，邊界將無法很好地提取并且容易丟失；相反，如果σ設置得太大，一些干擾將被誤檢邊界像素。

滑動子圖像的大小也會影響檢測結果。子圖像的值設定過小會增加處理時間，從而增加系統負擔；子圖像尺寸值設定過大會導致不精確的檢測結果。

閾值系數k對局部閾值的過程有影響，從而影響檢測結果。如果k的值太小，將導致閾值過小，并錯誤地將背景像素識別為邊界像素；相反，如果將該值設置得太大，則會產生寬松的閾值，并且會丟失一些真實的邊界像素。

在圖11中，橫坐標表示3種不同干擾情況下的測試情況，以縱坐標表示測試20張圖像時，能夠檢測出80%邊界的數量。根據圖11(a)的直方圖可得尺度大小取σ=1將收到滿意的結果。從圖11(b)所示直方圖得出的結論是子圖像的大小取9×9將收到最佳響應。如圖11(c)所示，在3種情況下，閾值系數取k=1性能良好且穩定。

圖11 關鍵參數的設定對檢測過程的影響

3.2 定性評估

將結構檢測方案與一些代表性的邊界檢測方案進行了比較，以證明其有效性。分別在給定的圖像數據集中使用Canny[12]，Roberts[13]和Tensor Voting[14]。

Canny算子很容易在白內障圖像中檢測到錯誤的檢測結果。其在圖12(b1)(b2)(b3)中的結果表明，盡管這一方法檢測到邊界，但同時保留了很多干擾。

圖12 不同方法所得結果及人工標注數據

從圖12(c1)(c2)(c3)得出結論，Roberts檢測子的表現并不令人滿意。它的算法是依靠在對角線方向上兩個相鄰像素之間的差異近似邊緣幅度以檢測邊緣。與Canny檢測器的結果相比，檢測到的干擾減少了許多，但是檢測到的邊界會也同時減少。

圖12(d1)(d2)(d3)中的結果表明，Tensor Voting不適用于此處。它在邊界檢測領域，尤其是在低對比度圖像中，具有獨特的檢測優勢。其原理是通過球張量和棒狀張量不斷迭代檢測邊界和缺失曲線。如圖中所見，它確實檢測到了Canny和Roberts都檢測不到的邊界像素，但由于其對干擾的響應敏感特性，使得其將粘彈劑和眼內組織也識別為邊界。

圖12(e1)(e2)(e3)展示了結構檢測模型的檢測結果，可以得出，這一方案的性能優于Canny算子，Roberts檢測子和Tensor Voting三種方法。如圖12所示，Canny可以很好地檢測邊界，但是容易導致錯誤檢測。Roberts的傾斜檢測功能使它容易將邊界附近的干擾像素識別為目標像素，從而增加了誤報率。輔助藥物和眼內組織對張量投票的迭代過程具有不可逆的影響，從而檢測了較多干擾。

3.3 定量評估

除去定性評估之外，實驗還進行了定量評估，以將所提出的方法與上述3種代表性方法進行比較。在這項研究中，列出了3個性能指標，包括精確度(Pr)，召回率(Re)和F測度(Fm)，其定義如下：

(13)

(14)

(15)

其中:TP，FP和FN分別代表真陽性，假陽性和假陰性。Fm可以評估這些方法的整體性能。

根據計算的指標，結果記錄在圖13中。如圖所示，該方法的精確度/召回率曲線高于Canny檢測器，Roberts檢測器和Tensor Voting方法，證明了該方法的準確性和高計算效率。

圖13 不同方法所得結果定量對比

實驗同時記錄了每種方法的運行時間，以證明該方法具有較高的計算效率。表1匯總了所有這些方法對尺寸為300×450像素的測試圖像的平均處理時間，以進行比較。從表1可以得出結論，該方法具有較高的計算效率。

表1 不同方法耗時記錄

4 結果及討論

本次研究提出了一種新的邊界提取方案，用于白內障圖像中的連續環形撕囊邊界檢測，并已通過從醫院收集的數據集驗證了其性能。所提出的模型可以提取連續環形撕囊的邊界，該邊界是在結構檢測模型之后計算出來的，可以通過局部閾值和后處理來消除干擾。

實驗結果表明，在評價白內障連續環形撕囊邊界方面，該方案比傳統的Canny算子，Roberts檢測子和Tensor Voting具有更好的檢測判別能力。通過應用結構檢測模型方案，即使在低對比度條件或不同類型的干擾情況下，也可以提取連續環形撕囊的邊界。

連續曲線撕囊的邊界可以為白內障手術機器人提供必要的反饋信息。我們的工作可以增加對手術機器人虛擬固定裝置的約束。實驗結果表明，該方案魯棒性良好，F測度取得了0.915的結果。將圖像處理的結果用作機器人運動控制的虛擬約束，可以使機器人操作更加安全，提高了操作的精度。

5 結束語

本文研究了白內障連續環形撕囊邊界的提取方案，并且實現了在白內障手術視頻中提取連續環形撕囊邊界這一目的。經過實驗驗證，所提方法具有良好的可行性和效果，與多種圖像處理方案對比表明，在提取的精確度和準確度上有大幅提升，能夠為手術醫師或機器人輔助手術操作提供良好的約束信息，提升手術的安全性和精準度。