序列血管內(nèi)超聲圖像的管腔內(nèi)膜自動(dòng)分割算法

汪友生，王雨婷，夏章濤，葉紅梅

?

序列血管內(nèi)超聲圖像的管腔內(nèi)膜自動(dòng)分割算法

汪友生，王雨婷，夏章濤，葉紅梅

(北京工業(yè)大學(xué)信息學(xué)部信息與通信工程學(xué)院，北京 100124)

針對(duì)序列血管內(nèi)超聲(IVUS)圖像相鄰兩幀具有很大相似性的特點(diǎn)，提出一種基于序列IVUS圖像配準(zhǔn)的自動(dòng)提取管腔內(nèi)膜的方法。首先利用形態(tài)學(xué)運(yùn)算以及連通分量法提取初始幀的大致管腔內(nèi)膜邊緣，然后采用前景和背景像素的顏色直方圖特征對(duì)相鄰兩幀圖像進(jìn)行建模并進(jìn)行配準(zhǔn)：利用巴氏系數(shù)度量相鄰兩幀圖像之間的相似性，建立仿射變換模型，優(yōu)化模型并計(jì)算模型參數(shù)，從而將輪廓相對(duì)準(zhǔn)確地定位到管腔內(nèi)膜附近；最后通過(guò)變分法、最速上升法使目標(biāo)輪廓曲線準(zhǔn)確地收斂到管腔內(nèi)膜處。以經(jīng)驗(yàn)醫(yī)師提取的管腔內(nèi)膜作為評(píng)價(jià)標(biāo)準(zhǔn)，分別與文獻(xiàn)[17]和[4]相比，該方法的均方根誤差分別平均減少了0.124和0.063，相對(duì)差異度上分別平均減少了0.51%和0.16%。實(shí)驗(yàn)結(jié)果證明，該方法可以準(zhǔn)確地提取到序列IVUS圖像的管腔內(nèi)膜。

血管內(nèi)超聲圖像；圖像分割；圖像配準(zhǔn)；仿射變換；管腔內(nèi)膜

由于人們不健康的飲食習(xí)慣，大量的斑塊會(huì)附著在血管壁上，如果不及時(shí)處理，可能會(huì)阻塞血管，阻止血液流動(dòng)；如果心肌供氧減少，將會(huì)突發(fā)心臟病，從而危及生命。血管內(nèi)超聲(intravascular ultrasound image，IVUS)對(duì)管腔內(nèi)膜和中外膜可進(jìn)行分割，并能夠定位感興趣區(qū)域，是后續(xù)斑塊提取與識(shí)別、彈性分析、三維重建、圖像配準(zhǔn)工作的基礎(chǔ)，提取管腔內(nèi)膜和中外膜的準(zhǔn)確性直接影響到后續(xù)工作的成效。因此，IVUS管腔內(nèi)膜的分割是一項(xiàng)重要的醫(yī)學(xué)處理技術(shù)，傳統(tǒng)的分割方式是醫(yī)生手動(dòng)分割，不僅效率低而且?guī)в泻軓?qiáng)的主觀性，之后很多分割管腔內(nèi)膜的方法被提出。基于聚類算法的分割是提取IVUS圖像管腔內(nèi)膜的一種方法，文獻(xiàn)[1]將模糊聚類算法應(yīng)用到提取管腔內(nèi)膜中，但是其模糊聚類的簇是先驗(yàn)的，不合理的取值可能會(huì)導(dǎo)致不良的結(jié)果；基于血管解剖和感興趣區(qū)域先驗(yàn)知識(shí)的圖搜索方法[2]進(jìn)行邊界檢測(cè)，其效率依賴于提供全面的冠狀動(dòng)脈先驗(yàn)知識(shí)；動(dòng)態(tài)規(guī)劃算法[3]也被用于研究IVUS的分割；文獻(xiàn)[4]對(duì)于管腔內(nèi)膜采用圖像梯度與模糊連通模型相結(jié)合的方法進(jìn)行分割；文獻(xiàn)[5]采用人工神經(jīng)網(wǎng)絡(luò)(artificial neutral network，ANN)方法作為特征學(xué)習(xí)算法對(duì)IVUS管腔內(nèi)膜進(jìn)行檢測(cè)。除了上述方法，最常用的是采用主動(dòng)輪廓模型的算法提取邊緣，包括基于參數(shù)的主動(dòng)輪廓模型，即Snake算法和幾何主動(dòng)輪廓模型以及各種改進(jìn)型算法。如文獻(xiàn)[6]應(yīng)用短時(shí)自相關(guān)性計(jì)算輪廓像素，進(jìn)而求得圖像特征，并用其來(lái)定義活動(dòng)輪廓的能量函數(shù)，通過(guò)對(duì)Snake算法的改進(jìn)，相對(duì)準(zhǔn)確地提取出了內(nèi)膜邊界；文獻(xiàn)[7]考慮到分割圖像為近似圓形的特點(diǎn)，在Snake算法的外部能量中引入了圓形約束的能量項(xiàng)，克服了由于圖像灰度不均而導(dǎo)致的局部極小。幾何主動(dòng)輪廓模型用水平集函數(shù)的零水平集來(lái)表示輪廓曲線，按能量泛函的類型可以分為基于邊緣的和基于區(qū)域的，前者利用圖像梯度來(lái)引導(dǎo)水平集函數(shù)的演化，該方法對(duì)圖像噪聲和弱邊緣很敏感；為了克服這些局限，后者利用全局或者區(qū)域信息引導(dǎo)水平集函數(shù)的演化。文獻(xiàn)[8]首先提出基于區(qū)域的C-V模型，利用輪廓曲線內(nèi)外的灰度平均值，能有效地對(duì)目標(biāo)進(jìn)行分割；文獻(xiàn)[9]將局域化思想應(yīng)用于多通道水平集分割，充分利用圖像灰度信息和紋理信息，得到了較好的分割效果。

在針對(duì)IVUS邊緣提取的各種方法中，大部分都是采用Snake模型(以弧長(zhǎng)等參數(shù)顯式地表達(dá))或者是采用幾何主動(dòng)輪廓模型(用水平集函數(shù)的零水平集表達(dá)輪廓曲線)，而幾何主動(dòng)輪廓模型是基于邊緣或者區(qū)域建立能量泛函，然后最小化能量泛函使輪廓曲線在自身內(nèi)力和圖像信息外力下發(fā)生形變，最后能量達(dá)到最小時(shí)實(shí)現(xiàn)目標(biāo)和背景的分割。這些方法僅僅是利用單幀圖像的灰度或紋理等特征信息來(lái)提取邊緣，而IVUS序列圖像相鄰兩幀之間的相關(guān)系數(shù)非常高，所以本文提出一種基于序列IVUS圖像配準(zhǔn)算法的內(nèi)膜分割方法，包括：①為了避免醫(yī)生手動(dòng)分割的主觀性，使用閾值分割、開(kāi)閉運(yùn)算以及連通分量法提取初始幀的大致管腔內(nèi)膜輪廓邊緣；②由于水平集函數(shù)能夠有效地解決曲線的拓?fù)渥兓瘑?wèn)題，所以本文使用水平集函數(shù)表示目標(biāo)區(qū)域。針對(duì)序列IVUS圖像相鄰兩幀相似性大的特點(diǎn)，利用顏色直方圖進(jìn)行建模，計(jì)算相似性度量，建立仿射變換模型；按照最大相關(guān)性原則，在后一幀圖像中找到一個(gè)區(qū)域的前景和背景特征，能夠分別最佳匹配前一幀圖像的前景和背景特征，進(jìn)而得到相對(duì)準(zhǔn)確的內(nèi)膜；最后通過(guò)變分法、最速上降法求解得到相似性最大時(shí)零水平集的位置，從而得到準(zhǔn)確的管腔內(nèi)膜。

1 IVUS圖像初始輪廓的獲取

本文利用圖像灰度信息以及形態(tài)學(xué)方法[10]獲取IVUS圖像管腔內(nèi)膜的初始輪廓(圖1)，由于管腔膜內(nèi)側(cè)為血液散射噪聲，像素灰度較暗，所以先進(jìn)行直方圖均衡處理，提取過(guò)程如下：

(1) 對(duì)IVUS圖像進(jìn)行直方圖均衡化；

(2) 用IVUS圖像外膜輪廓線對(duì)圖像進(jìn)行分割，得到血管腔部分，并使用大津閾值進(jìn)行圖像二值化分割；

(3) 對(duì)二值化后的圖像進(jìn)行腐蝕膨脹，采用參數(shù)為3×3的長(zhǎng)方形數(shù)據(jù)元素；

(4) 采用形態(tài)學(xué)閉運(yùn)算填充細(xì)小孔洞，連接管腔內(nèi)膜斷裂部分；

(5) 使用連通分量法找到二值圖像中面積最大的區(qū)域，得到初始輪廓。

圖1 管腔內(nèi)膜初始輪廓圖像

2 IVUS目標(biāo)模型的表示

2.1 目標(biāo)參考模型

IVUS圖像由于內(nèi)邊緣內(nèi)側(cè)為血液散射噪聲，像素灰度較暗，與外部的顏色差異較為明顯，所以本文選擇IVUS圖像像素的顏色直方圖特征，計(jì)算相鄰兩幀圖像的相似性度量。顏色直方圖[11]具有旋轉(zhuǎn)不變性和縮放不變性、計(jì)算復(fù)雜性低等優(yōu)點(diǎn)。

計(jì)算相鄰兩幀圖像的歸一化直方圖，并計(jì)算其相關(guān)系數(shù)。表1是相鄰兩幀之間的相關(guān)性系數(shù)，由此可以看出IVUS圖像序列之間具有很大的相似性。

表1 相鄰兩幀之間的相關(guān)性系數(shù)

計(jì)算歸一化直方圖，即

其中，為目標(biāo)的特征空間；為目標(biāo)特征的數(shù)量；前景部分特征為；背景部分特征為。

其中，為Kronecker Delta函數(shù)；歸一化常數(shù)n和n為前景和背景區(qū)域像素的個(gè)數(shù)。

2.2 候選目標(biāo)模型

其中，為區(qū)域像素的個(gè)數(shù)；Heaviside函數(shù)(·)用來(lái)選擇前景區(qū)域；1–(·)用來(lái)選擇背景區(qū)域；歸一化因子A，A計(jì)算如下

3 基于序列IVUS圖像配準(zhǔn)的分割

3.1 配準(zhǔn)

血管內(nèi)超聲診斷儀的導(dǎo)管探頭在取像的過(guò)程中，其探頭傳感器與檢測(cè)的目標(biāo)區(qū)域存在距離、方向等的變化，再加上噪聲的影響，使得到的序列與IVUS圖像之間不能保證一成不變。本文將IVUS圖像相鄰兩幀的運(yùn)動(dòng)建模為仿射變換[13]，并以仿射參數(shù)增量為待定量，建立起目標(biāo)參考模型與候選目標(biāo)模型之間的相似性度量。使用Bhattacharyya(巴氏)相似性度量[14]，當(dāng)前一幀的目標(biāo)模型和后一幀候選目標(biāo)模型之間的巴氏系數(shù)越大，說(shuō)明兩者就越相似，定義相似性度量函數(shù)為

其中，加入背景模型能夠減弱目標(biāo)模型和候選目標(biāo)模型中背景信息的影響，從而使得目標(biāo)位置定位更加準(zhǔn)確[15]，并對(duì)式(9)進(jìn)行變形處理。

定義Φ0為當(dāng)前幀中目標(biāo)的初始位置，從該位置開(kāi)始尋找最優(yōu)匹配的目標(biāo)。假設(shè)Φ (Φ>–)是目標(biāo)的下一個(gè)位置，且與Φ0的位置較為接近，先計(jì)算在初始位置的目標(biāo)候選模型p(Φ0)和v(Φ0)，然后在p(Φ0)和v(Φ0)處對(duì)式(9)進(jìn)行泰勒展開(kāi)，即

將式(5)，(6)代入式(10)得

其中，

(17)

其中，

所以得到

3.2 分割

設(shè)(x,y)是像素x的空間坐標(biāo)，對(duì)式(24)進(jìn)行離散化和線性化

可將式(25)寫成

式(26)的收斂要滿足CFL條件[16]，即

整個(gè)提取IVUS圖像管腔內(nèi)膜算法的流程圖如圖2所示。

4 實(shí)驗(yàn)與結(jié)果

圖2 本文算法流程圖

實(shí)驗(yàn)1.針對(duì)單幀圖像提取管腔內(nèi)膜的過(guò)程，如圖3所示。任選一幀IVUS圖像，提取過(guò)程包括初始輪廓位置、配準(zhǔn)的迭代過(guò)程以及最終的分割結(jié)果。從圖3中可以看出，隨著算法迭代次數(shù)的增加，邊緣線逐漸逼近真實(shí)管腔內(nèi)膜，最后得到準(zhǔn)確的結(jié)果。

圖3 提取過(guò)程效果圖

實(shí)驗(yàn)2. 從IVUS圖像數(shù)據(jù)庫(kù)中隨機(jī)選擇連續(xù)的50幀圖像，由于篇幅原因，本文只展示了9幀圖像的結(jié)果(圖4)。

從圖4可以看出，本文方法能夠準(zhǔn)確地得到序列IVUS圖像的管腔內(nèi)膜。

實(shí)驗(yàn)3.對(duì)比實(shí)驗(yàn)。為證明本文算法提取管腔內(nèi)膜的準(zhǔn)確性與時(shí)效性，分別與文獻(xiàn)[17]和[4]中的方法(兩種方法分別是在經(jīng)典水平集算法上改進(jìn)的算法和另外一種效果比較好的算法)進(jìn)行對(duì)比，并展示對(duì)比效果圖，還將本文方法與文獻(xiàn)中的方法與經(jīng)驗(yàn)醫(yī)師手動(dòng)提取的邊緣作對(duì)比，從均方根誤差(root mean squared error，RMSE)[18]和相對(duì)差異度(relative difference degree，RDD)[19]2個(gè)指數(shù)進(jìn)行定量分析。

圖4 連續(xù)9幀IVUS圖像管腔內(nèi)膜提取效果

(1) 本文方法與文獻(xiàn)[17]的方法進(jìn)行對(duì)比。文獻(xiàn)[17]在提取管腔內(nèi)膜方面采用的是改進(jìn)的CV水平集模型，通過(guò)構(gòu)造新的速度項(xiàng)并結(jié)合窄帶法思想對(duì)IVUS圖像管腔內(nèi)膜進(jìn)行提取。

(2) 本文方法與文獻(xiàn)[4]的方法進(jìn)行對(duì)比。文獻(xiàn)[4]結(jié)合圖像梯度與模糊連接度模型提取管腔內(nèi)膜，實(shí)驗(yàn)中先將IVUS圖像從直角坐標(biāo)系轉(zhuǎn)換為極坐標(biāo)系，然后對(duì)管腔進(jìn)行分割，最后再轉(zhuǎn)換為直坐標(biāo)系顯示結(jié)果圖像。

為了更加客觀地對(duì)比各種提取方法，本實(shí)驗(yàn)從均方根誤差和相對(duì)差異度2個(gè)方面進(jìn)行對(duì)比。選用有經(jīng)驗(yàn)的醫(yī)師手動(dòng)提取的IVUS圖像管腔內(nèi)膜作為評(píng)價(jià)標(biāo)準(zhǔn)。

均方根定義為

相對(duì)差異度定義為

其中，S為由評(píng)價(jià)標(biāo)準(zhǔn)計(jì)算得到的輪廓區(qū)域面積；S為由某算法得到的輪廓區(qū)域面積。

從圖5、表2和表3中可以看出，與參考文獻(xiàn)算法相比，本文方法更逼近評(píng)價(jià)標(biāo)準(zhǔn)。文獻(xiàn)[17]的算法在管腔內(nèi)膜輪廓比較清晰的情況下能夠取得較好的結(jié)果，但是邊緣一旦模糊，效果不好；文獻(xiàn)[4]能夠取得相對(duì)準(zhǔn)確的分割結(jié)果，但是輪廓線不夠平滑。通過(guò)定量比較，可知本文方法有良好地分割結(jié)果，與文獻(xiàn)[17]相比，本文方法的均方根誤差平均減少了0.124，相對(duì)差異度上也平均減少了0.51%；與文獻(xiàn)[4]相比，本文方法的均方根誤差平均減少了0.063，相對(duì)差異度上也平均減少了0.16%。實(shí)驗(yàn)結(jié)果表明，本文方法能夠相對(duì)準(zhǔn)確地得到IVUS圖像管腔內(nèi)膜。

圖5 4幀IVUS圖像管腔內(nèi)膜分割

(a(1)~(4)是原圖像；b (1)~(4)是文獻(xiàn)[17]分割結(jié)果；c (1)~(4)是文獻(xiàn)[4]分割結(jié)果； d (1)~(4)是本文分割結(jié)果；e (1)~(4)是醫(yī)師手動(dòng)分割結(jié)果)

表3 IVUS圖像管腔內(nèi)膜分割效果RDD定量比較(%)

5 結(jié) 論

本文對(duì)IVUS圖像的基本特征進(jìn)行了分析，提出了一種全自動(dòng)分割序列IVUS圖像管腔內(nèi)膜的方法。首先，利用閾值分割、開(kāi)閉運(yùn)算以及連通分量法提取初始幀的大致管腔內(nèi)膜輪廓邊緣；然后通過(guò)計(jì)算相鄰兩幀圖像之間的相似性度量，進(jìn)行圖像匹配，不斷確定前一幀圖像選定的感興趣區(qū)域在后一幀圖像上的位置，得到相對(duì)準(zhǔn)確的管腔內(nèi)膜；最后為了得到更為精確的結(jié)果，通過(guò)變分法、最速上升法使目標(biāo)輪廓曲線準(zhǔn)確地收斂到IVUS圖像的管腔內(nèi)膜處。本文方法的特點(diǎn)：第一，整個(gè)提取管腔內(nèi)膜的過(guò)程是全自動(dòng)的，減少了由于人為操作造成的主觀性影響；第二，充分利用序列圖像前后幀的相關(guān)性特點(diǎn)，增加了管腔內(nèi)膜提取的準(zhǔn)確性，同時(shí)，在較短的時(shí)間內(nèi)能夠提取出連續(xù)的若干幀圖像的管腔內(nèi)膜。實(shí)驗(yàn)結(jié)果驗(yàn)證了本文方法的有效性。

[1] DOS S E, YOSHIZAWA M, TANAKA A, et al. Detection of luminal contour using fuzzy clustering and mathematical morphology in intravascular ultrasound images [C]//2005, 27th Annual International Conference of the IEEE Engineering in Medicine and Biology Society. New York: IEEE Press, 2005: 3471-3474.

[2] SUN S, SONKA M, BEICHEL R R. Graph-based IVUS segmentation with efficient computer-aided refinement [J]. IEEE Transactions on Medical Imaging, 2013, 32(8): 1536-1549.

[3] 曲懷敬, 孫豐榮, 張運(yùn)楚, 等. 一種IVUS序列圖像內(nèi)外膜邊緣的自動(dòng)提取方法[J]. 山東大學(xué)學(xué)報(bào): 工學(xué)版, 2011, 41(2): 5-11.

[4] YAN J Y, LV D, CUI Y Y. A novel segmentation approach for intravascular ultrasound images [J]. Journal of Medical & Biological Engineering, 2017, 37(4): 1-9.

[5] SU S R, HU Z H, LIN Q, et al. An artificial neural network method for lumen and media-adventitia border detection in IVUS [J]. Computerized Medical Imaging & Graphics the Official Journal of the Computerized Medical Imaging Society, 2016, 57: 29.

[6] VARD A, JAMSHIDI K, MOVAHHEDINIA N. An automated approach for segmentation of intravascular ultrasound images based on parametric active contour models [J]. Australasian Physical & Engineering Sciences in Medicine, 2012, 35(2): 135-150.

[7] 劉利雄, 馬忠梅, 趙恒博, 等. 一種基于主動(dòng)輪廓模型的心臟核磁共振圖像分割方法[J]. 計(jì)算機(jī)學(xué)報(bào), 2012, 35(1): 146-153.

[8] CHAN T, VESE L. Active contours without edges [J]. IEEE Transactions on Image Processing, 2001, 10(2): 266-277.

[9] 張立和, 朱莉莉, 米曉莉. 結(jié)合Gabor紋理特征的局域化多通道水平集分割方法[J]. 電子學(xué)報(bào), 2011, 39(7): 1569-1574.

[10] SOFIAN H, THAN J C M, NOOR N M, et al. Segmentation and detection of media adventitia coronary artery boundary in medical imaging intravascular ultrasound using otsu thresholding [C]// 2015 International Conference on BioSignal Analysis, Processing and Systems (ICBAPS 2015). New York: IEEE Press, 2005: 72-76.

[11] 袁廣林, 薛模根, 謝愷, 等. 多顏色直方圖自適應(yīng)組合Mean Shift跟蹤[J]. 中國(guó)圖象圖形學(xué)報(bào), 2011, 16(10): 1832-1840.

[12] NING J, ZHANG L, ZHANG D, et al. Robust mean-shift tracking with corrected background-weighted histogram [J]. IET Computer Vision, 2012, 6(1): 62-69.

[13] BAKER S, MATTHEWS I. Lucas-kanade 20 years on: A unifying framework [J]. International Journal of Computer Vision, 2004, 56(3): 221-255.

[14] NING J F, ZHANG L, ZHANG D, et al. Joint registration and active contour segmentation for object tracking [J]. IEEE Transactions on Circuits & Systems for Video Technology, 2013, 23(9): 1589-1597.

[15] TSAGKATAKIS G, SAVAKIS A. Online distance metric learning for object tracking [J]. IEEE Transactions on Circuits and Systems for Video Technology, 2011, 21(12): 1810-1821.

[16] 張彬, 劉小民. 一種保持界面位置不動(dòng)的水平集函數(shù)隱式重新初始化方法[J]. 計(jì)算物理, 2011, 28(5): 667-676.

[17] 王志東. 基于血管內(nèi)超聲圖像的分割算法研究[D]. 北京: 北京工業(yè)大學(xué), 2014.

[18] DE CLERCQ E M, DE WULF R. Estimating fuzzy membership function based on RMSE for the positional accuracy of historical maps [C]//2015 8th International Workshop on the Analysis of Multitemporal Remote Sensing Images (Multi-Temp 2015). New York: IEEE Press, 2007: 18-20.

[19] 許劍鋒, 顧力栩. 基于射線距離誤差的三維醫(yī)學(xué)圖像分割的新型評(píng)價(jià)方法[J].生物醫(yī)學(xué)工程學(xué)雜志, 2007, 24(4): 742-747.

Automatic Segmentation Algorithm of Lumen in Sequence IVUS Images

WANG You-sheng, WANG Yu-ting, XIA Zhang-tao, YE Hong-mei

(College of Information and Communication Engineering, Information Department, Beijing University of Technology, Beijing 100124, China)

For the sequence intravascular ultrasound (IVUS) images, there are great similarities between two adjacent frames, and a new method based on sequential IVUS image registration for automatic extraction of lumen is proposed. Firstly, in order to realize the automation of extraction process, the morphological operation and the connected component method are used to extract the approximate lumen contour of the initial frame. Secondly, the target region, which includes both foreground and background pixels, is implicitly represented by a level set. The color histogram feature of target region foreground pixels and background pixels are modeled on two adjacent frames because of its merits such as independence of scaling and rotation, robustness to partial occlusions, low computational cost, etc. The Bhattacharyya coefficient measures the similarity between two adjacent frames. The higher the Bhattacharyya coefficient between target model and candidate target model is, the higher the similarity between them is. By establishing affine transformation model, the contour is more accurately located near the lumen. Finally, the segmentation procedure refines the affine transformation estimated in the registration stage, and computes the target’s true shape accurately. The target contour curve is accurately converged to the lumen of the IVUS image by the variational method and the steepest ascent method. Compared with the literature [17], the RMSE of this method is reduced by 0.124 on average, and the RDD is reduced by 0.51% on average. Compared with literature [4], the RMSE of this method is reduced by 0.063 on average, and the RDD is reduced on average by 0.16%. The experimental results show that the method can accurately extract the lumen of several consecutive frame IVUS images.

intravascular ultrasound image (IVUS); image segmentation; image registration; affine transformation; lumen

TP 391

10.11996/JG.j.2095-302X.2019010173

A

2095-302X(2019)01-0173-08

2018-05-14；

2018-09-11

汪友生(1965-)，男，安徽安慶人，副教授，博士，碩士生導(dǎo)師。主要研究方向?yàn)閳D像處理、模式識(shí)別等。E-mail：wangyousheng@bjut.edu.cn