心血管造影圖像分割方法綜述①

李 越,蔣路茸,童基均

(浙江理工大學 信息學院,杭州 310018)

心血管相關疾病患病率逐年上升,是世界公認的最常見的死因之一,嚴重威脅人類健康[1].《世界衛生報告》[2]指出全球每年因心血管相關疾病引發的疾病及其并發癥的死亡率已經超過了所有癌癥死亡率之和.其中,冠心病的致死率很高,誘發冠心病的主要因素是冠狀動脈狹窄,它會影響心臟供血,嚴重會威脅生命[3],因此研究血管狹窄程度可以輔助相關心血管疾病的診斷和治療評估.目前冠心病診斷的“金標準”[4]還是數字減影血管造影DSA (Digital Subtraction Angiography),其他文章也有稱之為常規冠脈造影CCA (Conventional Coronary Angiography)[5,6].采用這種介入方法可以最為直觀地顯示血管的形態和結構.DSA 是一種用于介入放射學的透視技術,可清晰地顯示骨性或致密軟組織環境中的血管.成像時,向血管中注入造影劑,利用血管和其他組織部分對造影劑產生的差異來進行成像.

關于造影DSA 圖像中血管的分割,相關的研究人員已有過研究和綜述[7-9],對血管的分割方法進行了較為詳細的總結,包含不同部位、不同類別的圖像,但針對某一種類別圖像及特定部位的圖像分割方法涉及較少.針對心血管造影圖像的分割,Tayebi 等[10]將用于血管分割的模式識別方法分為6 類:多尺度方法、區域生長方法、匹配濾波法、數學形態學法、基于骨架的方法和基于脊的方法.在其他造影圖像中,眼底熒光血管造影FFA (Fluorescein Fundus Angiography)圖像相較于DSA 圖像而言,背景里沒有骨骼,軟組織,造影劑等噪聲因素,其分離難度略低,相關的研究也比較多,也有相應的金標準數據集[11].很多在眼底血管分割中使用的方法可以在心血管的分割中使用,但是由于心血管DSA影像自身的特點,還需要對這些方法進行創新和調整.

本文在參考這些綜述的基礎上,結合近幾年的文章和分割方法,專門針對心血管造影圖像的分割方法進行了新的總結和,將從3 個不同的方面:預處理、分割方法、評價標準來細分和總結,技術框架如圖1所示.

圖1 心血管造影圖像分割技術框架

1 預處理

由于心血管造影圖像的特殊性,其圖像內存在大量噪聲,圖像模糊不均勻,還存在其他組織或者骨頭部分的影響.因此圖像預處理效果的好壞會直接影響到后續圖像分割算法的效果,圖像的預處理一般有兩個目的:盡可能濾除圖像中的無關干擾噪聲,對圖像目標部分進行增強處理.

1.1 基于空域和頻域的增強

傳統圖像處理里面的增強方法大體上分為兩大類:基于空域和頻域,如圖2所示.基于空域的方法主要是對圖像像素的空間域信息直接進行處理,基于頻域的方法首先將圖像由空間域變換到頻率域,根據實際需要,在頻率域對圖像進行處理,最后再反變換回到空間域,完成降噪或增強操作.

圖2 基于空域和頻域的圖像增強

灰度變換主要用于調整目標血管和背景造影劑之間的灰度差,使得兩者之間對比度更大,以便于后續目標和背景的分離.直方圖均衡是一種基于圖像的全局處理方法,能在一定程度上提高圖像整體對比度,但是增強過程中會導致相鄰灰度級合并,進而使得圖像中血管的細節消失.針對這種不足Reza 等[12]提出對比度受限的自適應直方圖均衡方法CLAHE (Contrast Limit Adaptive Histogram Equalization),但是這種方法在灰度級變化范圍較小的圖像的增強效果不明顯,在變化范圍較大的區域可能會產生偽影.Zeng 等[13]提出一種新的方法,首先提取X 射線圖像的邊緣信息,然后根據邊緣信息對圖像劃分區域,分別對不同區域的灰度直方圖賦予不同的權值,以增強目標區域削弱背景區域.這種方法對背景較為單一、結構較為簡單的圖像增強效果比較好,對于結構比較復雜、對比度不高的圖像效果不理想.

線性濾波和非線性濾波是圖像處理領域歷史悠久,且操作十分便捷的去除圖像中椒鹽噪聲及高斯分布噪聲等的濾波方法.在心血管分割中經常作為分割之前的前處理工作[14,15].陳楷豐[16]提出一種雙邊濾波器,他將改進后的基于Hessian 矩陣和基于高斯一階導數的匹配濾波器結合起來對造影血管進行增強.

同態濾波是基于圖像的頻域,將圖像的亮度范圍進行壓縮同時增強圖像對比度的方法.Oh 等[17]提出一種基于形態學同態濾波的增強方法,對圖像中較暗的血管區域,進行形態學濾波操作,提取不同層級的頻域高通分量和低通分量,對其賦予不同的權值,來增強目標的特征,抑制背景部分.

1.2 基于多尺度方法的增強

多尺度方法是使得圖像在不同的圖像分辨率下進行處理.由于圖像在選擇不同分割尺度進行分割時,分割的結果會不同.若采用單一尺度進行分割,分割的結果很難全面地反映分割對象的特征,所以采用多個尺度綜合多個不同分割尺度下的目標特征,可以得到更佳的分割效果.從低分辨率圖像中提取大的主干結構,諸如大血管的主要結構,同時從高分辨率圖像中提取其余精細的結構,末梢處細小的血管部分.多尺度方法在圖像增強處理主要分為3 種:多尺度Hessian 增強、多尺度形態學增強以及多尺度Gabor 濾波器增強.

(1)多尺度Hessian 增強

基于Hessian 的多尺度增強方法由于能夠獲取血管的尺寸和方向信息而被廣泛使用,其中Hessian 矩陣特征向量與血管結構有關.傳統的基于Hessian 的增強方法[18]涉及多尺度高斯濾波器的多尺度卷積和Hessian特征值分析,以像素為基礎確定結構的局部形狀(線狀或斑點狀).

在數學中,Hessian 矩陣是函數的二階偏導數的平方矩陣,它是一種基于二階導數的矩陣,描述的是一個多變量函數的局部曲率[19],根據這個矩陣兩個特征值的特性,可以進行線性結構的增強,以及點狀噪聲點的去除.根據線性尺度空間理論[20],求微分的過程可以等價于原函數于高斯濾波器函數導數的卷積.

在進行二階偏導求取之前,需要進行高斯平滑操作,所以高斯模板的方差大小對偏導數的大小會有影響,求導窗口太大,血管中細微的結構可能會丟失,窗口太小,可能會出現空洞的現象.針對此,Frangi[18]提出使用多模板的方法,對同一個點進行多種尺度的高斯模板進行卷積操作,選擇其中響應度最高的結果作為輸出.

心血管造影圖像中,血管類似于管狀,響應值比較大,背景的響應值比較小.血管處的矩陣特征值是一大一小,血管交叉處矩陣特征值兩個都很大,背景點處兩個都較小,令 λ1,λ2表示Hessian 矩陣的特征值,且|λ1|＜|λ2|,用兩個變量來表示兩個特征值的關系,如式(1)和式(2)所示:

在當前的尺度下,血管區域的響應函數如式(3)所示:

其中,β 和c分別是控制RB和S敏感度的參數.在相同尺度的響應函數中,尺度因子越大,對較為粗的血管增強效果越好,尺度因子越小,對于細小的末梢血管增強效果越好.

這種方法的缺點在于它們有二階導數的存在而對噪聲高靈敏度,由于角點的特征與類似斑點的結構很相似,這個方法可能會抑制角點,從而導致血管網絡的不連續性.為了克服上述問題,Truc 等[21]采用方向濾波器組提取線狀方向特征來增強血管,以在嘈雜的環境中獲得更有效地顯示小而細的血管,同時它能夠避免角點抑制,可以產生連續的血管樹.但是,這種方法通常會導致強度不均勻性,尤其是在血管連接區域.Xu 等[22]進一步改進文獻[21]的方法,通過計算血管相似性度量作為增強方向圖像重組中的權重,以此來極大地保留尖銳血管邊緣,但由于強度的增強,血管交叉處的信息可能會丟失.Zai 等[23]采用引導濾波器作為預處理步驟,可以抑制圖像噪聲,平滑血管結構.

改進血管函數可以通過減少參數或者構造新的血管函數,進而簡化計算.Zhang 等[24]簡化了血管響應函數,去除了參數c,引入了新的a rctan(λ2/λ1)放入血管響應函數中,可以簡化計算,且能顯現更多的小血管.陳建輝等[14]也將a rctan(λ2/λ1)放入血管相應函數中,構造了新的血管響應函數,對細小血管的分割效果更好.Li 等[25]在分割CT 圖像時提出的血管響應函數,只有 λ1和 λ2,形式十分簡單,不需要設置參數,避免了在實際使用中參數的調整以及不同圖像之間相同參數但效果差異較大的情況.Zhou 等[26]在設計血管響應函數時,將尺度引入了判別條件,來適應不同尺度下的變換.Tsai 等[27]提出一種自適應特征變換函數,在函數中嵌入了尺度變換因子,結合了10 個不同的尺度,與其他增強方法相比,運算簡單且精度更高.

由于Hessian 增強對于血管的增強效果良好,后續許多研究者將此方法作為分割處理的一個步驟,再結合其他不同的方法,達到更好的分割效果.

(2)多尺度數學形態學增強

數學形態學操作[28]利用形態學算子提取圖像中相應的結構,可以進行圖像的濾波、分割、分類等操作.心血管造影圖像中血管的灰度和背景的灰度不同,可以通過數學形態學操作使得圖像中亮的區域和暗的區域對比度更強.

文獻[29-31]提出的多尺度形態學可以改善傳統形態學變換的效果,獲取更多圖像細節,但是也可能在增強過程中引入新的噪聲.Sun 等[32]在使用模糊濾波和分水嶺變換對血管進行分割之前采用多尺度數學形態學對血管樹進行增強處理.Bai 等[33]提出多尺度Top-Hat增強方法,這個方法基于4 種最基本的數學形態學運算,每種圖像運算都可以改變圖像的對比度特性,但不同大小的結構元對圖像的效果不同,從中選擇最優特征進行增強操作.這個方法在保留圖像細節以及抑制圖像噪聲方面表現良好,但是從整體上看,整體對比度提升不明顯.Fazlali 等[34]采用Bai 的方法在用超像素方法對血管進行分割之前采用多尺度Top-Hat 的方法增強原始造影圖像中血管部分和背景部分的對比度.

(3)多尺度Gabor 濾波器增強

Gabor 函數是圖像處理中用于邊緣提取的一種線性濾波器[35],一個二維的Gabor 濾波器是一個正弦平面波調制的高斯核函數.在圖像特征提取通常使用一組頻率和方向都不同的Gabor 函數.Cruz-Aceves 等[36]使用多尺度Gabor 濾波器對造影圖像進行增強,并和一些多尺度Hessian 增強的方法進行了對比,測試相同的圖片時,其提出的方法曲線下面積最大,性能最佳.

圖3分別列舉了增強方法里面具有代表性的增強結果.由于心血管造影血管圖像的特殊性,增強處理很難將血管完全分離出來,只能將血管增強作為一個預處理步驟,后續搭配不同的方法將血管整體分割出來.表1總結了常用的分割預處理方法及其對應文獻.

圖3 心血管造影圖像增強效果

表1 預處理方法及其參考文獻

2 分割方法

2.1 傳統分割方法

由于心血管造影圖像中血管具有相對好的連通性、封閉性,使得基于閾值的方法、區域生長的方法、基于統計學區域融合的方法以及基于匹配濾波的方法在分割中較為常見.

(1)閾值分割

其中基于閾值分割的方法由于其操作簡單的特點,很早就被用于目標分割,它主要在目標于背景對比度較大的圖像中發揮作用,分為全局閾值法和局部閾值法.全局閾值法對圖像設定一個固定的閾值進行分割,只能用于目標簡單,且圖像較為簡單的圖像的分割.局部閾值法首先通過一些局部統計量例如方差等來分別計算閾值[49]或者直接將圖像劃分為幾個子圖,對每個子圖進行閾值分割.還有一種常用的最大類間方差法[50]是一種可以自適應確定閾值的分割方法.對于心血管DSA圖像,其背景較為復雜,分割難度較大,不管是全局閾值法還是局部閾值法都不能找到一個合適的閾值進行分割,所以閾值法一般作為分割過程中的一個處理步驟.

Khaleel 等[51]針對心血管DSA 造影圖像,首先進行高斯匹配濾波器操作,再用閾值檢測進行分割.Lian 等[52]使用過基于迭代閾值的方法提取血管中的畸形部分,他們首先將圖像分割成數個子圖像,采用最大類間方差法將這些子圖像分成兩個不同的類別,集合子圖像間的灰度平均值和中位值不斷迭代.Cruz-Aceves 等[36]采用基于多目標的閾值方法對多尺度Gabor 濾波器的幅度相應進行二值化來對血管進行分割,從40 張圖像中提取閾值特征,對40 張測試圖片進行測試,同時將其結果與其他7 種閾值分割方法進行對比.

(2)區域生長

基于區域生長的方法首先設定一個種子點,不斷遍歷種子點像素的四鄰域或者八鄰域,將和種子點相似的點歸入同一個集合中,再尋找集合中點的鄰域相似點,不斷擴大區域,直至完成分割,這種方法對存在噪聲以及對比度不均勻的像素區域及其敏感,很易出現空洞或者過分割的情況[53,54].因此,實際使用中,區域生長的方法經常和其他分割方法結合使用.

由于血管的管狀連通結構,區域生長法十分適合對血管的連通區域進行提取.為了避免各個血管段之間以及和背景之間造成的誤分割,Sekiguchi 等[55]在分割腦部MRA 血管時提出了基于分支的區域增長方法,對不同的分支采用不同的區域生長過程.Li 等[56]提出一種結合灰度信息和空間信息的方法,作為進行區域生長操作之前的條件判決,提高了算法的健壯性.但是,在一些存在偽影,或者對比度很低的血管區域,區域生長的方法效果不佳,很有可能導致誤分割.

Wang 等[38]首先進行多尺度Hessian 增強,基于多個種子點進行區域增長,可以連接非連續的血管段,比單個種子點增強方法效果更好.Kulathilake 等[6]利用數學形態學方法和漫水填充方法實現區域增長操作,最后從標記的血管結構中提取血管邊緣.Asma 等[40]在進行多尺度Hessian 增強之后,進行的區域生長操作也是基于不同尺度的,設定的生長規則由于考慮了不同的尺度,其結果對細小血管的分割結果更好.莊宇等[42]在多尺度Hessian 增強的特征圖上采用種子點的自動選區方法分兩個階段進行區域增長來提取血管輪廓.

(3)統計學區域融合

基于統計學區域融合的方法最早由Nock 等[57]在2004年提出,此方法將圖像中的像素點的灰度值看作一個統計學模型,判斷相鄰像素點之間的相似性,所有的像素點進行逐個判斷,是否進行區域合并,最后根據統計學的分布特征來實現像素的融合.

陳建輝等[14]在多尺度Hessian 增強的基礎上,采用統計學區域融合的方法對目標血管區域進行融合,得到分割好的血管,再利用水平集方法對血管骨架進行提取,進而評估血管狹窄程度.Wan 等[43]對多尺度Hessian增強后的結果中目標部分的像素值采取4 鄰域統計學區域合并的方法,用3 套人工分割的結果分別和算法分割的結果進行平均絕對誤差、豪斯多夫距離、DICE相似系數、敏感度、特異度、準確度的比較,同時還對比了其他幾種分割方法.其分割的效果如圖4所示.

圖4 統計學區域融合分割效果[43]

(4)匹配濾波法

基于匹配濾波法是通過將圖像與各種匹配濾波器進行卷積來完成目標提取的一種方法[58].因為造影圖像中血管的大小尺度各異,所以需要設計不同方向和尺度的多個過濾器進行卷積來提取血管輪廓.在實際使用中,匹配濾波器法通常與其他圖像處理算法一起使用,例如閾值分割和連通域分析.

這個方法主要是基于信號處理中的匹配濾波器,當匹配濾波器性能和信號的特性取得一致時,可以使得濾波器輸出的信噪比最大,根據此來進行匹配濾波器的設計.Khaleel 等[51]設計的一種基于高斯匹配濾波器,首先進行高斯匹配濾波再進行閾值檢測進行分割.Cruz-Aceves 等[59]為了優化基于高斯匹配濾波的分割方法,比較了4 種仿生算法,最后對比結果表明差分進化算法的分割效果最佳.后續他們又提出一種基于神經網絡的多尺度高斯匹配濾波器[60],改善了之前只有單一尺度檢驗血管的缺陷,其效果如圖5所示.

圖5 匹配濾波法分割效果[60]

2.2 可形變模型

可形變模型首先將待分割的血管結構(一般指曲面或者曲線)定義為一個初始血管模型,這個模型受到內力和外力的作用會逐漸發生形變,當這個形變逐漸接近血管輪廓時,就可以將血管分割結構分割出來.一般血管模型受到的外力指圖像的特征,比如像素灰度值,梯度等,受到的內力一般只曲線自身的形態特征,比如曲率、弧長等.根據形變模型的分割方法可以分為基于邊界和基于區域的方法.

(1)基于邊界

基于邊界的方法中,蛇線模型[61]以及水平集方法[62]在血管分割中的應用較為廣泛.其主要原理是利用梯度矢量流(Gradient Vector Flow,GVF)[63]以及區域內外的內外力約束指導模型向邊界移動,實現分割.

Devi 等[64]為活動模型提供了一種新的外力,解決了很多snake 模型無法提供更好捕獲范圍和進化停止機制的問題.Brieva 等[65]提出一種基于Mumford-Shah函數的方法,使得在分割復雜冠脈血管樹時效果更好.Sum 等[66]提出基于水平集的動態輪廓分割方法,通過引入區域的統計參數和局部的圖像差異可以解決灰度強度不均勻的問題.Khokhar 等[67]在標準水平集函數中引入了曲率特征能量函數,提高了曲線演化的能力,且所需迭代次數少.

水平集分割方法對復雜的圖像容易收斂于能量極值,而且計算量較大.在背景復雜的圖像中,容易收到噪聲和偽影的影響,造成誤分割.

(2)基于區域

基于區域的形變模型方法主要通過前景和背景的區域統計信息來指導血管模型的輪廓演變,圖像在分割時被分為目標前景區域和背景區域,根據邊界、前景和背景的統計特征定義一個圖像能量函數,當模型發生演變時,能量會隨之發生變化,當總能量最小時,前景區域即為目標區域.因此能量函數的定義對分割精度影響很大.Wang 等[68]利用基于區域能量模型的方法,提取血管部分以及分割腦部MRA 圖像.Dehkordi 等[45]提出的局部特征適應LFF 模型可以提取強度不均勻造影圖像中的血管樹.Sun 等[69]提出的局部形態學適應LMF模型能夠處理強度不均勻的血管圖像,這種方法魯棒性較強,無需前后處理.

基于可形變模型的方法設置的能量泛函只依賴于曲線參數的選擇,而且受初始輪廓影響較大,對于復雜的曲線拓撲結構處理起來比較困難,這是可形變模型法在血管分割泛化中受到限制的原因.

2.3 軌跡追蹤法

基于追蹤的分割方法是一種模板匹配方法,應用于具有連續結構的圖像分割.首先指定一個特定結構的模型,通過計算模型自身和周圍的局部特征來確定下一個模型的位置和方向,利用不同的圖像特征例如梯度來不斷評估圖像和設定模型之間的匹配程度,不斷修正和調整方向來獲得與目標最為匹配的血管模型.這個方法多用于3D 模型的分割.在2D 圖像的分割過程中,首先需要給定一個或者多個種子點,種子點可以通過手動標記或者血管增強的方法得到,再根據局部算子對中心線或者血管邊界進行追蹤.追蹤方法可以分為基于模型的方法和最小成本路徑法.

基于模型的方法,主要的缺點是如果遇到血管強度不均勻或者噪聲很明顯以及病變區域,追蹤會提前終止.Zhou 等[26]采用一種基于多特征的模糊識別方法來指導概率跟蹤算子沿著血管樹的跟蹤,在跟蹤過程的同時實現對血管軸線和直徑的測量.后續他將血管結構識別算子和血管跟蹤算子引入血管的模糊推理識別中實現對血管分叉等的跟蹤[44].

基于最小成本路徑的方法一般是用于提取血管中心線,為后續狹窄程度評估或者三維重建奠定基礎.文獻[70,71]里提到了利用空間中中心線的位置以及圖像灰度特征來進行血管表面的提取,其優點在于搜索速度快,避免出現局部最小值的情況.將最小成本路徑方法和區域增長方法結合還可以克服血管交叉處的影響,提取較為細小的血管[54].

軌跡追蹤法需要在最初人工選定起點和終點,是一種半自動化的分割方法,必須依賴于相關人員的判斷和操作.如何使其自動化以及更加高效在檢測血管邊界和中心線的過程中有重大意義.

2.4 圖論

基于圖論的方法是將整個圖像映射為圖的一種方法.其中一種經典的圖割分割算法通過求解能量函數最小化問題進行分割.Hernández-Vela 等[72]在提取中心線及進行半徑測量時利用圖割的能量函數進行全局優化,可以實現血管的自動分割.這種方法十分便捷,但是在計算時時間復雜度和空間復雜度較高.

另一種常用的方法是隨機游走算法,它將圖像看作包含固定頂點和邊的連通帶權無向圖,首先人工指定目標初始種子點以及背景種子點,然后根據各個頂點到這兩個種子點的概率判斷種子點在隨機漫步時的歸屬類.M’hiri 等[46]提出的血管隨機游走方法,將Hessian 增強和隨機游走相結合,需要人工選定種子點進行分割.王光磊等[37]采用一種新的自適應閾值分割法進行預分割,再通過結合數學形態學為隨機游走算法提供種子點,可以實現自動化分割.其分割結果如圖6所示.

圖6 隨機游走算法分割效果[37]

2.5 機器學習

基于機器學習的方法是將分割問題轉化為一個分類問題,是近幾年應用最多的一種分割方法.不斷有新的機器學習方法和深度學習方法應用到醫學圖像的處理當中來[73,74].早在1995年,Nekovei 等[75]就采用BP神經網絡來對血管結構進行檢測,將預先標記好的造影圖像送入神經網絡中進行訓練.近幾年卷積神經網絡CNN 在的一些圖像分割處理當中取得不錯的效果[76].在所有的深度學習網絡結構當中,U-Net 是目前在二維醫學圖像分割領域中應用最為廣泛的一種網絡結構[77].它由Ronneberger 等[78]在FCN 的基礎上提出,主要特點是網絡呈現“U”型,其上采樣層和下采樣層數量相等.

基于機器學習的方法主要分為兩類,一類是需要建立分割標準的有監督方法,這個分割標準(Ground-truth)需要由專家手工標記得到,由于血管數目繁多,手工標記比較耗費時間,用于有監督方法的機器學習要求將Ground-truth 組成訓練集,從訓練集數據中運用相關機器學習方法推斷出一種模型,利用這個模型對未分割的圖像進行分割.近幾年使用很多的CNN 和U-Net 網絡都屬于這種有監督方法.

Nasr-Esfahani 等[47]從每個512×512 進行頂帽操作后的造影圖像中提取40000 個圖像塊,一半來自血管,一半來自背景區域,將這些圖像塊輸入CNN 網絡,進而通過判斷是血管還是背景來對血管實現分割.后續他們將全局的信息和局部信息結合起來[48],并且引入了canny 邊緣檢測器來進行訓練,得到的分割效果更好.Yang 等[79]在CNN 單通道的方法上加入了圖像掩模通道,用雙通道的處理辦法在去除導管區域和偽影方面效果更高,如圖7所示.Jo 等[80]提出一種選擇性特征映射的方法,用以分割心血管圖像中的左前降主干.Zhao 等[81]在imagenet 基礎上建立一個初始神經網絡,再將其運用到針對半監督視頻對象分割問題的單鏡頭視頻對象分割[82]的CNN 框架上.

圖7 雙通道卷積神經網絡分割[79]

李裕[5]使用多尺度Top-Hat 算法增強血管的細節特征,使用修改后的U-Net 模型對心血管造影圖像進行分割,如圖8所示.楊少戈[83]獲取了大量不同體位不同病變情形的冠脈造影圖像,對其進行粗標注和精細標注,使用PSPNet 網絡分別訓練不同體位下的冠脈造影圖像,對其進行分割.Yang 等[84]提出一種基于U-Net架構的全卷積網絡結構,在DICE 系數中加入了假陽性和假陰性的懲罰項,引入了一種新的損失函數PGD對主血管部分進行分割.Au 等[85]第一次采用深度學習來全自動實現評價血管狹窄程度的QCA[86]過程,主要分為狹窄部位的定位,血管的分割,狹窄程度三個方面.Fan 等[87]將造影前的圖像掩模信息和造影后的血管信息都用作多通道的輸入以增強血管的結構信息,還對掩模圖像和血管圖像進行了匹配,以獲得更加精確的對準效果.Jun 等[88]為了克服U-Net 在編碼和解碼塊之間只有一組級聯層的限制,引入了T-Net 一種全新的網絡,在編碼器處理期時適當安排池化層和上采用層,使得預測的掩模更加精準.

圖8 改進U-Net 網絡分割[5]

另一類是無須制作人工標記標簽的無監督方法,直接從輸入數據中尋找隱藏規律,其中聚類算法使用最為廣泛.Plourde 等[39]采用機器學習的方法來改善經過多尺度Hessian 增強處理之后的造影圖像,使用基于輪廓的算法進行特征提取,再利用支持向量機SVM 對其進行分類.這個方法可以提升多尺度Hessian 增強的效果.Lassó等[89]利用支持向量機SVM 去學習造影劑注入后引起的圖像灰度演變的特征,根據演變特征,設計增強方法,進而更好地抑制噪聲部分.

2.6 超像素方法

超像素是指具有相似紋理、顏色、亮度等特征的相鄰像素構成的具有視覺意義的像素塊,通常是不規則的.與像素相比,提取超像素更加有利于提取圖像的局部特征,且計算復雜度更低.目前關于基于超像素分割的算法主要分為兩類,一類是基于圖論的方法,一類是基于梯度下降的方法.Achanta 等[90]提出的SLIC 算法將彩色圖像轉換為5 維特征向量,再構造度量標準對像素進行局部聚類,此算法運算速度塊,生成的超像素塊較為均勻.Fazlali 等[34]在對原始造影圖像進行多尺度Top-Hat 變換和多尺度Hessian 增強操作后,利用多尺度分割方法對血管進行初始分割,然后計算每個超像素塊的血管概率,和設定的閾值相比較,進而區分出血管部分和背景部分,實現分割,效果圖如圖9所示.

圖9 基于超像素方法的分割效果[34]

由于目前沒有公開的金標準數據集,不同研究人員采用的圖片數據不同,評價標準也不相同,其研究成果很難拿來比較.表2總結了常用的分割方法及其對應文獻,還包括檢測分割算法時所測試的圖片數量及使用的評價標準.

3 評價標準

對于血管分割的評價指標,金標準還是由臨床專家醫生手動分割的圖片.由于在專家們進行手動分割時會產生人工誤差及因主觀性判斷導致的不一致,因此需要提出使用不同的策略來對金標準進行選定,即在血管分割中選擇大部分專家都認同的血管段作為分割金標準,或者建立可信度列表,在出現分割爭議時,根據可信度列表排名進行評判[83].但是以上方法,不能夠引入分割結構的先驗信息,并且不能夠評估局部的分割效果.為了解決這個問題,引入同步真實性能水平估計STAPLE (Simultaneous Truth And Performance Level Estimation)算法[91],該方法結合先驗模型對被分割結構的空間分布進行約束,再對每個不一致的分割結果的性能進行度量,最后利用標簽融合方法將各個專家的分割結果以最佳的方式結合起來.

表2 分割方法及其對應文獻

在評估分割算法的性能時,通常采用真陽性TP(True Positive),真陰性TN(True Negative),假陰性FN(False Negative)和假陽性假正例FP(False Positive).4 種數據的參數表[92]如表3所示.分析這4 個數據又可以產生不同的評價指標,例如靈敏度,特異度,準確率(即查準率),召回率(即查全率),陰性預測值PPV,陽性預測值NPV,邊界誤差.除此之外,還有平均絕對誤差MAD(Mean Absolute Difference)[93]、豪斯多夫距離HD[94]、D ICE 相似系數DSC[95]、Jaccard 系數JAC[96]等評價標準.

表3 用于評價血管分割的參數表

靈敏度和特異度是指在預測為真或者假里面分別真實為真或者假的概率,其定義分別如式(4)和式(5)所示.

準確率關注的是分割結果中有多少是正確的,召回率關注的是有多少血管部分被正確地預測處理,其定義分別如式(6)和式(7)所示.

事實上,準確率P和召回率R互相矛盾,P高時,R就低,R高時,P就低.所以為了綜合評價分割性能,引入P-R 曲線,P-R 曲線也可根據其曲線下面積AUC(Area Under Curve)來對圖像的分割效果進行評估[97],AUC 越大,其性能越好.此外,F1 度量也可以綜合準確率和召回率,其定義如式(8)所示.

F1 度量值越大,其性能越好.DICE 相似系數是F1 度量的另一種表達形式,其定義如式(9)所示.

其中,X表示實際的目標血管區域,Y表示分割方法分割的血管區域.DSC值越大,表明分割方法分割的目標血管和實際血管區域重合度更高.

陰性預測值NPV和陽性預測值PPV這兩個評價標準建立在算法已經對圖像中的像素做出預測的基礎上.NPV表示如果算法將像素預測為非血管部分,該像素被正確預測的概率,如式(10)所示,PPV表示如果算法將像素預測為血管,該像素被正確預測的概率,如式(11)所示.

邊界誤差可以反映在血管的邊界算法的分割效果優劣,邊界誤差越小,算法效果越佳,計算方法如式(12)所示.

平均絕對誤差MAD計算分割方法的分割結果邊緣上每個點和相應手動分割金標準上最近的點的平均誤差值,如式(13)所示.MAD值越小,則說明算法分割結果和手動分割金標準結果最為相似.

豪斯多夫距離HD是描述兩組點集之間相似程度的一種度量,其定義如式(14)所示.

Jaccard 系數(JAC)用于比較有限樣本集合之間的相似性和差異性,它的定義是集合α和β交集的大小與其并集大小的一個比值,如式(15)所示,如果Jaccard系數越大,則說明他們的相似度越高.

Brieva 等[65]在評價水平集分割效果的時候,設計了SA參數來評價分割的效果,如式(16)所示,又根據SA參數分別針對邊界和區域,進而定義SAC 和SAR兩個參數.

Khaleel 等[51]在提取血管樹時,引入了灰度直方圖和其均值的誤差平方和SSE,如式(17)所示.選取其中最小的SSE作為分割效果最佳的圖片.其中n是一組血管造影圖像的數量,yi是血管造影圖像的直方圖,是血管造影圖像的平均直方圖.

表4是文中所提到的方法在評價其分割效果時所使用的評價標準及其對應參考文獻.

表4 評價標準及其參考文獻

4 展望

在醫學臨床應用中,計算機輔助技術和醫學圖像分割技術是疾病診斷的常用手段,基于血管造影的DSA 圖像分割技術是相關血管疾病量化分析描述和血管三維重建的前提,造影圖像的分割意義重大,分析以上所羅列的分割方法主要從以下幾個方面對心血管造影圖像分割的未來發展做出展望:

(1)建立心血管造影圖像相關的公開金標準數據集.心血管造影圖像目前還沒有公開的數據集,沒有一個統一的標準對各論文所提出的方法進行評估和比較,不利于不同分割方法直接的橫向對比.在獲取心血管造影圖像時,需要對患者的隱私進行脫敏保護,只保留影像序號、圖像拍攝日期、體位角度等非敏感信息[83].由于心血管造影圖像在造影時注射的造影劑濃度會有差異,得到的圖像的對比度清晰度也會有差異,且造影圖像分為左視角和右視角,在制造金標準時也需要綜合考慮這些情況.如果需要進一步研究,還可建立不同病變的數據分類,根據不同的病變建立相應數據集.此外,制作金標準的相關“專家”不能只有一個,一方面因為人工對樣本進行勾畫時存在誤差,另一方面,對于邊界的判定帶有一些主觀因素,制作的金標準數據集必須結合多個專家的分割結果.

(2)提升造影圖像的增強效果.預處理作為分割操作的第一步必不可少,對圖像中無關噪聲部分的降噪以及目標部分的增強,可以借鑒文章中所總結的幾種方法,向“自適應”,“多模板”方向發展,使得預處理之后的圖像最大限度地保留細小血管的信息,且盡可能使得目標區域和背景區域的對比度拉大.

(3)開發全自動的分割方法.分割方法中,基于區域生長和基于軌跡追蹤的方法都需要人工設定初始點,這在實際使用中會造成不便捷,且人工設定點的差異對整體的分割結果會產生影響.所以如果能夠實現全自動的分割對于提高工作效率和分割效果十分有幫助.近幾年,使用機器學習方法的相關研究占主要地位,使用這種方法可以實現自動化分割,但是前期訓練過程十分繁瑣,如何提高效率是一個巨大挑戰.

(4)將分割結果用于后續冠脈狹窄程度量化,可以積累狹窄程度和血管寬度變化規律的先驗知識,實現血管狹窄程度的自動測量[99],自動定位病變區域.分割質量高的圖像可以極大便利醫生進行QCA 測評[86],輔助醫生進行診斷以及后續Syntax 系統評分.現有的全自動QCA[85]過程準確率還有待提高,可以引入新的神經網絡或者補充訓練數據來提高其準確率,減輕人工負擔.

(5)引入造影圖像序列,對動態的造影圖像進行運動跟蹤和分割,由于細小血管基本分布在血管末梢,其造影劑達到的時間較晚,顯影較晚,且顯影劑的效果也隨時間流逝變得不明顯,導致細小血管的分割難度大,效果不佳.如果能夠綜合數張造影圖像,可以使得分割效果更加,得到病變處最窄部分的狹窄程度[100],提高診斷的準確度.

(6)進一步研究血管的中心線提取,口徑測量,血管內部導管的分割等工作,造影血管的分割是眾多研究內容所需要涉及到的,只是心血管疾病診斷等相關研究中一個重要環節.

5 結束語

本文從圖像預處理、分割方法以及評價標準3 個方面,研究了心血管DSA 圖像處理的流程方法.但所提及的各種方法只是涉及分割技術,后續對血管的定量分析如狹窄程度分析等并未涉及,且所介紹的每種方法有其特有的適用范圍,根據數據源的不同,其分割方法和處理方法也各異,并不存在一種最好的分割處理方法,在實際情況中,需要針對特定情況進行分析,不斷嘗試使用不同方法的搭配組合或者設計新的方法使得分割血管的效果更佳.