基于NALTDP的肝臟CT圖像分類

張惠惠,黃煒嘉,張正言,李 鋒

(江蘇科技大學(xué)海洋學(xué)院,江蘇 鎮(zhèn)江 212100)

1 引言

肝病一直是一種常見的高危險性疾病,肝病的發(fā)現(xiàn)階段通常在中后期,主要以積極預(yù)防為主。為了更好地分析肝臟CT圖像,研究人員一直在探索新的無創(chuàng)方法用于診斷肝臟疾病。紋理分類是影像組學(xué)的重要部分,通過分析圖像像素間的關(guān)系表達(dá)其紋理特征。

近年來,許多研究者將紋理分類應(yīng)用到醫(yī)學(xué)圖像分類中,以獲得更好的分辨率和特征提取率。Suganya等[1]利用灰度共生矩陣(GLCM)對肝臟超聲圖像進(jìn)行分類,驗(yàn)證了支持向量機(jī)的分類器擁有更好的準(zhǔn)確率。胡彥婷等[2]提出了一種結(jié)合紋理特征提取和稀疏編碼的分類方法,有效實(shí)現(xiàn)肝包蟲病CT圖像的自動分類。Li等[3]利用灰度共生矩陣和小波變換等對MRI圖像進(jìn)行特征計算,訓(xùn)練了四種對腫瘤類型分類影響最大的紋理特征的監(jiān)督分類算法,驗(yàn)證模型的可靠性。Sharma等[4]通過不同的描述符提取圖像紋理特征,采用互信息(MI)特征選擇方法對肝臟超聲圖像分類。邱甲軍等[5]利用小波系數(shù)對肝細(xì)胞癌和正常肝組織的統(tǒng)計結(jié)果進(jìn)行兩次離散化,并采用直方圖、共生矩陣和游程長度矩陣進(jìn)行特征提取,以獲得更好的分類性能。目前,對于正常和異常肝臟CT圖像的分類方法層出不窮。而肝功能正常和異常的CT圖像在視覺上差異較小,難以區(qū)分,這對特征表達(dá)能力提出了更高的要求。

在圖像局部特征提取方面,局部二值模式(Local Binary Pattern,LBP)[6]由于其方法簡單、計算復(fù)雜度低而被廣泛應(yīng)用?；贚BP的改進(jìn)在醫(yī)學(xué)圖像領(lǐng)域也得到廣泛應(yīng)用,Tan等[7]提出局部三值模式(Local Ternary Pattern,LTP)引入閾值t對圖像進(jìn)行三值編碼,有效提高了對光照和噪聲的魯棒性。Ahmed等[8]在LTP的基礎(chǔ)上提出了梯度局部三值模式(Gradient Local Ternary Pattern,GLTP),使用Sobel算子檢測圖像的邊緣,然后進(jìn)行三值提取,最后獲得低計算量、高分辨率的紋理信息。Bashar等[9]提出中值三值模式(MTP)通過閾值化局部灰度中值,將每個像素周圍的鄰域強(qiáng)度值量化為三個不同的級別,對局部鄰域的紋理信息進(jìn)行編碼,提高灰度表達(dá)能力。Yang等[10]提出了一種改進(jìn)的韋伯局部描述子(IWBC),通過引入新的Weber分量和方向分量來更有效和準(zhǔn)確地表示局部模式,采用基于塊的fisher線性判別法對提取的特征降維,提高其識別能力。Liu等[11]通過比較圖像中像素的中值關(guān)系,計算中值魯棒擴(kuò)展局部二值模式 (MRELBP),從而獲得更多層面的紋理信息。上述方法主要通過對中心像素與相鄰像素之間的關(guān)系進(jìn)行編碼,沒有考慮鄰域變化信息。

本文提出了一種鄰域均值局部三值方向模式(Neighborhood Average Local Ternary Direction Pattern,NALTDP),用于肝功能正常、異常CT圖像的分類識別。首先對肝臟CT圖像預(yù)處理,提取感興趣區(qū)域;然后,利用中心像素在相鄰八個方向上鄰域變化的相關(guān)性計算鄰域均值,并對鄰域均值進(jìn)行三值模式和方向模式的編碼后級聯(lián);最后統(tǒng)計直方圖,采用支持向量機(jī)(SVM)分類識別,整體流程圖如圖1。

圖1 整體流程圖

2 數(shù)據(jù)集的建立

本文的實(shí)驗(yàn)數(shù)據(jù)來自江蘇省人民醫(yī)院患者的肝臟CT檢查影像,包括肝功能“正?！焙透喂δ堋爱惓！钡腃T圖像。首先,對像素大小為512×512的肝臟CT圖像提取像素大小為38×38的感興趣區(qū)域(ROI),在提取ROI的過程中,1)避開血管區(qū)域;2)避開腫瘤區(qū)域。然后,計算感興趣區(qū)域的CT值,如下方法:

CT=pixel×slope+intercept

(1)

其中,pixel代表該像素點(diǎn)的值,slope、intercept是兩個DICOM Tag信息中的坐標(biāo)數(shù)值。

將該數(shù)值存放在對應(yīng)的目錄下,并存為txt格式。最后,實(shí)驗(yàn)共采集1680張肝臟CT圖像,其中肝功能正常和肝功能異常的CT圖像各840張,建立數(shù)據(jù)集。

3 基于鄰域均值局部三值方向模式的圖像分類方法

考慮中心像素鄰域變化信息與方向性信息,提出了鄰域均值局部三值方向模式(Neighborhood Average Local Ternary Direction Pattern,NCLTP)。首先,對輸入圖像進(jìn)行鄰域均值計算;然后,對分別對其進(jìn)行三值化和方向化編碼;最后,將直方圖級聯(lián)得到NALTDP特征。鄰域均值局部三值方向模式特征提取的過程如圖2。

圖2 鄰域均值局部三值方向模式特征提取過程

3.1 鄰域均值局部三值模式(NALTP)

由于現(xiàn)有方法沒有考慮中心像素的鄰域變化信息,因此提出了鄰域均值局部三值模式(Neighborhood Average Local Ternary Pattern,NALTP)。使用中心像素在相鄰八個方向上的鄰域變化的相關(guān)性來計算NALTP的鄰域均值。

給定一個位于3×3正方形鄰域內(nèi)的中心像素值Ci,其八個方向的鄰域像素值為Ap,p=1:8,如圖3。NALTP的鄰域均值就是中心像素值與相鄰八個方向像素值的差的絕對值之和再求平均。計算公式如下方法:

圖3 鄰域差值計算

(2)

其中,Ni是NALTP的鄰域均值。

NALTP包括鄰域八個方向相關(guān)差值以及中心像素。NALTP采用局部三值模式(LTP)的概念進(jìn)一步轉(zhuǎn)換為2個二值模式如下方法

(3)

其中,c是中心像素的值,i是相鄰像素的值,t是閾值。

NALTP的計算過程如圖4,為了擁有更好的魯棒性,將每個NALTP分為上半部分(NALTP＿U)和下半部分(NALTP＿L)如下方法

圖4 NALTP的計算過程

(4)

(5)

(6)

(7)

對圖像中的每個像素,NALTP＿U和NALTP＿L的圖像大小為M*N。計算NALTP＿U和NALTP＿L的兩個部分,并建立其直方圖[11]如下方法

(8)

(9)

(10)

最后,在生成兩個部分的直方圖后將兩者級聯(lián),獲得整個圖像的直方圖如下方法

hNALTP=hNALTP＿U+hNALTP＿L

(11)

3.2 鄰域均值局部方向模式(NALDP)

為了突出像素的鄰域信息變化和方向信息,提出了鄰域均值局部方向模式(Neighborhood Average Local Direction Pattern,NALDP)。利用中心像素在八個方向上的鄰域變化的相關(guān)性計算NALDP的鄰域均值,并利用垂直和水平方向編碼方法獲得方向信息。

給定一個位于3×3正方形鄰域內(nèi)的中心像素值Ci,其八個方向的鄰域像素值為Ap,p=1:8,NALDP鄰域均值的計算公式如式(2)。

對于一個N×N像素的區(qū)域,每一個3×3像素的區(qū)域進(jìn)行鄰域均值的計算,得到一個由中心像素Ni,i=1:N-2構(gòu)成的(N-2)×(N-2)像素的正方形區(qū)域,將該區(qū)域記為N。

在區(qū)域N內(nèi),在3×3像素的區(qū)域內(nèi),中心像素值記為H5,相鄰像素值以水平編碼方式分別記為[H1、H2、H3、H4、H6、H7、H8、H9]如圖5。水平差值的計算公式如下方法

圖5 水平差值計算

Ii,i=1:8=Hi+1-Hi

(12)

其中,Ii是NALDP的水平差值。

水平編碼的計算公式如下方法:

(13)

(14)

在區(qū)域N內(nèi),給定一個3×3像素的區(qū)域,中心像素值記為V5,相鄰像素值以垂直編碼方式分別記為[V1、V2、V3、V4、V6、V7、V8、V9] 如圖6。垂直差值的計算公式如下方法

圖6 垂直差值計算

Ji,i=1:8=Vi+1-Vi

(15)

其中,Ji是NALDP的垂直差值。

垂直編碼的計算公式如下方法

(16)

(17)

NALDP的整個計算過程如圖7,將NALDP分為水平部分(NALDP＿H)和垂直部分(NALDP＿V),建立兩個部分的直方圖并將兩者級聯(lián),獲得整個圖像的直方圖,如下方法:

圖7 NALDP的計算過程

hNALDP=hNALDP＿H+hNALDP＿V

(18)

3.3 鄰域均值局部三值方向模式(NALTDP)

NALTDP的計算過程如圖8,為了擁有更加魯棒的描述符,將NALTP和NALDP結(jié)合,提出一種新的鄰域均值局部三值方向模式(NALTDP)。既能突出鄰域像素信息的變化又能表達(dá)紋理特征的方向性信息。

圖8 NALTDP的計算過程

給定一個位于3×3正方形鄰域內(nèi)的中心像素值Ci,其八個方向的鄰域像素值為Ap,p=1:8,NALTDP鄰域均值的計算公式如式(2)。

對于一個N×N像素的區(qū)域,每一個3×3像素的區(qū)域進(jìn)行鄰域均值的計算,得到一個由中心像素Ni,i=1:N-2構(gòu)成的(N-2)×(N-2)像素的正方形區(qū)域,將該區(qū)域記為N。

在區(qū)域N內(nèi),將NALTDP轉(zhuǎn)換為2個二值模式,如式(3)所示。為了擁有更好的魯棒性,將NALTDP分為上半部分(NALTDP＿U)和下半部分(NALTDP＿L),如式(4-7)所示。

在區(qū)域N內(nèi),任一個3×3像素的區(qū)域,中心像素值記為H5,相鄰像素值以水平編碼方式分別記為[H1、H2、H3、H4、H6、H7、H8、H9],以垂直編碼方式分別記為[V1、V2、V3、V4、V6、V7、V8、V9],將每個NALTDP分為水平部分(NALTDP＿H)和垂直部分(NALTDP＿V),如式(12-17)所示。

對圖像中的每個像素,建立上部、下部、水平和垂直四個部分的直方圖,并將其級聯(lián),獲得整個圖像的直方圖如下方法:

hNALTDP=hNALTDP＿U+hNALTDP＿L+hNALTDP＿H+hNALTDP＿V

(19)

NALTDP計算過程的示例如下:

輸入:肝臟CT圖像

輸出:分類識別率

1)預(yù)處理:提取38×38像素大小的肝臟CT圖像的感興趣區(qū)域,并將其按正常、異常分類得到數(shù)據(jù)集;

3)在區(qū)域N內(nèi),計算三值編碼:在3×3鄰域中采用閾值t計算上部編碼(NALTDP＿U)和下部編碼(NALTDP＿L);

4)在區(qū)域N內(nèi),計算方向編碼:在3×3鄰域中利用水平和垂直的編碼方式,計算水平編碼(NALTDP＿H)和垂直編碼(NALTDP＿V);

5)將編碼圖像劃分為m×n個子塊;

6)計算每個子塊三值編碼和方向編碼的NALTDP直方圖;

7)將各區(qū)域的上部、下部、水平和垂直的NALTDP直方圖級聯(lián),拼接成NALTDP特征向量;

8)使用PCA為特征向量降維;

9)將其送入SVM進(jìn)行訓(xùn)練;采用10折交叉驗(yàn)證,計算出圖像的分類識別率;

提出的NALTDP不同于經(jīng)典的LTP及其改進(jìn)方法,NALTDP表達(dá)了中心像素在相鄰各個方向上的鄰域變化關(guān)系以及方向信息。因此,與現(xiàn)有的描述符相比,NALTDP可以捕獲更多層次的空間信息。如圖9,NALTDP對肝臟CT圖像提取更多的紋理信息,突出圖像的差異性。

圖9 編碼后的結(jié)果圖

4 實(shí)驗(yàn)結(jié)果與分析

4.1 實(shí)驗(yàn)設(shè)置

本文實(shí)驗(yàn)環(huán)境:Windows 10操作系統(tǒng),MATLAB R2016a編程環(huán)境。實(shí)驗(yàn)所用的肝臟CT圖像數(shù)據(jù)來自江蘇省人民醫(yī)院。實(shí)驗(yàn)采用10折交叉驗(yàn)證的方法,將10組的識別率取平均值作為最終識別率。

4.2 不同級聯(lián)方式的實(shí)驗(yàn)結(jié)果

不同級聯(lián)方式下分類的實(shí)驗(yàn)結(jié)果如圖10,提出的鄰域均值三值方向模式(NALTDP)是鄰域均值三值模式(NALTP)和鄰域均值方向模式(NALDP)級聯(lián)而成。為了分析不同級聯(lián)方式對分類結(jié)果的影響,分別對NALTP、NALDP和NALTDP三種描述符進(jìn)行了實(shí)驗(yàn)。

圖10 不同級聯(lián)方式下的識別率

實(shí)驗(yàn)結(jié)果表明,級聯(lián)三值模式和方向模式的描述符擁有較高的分類識別率,分類識別率可達(dá)78.88%。

4.3 不同閾值的實(shí)驗(yàn)結(jié)果

GLTP、MTP以及NALTDP描述符都是在LTP的基礎(chǔ)上改進(jìn)且存在閾值t,閾值t的選取對實(shí)驗(yàn)結(jié)果產(chǎn)生影響。為了驗(yàn)證本算法的有效性,四種不同特征描述符在不同閾值t(1～10)時對肝功能“正?！焙汀爱惓！盋T圖像的分類識別率如圖11。

圖11 不同閾值下的識別率

實(shí)驗(yàn)結(jié)果表明,當(dāng)降維參數(shù)為1,分塊大小為9×9,從實(shí)驗(yàn)結(jié)果可以看出,本文提出的方法在不同閾值下的識別率都高于LTP、GLTP 、MTP描述符。當(dāng)閾值t取9時,NALTDP的識別率最高為79.12%,能更好地描述肝臟CT圖像的紋理特征。

4.4 不同降維參數(shù)的實(shí)驗(yàn)結(jié)果

為了降低特征維度,對提取的特征基于主成分分析(PCA)方法進(jìn)行降維。降維參數(shù)在0.8 ～ 0.99范圍內(nèi),分別基于LBP、GDP2、LTP、IWBC、MRELBP、LGDNHS和NALTDP進(jìn)行的肝功能“正?！焙汀爱惓！盋T圖像的分類識別率如圖12。其分塊大小為7×7,閾值為10。

圖12 不同降維參數(shù)下的識別率

實(shí)驗(yàn)結(jié)果表明,當(dāng)特征維度開始下降時,LBP、GDP2、LTP描述符的識別率會有所提高,而IWBC、MRELBP、LGDNHS、NALTDP描述符的識別率會降低?？傮w而言,隨著特征維度的降低,NALTDP描述符的識別率還是高于其它描述符。當(dāng)降維參數(shù)為0.8時,NALTDP的識別率最高且為79.24%。

4.5 不同描述符的實(shí)驗(yàn)結(jié)果

為了分析不同特征描述符對分類結(jié)果的影響,本文對7種不同描述符進(jìn)行了實(shí)驗(yàn)。將圖像分為3×3、5×5、7×7、9×9和11×11個子塊時,不同特征描述符分類識別的實(shí)驗(yàn)結(jié)果見表1。

表1 不同描述符下的識別率(%)

從表1可以看出,本文提出的方法在不同分塊大小下的識別率都高于其它描述符。當(dāng)圖像分為11×11個子塊時,NALTDP的分類識別率最高,識別率為78.88%。說明對于本算法,將圖像分為較大的子塊,可以獲得更有代表性的特征。

5 結(jié)論

針對肝功能正常和異常CT圖像之間差異性較小問題,提出一種新的描述符——鄰域均值局部三值方向模式(NALTDP)。利用中心像素各個方向的鄰域變化信息和方向信息,對圖像紋理進(jìn)行特征提取。NALTDP描述符表達(dá)了更多層次的局部紋理信息,放大圖像間的差異性。實(shí)驗(yàn)表明,在不同參數(shù)情況下,與已有的幾種方法相比,NALTDP對肝功能正常和異常CT圖像的分類識別率明顯更高。該方法具有良好的魯棒性和有效性,未來可應(yīng)用到其它紋理分類領(lǐng)域。