基于LBP紋理特征的白帶顯微圖像中上皮細(xì)胞檢測方法

杜曉輝，劉 霖，張 靜，王祥舟，倪光明，劉娟秀

(電子科技大學(xué) 光電科學(xué)與工程學(xué)院，四川 成都 610054)

1 引 言

白帶常規(guī)是醫(yī)院對女性生理疾病的常規(guī)檢查手段之一。白帶常規(guī)的主要檢查手段是顯微鏡檢的方式，通過觀察鏡下細(xì)胞等有型成分的比例來給出診斷結(jié)果。白帶顯微圖像中上皮細(xì)胞是主要的有型成分，通過識別和對上皮細(xì)胞進行計數(shù)等方式可以診斷病人的生理健康狀況，例如是否具有細(xì)菌性陰道疾病等，并且上皮細(xì)胞是判斷白帶樣本清潔度的重要指標(biāo)之一。目前，白帶顯微圖像中細(xì)胞的識別是通過醫(yī)生人為判斷的方式，這種方式效率低，主觀性強，容易引起誤判。并且由于人工鏡檢的衛(wèi)生問題，受到醫(yī)生的反感和抵制。因此，提出一種白帶顯微圖像中的上皮細(xì)胞的自動識別算法很有必要。

隨著機器視覺和深度學(xué)習(xí)技術(shù)的發(fā)展，研究人員提出了許多顯微圖像中細(xì)胞等有型成分的識別算法。在顯微圖像的自動識別領(lǐng)域，Laosai[1]等人提出了一種巴干細(xì)胞和骨髓干細(xì)胞的識別檢測算法，他們從分裂的細(xì)胞質(zhì)和細(xì)胞核中提取了外形和紋理的特征，并結(jié)合各種分類器進行分類，實驗表明，支持向量機取得了最佳識別效果。Ghosh[2]等人提出了一種血液中白細(xì)胞的自動檢測算法，作者用區(qū)域集理論和冗余消除算法來進行白細(xì)胞的分割，并用基于梯度的鄰域增大法來恢復(fù)其邊界，分類時用到了模糊和非模糊技術(shù)提取了目標(biāo)的大小、形狀、顏色和紋理特征。Gautam[3]等人用大津閾值二值化算法分割血液顯微圖像中的白細(xì)胞成分，并用樸素貝葉斯分類器對提取的細(xì)胞核特征進行了分類。上述應(yīng)用主要是采用特征+分類器的方法進行目標(biāo)檢測，這種方法具有一定的局限性，例如，文獻[1]的特征是細(xì)胞質(zhì)和細(xì)胞核的特征，而對于白帶顯微圖像中上皮細(xì)胞的這些特征并不明顯；文獻[2]和文獻[3]中的檢測對象主要針對血液中的白細(xì)胞，文獻[2]的特征為白細(xì)胞的邊緣和顏色特征，而文獻[3]則側(cè)重于細(xì)胞核特性，白帶中的上皮細(xì)胞特性則主要表現(xiàn)為細(xì)胞內(nèi)部的網(wǎng)狀紋理特征。這些模型均需要設(shè)計適用于特殊圖像條件下的分類器來實現(xiàn)對目標(biāo)對象的識別，而對于白帶顯微圖像中上皮細(xì)胞的識別并不適用。

近年來，深度學(xué)習(xí)應(yīng)用廣泛，發(fā)展迅速，已經(jīng)成為目標(biāo)檢測學(xué)科的研究熱門。Jane[4]等人在基于Faster R-CNN的理論模型上，提出了亮場顯微圖像中瘧疾感染的血液細(xì)胞檢測方法，與傳統(tǒng)的隨機森林分類方法相比，識別的準(zhǔn)確率得到了很大的提升。Wu[5]等人提出了一種檢測卵巢癌細(xì)胞的深度學(xué)習(xí)方法，作者對Alexnet網(wǎng)絡(luò)進行改進，并對圖像數(shù)據(jù)做了增強處理，最終模型的分類識別率提升了6%。Lu[6]等人提出了一種結(jié)合梯度方向直方圖(HOG)和卷積神經(jīng)網(wǎng)絡(luò)(CNN)的分類識別模型，該模型在白帶顯微圖像中對霉菌識別效果很好，文中將HOG特征與CNN提取的特征進行組合，并用主成分分析法進行降維處理。然而，深度學(xué)習(xí)模型受制于數(shù)據(jù)集的影響，少量的樣本采用卷積神經(jīng)網(wǎng)絡(luò)等方法無法達(dá)到高檢測準(zhǔn)確率，模型容易過擬合[7-9]。

因此，采用基于特征和分類器的方法實現(xiàn)上皮細(xì)胞的檢測是一種有效的解決方案。上皮細(xì)胞區(qū)別于其他細(xì)胞，其識別難點在于上皮細(xì)胞具有不定的形態(tài)特性，外形大小、形狀和顏色沒有明顯的特征。本文在綜合分析白帶顯微圖像中的上皮細(xì)胞特性的基礎(chǔ)上，提出了一種基于LBP紋理特征的上皮細(xì)胞檢測算法，有效地實現(xiàn)了上皮細(xì)胞的高檢測準(zhǔn)確率和高效率，為實現(xiàn)白帶常規(guī)的智能化、自動化提供了理論基礎(chǔ)。

2 基于紋理特征的上皮細(xì)胞檢測方法

2.1 前景目標(biāo)提取方法

在對上皮細(xì)胞進行特征提取和分類時，需要在圖像中提取正樣本(上皮細(xì)胞)和負(fù)樣本(類上皮細(xì)胞雜質(zhì))。在白帶顯微圖像中，上皮細(xì)胞占據(jù)了圖像視野中的很大比例，上皮細(xì)胞通常具有網(wǎng)狀的紋理結(jié)構(gòu)，并且面積較大，如圖1所示。

圖1 白帶顯微圖像中上皮細(xì)胞示意圖。(a)視野(1)；(b)視野(2)。Fig.1 Schematic diagram of epithelial cells in leucorrhea microscopic images. (a)View (1); (b)View (2).

顯微圖像中前景目標(biāo)的提取方法很多，例如文獻[2]中提出的區(qū)域集理論和冗余消除算法用于白細(xì)胞的前景目標(biāo)提取，文獻[3]中提出的大津閾值用于白細(xì)胞的前景目標(biāo)提取方法。此外，于躍[10]等人提出了基于中國餐廳模型的馬爾科夫圖像自動分割方法。在目標(biāo)檢測中，常用的還有選擇性搜索算法[11]和圖割法[12]等。然而，上述前景目標(biāo)分割方法的復(fù)雜度高，計算量大，由于白帶顯微圖像具有高清潔性和雜質(zhì)少的特點，背景雜質(zhì)相比較于其他顯微圖像更少，實現(xiàn)前景分割的難度低，同時上皮細(xì)胞通常具有較大的細(xì)胞面積，用常規(guī)的圖像處理方法即可實現(xiàn)前景目標(biāo)的分割。具體的方法如圖2所示。

首先，圖像進行灰度化：輸入圖像是具有彩色信息的，而上皮細(xì)胞的識別更依賴于形態(tài)和紋理，對彩色信息的依賴少，因此，需要將圖像采用灰度化來進行處理。其次，對圖像進行預(yù)處理：圖像中通常含有噪聲、雜質(zhì)等物體，這些噪點會影響后續(xù)的形態(tài)學(xué)處理結(jié)果，因此采用了中值濾波的方式使得圖像更加平滑，中值濾波器的大小為5×5的矩形濾波器。第三，采用頂帽變換和大津閾值法進行二值化：形態(tài)學(xué)中的頂帽變換具有增強圖像對比度的作用[13]，而采集到的白帶顯微圖像中，上皮細(xì)胞較薄，透明性好，容易溶于背景中。因此，本文采用頂帽變換對其進行對比度增強。經(jīng)過頂帽變換后，圖像更容易實現(xiàn)二值化，弱化了二值閾值對于分割效果的影響。此時，采用大津閾值法即可實現(xiàn)有效的分割。第四，進行形態(tài)學(xué)連接：二值分割后的圖像具有一些離散的點。這些點是由于上皮細(xì)胞的網(wǎng)狀紋理結(jié)構(gòu)導(dǎo)致的。為還原上皮細(xì)胞的原始形態(tài)大小，需要將這些離散的點進行連接，具體的實現(xiàn)方式是采用閉運算的方式，閉運算大小為13×13的矩形結(jié)構(gòu)元。最后，連通域篩選：對連接后的圖像進行連通域標(biāo)記，并獲取各個連通域的面積和外界矩形等信息。根據(jù)上皮細(xì)胞的外形及面積特點，設(shè)置合適的閾值對其他物質(zhì)進行過濾。上皮細(xì)胞的外形條件為：

外接矩形長寬： [100, 1000]；

外接矩形面積： [10000, 2100000]；

連通區(qū)域面積： [11000, ∞)。

2.2 LBP紋理特征提取方法

LBP(Local Binary Pattern，局部二值模式)，T. Ojala[14]于1994年提出的一種紋理特征提取算子。LBP算子特征提取已經(jīng)廣泛應(yīng)用于機器視覺檢測領(lǐng)域，并且取得了很好的識別效果。LBP具有旋轉(zhuǎn)不變性和灰度不變性等特征，并且支持多尺度分析。LBP具有多種模式，標(biāo)準(zhǔn)模式、圓形LBP與旋轉(zhuǎn)不變模式和等價模式[15]等。LBP的算子如圖3所示。

圖3 LBP算子示意圖Fig. 3 Diagram of LBP operator

定義中心像素點的紋理為T，則T可以表示為：

T=t(gc,g0-gc,g1-gc,...,gP-1-gc)，

(1)

式中:gc為中心點像素值，gi為各鄰域像素值。假設(shè)gc和gp-gc是相互獨立的，則：

T≈t(gc)t(g0-gc,g1-gc,...,gP-1-gc).

(2)

實際中，這種獨立分布只是一種近似。由于t(gc)描述的是整體光照的改變，因此，該值對于紋理信息沒有意義，式(2)可以變形為：

T≈t(g0-gc,g1-gc,...,gP-1-gc).

(3)

對于像素值恒定的區(qū)域，gp-gc=0；對于斜邊，該算子在梯度方向上具有最大的差分，而沿著梯度方向差分為0；對于斑點，在所有方向上的差分均很大。 對于光源是不受影響的，用差分的符號來表示T，這樣T具有灰度不變性。

T≈t[s(g0-gc),s(g1-gc),...,s(gP-1-gc)]，

(4)

式中:

(5)

對每一項賦予二項式因子2P，最終圖像紋理結(jié)構(gòu)描述為：

(6)

圓形LBP算子僅僅具有灰度尺度不變性，而不具有旋轉(zhuǎn)不變性。當(dāng)圖像被旋轉(zhuǎn)后，gi和gc的位置發(fā)生了變化，導(dǎo)致LBP取得不同的值。式(6)將會有2P個不同的值。為保證旋轉(zhuǎn)不變性，定義：

(7)

即相當(dāng)于對鄰域進行旋轉(zhuǎn)得到的LBP的最小值。這樣，即使該鄰域旋轉(zhuǎn)多次，得到的LBP仍然是同一個值。

LBP算子通常具有多種二進制模式。一個圓形的具有P個鄰域點的LBP算子，具有2P個不同的值，即2P個不同模式。當(dāng)鄰域點逐漸增多時，其模式是呈指數(shù)性增長的。例如，當(dāng)鄰域有10個點，就會有1 024個模式；當(dāng)鄰域有20個點時，會有1 048 576種二進制模式。模式過多，對于紋理的表達(dá)和提取、紋理特征的識別都是不利的。在使用LBP特征時，通常采用LBP直方圖的形式來表征。模式越多，特征的維度就會越大，并且越稀疏。這時，需要對其進行降維。Ojala提出了等價模式的降維方法，即在LBP的模式中，計算0到1或者1到0的跳變次數(shù)，這樣，特征由原來的2P降低為P(P-1)+2。對于8鄰域點，特征由256降低為了58。

2.3 特征分類方法

對于特征的識別，可以用多種分類器來實現(xiàn)。其中，支持向量機(Support Vector Machine, SVM)是機器學(xué)習(xí)中應(yīng)用最廣的一種分類方法。SVM的分類原理與線性回歸的分類方法類似。SVM中，期望找到一個最佳的分類超平面使得超平面兩側(cè)的特征點到超平面的距離最遠(yuǎn)，這個最遠(yuǎn)間隔中間的超平面就是SVM的分類超平面。因此，SVM的問題是一個最優(yōu)化問題。SVM的求解方法可以參考SMO算法[16]。由于待分類的特征并非一定是線性的，因此，SVM中提出了核函數(shù)的概念，將低維線性不可分的特征映射到高維空間，使其能夠線性可分。常用的核函數(shù)有線性核函數(shù)、多項式核函數(shù)、徑向基核函數(shù)、拉普拉斯核函數(shù)和Sigmoid核函數(shù)等。其中，徑向基核函數(shù)最為常用。這是因為徑向基核函數(shù)可以將維度擴展到無窮維的空間，其對應(yīng)的是泰勒級數(shù)展開，在泰勒級數(shù)中，一個函數(shù)可以分解為無窮多個項的和，其中，每一個項可以看作是對應(yīng)的一個維度，這樣，原函數(shù)就可以看作是映射到了無窮維的空間中。其表達(dá)式如下：

k(x,y)=exp(-γ‖x-y‖2).

(8)

3 實驗結(jié)果與分析

為對模型進行分析，本文通過顯微成像系統(tǒng)收集了5 000個不同視野的圖像(共500個實驗樣本，每個樣本采集10個視野)。在每個圖像中，通過人工標(biāo)記的方式對上皮細(xì)胞進行框選，作為目標(biāo)的真實值(Ground Truth)。統(tǒng)計共框選上皮細(xì)胞樣本1 735個。根據(jù)上述前景目標(biāo)提取算法得到的結(jié)果如圖4所示。

(a) 上皮細(xì)胞(a) Epithelial cells

(b)雜質(zhì)(b) Impurities圖4 前景目標(biāo)示意圖Fig.4 Image of foreground targets

在目標(biāo)檢測中，常用的評價方法是精確率(Precision)、召回率(Recall)和F1值，其表達(dá)式如下：

(9)

(10)

(11)

計算TP、FP和FN時需要考慮IOU(Intersection Over Union)。IOU的定義如圖5所示。

圖5 IOU示意圖Fig.5 Diagram of IOU

本文取IOU的閾值為0.5。對于檢測出的前景目標(biāo)的外接矩形，若該矩形與其最接近的真值目標(biāo)的外接矩形的IOU大于閾值，且類別一致，則該外接矩形為TP；若該外接矩形與所有的目標(biāo)真值的外接矩形IOU都小于閾值，則為FN；若對于一個真值目標(biāo)框，沒有一個檢測出的前景目標(biāo)的外接矩形與其IOU大于閾值，則為FP。

3.1 前景目標(biāo)提取方法結(jié)果與分析

通過人工標(biāo)注和框選，實際提取的前景目標(biāo)為2 361個，其中，通過前景目標(biāo)提取算法提取到的真陽性(TP)樣本為1 696個。因此，計算得到前景目標(biāo)的召回率為：

(12)

此外，提取得到負(fù)樣本665個。

從圖4中可以看出，由于前景目標(biāo)分割算法對于前景目標(biāo)的篩選僅限于面積和外界矩形等大小特征，因此，對于某些粘連的細(xì)胞和雜質(zhì)也將其分割出來作為前景目標(biāo)。

3.2 LBP特征提取參數(shù)及結(jié)果分析

提取的前景圖像采用LBP算子來提取圖像的特征，為保證輸出的特征維度一致，需要對待提取特征的圖像進行放縮，使其放縮至同一大小。放縮的方式采用雙線性插值的方式。根據(jù)提取的前景目標(biāo)的平均大小，放縮的大小為320×320。經(jīng)過LBP算子處理后的圖像為LBP紋理圖像，如圖6所示。

圖6 LBP紋理特征示意圖Fig.6 Diagram of LBP Texture

然而，LBP紋理特征圖像不能直接作為圖像的特征信息，這是因為所有的像素點LBP值作為特征后生成的特征維度很大。一般的，采用紋理特征直方圖的形式作為其特征。

根據(jù)LBP特征的4種不同模式，即標(biāo)準(zhǔn)模式、旋轉(zhuǎn)不變模式、等價模式、旋轉(zhuǎn)等價模式，對其進行分析。當(dāng)輸入鄰域半徑(R)為1，鄰域點個數(shù)(P)為8時，SVM分類器參數(shù)為C=1，正負(fù)樣本權(quán)重比：3∶8，γ=1/feature_dim，得到最終的結(jié)果對比如表1所示。

表1 不同LBP模式下識別精確率和召回率(R=1，P=8)

Tab.1 Precision and recall under different LBP modes (R=1,P=8)

LBP模式特征維度精確率/%召回率/%F1/%標(biāo)準(zhǔn)LBP25687.683.785.6旋轉(zhuǎn)不變LBP25689.277.883.1等價模式5890.982.086.2旋轉(zhuǎn)等價模式1089.979.284.2

從表1可以看出，在等價模式的LBP中，精確率、召回率、F1等評價指標(biāo)均取得了較好的檢測效果。與標(biāo)準(zhǔn)LBP、旋轉(zhuǎn)LBP模式相比較，等價模式LBP具有更少的特征，更高的檢測指標(biāo)，這對于模型SVM的訓(xùn)練效率具有很大的提升效果。等價模式中，雖然特征少，即相當(dāng)于對前兩種模式的降維，但是等價模式并沒有丟失任何的特征信息，反而對圖像紋理的邊緣、角點、斑點都具有很好的表征。對于旋轉(zhuǎn)等價模式，特征維度變得更小，一定程度上將有用的特征信息進行了縮減，因此識別效果較差。在白帶顯微圖像中，由于上皮細(xì)胞的內(nèi)部網(wǎng)狀結(jié)構(gòu)更傾向于角點和邊緣的特征，因此等價模式對于上皮細(xì)胞的識別具有較好的檢測效果。

對LBP的不同參數(shù)進行分析和測試，得到結(jié)果如表2所示。

表2 不同LBP參數(shù)下識別精確率和召回率(等價模式)

Tab.2 Precision and recall rate under different LBP parameters (uniform mode)

RP精確率/%召回率/%F1/%1890.982.086.22889.282.085.421690.284.187.13889.483.186.1

續(xù) 表

從表2中可知，當(dāng)(P,R)參數(shù)為(4, 32)時，LBP提取的特征能夠達(dá)到最佳的分類效果。當(dāng)P參數(shù)保持不變時，例如P=8，隨著R參數(shù)的增加，檢測效果無明顯的變化，如圖7所示。因此可以得出結(jié)論，R參數(shù)對于上皮細(xì)胞的識別影響較小。

圖7 P=8，R關(guān)于各項指標(biāo)的變化曲線。Fig. 7 P=8, the change curves of R with respect to each index.

當(dāng)R參數(shù)保持不變時(R=4)，P參數(shù)的變化曲線如圖8所示。

圖8 R=4時，P關(guān)于各項指標(biāo)的變化曲線。Fig.8 Change curves of P with respect to each index when R=4

從圖8中可以發(fā)現(xiàn)，隨著P的增大，各項評價指標(biāo)均得到了提升。因此，P參數(shù)越大，對于上皮細(xì)胞的檢測效果越好。然而P越大，代表鄰域點越多，因此，帶來的計算量也增加，而(P,R)參數(shù)為(4, 32)的效果相比較于(P,R)參數(shù)為(4, 24)效果提升不高。。

綜上，LBP特征的提取算子經(jīng)過SVM分類后得到最佳的檢測指標(biāo)的參數(shù)為：P=4，R=24，等價模式。最終識別效果為精確率：89.5%，召回率：88.0%，F(xiàn)1：88.7%。

3.3 與其他紋理特征比較結(jié)果與分析

本文將LBP特征算子與其他紋理特征，例如梯度方向直方圖(Histogram of Gradient, HOG)、Gabor特征相比較，均取得了最好的檢測效果，如表3所示。

表3 不同特征方法下目標(biāo)識別精確率和召回率

Tab.3 Target recognition precision and recall rate under different feature methods

特征維度精確率/%召回率/%F1/%LBP55489.588.088.7Gabor[17]6 40077.490.683.5Hog[18]90082.890.986.7LBP+HOG1 45486.990.988.7LBP+Gabor6 95482.592.587.2Gabor+HOG7 30081.392.586.5

從表3中可以看出，LBP特征算子較LBP+HOG和LBP+Gabor算子的結(jié)合檢測效果更好。LBP特征算子較組合算子具有更少的特征維度，而組合特征的維度則遠(yuǎn)多于LBP的特征維度。盡管特征維度增加，但是對于目標(biāo)表征能力的泛化性能會減弱，導(dǎo)致模型容易陷入過擬合，從而使得測試集檢測準(zhǔn)確率反而更差。

綜合本文所提出的白帶顯微圖像中上皮細(xì)胞檢測算法，其檢測召回率為前景目標(biāo)分割算法和特征提取分類算法的召回率乘積，即86%。平均檢測時間為304 ms (CPU：Intel Core i7-5960X CPU @ 3.0 GHz×8，內(nèi)存：32 G，Windows 7 64位)，最終的檢測效果如圖9所示。

圖9 上皮細(xì)胞檢測效果圖。(a)視野1;(b)視野2。Fig.9 Result of epithelial cell detection. (a)View 1; (b)View 2.

4 結(jié) 論

針對白帶常規(guī)中上皮細(xì)胞的自動化檢測需求，本文提出了基于LBP紋理特征的上皮細(xì)胞檢測算法。算法主要包含3個模塊，首先，介紹了顯微圖像中上皮細(xì)胞的前景目標(biāo)提取算法；然后，提出了LBP的特征提取方法；最后，用SVM模型對特征實現(xiàn)分類。實驗結(jié)果表明，本文提出的算法檢測精度高，效率快，檢測精確率為89.5%，召回率為86.0%。所提出的模型較其他紋理特征模型均具有更好的檢測準(zhǔn)確率，該模型的提出為實現(xiàn)白帶常規(guī)中鏡檢的自動和智能化提供了理論和算法基礎(chǔ)。