增強型局部二值模式及其圖像紋理特征提取

申 柯,陳 熙

(貴州師范大學大數(shù)據(jù)與計算機科學學院,貴州 貴陽 550025)

1 引言

紋理是圖像的一種重要特征,自20世紀60年代以來一直是深入研究的主題,它在圖像分割,基于內(nèi)容的圖像檢索、視頻監(jiān)控、運動檢測、遠程遙感、生物特征識別、計算機圖形和圖像紋理合成等領域得到了廣泛的研究與應用[1]。特別是近年來隨著人工智能研究的不斷發(fā)展,圖像紋理識別已經(jīng)是計算機視覺領域最熱門的研究方向之一。圖像紋理識別技術在不斷追求自身優(yōu)化創(chuàng)新的同時,也為其它領域帶來了極大的便利,受到了其它領域廣泛的關注。

特征提取是紋理識別中很重要的一個環(huán)節(jié),很多人把特征提取作為研究的重點。比較常用的有Gabor小波[2]、主成分分析(PCA)[3]、梯度方向直方圖(HOG)[4]和局部二值模式(LBP)[5]等算法。其中,Gabor小波性能非常高,但計算復雜度也高。PCA是對圖像的全局特征進行提取,易受到人在不同姿態(tài)下和不同光照的影響,得到的結果往往不能令人滿意[6]。HOG算子在求取圖像梯度的時候忽略了中心像素點的作用,導致梯度特征提取準確性降低[7]。目前,一類研究和應用都比較廣泛的是紋理特征提取方法是Ojala等[8]在1994年提出的LBP算法。LBP算法可以提取人臉局部特征,該算法具有旋轉不變性和灰度不變性等優(yōu)點[9],對不同姿態(tài)和光照有很好的魯棒性,但是容易缺失部分紋理細節(jié)而且對方向信息敏感。

就人臉識別來說,由于LBP算法能夠很好的描述人臉的局部特征,所以近年來針對LBP算法的研究比較多。并且從不同角度(比如:降低噪聲、編碼方式、旋轉不變性、降維等)進行擴展與深入研究。Dong[10]等利用LBP在YaleB人臉數(shù)據(jù)庫中取得87.65%的識別率。Chakraborty[11]等提出局部矢量模式與廣義距離局部二值模式,提高了識別精度。Dan[12]等提出了JLBP(Joint Local Binary Patterns) 算子,考慮了不同尺度LBP特征之間的關系。為了降低噪聲的影響,Hafiane[13]等提出MBP(Median Binary Pattern)算子進行了降噪處理。Girish[14]等使用多尺度局部二值模式與PCA結合,在JAFFEE和INDIAN數(shù)據(jù)庫上進行識別,取得了很好的效果。李聞[15]等提出了局部二值模式與中心對稱局部微分模式(CS-LDP)自適應特征融合算法,融合特征獲得更豐富的圖像紋理信息,本文受到其啟示,把局部二值模式與環(huán)式局部二值模式進行融合,對人臉圖像進行識別,改善了人臉識別算法的性能,獲取了更全面的人臉圖像紋理特征。

同樣,在生物特征識別中,掌紋識別也是一個重要的研究方向。掌紋識別的應用領域也很廣泛,比如犯罪現(xiàn)場取證、門禁等等,而且與其它生物識別的技術相比,掌紋識別有著易采集、具有細節(jié)點和主線等、辨識度高的優(yōu)勢[16]。局部紋理算法對掌紋可以進行很好的描述,非常適合用來進行掌紋識別的研究。上述提出的融合算法同樣也可以在掌紋數(shù)據(jù)庫上進行識別,并且經(jīng)過實驗驗證取得了良好的識別性能。在以上提及的三個數(shù)據(jù)庫上進行了一系列實驗,包括圖像分塊實驗、在不同樣本數(shù)下的識別率實驗、多分辨率實驗、噪聲環(huán)境下的識別率實驗以及對各算法復雜度進行了評價。

2 算法簡介以及融合算法

2.1 局部二值模式(LBP)

LBP是一種用來提取局部紋理特征的紋理描述符。許多研究中,在準確性和計算復雜性方面展現(xiàn)了其出色的結果。對3×3的像素單元進行特征提取,它能夠很好地描述圖像的紋理特征,具有旋轉不變性和灰度不變性等優(yōu)點。盡管LBP在計算機視覺和模式識別領域取得了巨大的成功,但其潛在的工作機制仍有待進一步研究。為了能夠處理不同尺度的紋理,LBP被擴展到使用不同大小的鄰域。對于原始LBP算法,其算法的基本思想是:取圖像中的任意像素點作為中心像素點,以3×3像素矩形區(qū)域作為鄰域,對其進行編碼。將中心像素值與其鄰域像素值逐一進行比較,若中心像素值大于鄰域的像素值,該點記為0,反之記為1。例如在圖1(a)中所示,為3×3的像素單元,LBP計算過程為:開始X1先與X0進行比較,X1的對應位置值66小于X0對應位置的值88,所以X1對應位置的值記為0;再比如X5與X0進行比較,X5對應位置的值91大于X0對應位置的值88,所以X5對應位置的值記為1,比較過程如圖1(b)所示。通過一輪計算就得到了其鄰域的8位二進制數(shù),分別乘以它們對應的權值將其轉換為相應的十進制數(shù)代替中心像素點的值。從X1像素點開始依次與中心像素X0值88進行比較,得到二進制編碼為01110000,此時X0處的像素值變?yōu)?20。

圖1 (a)為像素單元(b)為原始LBP算子

圖像中心像素點X0的LBP值通過如下式(1)得到

(1)

原始LBP算子利用閾值函數(shù)對中心像素與其3×3鄰域之間的差值進行編碼,并對閾值進行2的冪求和。基本LBP的閾值函數(shù)可以定義為

(2)

其中,Xi,i=1,2,…,8為中心像素X0周圍的8個鄰域點,f(xc,yc)為中心像素點X0處的LBP值;ai為鄰域點像素值;ac為中心點像素值;g(x)為閾值函數(shù)。直到識別出所有像素點的LBP值后,構建一個直方圖來表示紋理圖像,其中包含了圖像中邊緣、紋理等局部特征的分布信息。

2.2 環(huán)式局部二值模式(RLBP)

原始的3×3LBP算法只考慮了中心像素點與其鄰域像素點之間的關系,并沒有考慮其與間隔像素點之間的關系。若考慮中心像素與其間隔像素之間的關系,鄰域范圍就必須由3×3擴展到4×4的像素單元,這無疑大大提高了算法的計算復雜度。經(jīng)過思考與實踐,本文提出的RLBP算法在不用擴展鄰域范圍的情況下得到間隔像素的關系。

該算法的基本思想是在3×3鄰域范圍內(nèi),以中心像素點左上方像素點X1為起始點,與順時針方向取間隔為1的點進行比較,例如在圖2中,RLBP算子為3×3的像素單元,RLBP計算過程為:開始X1先與X3進行比較,X1的對應位置值66大于X3對應位置的值56,所以X1對應位置的值記為1;再比如X2與X4進行比較,X2對應位置的值46小于X4對應位置的值80,所以X2對應位置的值記為0。以此類推,進行8次比較得到一個八位二進制數(shù),二進制編碼為11100000,此時X0處的像素值變?yōu)?24。

圖2 RLBP算子

圖像中心像素點X0的RLBP值通過如下式(3)得到

(3)

基本RLBP的閾值函數(shù)可以定義為

(4)

其中,其中,Xi,i=1,2,…,8為中心像素X0周圍的8個鄰域點,f(xc,yc)為中心像素點X0處的RLBP值;ai為中心像素點的鄰域點的像素值;ai+2為與ai相間隔點的鄰域像素值;g(x)為閾值函數(shù)。

此算法雖然在3×3鄰域范圍內(nèi)實現(xiàn)了間隔像素之間的關系,但是缺陷很明顯,沒有考慮到原始中心像素點的值。為了使得既能在3×3鄰域內(nèi)考慮到間隔像素點之間的關系,又能考慮到與中心像素點之間的關系。下面將本文提出的RLBP與原始的LBP算法進行融合,同時解決了這兩個算法的缺陷,實現(xiàn)了在3×3鄰域內(nèi)同時兼顧相鄰像素點和間隔像素點的聯(lián)系。

2.3 融合算法

融合算法使得LBP算法和RLBP算法之間互補,同時解決了兩個算法的缺陷。在3×3鄰域內(nèi)獲得了中心像素點與相鄰像素點和間隔鄰域之間的關系。在沒有擴大鄰域范圍的情況下提取到更加豐富的圖像特征識別信息,經(jīng)過實驗驗證,在很多方面都取得了更好的識別效果,與其它幾種算法相比識別率有所提高。融合算法流程如圖3所示,圖3中使用融合算法進行提取紋理特征的步驟如下:

圖3 特征向量融合

1)選定某個數(shù)據(jù)集,在此數(shù)據(jù)集中隨機選取n張圖像作為訓練集數(shù)據(jù),剩余圖像作為測試集來測試性能。并且對每幅圖像進行分塊處理,假設下圖中原始圖像I被均勻分割成若干不重疊的4×4的正方形子塊I(k)(k=0,1,2,…,15),在每個子塊上進行操作,使得算法提取的特征更加精細。

χ(ILBP+RLBP,PLBP+RLBP)

(5)

其中,Y表示的是融合子圖像數(shù)量,Z表示的是所生成融合特征向量的長度。

3 實驗結果與分析

為了驗證本文改進算法的有效性與準確率,在兩個人臉數(shù)據(jù)集:ORL人臉數(shù)據(jù)集和Extend YaleB人臉數(shù)據(jù)集以及一個掌紋數(shù)據(jù)庫:香港理工大學Poly U掌紋圖像數(shù)據(jù)集上進行了一系列實驗。并且做了大量的對比實驗,與LBP、RLBP、CS＿LBP、CS＿LDP、LBP與CS＿LDP的融合算法多種同類算法進行了比較,證明了本文提出的融合算法在一些方面的優(yōu)勢。為了驗證融合算法在噪聲干擾下的魯棒性,本文還進行了抗噪聲實驗以及對比實驗,為數(shù)據(jù)集圖像添加了椒鹽噪聲以及泊松噪聲進行實驗。最后對各算法復雜度進行了分析。

3.1 圖像數(shù)據(jù)集

ORL人臉數(shù)據(jù)集是由英國劍橋的Olivetti研究實驗室在1992年4月至1994年4月期間創(chuàng)建的。其中包含400張圖像,其中包括40個人,每人10張在不同的時間、不同的光照、不同的面部表情(睜眼/閉眼,微笑/不微笑)和面部細節(jié)(戴眼鏡/不戴眼鏡)環(huán)境下采集的,是人臉識別常用的數(shù)據(jù)集之一。圖4(a)是該在數(shù)據(jù)集中截取的圖片。本文實驗中,采用雙線性插值將每幅圖像大小調(diào)整為64×64像素進行預處理。圖4(b)截取的是Yale大學創(chuàng)建的ExtendYale B人臉數(shù)據(jù)集,該數(shù)據(jù)集包括38個人,每人64張,共2432張在不同光照、不同表情和不同姿態(tài)下的人臉圖像。根據(jù)攝像機與實驗者人臉的方向角(12°,25°,50°,77°,90°)將每個人的64張照片分為5個子集,每人每個子集的人臉數(shù)目分別為(7,12,12,14,19)。在本實驗中同樣將其進行預處理為64×64像素大小的圖像。圖4(c)是從香港理工大學Poly U掌紋圖像數(shù)據(jù)集中截取的部分圖像,Poly U掌紋數(shù)據(jù)庫包含7752幅BMP圖像格式的灰度圖像,對應386個不同的掌紋。該數(shù)據(jù)集中所有原始掌紋圖像的分辨率為384×284像素,在本文實驗中所有的圖像均被調(diào)整為64 ×64像素大小。

圖4 預處理樣本圖像

3.2 不同分塊下的性能分析

實驗中首先對圖像進行預處理,采用雙線性插值將每幅圖像大小調(diào)整為64×64像素,然后為其選取適當?shù)姆謮K進行后續(xù)實驗。分塊對于識別效果有著極大的關系,分塊數(shù)過多會導致引入噪聲,擴大噪聲對實驗結果的影響。分塊數(shù)過少會導致特征過少,不夠豐富,從而影響識別效果。

本文使用在每個數(shù)據(jù)集上隨機選取樣本數(shù)n=5來進行分塊實驗,通過重復實驗10次求取平均識別率來確定后續(xù)實驗分塊數(shù)。圖5(a)是在ORL數(shù)據(jù)集上進行實驗的實驗結果,結果表明在ORL數(shù)據(jù)集上取2×2分塊時識別率最高,分塊數(shù)過多或者過少都影響了實驗的準確率,后續(xù)一系列在ORL數(shù)據(jù)集上的實驗會以2×2分塊進行。圖5(b)是在Extend Yale B數(shù)據(jù)集上的實驗結果,由此可知,在8×8時實驗準確率達到最高。在此數(shù)據(jù)集上進行了更細致劃分的16×16分塊的附加實驗,實驗準確率比8×8略微提高,但是時間損耗過大,因此后續(xù)系列實驗在8×8分塊的基礎上進行。圖5(c)是在poly U掌紋數(shù)據(jù)庫中的分塊實驗結果,在4×4分塊時識別率達到很好的效果,因此在poly U掌紋數(shù)據(jù)庫中的后續(xù)系列實驗在4×4分塊的基礎上進行。

3.3 不同樣本數(shù)據(jù)下的性能分析

實驗識別率除了與上述的分塊有很大關系外,與訓練樣本數(shù)也有很大的關系,一般情況下,隨著訓練集樣本數(shù)的增加,識別率也會提高。因此,在接下來的實驗是在每個數(shù)據(jù)集中對每個受試者在不同的樣本數(shù)的情況下進行實驗驗證。

3.3.1 在ORL數(shù)據(jù)集上的實驗

根據(jù)實驗數(shù)據(jù)集的大小,在每個數(shù)據(jù)集上選擇相應的分塊與樣本數(shù)進行實驗。表1為在ORL數(shù)據(jù)集上由分塊實驗驗證取得最好效果的分塊數(shù)為2×2情況下,在每個受試者的樣本中隨機選擇訓練集樣本數(shù)為n(n=3,4,5,6,7),剩余樣本作為測試集進行實驗,重復10次實驗,將實驗得到的結果繪制在下圖6中,并求取10次實驗的平均識別率與標準偏差,在下表1中列出。經(jīng)過實驗驗證,本文提出的融合算法與其它幾種算法相比有較好的識別精度。

表1 ORL人臉數(shù)據(jù)集中的平均識別率(%)與標準偏差(%)

圖6 在ORL數(shù)據(jù)集上的平均識別率

3.3.2 在ExtendYale B數(shù)據(jù)集上的實驗

光照變化一直是人臉識別中具有挑戰(zhàn)性的問題,關于應對光照方面的問題,在不同的光照下各種算法的識別精度有較大的差異。為了驗證融合算法在關照影響下的魯棒性,在著名的ExtendYale B人臉數(shù)據(jù)庫上進行了實驗驗證,該數(shù)據(jù)集包括38名受試者,每個受試者有64張圖片,是較大的數(shù)據(jù)集。表2為本隨機選擇每一位受試者圖片樣本數(shù)為n(n=5,6,7,8,9)作為訓練樣本,每個受試者剩下的64-n張圖片作為測試集數(shù)據(jù),在上述實驗驗證取得最好效果的分塊數(shù)8×8塊的情況下進行的下列實驗。該實驗重復進行10次,通過將這10次實驗計算平均識別率作為實驗最終結果繪制在下圖7中,實驗結果包括平均識別率以及標準差在下表2中呈現(xiàn)。

表2 ExtendYale B人臉數(shù)據(jù)集中的平均識別率(%)與標準偏差(%)

圖7 在ExtendYale B數(shù)據(jù)集上的平均識別率

經(jīng)過實驗驗證,本文提出的融合算法在ExtendYale B人臉數(shù)據(jù)庫上呈現(xiàn)出了較好的識別效果,相比于其它幾種算法的識別精度有所提高。實驗結果證明了該融合算法在解決光照問題方面有了很大的改善。

3.3.3 在Poly U掌紋圖像數(shù)據(jù)集上的實驗

為了進一步更好的評估融合算法的適用場景以及算法性能,在香港理工大學Poly U掌紋圖像數(shù)據(jù)集中進行了實驗。Poly U掌紋圖像數(shù)據(jù)集是經(jīng)常被用來用于掌紋識別的數(shù)據(jù)集之一。表3為在Poly U掌紋圖像數(shù)據(jù)集中得到的實驗結果,隨機選擇每個受試者樣本數(shù)為n(n=1,2,3,4)作為訓練數(shù)據(jù),剩余樣本數(shù)作為測試集進行實驗,并且在上述實驗驗證取得最好效果的分塊數(shù)4×4的情況下進行的實驗得到的平均識別率以及標準偏差,實驗結果在圖8中呈現(xiàn)。

表3 poly U掌紋數(shù)據(jù)集中的平均識別率(%)與標準偏差(%)

圖8 在poly U數(shù)據(jù)集上的平均識別率

3.4 自適應融合LBP和RLBP的性能分析

為了進一步提高融合算法的識別效果,本節(jié)添加了對融合算法加權的實驗。前面章節(jié)做的分塊和分類實驗都是在LBP和RLBP在1:1的融合情況下進行的,本章節(jié)采用的加權實驗引入一個變量alpha,alpha的取值在0到1之間。如式(6)所示,實驗通過改變alpha的值(初始值設為0.1,每隔0.1大小取值進行一次測試,直到alpha的值為0.9停止)來實現(xiàn)在多分辨率下的性能分析,通過比較得到的實驗結果,得到最佳的識別率來提高算法的有效性。

Dist=alpha×Dist＿lbp+(1-alpha)×Dist＿rlbp

(6)

其中,Dist是融合算法生成的訓練集與測試集特征模板向量之間融合后的距離,Dist＿lbp表示LBP特征在兩個模板向量之間的距離,Dist＿rlbp表示RLBP特征在兩個模板向量之間的距離。

本實驗在ORL數(shù)據(jù)集上采用分塊數(shù)2×2,樣本數(shù)為4,alpha從0.1到0.9進行了10次實驗并求取平均值;在YaleB數(shù)據(jù)集上采用8×8分塊,樣本數(shù)為10,進行10次實驗求平均值;在ploy U數(shù)據(jù)集上采用4×4分塊,訓練樣本數(shù)為2進行10次實驗求取平均值。實驗結果如下表4所示,通過結果得知,融合算法在ORL數(shù)據(jù)庫上alpha的值為0.6時識別率達到最高,為93.92%;在YaleB數(shù)據(jù)庫上alpha值為0.3時識別率達到最高,為89.96%;在掌紋數(shù)據(jù)庫polyU數(shù)據(jù)庫上alpha值為0.5時識別率達到最高,為96.1%。

表4 融合算法在多分辨率下的平均識別率(%)

圖9 融合算法在不同分辨率下的識別率

表5 在ORL數(shù)據(jù)集中圖像加入噪聲情況下各算法的平均識別率(%)

3.5 在不同噪聲環(huán)境下的性能分析

為了評估本文提出的融合算法在不同噪聲情況下的性能,進行了幾種算法在經(jīng)過噪聲處理過后數(shù)據(jù)集上的對比實驗。在一般情況下,給圖像增加噪聲會使得算法的識別率降低,算法的性能下降。因此在噪聲環(huán)境下能取得較好的識別率也從另一個角度驗證的算法的魯棒性。實驗結果證明本文融合算法提取到的圖像特征識別信息更加豐富,相比與其它算法抗干擾能力也更強。

本文在ORL人臉數(shù)據(jù)集上進行噪聲實驗,實驗中將選取的圖像使用函數(shù)imnoise(Train＿im,‘salt & pepper’,0.1)添加椒鹽噪聲,這里的Train＿im是訓練樣本中的圖像。采用imnoise(Train＿im,‘poisson’)添加泊松噪聲,如圖10所示。然后在ORL數(shù)據(jù)集中選擇n(n=2,3,4,5)個添加噪聲的樣本進行訓練,其余樣本作為測試集。實驗重復10次計算出平均識別率。與CS＿LDP[15]以及LBP和CS＿LDP融合算法[15]進行了比較。

經(jīng)過噪聲實驗,得出以下幾個結論:

1)泊松噪聲對識別性能產(chǎn)生了較大的影響,添加椒鹽噪聲對識別性能的影響較小。

2)本文融合算法在加入噪聲后的識別準確率優(yōu)于其它算法,證明了融合算法的應對噪聲具有更好的魯棒性。

3.6 算法復雜度分析

融合算法雖然在很多方面表現(xiàn)出了它的優(yōu)勢,但是算法復雜度卻是它的一個劣勢。在此對各算法的分析,通過比較各算法使用乘法、加法與比較次數(shù)來分析各算法的復雜度。假設選取一張圖像I,分別選用LBP、RLBP、CS＿LBP、CS＿LDP、LBP與CS＿LDP的融合算法以及本文提出的LBP與RLBP的融合算法進行特征提取。提取過程中操作如下:將該圖像分成S個大小相同的塊,每個子塊長為M像素,寬為N像素;然后統(tǒng)計實驗計算量,每進行一次加法運算,Cadd的值增加1,每進行一次乘法運算,Cmul的值增加1,進行一次比較運算,Ccom的值增加1,統(tǒng)計總計算量R。經(jīng)過統(tǒng)計得出,各算法在提取特征生成特征向量的過程中產(chǎn)生的計算量不同,如使用LBP算法以及RLBP算法提取圖像I產(chǎn)生的計算量為RLBP=S×M×N×(15×Cadd+7×Cmul+8×Ccom),使用CS＿LDP算法提取圖像I產(chǎn)生的計算量為RCS＿LDP=S×M×N×(7×Cadd+3×Cmul+4×Ccom),使用本文算法提取圖像I產(chǎn)生的計算量為RLBP+CLBP=S×M×N×(23×Cadd+7×Cmul+16×Ccom)。在各算法進行特征提取產(chǎn)生特征向量所需要的計算量統(tǒng)計如下表6所示。

表6 特征提取計算量分析

4 結論

針對由于特征提取單一導致人臉特征不能被完整表達,識別率不高的問題,使用將LBP與RLBP算法融合之后,人臉局部紋理特征被充分提取,增強了算法的魯棒性。本文將LBP、RLBP、融合算法、CS＿LBP以及CS＿LDP進行了分塊和分類實驗,實驗結果顯示出了融合算法提取到的圖像特征識別信息更加豐富且在ORL、ExtendYaleB和polyU掌紋數(shù)據(jù)集上平均識別率更高。融合算法在不同分辨率情況下進行了實驗,通過調(diào)節(jié)參數(shù)alpha的值使得算法得到更高的識別率。噪聲影響實驗中結果也優(yōu)于其它算法。但是,融合算法在算法復雜度上是一個短板,本文也對各算法的復雜程度做了詳細分析,希望后續(xù)研究在保證識別率的前提下能夠在該方面進行優(yōu)化。