多方向局部相位量化模式及紋理分類

陳 熙，道爾吉，李運蘭，韋 立，夏道勛，熊祥光

1.貴州師范大學 大數據與計算機科學學院 貴州省教育大數據應用技術工程實驗室，貴陽 550025

2.長沙學院 計算機工程與應用數學學院，長沙 410022

1 引言

圖像梯度是一種高性能而低復雜度的紋理描述方法，它在圖像特征提取與匹配[1]、圖像分割[2]、圖像去噪[3]、目標檢測與定位[4]以及生物特征識別[5-8]等領域得到了廣泛的應用，并取得了非常不錯的效果。盡管圖像梯度信息在圖像處理和模式識別等領域已經得到了廣泛研究和應用，它的工作機制仍然值得進一步研究和改進，比如絕大部分研究工作僅僅考慮圖像的水平和垂直方向上的梯度信息[6，9]，而同時考慮圖像不同方向上的梯度信息可以獲得圖像在各個方向上的像素變化情況，充分描述了圖像的特征，應該是一種更穩健的基于圖像梯度的圖像描述方法，從而使得基于圖像的邊緣檢測、去除圖像背景與噪聲和圖像特征提取等算法獲得更好的性能。

雖然圖像梯度很好的描述了圖像紋理的變化特征，但是直接采用梯度作為圖像特征進行圖像檢索與匹配尚顯不足，大部分的算法都采用進一步對梯度進行編碼的方式提取最終用來匹配的特征。孫健鈞等人[1]提出一種基于圖像梯度信息強化的尺度不變特征轉換（SIFT）特征匹配算法的改進算法。Vu等人[5]提出的一種人臉識別方法同時考慮了梯度的幅度和方向信息。Zhang 等人[6]證明了水平和垂直方向上的梯度是一種光照不變圖像特征，從而構建了“梯度臉”這么一種光照不變人臉特征提取方法。Nguyen 等人[9]在梯度局部相位量化模式算法中對梯度信息進行局部相位量化編碼，但是該方法僅考慮了圖像水平和垂直方向的梯度信息。Ming 和Song 等人[10-11]采用類似統一局部二值模式的方法對梯度信息進行編碼，從而獲得了一種旋轉不變的圖像紋理特征，此文中的局部相位量化方法與局部二值模式算法在紋理編碼上有類似的機理。局部二值模式算法[12]是一種非常有效的紋理提取算子，有非常多的改進算法，如顯性局部二值模式[13]、完備局部二值模式（CLBP）[14]、中心對稱局部微分模式（CS-LDP）[15]、局部凸凹模式[16]等等，這些LBP的改進方法都對進一步增強局部相位量化算法的性能提供有益的思路。

本文在Nguyen 等人工作的基礎上，考慮到圖像不同方向具有不同的梯度信息，從而設計了多方向梯度提取算法，然后對各方向上的梯度信息采用塊局部相位量化方法進行編碼。

2 圖像多方向梯度特征提取

一幅圖像I的在某個方向θ上的梯度采用方向導數定義，具體步驟如下：

（1）首先采用高斯函數G(x,y,σ)對圖像I進行平滑處理，其中σ是高斯函數參數，“?”表示卷積操作：

高斯函數表示為：

（2）根據卷積性質，對圖像I′ 在方向θ上求方向導數：

這里Iθ是圖像在方向θ上的方向導數，也就是圖像在方向θ上的梯度，Gθ(x,y,σ)是高斯函數在方向θ上的方向導數，其定義為：

圖1（a）是一張人臉圖像；圖1（b）是（a）中人臉圖像在不同方向上的梯度圖像，從上到下，從左到右，方向依次為：0,π/4,π/2,3×π/4,π,5×π/4,6×π/4,7×π/4 。從圖1 中可以看出，不同方向上的梯度信息具有較明顯的方向性。

圖1（a） 一幅人臉圖像

圖1（b） 人臉圖像在不同方向上的梯度圖像

3 塊局部相位量化模式

圖像f(x)某像素點x=[x1,x2]T處的離散短時傅里葉變換為[9]：

其中Nx為像素點x的鄰域，u表示頻率。假設分別在四個頻率u1=[a,0]T,u2=[0,a]T,u3=[a,a]T,u4=[a,-a]T上計算傅里葉系數，a是使H(ui)≥0 的一個足夠小的數。此時，圖像中的每個像素點都可以用一個向量來表示：

對向量Fx的每個元素進行量化處理，量化公式為：

量化之后的F(x)是一個8 位的二進制編碼，然后對每位編碼賦予權值系數即可求出該像素點的LPQ 特征值：

由于塊局部二值模式[17]比局部二值模式在特征提取方面性能更好，故也將局部相位量化模式算法擴展成塊局部相位量化模式算法，從而更好地描述的圖像信息。塊局部相位量化算法構建過程：以某個像素點xc為中心，構建9 個近鄰圖像塊，每塊包含9 個像素點，計算每塊里面每個像素點的局部相位量化模式值，然后求得此像素塊的平均相位量化模式值，如圖2（a）中左上圖像塊包含9 個像素點，這9 個像素點的局部相位量化模式值分別為：15，27，3，78，67，12，29，85 和112，求得平均值47.6作為此像素塊的平均相位量化模式值，其他8個塊的平均相位量化模式值在圖2（a）中進行了標記，其中包含中心像素點xc的圖像塊的平均相位量化值為113，然后中間圖像塊的平均相位量化模式值與周圍8個圖像塊的平均相位量化模式值進行大小比較，如果是大于等于0，則記為“1”，否則記為“0”，這樣就獲得8 為二進制數10110111，如圖2（b）所示，將此二進制數轉化為十進制數183，此十進制數當作像素點xc的編碼值。按上述方法對一幅圖像的每個像素點進行操作后，獲得整幅圖像編碼后的矩陣，然后采用直方圖特征提取此矩陣的特征作為最終的匹配特征，采用公式（8）中所示的直方圖交叉距離進行特征匹配：

圖2 塊局部相位量化模式示意圖

圖3 融合2個不同方向上的梯度相位量化模式直方圖向量

4 基于多方向梯度的塊局部相位量化模式

多方向梯度的塊局部相位量化模式算法對每幅圖像提取多個方向上的梯度圖像，然后對每個方向上的梯度圖像進行分塊，提取每個分塊上的局部相位量化模式直方圖，連接不同分塊的局部相位量化模式直方圖得到該梯度下圖像的直方圖特征向量，然后連接不同梯度方向下的直方圖向量，得到此圖像的最終直方圖向量作為最終的匹配向量。圖3展示了融合2個方向下梯度圖像的相位量化直方圖向量。在圖3中，首先對一幅人臉圖像計算出θ=0 和θ=3×π/4 情況下的2個梯度圖像，然后對θ=0 時的梯度圖像進行分塊，如分成了64 塊，然后計算出每塊的相位量化模式直方圖向量，連接此64個分塊的相位量化模式直方圖向量即為此人臉圖像在θ=0 方向下的相位量化模式直方圖向量，如圖3中藍色框中的直方圖向量。同樣對θ=3×π/4 時的梯度圖像進行分塊，如分成了64塊，然后計算出每塊的相位量化模式直方圖向量，連接此64 個分塊的相位量化模式直方圖向量即為此人臉圖像在θ=3×π/4 方向下的相位量化模式直方圖向量，如圖3 中紅色框中的直方圖向量。在圖3的示意圖中，僅考慮了2個方向，一般考慮4個方向，即θ=0,π/4,π/2,3×π/4。

多方向梯度的塊局部相位量化模式算法具有兩個比較明顯的特點：（1）融合了圖像在各個不同方向上的梯度特征，特別是對于某些具有明顯方向特征的圖像，可以選擇特定的方向計算圖像的梯度變化情況，這種情況下，能很好地描述圖像特征；（2）較大尺度上描述了圖像的局部特征，如圖4（a）所示的3個相位量化后的圖像鄰近局部塊。這3 個不同顏色框所包含的局部塊像素值的平均值分別為：44.56、41.78和45.78，然后對平均值采用編碼，因為44.56 大于41.78，故此黑色框局部塊編碼為1，而41.78小于45.78，故此藍色框局部塊編碼為0，從而在黑色框和藍色框之間形成了一個從1變化到0的局部變化，這個局部變化是在18 個鄰近像素點之間描述的，具有較大的尺度。另外，塊局部二值模式對噪聲具有相對較小的敏感性。設兩個相鄰塊v1和v2，包含的像素點分別為，其中表示像素塊v1中第i個像素點的像素值，表示像素塊v2中第j個像素點的像素值，如果考慮噪聲的影響，則像素塊v1和v2中像素值表示：，，其中表示像素塊v1中第i個像素點的噪聲值，表示像素塊v2中第j個像素點的像素值。在塊局部二值模式算法中對v1塊的編碼為：

其中噪聲影響部分為：

其中probability()表示概率。上式表明，采用塊局部二值模式算法后，噪聲的影響變得比局部二值模式要小，因為接近期望E0的概率遠大于單獨一個像素值接近E0的概率，這也就是說平均值能消除圖像噪聲的影響，故多方向梯度的塊局部相位量化模式算法對噪聲也具有一定的抵抗能力。

圖4 塊局部二值模式較大尺度上描述了圖像的局部特征

5 實驗與分析

為了驗證多方向梯度的塊局部相位量化模式算法的有效性，在兩個紋理數據庫：Kylberg[18]和Brodatz[19]數據庫上進行了一系列測試。考慮到掌紋也是一種紋理信息十分豐富的圖片，利用香港理工大學提供的一個掌紋圖像數據庫[20]也進行了相關測試。所提多方向梯度的塊局部相位量化模式算法與LBP、LPOG[9]、自適應加權局部相位量化[21]、LBP+LPQ 算法[22]和多尺度局部相位量化（Multi-scale Local Phase Quantization，MLPQ）[23]進行了識別率比較分析。為了直接體現各算法的紋理特征提取能力，采用了比較簡單的最近鄰分類方法。

5.1 圖像數據庫

Kylberg 紋理圖像數據庫共用28 類紋理圖片，每類包含160 張不同紋理圖片，每張圖片大小為576×576 像素，圖片格式為.png。圖5（a）是該數據庫中2種紋理18張圖片。下面的實驗中，從中選取了28類紋理樣本，每類選取20 張圖片構成實驗圖片庫。Brodatz 紋理圖像數據庫是一個很常用的自然紋理圖像庫，從中選取了100類紋理，每類9張圖片，共900張圖片構成實驗用圖像庫，選取的圖片都轉化成灰度圖像。圖5（b）是2 種Brodatz紋理的18張圖片。掌紋數據庫來自香港理工大學提供的PolyU掌紋圖像數據庫。共選取了300種掌紋的3 000 張掌紋圖像，每種掌紋10 張。采用文獻[24]中所描述的方法對掌紋圖像進行了預處理。圖5（c）是2種掌紋的18張圖片，所有圖片都調整到64×64大小。

5.2 累加匹配特性曲線

在測量圖像識別系統性能時，常常用到累加匹配特性曲線（Cumulative Matching Curve，CMC）這種指標。計算系統的累加匹配特性曲線，通常需要構建一個“Gallery”圖庫集和“Probe”圖庫集。可以從數據庫中每類圖像中隨機一張構成“Gallery”圖庫集，而“Probe”圖庫集可以由數據庫中除去“Gallery”圖庫集后剩下的樣本構成。在李子青博士撰寫的一本人臉識別專著“handbook of face recognition”對中累加匹配特性曲線的計算有較詳細的介紹[25]，另外也可以參考文獻[16]。在采用Kylberg 紋理圖像計算CMC 時，從5.1 節構建的Kylberg圖像庫中每種紋理挑選一張圖片構成“Gallery”圖像庫，剩下的圖像構成“Probe”圖像庫。在采用Brodatz 紋理圖像和掌紋圖像計算CMC 時，也是每一類任選一張構成“Gallery”圖像庫，剩下的構成“Probe”圖像庫。本文多方向梯度的塊局部相位量化模式算法與LBP、LPOG、子區域局部相位量化、自適應加權局部相位量化、LBP+LPQ算法和多尺度局部相位量化在CMC性能上進行了比較分析。

從圖6 中可以看出在上面3 種紋理圖像庫中，本文多方向梯度的塊局部相位量化模式算法代表的黑色線都在其他線上面，表明本文算法都具一定的優勢。因為掌紋是一種比較穩定的紋理圖像，因此所比較的算法識別率都非常好，而且本文算法在所比較的幾種相關算法中具有相對較好的優勢。在Brodatz紋理庫中所提算法也具有一定優勢，但相對而言，在Kylberg紋理庫中優勢不非常明顯了。

圖5 預處理后樣本圖像

圖6 各圖像數據庫的累加匹配特性曲線

5.3 正確識別率與訓練樣本集大小的關系

系統的識別精度往往跟訓練時采用的樣本多少有關系。一般情況下，因為圖像具有光照、角度等變化，所以從每類紋理圖像選取能代表不同條件下的多張圖片構成訓練集，能提高系統識別的精度。此節考察正確識別率與訓練樣本集大小的關系，隨機地從Brodatz 圖像數據庫、Kylberg紋理圖像數據庫和香港理工大學PolyU掌紋庫的每種紋理圖像中選擇1、2、3、4和5個樣本圖像組成它們各自的訓練圖像集，各訓練集所剩下的為相應的測試圖像集。實驗重復10 次，計算各次的平均識別率和標準偏差，并將識別結果分別羅列在表1、表2和表3中。相對局部二值模式算法而言，塊局部二值模式算法能夠在較大尺度情況下獲得像素的變化情況，并且在塊局部二值模式算法中，參與計算二值模式的像素值是此像素點周圍像素點像素的平均值，從而能夠減少噪聲的影響，故塊局部二值模式算法（MBLBP）很多時候也能獲得相對LBP、LPOG、自適應加權局部相位算法、LBP+LPQ 及MLPQ 更好的性能。從表中看出，所提多方向梯度的塊局部相位量化模式算法識別率均比其他幾種算法要高。

5.4 不同噪聲環境下所提算法性能分析

一般而言，圖像在遭受比較嚴重的噪聲污染時，特征提取算法及分類方法的性能都會下降，因此所提算法最好能對噪聲具有一定的穩健性。多方向梯度的塊局部相位量化模式算法考慮了圖像多個方向上的梯度信息，比僅僅考慮一個或二個方向上的梯度信息更具有噪聲穩健性，另外塊局部相位量化方法通過平均塊內的像素點值也應當比局部相位量化具有噪聲穩健性。接下來考察正確識別率與噪聲類型的關系。采用matlab 函數 imnoise（im，‘gaussian’，0.02）來給圖像添加高斯噪聲，采用imnoise（im，‘salt & pepper’，0.02）函數給圖像添加椒鹽噪聲（這里‘im’表示一幅圖像）。將Kylberg紋理圖像數據庫中圖片分別加上高斯噪聲和椒鹽噪聲，如圖7所示。然后隨機地從Kylberg紋理圖像數據庫中分別選擇1、2、3 和 4 個噪樣本圖像組成 USPTex 紋理圖像數據庫不同大小訓練圖像集4 個，各訓練集所剩下的為相應的測試圖像集。實驗重復10 次，計算各次的平均識別率與標準偏差，并在表4 中給出識別結果與測試樣本數的關系。實驗結果表明，高斯噪聲將嚴重影響各算法的性能，特別是LBP+LPQ 算法。本文多方向梯度的塊局部相位量化模式算法中，參與計算二值模式的像素值是此像素點周圍像素點像素的平均值，故相對其他算法LBP、LPOG、自適應加權局部相位算法、LBP+LPQ 及MLPQ 而言，在噪聲情況下，塊局部二值模式算法的性能下降相對小些，驗證了本文的預期設想。

表1 Brodatz紋理圖像數據庫上的平均識別率（%）和標準偏差

表2 Kylberg紋理圖像數據庫上的最高平均識別率（%）和標準偏差

表3 香港理工大學PolyU掌紋庫上的平均識別率（%）和標準偏差

圖7（a） 原始灰度圖像

圖7（b） 加高斯噪聲后的圖像

圖7（c） 加椒鹽噪聲后的圖像

6 結束語

本文提出了基于多方向梯度的塊局部相位量化模式算法，該算法具有以下優點：（1）提取圖像多個方向上的梯度信息，充分描述了灰度圖像沿不同方向灰度值的變化情況；（2）采用局部相位量化模式對圖像在不同方向上的梯度變化進行編碼；（3）對圖像進行分塊，然后采用基于多方向梯度的塊局部相位量化模式算法進行特征提取，描述了圖像的局部特征；（4）塊局部相位量化模式對噪聲具有穩健性。根據多方向梯度塊局部相位量化模式算法的以上特點，該算法適應圖像在各方向上具有較大梯度變化，在較大尺度（相對局部二值模式）圖像局部的變化以及需要考慮噪聲情況下使用此算法。紋理數據庫和掌紋數據庫上的廣泛實驗表明，本文基于多方向梯度的塊局部相位量化模式算法是一種有效的紋理描述方法。

表4 噪聲環境下Kylberg紋理庫中各算法的平均識別率 %