基于圖像表面形狀指數的圖像紋理特征提取

申 柯，陳 熙，張云飛

（貴州師范大學大數據與計算機科學學院，貴陽 550025）

0 引言

在計算機視覺中，我們一般通過分析圖像紋理來獲取相關的信息。像人的皮膚表面、材料表面、各種織物等都有其獨特的紋理特征［1］。這些紋理特征已被廣泛應用于生物特征識別［2］、醫學圖像分析［3］、遙感和視覺檢測［4］等。紋理研究工作已經持續了幾十年，但它對于我們來說仍然是一個難題，許多研究者通過不斷的實驗尋找更有效的紋理特征描述方法。

LBP［5］最初被提出用于紋理分析，它在計算復雜度和識別率方面表現出獨特的優勢。后來，在Ojala 等［5］的工作基礎上，大量LBP 的變體被提出。Tan 等［6］基于LBP 提出了局部三值模式（local ternary pattern，LTP）用于人臉識別，該算法引入一個閾值函數，將原始LBP 擴展成三值編碼。Hadizadeh［7］引入了Gabor濾波器，開發出了局部Gabor小波二元模式，實驗驗證它可以同時抵抗噪聲和旋轉的影響。近年來，隨著深度學習的發展，人們提出了基于CNN 的紋理識別方法，但是需要大型的數據庫才能夠凸顯其優勢［8］。

上面提及的LBP 算法以及其改進算法在紋理識別方面取得了巨大的成功，但是仍然存在一些未解決的問題：①應對噪聲影響，識別率過低的問題；②其旋轉不變模式是離散的，不是連續的；③在準確性和效率之間進行權衡仍然是一個棘手的問題。因此，本文對這幾個尚未解決的問題提出了相應的方案。

本文提出了一種新的混合特征的提取方案來改善這些缺陷，該方案通過引入添加了形狀指數的LBP 描述符對局部凹凸模式方法進行補充?；谛螤钪笖档腖BP 描述符是一種高效的連續旋轉不變描述符，形狀指數由圖像表面主曲率構造，它可以提取得到圖像表面宏觀和微觀結構紋理信息，既保留了原始LBP 簡單有效的特點，又引入了連續旋轉不變性和高分辨率特性。所以，我們提出了一種更加魯棒的SILCCP 的混合特征提取模式，通過融合圖像表面紋理的結構信息和凹凸性兩方面的特征對紋理進行分析，改善傳統的特征提取方法。通過必要的理論分析以及大量的紋理識別實驗研究，證明了我們提出的方法擁有良好的性能。

1 相關工作

1.1 LBP算法描述

LBP 是一種用來提取局部紋理特征的紋理描述符。原始的LBP 是一個強大的紋理描述符，它通過用中心值對每個像素的3×3 鄰域進行閾值化來編碼每個像素。對于一個3 × 3 局部區域，核函數的定義LBP算子如式（1）所示:

其中P為所涉及的鄰域像素個數，R為中心像素gc周圍的鄰域半徑，gP為其鄰域像素的灰度值，S(x)為閾值函數，對S(x)的結果進行加權，得到一串二進制數。

隨著采樣點數量的增加，二值模式的數量將急劇增加，導致數據太多，直方圖太稀疏，無法很好地反映圖像特征。為了提高統計性能，提出了一種統一模式來降低LBP 算子模式類型的維數。表示為，如式（3）所示:

其中，U(LBPP,R)用于計算LBPP,R中“0/1”或“1/0”的轉換。上標riu2 反映了使用不大于2 的U(LBPP,R)個值的旋轉不變量的統一模式，所有其他情況都歸因于P+1 個統一的二進制模式。均勻LBP 通過將2^P指數模式轉換為P（P-1）+2個模式來減少內存占用，通過降低特征維數來減少高頻噪聲的影響。

1.2 LCCP算法描述

LCCP 及其擴展是一種性能優良的灰度和旋轉不變的局部紋理描述子。Chen 等［9］提出了LCCP 以及LCCP 的相關擴展，并且實驗證明了LCCP 以及其擴展在紋理識別上的獨特優勢，尤其是對光照的魯棒性更強。圖1 顯示的是通過雙線性插值的方式構造出新的采樣點，得到了8個方向的凹凸信息構造8位LCCP模式。

圖1 插值后的LCCP信息

在圖1 中，中心像素點X0的8 位LCCP 模式以式（5）表示：

1.3 主曲率

在微分幾何中，主曲率作為分析局部紋理強度的基本屬性，在描述目標圖像的空間紋理結構時具有諸多優點。對于三維空間中可微曲面上任意一點P0點處的法向量是唯一的。在60點處有無窮多個包含法向量n的法平面。此外，有一對法平面可以使它們與曲面的交點在所有曲率中達到最大值或最小值。最小曲率表示P0點處彎曲程度最小的曲線，其曲率用λ1表示。垂直于最小曲率平面的曲率為最大曲率，用λ2表示，這兩個曲率統稱為主曲率。因此，主曲率能夠準確地反映紋理圖像的宏觀和微觀結構信息，而且無論圖像以任何方向旋轉任意角度，主曲率都能保持恒定，非常適合作為紋理分類的補充信息。圖2為主曲率在局部圖像表面的示意圖。

圖2 圖像表面主曲率表示

2 相關方法

2.1 形狀指數的構造方法

在微分幾何中，主曲率可以由二階微分運算得到，所以，我們通過計算Hessian 矩陣的特征值來求取圖像的主曲率，從而構建形狀指數。給定一個灰度圖像I(x,y)，構建形狀指數的過程如下所示：

步驟一：計算圖像I(x,y)的二階高斯導數Gxx，Gxy，Gyx，Gyy。

其中，

計算標準差σ的高斯算子如式（6）所示：

步驟二：構建標準差為σ的Hessian矩陣

其中，*為卷積操作。

步驟三：根據矩陣特征值的乘積等于這個矩陣的行列式(detH)，與矩陣特征值的和等于矩陣的跡(trH)列兩個等式可以解出兩個特征值λ1與λ2。

通過引入(λ-λ1)(λ-λ2)=0，可以簡化特征值的求解運算，可以得到：

將式（7）代入式（8）中，即可得到最大和最小的兩個特征值λmax和λmin。

步驟四：結合λmax和λmin構建形狀指數，在二維圖像上進行檢測。得到形狀指數的定義式如式（10）所示：

2.2 相似性度量

在紋理分類階段，我們使用直方圖交叉距離對得到的測試樣本直方圖和訓練樣本直方圖進行相似性度量，直方圖交叉距離可以快速地處理大量的數據，適用于灰度直方圖之間的距離匹配。假設訓練集圖像I和測試集圖P兩幅圖像特征分別為，然后計算識別成功率。其中直方圖交叉距離公式如式（11）所示：

其中，Y表示融合子圖像數量，Z表示所生成融合特征向量的長度。

2.3 算法流程

圖3為本文的算法基本流程。首先對原始圖像進行了分塊處理。在后續實驗中，需要分別對分塊數為1 × 1、1 × 2、2 × 2、2 × 4、4 × 4的圖片提取其小塊的直方圖進行計算，最后連接所有分塊的直方圖信息進行匹配，得到最優分塊的識別性能。使用形狀指數標記圖像表面特征強度，對局部統一LBP的性能進行強化，使其獲得連續旋轉不變性。將強化的LBP 與噪聲魯棒的LCCP進行算法融合，提取圖像紋理特征信息。提取特征直方圖。將強化的LBP 特征直方圖與LCCP 特征直方圖進行融合，得到最終的特征向量。

圖3 算法流程圖

3 實驗結果與分析

在本小節中，我們對提出方法的性能進行多維度的分析，并與大量先進的紋理分類方法進行了全面的比較評估，驗證了所提出方法在紋理識別上的優越性。為了驗證SI-LCCP 描述符的優勢，在四個具有挑戰性的紋理數據庫：CUReT 紋理數據庫、ORL 人臉數據庫、Extend Yale B 人臉數據集以及香港理工大學Poly U 掌紋圖像數據集上進行了圖像分塊與分類實驗，與現階段最先進的算法進行比較，驗證了算法在應對旋轉不變性方面具有獨特優勢。為了驗證算法應對噪聲的有效性，還對噪聲環境下的圖像進行實驗。

3.1 數據集及實驗設置

ORL 人臉數據集是由英國劍橋的Olivetti 研究實驗室創建的。包含400 張圖像，其中包括40 個人，每人10 張在不同的時間、不同的光照、不同的面部表情和面部細節環境下采集的，是人臉識別常用的數據集之一。圖4（a）是該數據集中截取的圖片樣本。圖4（b）截取的是Yale大學創建的Extend Yale B 人臉數據集，該數據集包括38個人，每人64張，共2432張在不同光照、不同表情和不同姿態下的人臉圖像，是一個非常有挑戰性的光照變化的數據集。圖4（c）是從香港理工大學Poly U 掌紋圖像數據集中截取的圖像，數據庫包含7752 幅BMP 圖像格式的灰度圖像，對應386個人不同的掌紋。該數據集中所有原始掌紋圖像的分辨率為384 × 284 像素。我們選取其中100 個人，每人6 張掌紋圖像進行實驗驗證。

CUReT 紋理數據集是一個具有挑戰性的紋理識別數據集，它包含61 個類，每個類中包含205幅不同視角、尺度與光照下拍攝的圖片，有較大的類內差異。我們隨機選擇其中48 幅圖像進行實驗，選取N張圖像作為訓練數據，剩余作為測試數據。圖4（d）是數據集中選取的部分圖像樣本。

圖4 預處理樣本圖像

3.2 不同分塊下的實驗性能

圖像分塊對于實驗識別效果有著很大的關系，分塊過少可能會導致提取特征過少，而分塊過多可能導致噪聲的影響擴大。實驗中，我們在每個數據集中隨機選取樣本數的一半作為訓練數據，剩余數據作為測試數據進行實驗驗證，為了保證隨機選取數據的有效性，我們每輪重復進行10 次實驗求取其平均值。從表1 的數據結果可以看出：ORL 數據集上在2 × 2 分塊時達到最佳的識別效果，分塊越多，其識別率會越低，在Extend Yale B 數據集上我們可以看出分塊越多，其提取的特征越細，識別效果越好。在Poly U 數據集上，在4 × 4 分塊的時候識別效果達到最佳。

表1 不同分塊下的平均識別率與標準偏差 單位：%

3.3 旋轉不變性驗證

CUReT 數據集包含了不同角度旋轉的圖像，存在顯著的視點、光照和旋轉的變化，并且具有較大的類內差異，我們可以使用它來驗證融合形狀指數的算法在克服旋轉不變性等方面的獨特優勢。為了得到更可靠的實驗結果，在CUReT 數據集上所有的實驗均進行了10 次并且最終結果以平均識別率為準。同時證明本方法的有效性，在表2中與最新的研究成果以及非常經典的方法進行了綜合比較。

表2 不同方法在CUReT數據集上的結果

通過與現階段先進方法的比較，本文算法在極具挑戰性的CUReT 數據集上取得了很好的效果，雖然數據集包含了許多旋轉、光照、視點等圖像，提出的方法都能有效面對。由此可見，本方法在一些變化比較小的數據集上也能提供穩定的性能。

3.4 不同噪聲環境下的性能

為了評估本文算法在噪聲環境下的性能，我們給Extend Yale B 中的數據添加了不同種類的噪聲進行實驗驗證，并與經典的同類型算法以及融合形狀指數之前的算法進行比較，并且將噪聲魯棒性很好的CS-LDP［19］加入到此次實驗。通過人為給圖像添加噪聲可以使得原本較高的識別率下降，因此，通過在添加噪聲環境下依舊能夠保持相對較高的識別率來說明該算法對噪聲具有魯棒性。

這一部分在Extend Yale B 數據集中進行實驗。實驗中在隨機選取的訓練樣本上使用函數imnoise（Train_im，‘salt &pepper’，0.2）來添加椒鹽噪聲和使用imnoise（Train_im，‘poisson’）添加泊松噪聲。每類圖像隨機選取n個樣本作為訓練集，剩余（64 -n）個樣本則作為測試數據（不進行添加噪聲）進行實驗。重復10 次實驗計算其平均識別率，實驗結果記錄在表3中。

表3 在Extend Yale B數據集中圖像加入噪聲情況下各算法的平均識別率 單位：%

4 結語

本文利用圖像表面形狀指數連續旋轉不變的特性，提出了一種有效的特征描述算子用于紋理分類。形狀指數基于主曲率構造，主曲率能夠準確地反映紋理圖像的宏觀和微觀結構信息，無論圖像以任何方向旋轉任意角度，主曲率都能保持恒定。通過跟多種方法比較，結果證明了形狀指數的該特性有效改善了原來局部算法的旋轉不變性。并且將另一種局部凹凸模式LCCP 算法進行了融合，使得提取的紋理信息包含了圖像表面凹凸信息，在應對噪聲方面獲得了更好的效果。我們分別添加兩種不同噪聲進行測試，本文算法對添加兩種噪聲的數據均獲得了更高的識別性能，證明了其應對噪聲的魯棒性。在未來，希望能夠更深地挖掘圖像形狀指數的其他信息，希望其能夠對紋理識別與分類的研究提供新的思路。