基于二元樹復小波和SVD不變性的紋理圖像分類算法

黃榮兵,蘇長明,郎方年

(成都大學信息科學與技術學院,四川成都 610106)

0 引 言

紋理是反映圖像的重要視覺特征之一,它廣泛存在于各類圖像中,通過對紋理圖像進行分析可獲得許多有用的信息.紋理分析在基于內容的圖像檢索、目標識別、醫學圖像分析等應用領域有著巨大的影響,而紋理分類又是紋理分析中最重要的方面.要進行紋理分類,紋理特征的提取和分類器的設計是決定分類正確率的關鍵.目前,紋理特征提取的方法主要有統計法、結構法、模型法和空間/頻域分析法4類.采用具有空間/頻域分析能力的小波變換對紋理特征進行提取和分析方法是常用的手段并已取得了一定的成果[1].最常用的小波變換是基于Mallat的金字塔算法,雖然其優點突出,但它的時移敏感性影響了其應用.為了克服這個缺點,研究者提出了不同的解決方案[2].文獻[3]提出了利用正交小波變換提取圖像紋理特征的算法,該算法雖然具有分析不同尺度紋理的特性,但仍存在兩點不足:①不具備平移不變性,即輸入圖像很小的位移可能會造成不同尺度的離散小波變換(DWT)系數之間能量分布很大的變化;②由于小波濾波器是實數域的離散濾波器,使得這種紋理分析法不具備對角線方向的選擇性.此外,Gabor函數能夠很好地模擬人類視覺感受,最佳地描述時頻域的局部特性,可達到空間域和頻域聯合測不準下限.將Gabor函數進行旋轉和尺度變換構造的Gabor濾波器組可用來提取多尺度的圖像信息,但用該方法得到的特征向量維數過高,計算量太大,并產生較多的冗余信息[4].

另外,近年來有學者提出的雙樹復數小波變換(Dual-tree Complex Wavelet Transform,DT-CWT)[5]不僅具有DWT的諸多優點,還具有近似平移不變性和很好的方向選擇性,且能對圖像進行很好的重構,并已廣泛應用于圖像分析和模識別中[6,7].雖然該方法能夠很好地刻畫圖像的紋理特性,但它敏感于旋轉和尺度等幾何變換.而SVD作為一種代數特征方法卻具有旋轉和尺度不變性等優點.因此,本文結合DT-CWT和SVD各自的優點,提出一種有效的紋理圖像分類算法.

1 雙樹復小波變換

DT-CWT具有與經典的Gabor小波變換相似的特性,但它的冗余度遠小于Gabor小波變換的冗余度,其結構如圖1所示.為了使得DT-CWT具備近似平移不變性,可對樹狀結構的每一層濾波器的輸出做因子為2的下采樣.

從圖1中可以看出,DT-CWT由兩棵平行的小波樹構成,并且每棵樹又由奇、偶交替的正交分解低通濾波器和高通濾波器組成,分別記為:H0(Z)和H1(Z)= Z-1H0(- Z-1),(Z= e2πiω).令,

圖1 1-D雙樹復小波變換濾波器結構示意圖

當 j=1,2,…,n(n是分解層數)時,令,

則一維信號S(Z)在第n層的DT-CWT分解結果為,

其中,(2j↓)表示以2j向下采樣,下標a/b分別對應±,Cj和Dj分別為低頻和高頻系數.

通過對圖像的行和列分別進行DT-CWT濾波,即對列濾波器的輸出再進行行濾波器復共軛濾波,可把1-D DT-CWT擴展到2-D,則此時在第n層二維信號S(Z1,Z2)的DT-CWT分解結果為,

圖2 (a)二維雙樹復小波變換的實部,(b)二維離散小波變換

圖3 Lena圖像的DT-CWT一級紋理分解的實部

2 奇異值分解

奇異值分解是一種有效的代數特征提取方法.由于奇異值特征在描述圖像數值上比較穩定且有旋轉不變、位移不變、比例不變性等重要性質[8],常作為圖像分析中的一種有效的特征描述工具[9].

設矩陣C是一個N×M維的實矩陣,其秩為r,則存在正交矩陣U(N×N維),V(M×M維)和對角線矩陣Λ(N×M維)滿足,

式中,Λ=diag(λ1,λ2,…,λr,0,0,…,0).λ1到λr是矩陣C的奇異值,也就是矩陣CC′的特征值.U和V分別為矩陣C的左右奇異值矩陣.

設,λ1≥λ2≥…λr＞0,令,∑=(λ1,λ2,…, λr).由于矩陣的奇異值具有與其行列位置的無關性,即當矩陣的行順序發生交換時,奇異值仍將保持不變.由于特征矩陣滿足平移和比例不變性,故這里∑就是具有3個不變性的圖像的特征向量.

3 分類器及算法實現

3.1 BP神經網絡學習算法

BP神經網絡由大量神經元互聯而成,其結構簡單、算法成熟,且具有較強的適應和學習能力,利用BP神經網絡進行模式分析是近年來在該領域研究的一個重點[10].BP算法是非循環多級網絡的訓練算法,其學習過程主要由正向傳播和反向傳播組成,輸入值經過非線性變換從輸入層經隱層單元逐層處理,并傳向輸出層,每一層神經元的狀態將影響到下一層神經元狀態,如果在輸出層不能得到期望的輸出,則轉入反向傳播,通過修改各神經元權值,從而使誤差信號最小.

3.2 改進的BP算法

雖然BP算法是目前應用最為普遍的一種神經網絡訓練學習方法,但在實際應用中卻出現了兩個突出的問題:收斂速度慢與可能收斂到局部極小點.對此,國內外許多研究者做了大量的工作,比如:為了加快BP算法的收斂速度,可在標準BP算法的基礎上采取動態調整確定學習步幅、自適應改變慣性系數等措施;為了克服局部極小,通過采用其他的優化方法如模擬退火法、遺傳算法等來改進BP算法,以求能夠找到全局最優解.

遺傳算法(Genetic Algorithm,簡稱G A)采用啟發式搜索技術尋找最優解,與傳統優化方法相比,具有搜索效率高、魯棒性好、對目標函數限制少、采用并行運算等特點[10].本文將遺傳算法引入BP網絡學習中,形成一種遺傳BP算法(Genetic-Backpropagation Algorithm,簡稱G BPA).此算法將 G A的全局尋優能力與BP算法的指導搜索思想結合起來,既克服了尋優中的盲目性,又避免了收斂到局部極小點的情況的發生.遺傳BP算法的具體步聚如下:

(1)首先憑經驗確定BP神經網絡各連接權值的實數范圍,然后根據問題所要求的精度確定各權值的編碼長度.

(2)在所獲得的編碼的解空間中,隨機產生一組具有M個個體的初始種群,X=(X1,X2,…,Xm)T,種群中每個個體,Xi=(X1,X2,…,Xn),代表一個神經網絡的初始權值分布,每個基因值表示一個神經網絡的一個連接權值,個體的長度為神經網絡權值的個數,則最后產生M組初始網絡權值.

(3)用BP算法對這M組初始權值進行訓練,如果經過訓練后這M組權值中至少有一組滿足精度要求,則算法轉至步聚(7);否則轉入步聚(4).

(4)依據經過訓練的上述 M組網絡權值,再隨機產生一組具有R個個體的種群,同時生成R組新的權值,最終和經過訓練的M組權值一起,構成完整的基因群體,共有M+R組權值.

(5)對這 M+R組權值進行選擇(selection)、交叉(crossover)、變異(mutation)遺傳操作.

(6)如果經過步聚(5)的操作已經至少得到一組符合精度要求的權值,則算法轉至步聚(7);否則從經過遺傳操作的和未經過遺傳操作的這2＊(R+ M)組權值中選出M組較好的權值,返回步聚(3).

(7)取在整個遺傳操作中得到的最優個體作為神經網絡的初始權值,然后再利用BP算法對神經網絡進行訓練,求得最優解.

為了判斷權值是否滿足精度要求的標準,我們選用該組權值對應的網絡的相對均方誤差 Erms,即

其中,P是訓練樣本數;Q是網絡輸出矢量的維數; μij是期望的輸出值;σij是實際的輸出值.

至此,給出本文所提出算法的整個步聚如下:

步聚1 對紋理圖像進行預處理,通過高斯濾波對其進行平滑處理去除噪聲.

步聚2 進行三級2D DT-CWT分解,每一級可獲得6個細節子帶的幅值圖像,從而得到18幅子帶圖像,即18個矩陣.

步聚3 對第二步所獲得的18個矩陣進行SVD分解,得到18個對角矩陣,∑1,∑2,…,∑18.令∑m=(λm1,λm2,λmr),m=1,2,…,18,則可以得到一個 m×r維的特征矢量,Iλ=(λ12,λ12,…,λ1r,λ21, λ22,…,λ2r,…,λ181,…,λ18r).

步聚5 設計BP網絡分類器,并將特征矢量輸入網絡進行訓練.

步聚6 對擬測試的紋理圖像按照步聚1～4獲得紋理特征,然后輸入BP網絡,最后得到分類結果.

4 實驗結果與分析

為檢驗本文所提出算法的有效性,我們選用了Brodatz[11]紋理庫中的紋理圖像,部分實驗紋理圖像如圖4示.另外,為驗證幾何不變性,人為地對某些圖像進行了旋轉和縮放等操作之后,放入紋理庫中進行訓練和測試.圖4(a)為庫中的原始圖像,a1到a7是經過幾何變換之后的圖像,a1～a3分別為圖a按照逆時針旋轉20°、30°、60°的圖像,a4是平移后的圖像,a5～a7是放大倍數分別為4、10、20之后得到的圖像,a8～a11是紋理庫中圖像.

圖4 來自Brodatz的部分實驗紋理圖像

在對每幅紋理圖像進行特征提取時,獲得了m ×r維的特征矢量,如果直接輸入神經網絡進行訓練,勢必增加神經元的個數,造成訓練速度放慢.由于通過SVD分解所獲得的對角矩陣的奇異值是非零遞減的,圖像的能量主要集中在較大的幾個奇異值上,因此對每幅圖像的18個對角矩陣,我們只需取前面最大的4個奇異值即可.通過實驗證明,這種取法是合理的,最后得到一個72維的特征矢量.

在實驗中,我們選取了8類紋理圖像,其中每類由15幅圖像(其中有通過幾何變換得到的圖像)組成.從每類中任選10幅共80幅圖像組成訓練集,其余作為測試集.在建立BP網絡時,輸入層的神經單元數為72,與特征矢量的維數保持一致,輸出層的單元數為8,即為圖像類的個數.通過實驗證明,隱層單元數為10能獲得較好的分類效果.取神經網絡的學習速度為0.04,最大迭代次數為1 000次,誤差目標值為0.003;取遺傳算法的初始種群大小為40,最大遺傳代數為80,交叉概率為0.8,變異概率為0.01,初始權值的取值范圍為-8～8.我們分別用BP算法和改進的BP算法對網絡進行訓練,并將所得到的分類結果與文獻[12]中的SVM分類方法的結果進行比較,其數據如表1所示.

表1 不同算法的分類正確率

從表1中可以看出,SVM方類方法較BP算法的平均分類正確率高出1.69%,但卻比改進的BP算法的平均分類正確率低2.04%.針對紋理圖像的幾何變換,本文算法更具魯棒性,分類正確率優于文獻[12]所述方法.

另外,我們也對8類紋理圖像分別用Gabor濾波器、DWT進行紋理特征的提取,并與本文所用DTCWT提取的紋理特征進行了對比實驗,其分類正確率如圖5所示.

圖5 三種紋理特征提取方法的分類正確率

從圖5中可以看出,Gabor紋理特征和DT-CWT紋理特征較DWT的分類正確率高,并且使用DTCWT提取出的紋理特征的分類正確率較Gabor紋理特征平均高出2.25%.

5 結 論

為快速對紋理圖像進行分類,本文提出了一種基于DT-CWT和SVD的紋理分類算法,該算法充分利用了DT-CWT具有近似平移不變性和較好方向選擇性,且能對圖像進行完全重構的特點,從圖像中提取紋理特征,然后對紋理特征進行奇異值分解獲得具有旋轉和尺度不變性的特征向量,利用BP網絡作為分類器,并用改進的BP算法(遺傳BP算法)訓練網絡,使網絡很快得到收斂,而找到全局最優解.初步的實驗結果證明了本文所提算法的有效性,且本文算法稍加擴展還可以應用于其他的系統如圖像檢索中去.

[1]Randen T,Husoy J H.Filtering for Texture Classification:A Comparative Study[J].IEEE Transactions on Pattern Analysis and Machine Intelligence,1999,21(4):291-310.

[2]Mallat S G.A Wavelet Tour of Signal Processing[M].San Diego: Academic Press,1998.

[3]Wouwer G V,Scheunders D V.Statistical Texture Characterization from Discrete Wavelet Representations[J].IEEE Transactions on Image Process,1999,8(4):592-598.

[4]Dunn D,Higgins W E,Wadeley J.Texture Segmentation Using 2-D Gabor Elementary Functions[J].IEEE Transactions on Pattern Analysis and Machine Intelligence,1994,16(2):130-149.

[5]K ingsbury N G.Dual-tree Complex Wavelet Transform:A New Efficient Tool for Image Restoration and Enhancement[C]//EUSIPCO98,Proc European Signal Processing Conference.London:IEEE Press,1998:319-332.

[6]練秋生,尚 燕,陳書貞,等.基于DT-CWT和SVM的紋理分類算法[J].光電工程,2007,34(4):109-113.

[7]Liu C C,Dai D Q.Face Recognition Using Dual-Tree Complex Wavelet Features[J].IEEE Transactions on Image Processing, 2009,18(11):2593-2599.

[8]Hong Z Q.Algebraic Feature Extraction of Image Recognition [J].Pattern Recognition,1991,24(3):211-219.

[9]王文勝,陳伏兵,楊靜宇.一種基于奇異值分解的特征抽取方法[J].電子與信息學報,2005,27(2):294-297.

[10]G oldberg D.Genetic Algorithms in Search,Optimization and Machine Learn[M].London:Addison-Wesley Publishing Company Inc,1990.

[11]Brodatz P.Textures:A Photographic Album for Artists and Designers[M].New Y ork:Dover,1996:9-112.

[12]Mumtaz A,G ilani S A M,Jameel T.A Novel Texture Image Retrieval System Based on Dual Tree Complex Wavelet Transform and Support Vector Machines[C]//The2th International Conference on Emerging Technologies.Peshawar:Pakistan,2006: 108-114.