可見光-近紅外HSV圖像融合的場景類字典稀疏識(shí)別方法

劉佶鑫，魏 嫚

(1.寬帶無線通信技術(shù)教育部工程研究中心(南京郵電大學(xué))，南京 210003； 2.南京郵電大學(xué) 通信與信息工程學(xué)院，南京 210003)(*通信作者電子郵箱liujixin@njupt.edu.cn)

0 引言

場景識(shí)別作為模式識(shí)別、計(jì)算機(jī)視覺系統(tǒng)、信號(hào)處理及人機(jī)交互等學(xué)科的重要技術(shù)，在圖像(視頻)檢索、計(jì)算機(jī)視覺任務(wù)、數(shù)字圖像處理、機(jī)器人移動(dòng)定位、相機(jī)智能場景識(shí)別等方面都有非常重要的研究意義。常見的場景大致可以分為四類：自然場景、城市場景、室內(nèi)場景和事件場景[1-2]。

目前，場景識(shí)別研究的重點(diǎn)主要有基于圖像視覺詞袋(Bag of Words, BoW)的方法[3-4]、多特征融合的方法[5-6]、基于顯著區(qū)域?qū)W習(xí)的方法[7-8]以及基于稀疏表示(Sparse Representation, SR)[9]和卷積神經(jīng)網(wǎng)絡(luò)(Convolution Neural Network, CNN)[10]分類器的方法。這些方法在場景目標(biāo)識(shí)別中都取得了較好的效果，尤其對(duì)室內(nèi)場景識(shí)別效果良好；但在自然場景識(shí)別中，由于不同的場景經(jīng)常有著相同的目標(biāo)，所以具體的目標(biāo)只能給自然場景分類提供一個(gè)依據(jù)，卻不能完全決定場景分類的結(jié)果，這使得對(duì)本就復(fù)雜多變的自然場景的識(shí)別精度一直難以提升。

近年來，隨著可見光-近紅外(Near-InfraRed, NIR)共平臺(tái)成像系統(tǒng)的普及，智能化自然場景識(shí)別[11]正在成為當(dāng)前的研究熱點(diǎn)。對(duì)于單一傳感器下彩色自然場景圖像信息不夠豐富的問題，部分學(xué)者開始嘗試將多光譜信息引入場景識(shí)別領(lǐng)域。Brown等[12]將近紅外圖像引入到場景分類中，并在他們采集的近紅外-可見光數(shù)據(jù)庫上通過實(shí)驗(yàn)驗(yàn)證了近紅外圖像在場景識(shí)別中的有效性。之后Salamati等[13]在該實(shí)驗(yàn)基礎(chǔ)上通過提取并組合圖像的尺度不變特征(Scale-Invariant Feature Transform, SIFT)和顏色特征達(dá)到了更好的分類效果。但他們的實(shí)驗(yàn)由于直接組合多個(gè)譜帶的信息使得圖像特征描述符維度隨著波段的組合而快速增加，給分類任務(wù)提高了難度，且實(shí)驗(yàn)中采用的支持向量機(jī)(Support Vector Machine, SVM)方法在二分類情況下表現(xiàn)良好，而在多分類情況下卻容易形成局部最優(yōu)的情況。

因此，為了能夠更加有效地利用近紅外圖像中的場景信息，本文提出一種融合可見光和近紅外圖像的場景識(shí)別方法。另外，考慮到稀疏識(shí)別由于具有較高的有效性和魯棒性特點(diǎn)一直在圖像識(shí)別領(lǐng)域中表現(xiàn)優(yōu)秀，且深度學(xué)習(xí)需要較大的數(shù)據(jù)訓(xùn)練量[14]，所以本文采用稀疏分類器代替SVM分類器進(jìn)行融合后場景圖像的識(shí)別。不過值得注意的是，經(jīng)典稀疏識(shí)別在圖像識(shí)別任務(wù)中雖然表現(xiàn)良好，也仍然存在著一定的限制：一方面，稀疏表示模型要求圖像樣本空間足夠大；另一方面，該模型不能很好地應(yīng)對(duì)圖像中姿勢(shì)變化和沒有對(duì)齊的情況。實(shí)驗(yàn)研究的近紅外-可見光圖像場景數(shù)據(jù)庫[12]不存在圖像對(duì)準(zhǔn)的問題，所以針對(duì)樣本不足的問題，本文將引入一種基于正則化K-奇異值分解(K-Singular Value Decomposition,K-SVD)的類字典學(xué)習(xí)算法，這種類字典學(xué)習(xí)算法與稀疏識(shí)別框架的結(jié)合可以大大增加場景圖像的類內(nèi)相關(guān)性和類間差異性，使得在沒有大量訓(xùn)練樣本的情況下依然可以獲得比較高的算法效率，在可見光-近紅外智能化自然場景識(shí)別領(lǐng)域具有很高的研究價(jià)值。

1 稀疏表示基本原理

稀疏表示是壓縮感知(Compressed Sensing, CS)理論研究的重要分支，近幾年已經(jīng)被廣泛地應(yīng)用到計(jì)算機(jī)視覺和模式識(shí)別領(lǐng)域。CS理論最初由Candès等[15]提出，后來Wright等[16]將其應(yīng)用到人臉識(shí)別中，將其稱為SR下的分類(SR-based Classification, SRC)識(shí)別。

假設(shè)圖像共有c個(gè)類別，A=[A1,A2,…,Ai,…,Ac]，其中Ai(i=1,2,…,c)是樣本類別為i的類樣本集。定義y為測試樣本，則有：

1)輸入向量y在樣本集上可以線性表示為y=Ax，由于這種線性表示并不唯一，所以通過l1-范式最小化獲得最佳的編碼系數(shù)：

(1)

2)根據(jù)上述編碼選取重構(gòu)誤差小的類別作為測試樣本y的類別：

(2)

2 本文方法

整個(gè)系統(tǒng)可以分為三個(gè)部分：近紅外圖像與可見光圖像的融合，圖像的特征提取和融合，類字典稀疏識(shí)別和分類決策。算法的流程框架如圖1所示，首先采用基于HSV顏色空間變換的方法融合RGB圖像和NIR圖像，之后提取融合圖像的通用搜索樹(Generalized Search Tree, GiST)特征和分層梯度方向直方圖(Pyramid Histogram of Oriented Gradients, PHOG)特征進(jìn)行特征融合，然后對(duì)融合的特征進(jìn)行類字典稀疏識(shí)別，最后求得測試樣本的稀疏系數(shù)進(jìn)行分類決策，得到最終的識(shí)別結(jié)果。

圖1 本文方法流程Fig. 1 Flow chart of the proposed method

2.1 近紅外圖像和彩色可見光圖像的融合

可見光圖像通常表示為三種顏色通道的組合：紅色、綠色和藍(lán)色，而近紅外(NIR)圖像則為灰度的強(qiáng)度圖像。與彩色圖像相比，NIR圖像既擁有彩色圖像的魯棒性特點(diǎn)又有著比彩色圖像更好的灰度對(duì)比度信息，因此用近紅外圖像替換可見光圖像中表示亮度的通道便可以得到信息更加豐富的彩色圖像。該方法借鑒了圖像偽彩色處理的原理，并應(yīng)用在自然場景稀疏識(shí)別上。

為了能夠提取更多有用的場景特征，本文選用HSV顏色空間進(jìn)行圖像融合。算法首先將可見光圖像映射到HSV空間：

(3)

(4)

V?max

(5)

其中：min和max分別表示取R、G、B中的最小值和最大值。

然后將表示圖像明亮程度的通道(V)替換為NIR圖像：

V?NIR

(6)

最后將得到的HSV圖像按照原映射的逆變換還原到RGB空間，便得到融合了近紅外信息的彩色圖像。

圖2為將RGB-NIR數(shù)據(jù)庫中部分圖片使用HSV顏色空間變換融合的效果圖示。觀察圖2中相同場景的NIR和RGB圖像，不難發(fā)現(xiàn)NIR圖像有著比可見光圖像增強(qiáng)的局部和云對(duì)比度、更明亮的植被、更黑暗的水等，而融合后的彩色圖與近紅外圖像相比更清晰，與可見光圖像相比具有更大的對(duì)比度。

圖2 基于HSV顏色空間變換融合的近紅外和可見光圖像Fig. 2 Fused images of NIR and visible based on HSV color spatial transform

2.2 全局特征和局部特征的融合

特征融合是指將兩個(gè)或多個(gè)特征向量按照某種規(guī)則組合成新的特征向量。為了能夠很好地表征融合后的彩色場景圖像，本文采用全局GiST特征[17]和局部PHOG特征[18]的融合方法。GiST特征模擬人的視覺提取圖像中簡明扼要的上下文信息，能夠很好地獲取場景類別的空間結(jié)構(gòu)特性，但對(duì)場景圖像的細(xì)節(jié)丟失較為嚴(yán)重，而PHOG特征提取的是場景圖像的局部輪廓特征，能夠很好地表達(dá)出場景圖像的局部細(xì)節(jié)。將GiST特征和PHOG特征進(jìn)行融合可以更加有效地表示出場景圖像。雖然之前已經(jīng)有學(xué)者提出過GiST特征和PHOG特征融合的方法，但都只是使用了簡單的SVM分類器，在場景分類時(shí)沒有很好地解決局部最優(yōu)解的問題，所以本文將結(jié)合特征融合與本文提出的類字典稀疏分類器驗(yàn)證其在場景識(shí)別中的有效性。

GiST特征提取算法主要是使用Gabor濾波器組對(duì)圖像進(jìn)行濾波后通過稀疏網(wǎng)格的劃分提取的場景圖像的全局特征，步驟如下：

1)假設(shè)有灰度圖像f(x,y)，大小為H×W，將其進(jìn)行L×L的規(guī)則網(wǎng)格劃分，則每個(gè)網(wǎng)格的大小為h×w，其中h=H/L，w=W/L。

2)建立m個(gè)方向、n個(gè)尺度的Gabor濾波器，并使用這些Gabor濾波器對(duì)每個(gè)網(wǎng)格內(nèi)圖像進(jìn)行卷積濾波，將每個(gè)網(wǎng)格內(nèi)的特征進(jìn)行級(jí)聯(lián)，得到網(wǎng)格內(nèi)圖像的GiST特征，即：

(7)

其中：cat為將各個(gè)特征級(jí)聯(lián)的符號(hào)；gmn(x,y)為Gabor濾波器組，m為方向數(shù)，n為尺度數(shù);“*”為進(jìn)行卷積運(yùn)算。

3)取每個(gè)網(wǎng)格內(nèi)計(jì)算出的特征值的均值作為一個(gè)特征，將所有網(wǎng)格內(nèi)的特征進(jìn)行級(jí)聯(lián)，便得到整個(gè)場景圖像的GiST特征，維度為L×L×nc。

與大部分GiST特征提取的維度不同，本文從R、G、B三個(gè)通道分別將場景圖像劃分為4×4的網(wǎng)格，用8個(gè)方向、4個(gè)尺度的Gabor濾波器組進(jìn)行處理，最終得到整幅圖像的GiST特征維數(shù)為3×4×4×32 =1 536維。

PHOG特征提取算法是使用空間四叉樹模型將場景圖像分解形成多分辨率表示，然后按照低分辨率到高分辨率的順序?qū)⒍嗉?jí)的方向梯度直方圖級(jí)聯(lián)，步驟可描述如下：

1)使用Canny算子邊界檢測方法對(duì)場景圖像的邊緣信息進(jìn)行統(tǒng)計(jì)；

2)將場景圖像按照空間四叉樹模型進(jìn)行分層分塊的表示，并提取每一層上所有子區(qū)域的HOG特征；

3)將每一層上的所有子區(qū)域上的HOG特征進(jìn)行級(jí)聯(lián)，進(jìn)行歸一化處理即可得到PHOG特征。

本文將場景圖像分為4層，其中第0層表示整個(gè)場景圖像，接下來每一層都按照空間四叉樹模型將整個(gè)圖像依次均分為4、16、64個(gè)子區(qū)域。最終得到的整幅圖像的PHOG特征維數(shù)為(1+4+16+64)×8=680維。

在融合方法上，本文采用特征的串行融合方式。假設(shè)分別存在于特征空間Ω、Ζ的兩個(gè)特征向量α和β，其中α∈Ω，β∈Ζ，串行融合的方法就是將α和β串聯(lián)形成新的特征向量γ：

(8)

式中,k、l分別表示特征向量α和β的權(quán)值系數(shù)。為了充分體現(xiàn)GiST與PHOG在特征提取方面的互補(bǔ)性，本文采取與文獻(xiàn)[6]相同的實(shí)驗(yàn)設(shè)置，采用均值加權(quán)的方式進(jìn)行特征融合，即k=1、l=1。若α代表n維特征向量，β代表m維特征向量，此時(shí)新的特征向量γ為m+n維向量，即1 536+680=2 216維。

2.3 基于正則化K-SVD的類字典稀疏識(shí)別

在獲得上述特征融合的特征矩陣后，需要解決稀疏識(shí)別樣本數(shù)量不足的問題，為此本文提出了一種基于正則化的K-SVD算法的類字典稀疏識(shí)別方法。一般的字典學(xué)習(xí)的問題可以描述為：

(9)

s. t. ‖xl‖0≤s，l=1,2,…,N

‖dj‖2=1，j=1,2,…,n

其中:D為字典，dj為D的第j個(gè)原子;xl是X的第l行;s為稀疏表示系數(shù)中非0分量數(shù)量的上限。式(9)的計(jì)算過程是一個(gè)不斷迭代的過程，首先固定字典D使用稀疏向量求解方法求解D上Y的稀疏表示A，然后根據(jù)A得到更優(yōu)化的字典D，直到滿足停止的迭代的條件時(shí)優(yōu)化結(jié)束。

但如上所述，這種字典學(xué)習(xí)算法在優(yōu)化時(shí)稀疏系數(shù)和對(duì)應(yīng)字典碼字不同時(shí)更新，這就有可能造成奇點(diǎn)的出現(xiàn)。為了可以同時(shí)更新所有的碼字和所有的稀疏系數(shù)，Dai等[19]提出了一種正則化的字典學(xué)習(xí)算法，其優(yōu)化目標(biāo)函數(shù)為：

(10)

其中μ>0且μ是已知量。

這種算法雖然達(dá)到了稀疏系數(shù)和對(duì)應(yīng)字典碼字同時(shí)更新的要求，但依然沒有很好地解決稀疏識(shí)別訓(xùn)練樣本較少的問題，所以本文結(jié)合文獻(xiàn)[20]提出的類字典稀疏識(shí)別方法與文獻(xiàn)[21]提出的正則化K-SVD算法，提出一種基于正則化的K-SVD算法的類字典稀疏識(shí)別方法。首先假設(shè)D中除dj的其他原子都被固定，定義Ij為系數(shù)表達(dá)中用到dj的信號(hào)的維度，則信號(hào)的表示誤差為：

(11)

從而可以推導(dǎo)出此時(shí)的優(yōu)化函數(shù)為：

(12)

其中t=‖x‖。當(dāng)t=σ1/(1+μ)時(shí)有最小值。

與典型的字典學(xué)習(xí)算法相同的是，正則化K-SVD算法也需要經(jīng)過一系列的迭代優(yōu)化得到學(xué)習(xí)的字典；與之不同的是，本文將正則化K-SVD算法與類字典稀疏識(shí)別方法相結(jié)合，也就是說通過上述步驟得到的字典并不會(huì)直接作為最終稀疏識(shí)別時(shí)的字典，而是將其作為類字典組合在一起成為一個(gè)全局字典后再進(jìn)行稀疏分類?；谡齽t化K-SVD的類字典學(xué)習(xí)算法如算法1所示。

算法1 基于正則化K-SVD的類字典學(xué)習(xí)。

輸入 初始化字典D,信號(hào)樣本集A=[A1,A2,…,Ai,…,Ac],迭代次數(shù)K;

fori=1 tocdo

//字典學(xué)習(xí)

fork=1 toKdo

//稀疏編碼

固定D，使用正交匹配追蹤(Orthogonal Matching Pursuit,

OMP)算法求解稀疏表示X

//字典更新

forj=1 tondo

根據(jù)Ij中使用到dj原子表示的信號(hào)的索引計(jì)算σ1、u1、ν1

設(shè)置新原子dj=u1以及新的稀疏表達(dá)式為Xj,Ij=

σ1ν1/(1+μ)

end for

end for

end for

(13)

與全局字典識(shí)別的方法相比，類字典識(shí)別方法有著很好的類內(nèi)相關(guān)性，而與局部字典識(shí)別的方法相比，它又有著很好的類間差異性，因此該算法既可以有效地克服樣本數(shù)量少的缺陷，又可以提高場景識(shí)別的效率。

3 實(shí)驗(yàn)結(jié)果與分析

本文采用RGB-NIR 場景數(shù)據(jù)庫[12]，共有9類場景的近紅外與彩色圖像對(duì)，分別為country、field、forest、indoor、mountain、oldbuilding、street、urban、water，總計(jì)有477個(gè)圖像對(duì)。仿照文獻(xiàn)[12]的實(shí)驗(yàn)設(shè)置，實(shí)驗(yàn)每類別選取11張圖像用作測試，其余圖像用于訓(xùn)練。為了驗(yàn)證本文方法的有效性，將進(jìn)行4組實(shí)驗(yàn)。

實(shí)驗(yàn)1 為了驗(yàn)證近紅外圖像在場景識(shí)別中的有效性，本文首先將原始圖像和采用一些主流融合方法融合后的圖像進(jìn)行了對(duì)比，結(jié)果如圖3所示。

圖3(a)、3(b)分別為原始近紅外圖像和可見光圖像，圖3(c)、3(d)、3(e)、3(f)分別為采用平均加權(quán)融合法、主成分分析法(Principal Components Analysis, PCA)、HSV顏色替換法、YCbCr顏色替換法得到的圖像。從圖3中可以看出，雖然圖像融合后顏色上有一定的失真，但圖像的分辨率和對(duì)比度都得到了很大的提高。如圖3中圖像2顯示的山峰，融合后的圖像顏色更加突出，景物表現(xiàn)更加豐富，云層的對(duì)比度也更加明顯。

圖3 不同方法圖像融合結(jié)果Fig. 3 Image fusion results by different methods

實(shí)驗(yàn)2 在從視覺效果上看出近紅外圖像和可見光圖像融合的效果后，還需要從客觀指標(biāo)上驗(yàn)證融合圖像的優(yōu)勢(shì)。所以，在其他實(shí)驗(yàn)設(shè)置都相同的情況下，將未融合的圖像與融合的圖像分別進(jìn)行特征提取與融合、類字典稀疏識(shí)別等步驟得到各種識(shí)別結(jié)果，實(shí)驗(yàn)結(jié)果如表1所示。

表1 不同圖像的分類準(zhǔn)確率對(duì)比Tab.1 Classification accuracy comparison of different images

從表1中可以發(fā)現(xiàn)，當(dāng)只使用可見光圖像進(jìn)行分類時(shí)，平均分類精度可以達(dá)到63.64%，但只使用將近紅外圖像進(jìn)行分類卻只能達(dá)到27.27%，這說明可見光圖像中含有的場景信息比近紅外圖像中含有的場景信息要多得多。但是將近紅外圖像和彩色可見光圖像融合之后，識(shí)別準(zhǔn)確度最高達(dá)到了74.75%，明顯比單一傳感器下的場景識(shí)別效果更優(yōu)秀，這說明圖像融合之后場景信息增加了，場景的可辨識(shí)度得到了一定的提高，從而證明了融合近紅外圖像場景識(shí)別中確實(shí)是有效的。另外從實(shí)驗(yàn)結(jié)果最后一行來看，使用HSV顏色替換的融合方法達(dá)到了最高的識(shí)別精度，相比簡單加權(quán)平均的方法提高了5.05個(gè)百分點(diǎn)，比熱門的PCA融合的方法也提高了7.07個(gè)百分點(diǎn)，證明在進(jìn)行近紅外圖像融合進(jìn)行場景識(shí)別時(shí)，采用HSV顏色替換的融合方法更加有效。

實(shí)驗(yàn)3 由于實(shí)驗(yàn)2中進(jìn)行場景分類時(shí)用到了特征融合以及基于正則化K-SVD算法的類字典稀疏場景識(shí)別，所以本文又設(shè)計(jì)了實(shí)驗(yàn)3和實(shí)驗(yàn)4來分別驗(yàn)證這兩種方法的性能。首先，實(shí)驗(yàn)3是為了驗(yàn)證融合GiST和PHOG特征在本文方法中的有效性。對(duì)使用了HSV方法融合后的彩色圖像分別提取GiST和PHOG這兩種特征(具體的特征提取過程見2.2節(jié))，然后對(duì)這兩種特征進(jìn)行類字典稀疏識(shí)別，單獨(dú)使用GiST特征、單獨(dú)使用PHOG特征進(jìn)行分類和融合兩種特征(GiST+PHOG)進(jìn)行分類的分類準(zhǔn)確率分別為67.12%、45.23%、74.75%。上述結(jié)果為所有類別的平均分類準(zhǔn)確率，通過該結(jié)果可以看出，其他參數(shù)相同時(shí)，融合兩種特征進(jìn)行分類分別比單獨(dú)使用GiST特征或是PHOG特征進(jìn)行分類的效果分別提高了7.63個(gè)百分點(diǎn)和29.52個(gè)百分點(diǎn)，這表明這兩種特征的融合能夠獲得更多的場景信息，在自然場景識(shí)別中是非常有效的。

實(shí)驗(yàn)4 為了驗(yàn)證本文提出的基于正則化K-SVD算法的類字典在稀疏場景識(shí)別中的有效性，實(shí)驗(yàn)4中將本文的基于正則化K-SVD算法的類字典和一些常見的字典學(xué)習(xí)(Dictionary Learning, DL)方法進(jìn)行了比較，實(shí)驗(yàn)結(jié)果如表2所示。

表2 不同DL方法的分類準(zhǔn)確率對(duì)比Tab. 2 Classification accuracy comparison of different DL methods

從表2中可以看出，當(dāng)使用經(jīng)典的K-SVD算法進(jìn)行字典學(xué)習(xí)時(shí)，局部字典的使用識(shí)別精度最高，這是因?yàn)樵谑褂肒-SVD算法時(shí)，往往要求生成的字典是過完備字典，即需要輸入的樣本量夠大，而本文實(shí)驗(yàn)采取的數(shù)據(jù)庫樣本量較少，因此在使用K-SVD算法進(jìn)行字典學(xué)習(xí)時(shí)，使用局部字典可以達(dá)到更高的識(shí)別精度；但是當(dāng)使用正則化K-SVD算法時(shí)，本文使用的類字典學(xué)習(xí)方法便顯示出了其優(yōu)越性，識(shí)別精度也達(dá)到了最高，相比簡單的全局字典、局部字典的方法，本文方法的識(shí)別精度分別提高了36.37個(gè)百分點(diǎn)和 6.75個(gè)百分點(diǎn)，比局部字典與經(jīng)典K-SVD算法的結(jié)合也提高了9.09個(gè)百分點(diǎn)。

4 結(jié)語

基于圖像融合的原理，本文從實(shí)用角度出發(fā)，提出一種彩色可見光和近紅外圖像融合的場景類字典稀疏識(shí)別方法。該方法將可見光圖像和近紅外圖像進(jìn)行HSV融合，提取融合圖像的GiST全局特征和PHOG局部特征，結(jié)合類字典稀疏識(shí)別得到場景分類結(jié)果。與現(xiàn)有使用多特征提取符分類的方法相比，所提方法利用了近紅外圖像中的有效信息，為場景識(shí)別提供了更多的依據(jù)。通過在RGB-NIR數(shù)據(jù)庫上的實(shí)驗(yàn)結(jié)果表明，將兩種不同傳感器獲得的圖像進(jìn)行融合后的場景識(shí)別準(zhǔn)確率明顯高于單一傳感器下的場景識(shí)別準(zhǔn)確率。