基于塊分解的超分辨率圖像特征零樣本分類

張 杰，湯嘉立，2，高 偉

(1. 江蘇理工學(xué)院計(jì)算機(jī)工程學(xué)院，江蘇 常州 213000；2. 東南大學(xué)電氣工程學(xué)院，江蘇 南京 210096)

1 引言

超分辨率圖像重構(gòu)技術(shù)的出現(xiàn)為圖像領(lǐng)域帶來了極大的便利[1]。隨著超分辨率圖像被提出，在各個領(lǐng)域被廣泛應(yīng)用。這時，如何有效地分類超分辨率圖像成為一時之間相關(guān)領(lǐng)域?qū)＜矣懻摰臒衢T話題之一[2]。當(dāng)傳統(tǒng)的分類方法滿足不了人們?nèi)找嬖鲩L的需求時，提出一種行之有效的超分辨率圖像特征零樣本分類方法成為圖像處理領(lǐng)域亟待解決的問題。

文獻(xiàn)[3]提出基于深度示例差異化的零樣本多標(biāo)簽圖像分類。該方法首先利用深度嵌入網(wǎng)絡(luò)將超分辨率圖像的視覺特征空間與零樣本特征空間進(jìn)行映射處理；再利用示例差異化算法對圖像像素進(jìn)行計(jì)算；最后基于計(jì)算結(jié)果實(shí)現(xiàn)對超分辨率圖像特征零樣本的分類。該方法由于未能利用小波包變換方法提取超分辨率圖像的紋理特征，導(dǎo)致該方法的圖像零樣本分類精度偏低。文獻(xiàn)[4]提出聯(lián)合穩(wěn)健跨域映射和漸進(jìn)語義基準(zhǔn)修正的零樣本遙感影像場景分類。該方法首先基于可見類的類別語義向量和場景影像樣本，將圖像的視覺空間穩(wěn)健映射到語義空間中；再基于k近鄰算法修正圖像中不可見類類別的語義向量，從而緩解可見類語義空間與不可見類語義空間的漂移問題；最后通過修正結(jié)果實(shí)現(xiàn)對超分辨率圖像特征零樣本的分類。該方法由于未能將圖像的母小波進(jìn)行平移伸縮處理所以該方法的圖像分類效果差。文獻(xiàn)[5]提出直推式遙感圖像場景零樣本分類算法。該方法首先利用嵌入算法對圖像的語義特征空間類原型進(jìn)行修正；再借助結(jié)構(gòu)遷移方法獲取視覺特征空間測試類原型；最后采用譜聚類方法對上述原型進(jìn)行修正，獲取適應(yīng)測試類樣本分布特點(diǎn)，提高場景零樣本分類準(zhǔn)確度。但是，該方法由于未能利用圖像窗口，對圖像的紋理能量特征進(jìn)行特征提取，因此該方法的分類結(jié)果真實(shí)性較差。

為解決上述傳統(tǒng)方法存在的問題，提出新的基于塊分解的超分辨率圖像特征零樣本分類方法。

2 獲取圖像特征

利用塊分解方法分解超分辨率圖像，再利用小波包變換方法去噪處理分解后的圖像塊，從而提取超分辨率圖像的特征。

2.1 圖像分解

塊分解方法利用圖像局部方差、像素點(diǎn)以及像素均值將超分辨率圖像分為平滑、邊緣、紋理三類圖像塊。分類過程如下式所示

(1)

式中，σ為超分辨率圖像的局部方差，E為熵，m為圖像塊中像素點(diǎn)總個數(shù)，yi為圖像塊中第j個像素點(diǎn)的值，μ為像素均值，qi為圖像在不同灰度值出現(xiàn)的概率，b為常數(shù)。

2.2 圖像的多分辨率分析

(2)

式中，函數(shù)的內(nèi)積為〈，〉。f(b，a)=f*ψb，a為圖像的函數(shù)卷積，通過對原始圖像小波帶濾波的計(jì)算，實(shí)現(xiàn)對圖像信號的分解。在對原始圖像的小波分解時，需對圖像的不同尺度進(jìn)行離散化處理。

由于小波函數(shù)ψ(x)是經(jīng)過尺度函數(shù)φ(x)組合后形成的，其本身也要滿足圖像的尺度差分值，具體過程如下式所示

(3)

式中，圖像的低通濾波器為h，高通濾波為g。利用二維的小波變換方法，對圖像的函數(shù)矢量積進(jìn)行計(jì)算，過程如下式所示

(4)

式中，二維尺度函數(shù)用φ(x，y)表示，而ψ1(x，y)，ψ2(x，y)，ψ3(x，y)分別代表三個二維的小波函數(shù)。

(5)

其中，φ2j(y-2-jm)>)(m，n)∈Z2

(6)

式中的多個表達(dá)式均為原始超分辨率圖像的離散圖像表征。

2.3 提取圖像紋理特征

由于超分辨率圖像的細(xì)節(jié)中存在高頻分量，可以反映圖像的能量分布。設(shè)定(2n+1)×(2n+1)為圖像窗口，對圖像的紋理能量宏觀特征進(jìn)行特征提取，過程如下式所示

(7)

式中，圖像像素(i，j)的特征值為E(i，j)，圖像像素的中心窗口的第(k，l)個小波系數(shù)用w(k，l)表示。

2.3.1 RGB空間的紋理特征提取

由于圖像空間中顏色值無法直接反映圖像的視覺特性，因此要對超分辨率圖像的顏色通道進(jìn)行小波分解[7]。從而提取圖像中的小波能量，提取過程如下式所示

(8)

利用小波紋理分析方法對顏色通道進(jìn)行小波分解，獲取圖像的小波能量[8]。將結(jié)果進(jìn)行歸一化處理，過程如下式所示

(9)

3 圖像特征的零樣本分類

基于上述獲取的超分辨率圖像紋理特征，利用自適應(yīng)加權(quán)法對圖像特征零樣本進(jìn)行分類處理[9]。

3.1 圖像權(quán)重值的更新

首先構(gòu)建圖像語義融合模型，設(shè)定超分辨率圖像語義屬性特征A=(a1，a2，…，ap)為輸入數(shù)據(jù)，圖像的屬性向量維數(shù)為p，語義詞向量特征為W=(b1，b2，…，bq)，結(jié)合淺層神經(jīng)網(wǎng)絡(luò)將模型分為輸入層融合、全連接層的融合以及分層融合。對圖像的特征向量進(jìn)行歸一化處理，利用維度方向?qū)蓚€特征向量進(jìn)行拼接，過程如下式所示

F=A+W

(10)

(11)

式中，圖像的激活函數(shù)為f2(·)。若設(shè)定模型的輸出數(shù)據(jù)為V，則該模型的目標(biāo)函數(shù)獲取過程如下式所示

(12)

式中，獲取的目標(biāo)函數(shù)為E。依據(jù)鏈?zhǔn)椒▌t對目標(biāo)函數(shù)進(jìn)行計(jì)算，獲取該函數(shù)的偏導(dǎo)，過程如下式所示

(13)

式中，獲取的圖像特征偏導(dǎo)值為?E。最后依據(jù)梯度下降算法對圖像的權(quán)重值進(jìn)行更新。

3.2 分類

利用粒子群優(yōu)化算法對圖像的融合權(quán)重進(jìn)行計(jì)算，從而規(guī)避圖像在零樣本分類時的融合權(quán)重缺乏普適性帶來的影響[10]。首先對超分辨率設(shè)定w1，w2圖像的特征融合權(quán)重，融合模型的輸出如下式所示

(14)

設(shè)定圖像的粒子群是由m個粒子構(gòu)成的，每一個粒子都有相對應(yīng)的位置。由于要對超分辨率圖像中w1，w2的進(jìn)行尋優(yōu)，所以要選取固定速度對每個粒子的位置進(jìn)行計(jì)算。粒子最佳適應(yīng)值用pbest，種群中的全部粒子的學(xué)習(xí)適應(yīng)度的最優(yōu)位置用gbest表示。

對上述獲取的粒子最佳位置進(jìn)行綜合考慮，用xi(xi1，xi2)，pi=(pi1，pi2)以及vi=(vi1，vi2)來表示粒子群中第i個粒子的目前位置，最佳位置以及更新速度，且i=1，2，…，m。在進(jìn)行迭代時，當(dāng)前位置的圖像特征權(quán)重可作為適應(yīng)函數(shù)對模型進(jìn)行評估。若該粒子適應(yīng)值比歷史的最佳位置高，可直接將其替換為最佳位置，并以此獲取整個粒子群適應(yīng)度的最佳位置pg=(pg1，pg2)以及最佳的優(yōu)化權(quán)重(w′1，w′2)。設(shè)定固定值為最大迭代次數(shù)，對上述計(jì)算過程進(jìn)行迭代，直至固定值為止。

針對粒子的速度及位置對圖像的d維數(shù)據(jù)進(jìn)行更新計(jì)算，過程如下式所示

(15)

式中，n為計(jì)算時的慣性權(quán)重，c1和c2分別為學(xué)習(xí)因子。基于上述的計(jì)算結(jié)果，對超分辨率圖像的特征零樣本進(jìn)行分類處理，過程如下式所示

(16)

式中，φ(Ij)為超分辨率圖像在語義聯(lián)合嵌入空間的第j個測試樣本的圖像視覺特征，Av和Wv表示超分辨率圖像的語義屬性與語義詞的向量特征，Cv表示二者融合后的圖像特征。最后依據(jù)上式完成對超分辨率圖像的分類。

4 實(shí)驗(yàn)

為了驗(yàn)證上述分類方法的整體有效性，需要對此方法進(jìn)行測試。

4.1 實(shí)驗(yàn)結(jié)果及分析

分別采用本研究提出的基于塊分解的超分辨率圖像特征零樣本分類方法(方法1)、基于深度示例差異化的零樣本多標(biāo)簽圖像分類(方法2)、聯(lián)合穩(wěn)健跨域映射和漸進(jìn)語義基準(zhǔn)修正的零樣本遙感影像場景分類(方法3)進(jìn)行測試。

1)特征分類準(zhǔn)確度測試

在不同訓(xùn)練類別的情況下，利用方法1、方法2以及方法3測試超分辨率圖像多類別特征分類時的分類精度，特征類別總數(shù)為隨機(jī)選取，本次實(shí)驗(yàn)的特征類別為類別2、類別3、類別5、類別6，特征分類準(zhǔn)確度測試次數(shù)為110次，每20次記錄實(shí)驗(yàn)結(jié)果。三種方法的檢測結(jié)果如圖1所示。

圖1 不同方法的分類精度測試結(jié)果

依據(jù)圖1可知，在超分辨率圖像特征訓(xùn)練類別不同的情況下，隨著訓(xùn)練類別的增多，圖像特征分類精度也隨之下降。如圖1(b)和圖1(c)所示，方法2和方法3的圖像特征分類準(zhǔn)確度均低于60%，該數(shù)值說明這兩種傳統(tǒng)方法的應(yīng)用精度偏低，且其分類準(zhǔn)確度受特征類別數(shù)量的影響較大，應(yīng)用效果較差。如圖1(a)可知，所提方法的超分辨圖像特征零樣本分類準(zhǔn)確率可始終保持在80%以上，當(dāng)特征類別增多時，其準(zhǔn)確度波動幅度不大，說明該方法應(yīng)用穩(wěn)定性較理想。

2)AUC指標(biāo)測試

AUC(Area Under Curve)為ROC曲線下與坐標(biāo)軸圍成的面積，該面積數(shù)值的范圍為小于等于1。由于ROC曲線一般都處于y=x這條直線的上方，因此AUC的取值范圍在0.5和1之間。AUC越接近1.0，說明該方法所得結(jié)果真實(shí)性越高；等于0.5時，則真實(shí)性最低，無應(yīng)用價值。在超分辨率圖像中引入ROC曲線下面積(AUC)，對方法1、方法2以及方法3的分類效果進(jìn)行測試，測試結(jié)果如圖2所示。

圖2 不同方法的AUC指標(biāo)測試結(jié)果

依據(jù)圖2可知，方法2和方法3的AUC指標(biāo)明顯低于所提的方法1。當(dāng)圖像類別數(shù)量不斷增多時，方法2和方法3的AUC指標(biāo)出現(xiàn)下降趨勢，說明特征類別較多時，傳統(tǒng)方法的分類結(jié)果真實(shí)性較差，可應(yīng)用價值也較小。而相比之下，方法1的AUC指標(biāo)一直接近1，說明所提方法的超分辨率特征特征零樣本分類結(jié)果具有真實(shí)性。

5 結(jié)束語

提出基于塊分解的超分辨率圖像特征零樣本分類方法。該方法首先利用小波包變換方法，對超分辨率圖像進(jìn)行特征提取；再利用自適應(yīng)加權(quán)法對圖像特征零樣本進(jìn)行分類處理，從而實(shí)現(xiàn)超分辨率圖像的特征零樣本分類。該方法由于在特征提取時還存在一定缺陷，今后會針對這一問題對該方法深入優(yōu)化。