多視圖主動(dòng)學(xué)習(xí)的多樣性樣本選擇方法研究

陳立偉，房赫，朱海峰

（哈爾濱工程大學(xué) 信息與通信工程學(xué)院,黑龍江 哈爾濱 150001）

隨著遙感技術(shù)的迅速發(fā)展，高光譜圖像(hyperspectral image，HSI)在土地覆蓋物分類中得到了廣泛的應(yīng)用[1-3]。訓(xùn)練一個(gè)HSI 分類器，通常需要大量的標(biāo)記樣本，而標(biāo)記樣本的采集過程既昂貴又費(fèi)時(shí)[4-5]。主動(dòng)學(xué)習(xí)(active learning，AL)方法可以有效解決HSI 標(biāo)記樣本少的問題[6-7]。在AL方法中，多視圖主動(dòng)學(xué)習(xí)(multiview active learning,MVAL)方法可以從多個(gè)視圖中提取互補(bǔ)信息，大大減少訓(xùn)練樣本的數(shù)量[8-10]。

學(xué)者們對(duì)MVAL 的樣本選擇方法展開了廣泛研究：文獻(xiàn)[11]提出了自適應(yīng)最大不一致(adaptive maximum disagreement,AMD)的樣本選擇方法，該方法利用各分類器對(duì)樣本預(yù)測(cè)結(jié)果的不一致性選擇樣本；文獻(xiàn)[12] 提出了加權(quán)投票熵(weighted voting entropy,WVE)的樣本選擇方法，由于不同視圖對(duì)于不同類別的區(qū)分能力不同，該方法通過各視圖的權(quán)重體現(xiàn)了不同視圖對(duì)樣本的辨別能力的差異；文獻(xiàn)[13]提出了一種IEUE 樣本選擇方法，該方法綜合考慮了視圖內(nèi)和視圖間的不確定性。這些方法均取得了良好的分類結(jié)果，但是這些方法只考慮了樣本的不確定性，沒有考慮樣本的多樣性，導(dǎo)致所選樣本中存在冗余。并且，隨著迭代次數(shù)的增加，不同視圖訓(xùn)練的分類器會(huì)趨同，具有相同的分歧程度的樣本越來越多，樣本冗余問題會(huì)進(jìn)一步加劇[11-14]。

目前，學(xué)者們對(duì)MVAL 中所選樣本的多樣性研究較少。文獻(xiàn)[15]提出了一種用于MVAL 的基于聚類的多樣性樣本選擇方法，該方法采用局部聚類密度度量方法對(duì)HSI 樣本進(jìn)行聚類，采用光譜角距離作為聚類的距離準(zhǔn)則。然而，該方法在聚類過程中只使用了光譜信息，沒有考慮樣本的空間信息，由此選出的相似樣本會(huì)產(chǎn)生同譜異物的問題[16-17]。

本文提出了一種基于超像素分割[18]的MVAL多樣性樣本選擇方法。HSI 的超像素分割方法同時(shí)基于樣本的光譜特性和空間特性，可以有效地避免樣本選擇過程中的同譜異物問題。

在MVAL 中，多個(gè)視圖訓(xùn)練的多個(gè)分類器，彼此獨(dú)立并互相補(bǔ)充，共同對(duì)樣本選擇過程和得到最終分類結(jié)果起作用[19]。分類器對(duì)不同樣本的預(yù)測(cè)結(jié)果的一致性直接與樣本間的相似性有關(guān)，因此本文又提出了一種基于多視圖預(yù)測(cè)標(biāo)簽一致性的樣本選擇方法。

1 算法框架

1.1 MVAL 的基本流程

基于MVAL 的HSI 分類的基本流程是：首先將HSI 的全部已標(biāo)記樣本分為訓(xùn)練集和候選集，然后對(duì)HSI 采用某種視圖生成方法得到多個(gè)視圖。每個(gè)視圖分別訓(xùn)練一個(gè)分類器，并使用每個(gè)分類器對(duì)全部樣本進(jìn)行預(yù)測(cè)，得到其預(yù)測(cè)的結(jié)果和精度。根據(jù)預(yù)測(cè)結(jié)果，使用MVAL 樣本選擇策略從候選集中選出信息量大的樣本。依次迭代，直到滿足停止條件。根據(jù)各個(gè)分類器的預(yù)測(cè)結(jié)果得到最終的分類結(jié)果和分類精度[20-21]。停止條件一般為達(dá)到了最大迭代次數(shù)或分類精度達(dá)到某個(gè)值。基于MVAL 的HSI 分類的基本流程圖如圖1 所示。

圖1 基于MVAL 的HSI 分類的基本流程Fig.1 Basic flow chart of HSI classification based on MVAL

1.2 視圖生成方法

本文使用了3D-Gabor 濾波視圖生成方法，通過使用不同頻率和方向的3D-Gabor 濾波器將原始HSI轉(zhuǎn)換成多個(gè)具有不同頻譜空間特征的數(shù)據(jù)集[22]。利用這些數(shù)據(jù)集提供的頻譜空間信息，將HSI 的光譜和空間信息結(jié)合起來。3D-Gabor 內(nèi)核為

式中：ω為波向量的中心頻率；φ為波向量和光譜維度的夾角；ωx、ωy、ωλ分別是樣本的特征向量在高光譜圖像的橫縱坐標(biāo)軸x、y和光譜方向 λ上的投影；θ是樣本的特征向量在地面x、y上的投影與x軸的夾角；g(x,y,λ)是在(x,y,λ)域的三維高斯包絡(luò)線。頻率和方向的參數(shù)設(shè)置為：。當(dāng)φ=0時(shí)，波向量與不同的 θ矢量方向相同，共13 個(gè)方向。HSI 經(jīng)3DGabor 濾波后，得到65個(gè)不同頻率和方向的Gabor 立方體，得到的Gabor立方體與原始HSI 大小相同。

然后，采用文獻(xiàn)[13]中提出的FR 準(zhǔn)則衡量視圖的充分性。從得到的全部視圖中選出充分性最大的5 個(gè)視圖作為MVAL 的多視圖。FR 準(zhǔn)則為

式中：Ds為初始標(biāo)記訓(xùn)練樣本；r為地物類別數(shù)量；(μi?μj)(μi?μj)T為第i、j類的均值類間散射矩陣；(μi?x)(μi?x)T+(μj?x)(μj?x)T為第i、j類的方差類內(nèi)分散矩陣。

1.3 傳統(tǒng)的AMD 查詢策略

傳統(tǒng)樣本選擇方法通過比較各分類器對(duì)樣本的不同預(yù)測(cè)結(jié)果個(gè)數(shù)，衡量樣本的不確定性，并從候選集中選出不同預(yù)測(cè)結(jié)果個(gè)數(shù)最多的樣本進(jìn)行查詢。該方法稱為自適應(yīng)最大不一致策略(adaptive maximum disagreement，AMD)。具體表達(dá)式為

式中：Lk(xi)為第k個(gè)分類器對(duì)樣本xi的分類結(jié)果，共有K個(gè)分類器；DC為候選集；|·|count為其中不同元素的個(gè)數(shù)。

2 MVAL 樣本選擇方法的多樣性選擇策略

針對(duì)MVAL 樣本選擇過程中存在冗余樣本的問題，本文提出了基于超像素分割和基于預(yù)測(cè)標(biāo)簽一致性的兩種MVAL 多樣性樣本選擇策略。在MVAL 的傳統(tǒng)AMD 樣本選擇方法后，使用提出的多樣性方法對(duì)所選樣本進(jìn)行進(jìn)一步篩選，減少訓(xùn)練樣本個(gè)數(shù)，從而降低人工標(biāo)記成本。

2.1 基于超像素分割的多樣性選擇策略

傳統(tǒng)的超像素分割方法有Meanshift、簡(jiǎn)單線性迭代聚類(simple linear iterative clustering，SLIC)、歸一化分割(normalized cut)、基于熵率(entropy rate)等。其中，SLIC 算法能夠根據(jù)HSI 的同質(zhì)性和非均勻性特點(diǎn)進(jìn)行超像素分割，使不同超像素的空間相干性大大降低。同時(shí)只需設(shè)置一個(gè)預(yù)分割超像素?cái)?shù)量參數(shù)即可在運(yùn)行速度、緊湊整齊度等方面有一定優(yōu)勢(shì)[23]。因此，本文采用SLIC 超像素算法[24]用于HSI 的MVAL 多樣性樣本選擇過程。

利用SLIC 超像素方法對(duì)MVAL 樣本選擇過程進(jìn)行多樣性改進(jìn)的步驟為：首先對(duì)整個(gè)HSI 進(jìn)行SLIC 超像素分割，分割后的HSI 數(shù)據(jù)如圖2。設(shè)共得到k個(gè)超像素，每個(gè)樣本xi均對(duì)應(yīng)一個(gè)超像素標(biāo)簽Li，同一超像素的樣本的超像素標(biāo)簽相同。然后使用一種樣本選擇方法(如AMD 策略)選出不確定性最大的m個(gè)樣本，記為XAMD=[x1x2···xm]。再?gòu)倪@m個(gè)樣本找出屬于相同超像素的樣本。接下來對(duì)其中屬于同一個(gè)超像素的樣本，隨機(jī)選出其中一個(gè)作為代表，剩下的樣本放回候選集中。令選出的樣本必須來自不同的超像素，從而實(shí)現(xiàn)樣本選擇過程的多樣性改進(jìn)。

圖2 高光譜圖像的SLIC 超像素分割圖Fig.2 SLIC superpixel segmentation schematic of hyperspectral images

得到超像素標(biāo)簽的表達(dá)式為

提出的基于超像素的多樣性樣本選擇方法的定義公式為

式中XSLIC為XAMD經(jīng)過提出的基于超像素的多樣性樣本選擇方法后得到的最終所選樣本。unique函數(shù)的具體過程如圖3。

圖3 unique 函數(shù)的流程Fig.3 Flow of unique function

此方法先對(duì)原始HSI 進(jìn)行超像素分割，該過程同時(shí)考慮了樣本的空間相鄰性和光譜相似性。將HIS 中光譜相似且空間相鄰的樣本判別為相似樣本，放入一個(gè)超像素區(qū)域中。通過超像素分割方法得到相似樣本可以有效地避免同譜異物問題，從而更好地進(jìn)行多樣性樣本選擇。

2.2 基于預(yù)測(cè)標(biāo)簽一致性的多樣性選擇策略

在HSI 分類的MVAL 方法中，每個(gè)分類器均對(duì)樣本進(jìn)行預(yù)測(cè)。對(duì)于兩個(gè)特別相似的樣本，各分類器對(duì)它們的分類結(jié)果大概率相同。基于MVAL方法特有的多視圖特點(diǎn)，以及每個(gè)視圖分別訓(xùn)練分類器的特點(diǎn)，提出一種基于預(yù)測(cè)標(biāo)簽一致性的去冗余算法。該算法通過比較分類器對(duì)不同樣本預(yù)測(cè)結(jié)果的一致性，找出所選樣本中的相似樣本，并去掉其中冗余樣本。此方法的定義為

式中：xi,xj∈UC，且xi≠xj；D為樣本xi和xj的相似程度，D越大，xi和xj越相似。

基于預(yù)測(cè)標(biāo)簽一致性的多樣性樣本選擇方法如圖4 所示。首先使用一種樣本選擇方法(如AMD策略)選出一批信息量大的樣本{X1,X2,···,X8}，然后對(duì)從中找出預(yù)測(cè)標(biāo)簽完全相同的樣本。從圖4中可以看出，樣本X1與樣本X3的預(yù)測(cè)標(biāo)簽完全相同，均為[3,4,4,6,7]；樣本X5與樣本X6的預(yù)測(cè)標(biāo)簽完全相同，均為[6,6,7,12,7]。從樣本X1和樣本X3中隨機(jī)選擇一個(gè)作為代表加入訓(xùn)練集，如樣本X1，其余樣本放回候選集；再?gòu)臉颖綳5和樣本X6中隨機(jī)選擇一個(gè)作為代表加入訓(xùn)練集，如樣本X5，其余樣本放回候選集，最終選擇的訓(xùn)練樣本為{X1,X2,X4,X5,X7,X8}。從圖4 中可以看出，訓(xùn)練樣本數(shù)由8 個(gè)減少為6 個(gè)，通過基于預(yù)測(cè)標(biāo)簽一致性的去冗余方法可以實(shí)現(xiàn)去除多余的訓(xùn)練樣本的目的，減少人工標(biāo)記成本。

圖4 基于預(yù)測(cè)標(biāo)簽一致性的多樣性樣本選擇方法示意Fig.4 Graphical representation of a diversity sampling method based on predictive label consistency

3 實(shí)驗(yàn)結(jié)果與討論

3.1 實(shí)驗(yàn)數(shù)據(jù)集

為了驗(yàn)證本文算法的有效性，采用了2 個(gè)常用的高光譜圖像進(jìn)行仿真實(shí)驗(yàn)，分別是Indian Pines 數(shù)據(jù)集和Salinas 數(shù)據(jù)集。Indian Pines 數(shù)據(jù)集包括16 個(gè)類別，共有21025 個(gè)樣本，其中有真實(shí)標(biāo)簽的樣本為10249 個(gè)；Salinas 數(shù)據(jù)集也包括16 個(gè)類別，共有111104 個(gè)樣本，其中有真實(shí)標(biāo)簽的樣本為54129 個(gè)。

3.2 分類性能評(píng)價(jià)指標(biāo)

本文使用綜合精度(OA)、平均精度(AA)、Kappa 系數(shù)(Kappa)對(duì)兩組對(duì)比實(shí)驗(yàn)結(jié)果進(jìn)行定量比較。

OA 方法通過混淆矩陣判別總體分類精度，具體表達(dá)式為

式中：N為全部樣本數(shù)；n為類別總數(shù)；mi為 將樣本正確分類到第i類的數(shù)量。

AA 表示在每個(gè)類別中分類正確的樣本所占的比重。如果各類別樣本數(shù)量相同，則平均分類精度AA 與總體分類精度OA 相同。AA 的表達(dá)式為

Kappa 系數(shù)用來表示分類圖與真實(shí)圖像的一致性。Kappa 系數(shù)的具體表達(dá)式為

3.3 實(shí)驗(yàn)結(jié)果對(duì)比

本節(jié)主要驗(yàn)證本文提出的兩種多樣性樣本選擇方法的效果，并將提出的基于超像素分割的多樣性選擇方法和基于預(yù)測(cè)標(biāo)簽一致的去冗余算法分別簡(jiǎn)稱為方法A 和方法B。采用選取的2 組HSI 數(shù)據(jù)進(jìn)行3 組實(shí)驗(yàn)。第1 組：使用傳統(tǒng)AMD策略進(jìn)行樣本選擇，記為AMD。第2 組：先使用AMD 策略進(jìn)行樣本選擇，再將所選樣本使用方法A 去除冗余，最后將去冗余后的所選樣本加入訓(xùn)練集，進(jìn)行MVAL，記為AMD+A。第3 組：將方法A 換成方法B，其他操作與第2 組實(shí)驗(yàn)相同，記為AMD+B。將第2、3 組實(shí)驗(yàn)結(jié)果與第1 組實(shí)驗(yàn)結(jié)果進(jìn)行對(duì)比，驗(yàn)證這2 種方法的有效性。

以上所有實(shí)驗(yàn)均使用MLR 分類器[25]，采用3D-Gabor 濾波視圖生成方法，視圖數(shù)量為5。3 組數(shù)據(jù)使用相同頻率和方向的3D-Gabor 濾波器，濾波后均得到65 個(gè)Gabor 立方體，再通過FR 準(zhǔn)則選出充分性前5 的立方體作為MVAL 的5 個(gè)視圖。實(shí)驗(yàn)前，分別在Indian Pines 數(shù)據(jù)集和Salinas 數(shù)據(jù)集中有真實(shí)標(biāo)簽的樣本中選出一部分樣本作為初始訓(xùn)練樣本。具體方法為：從每個(gè)類別中隨機(jī)選出5 個(gè)樣本作為初始訓(xùn)練樣本，共80 個(gè)樣本。其余的有真實(shí)標(biāo)簽的樣本為候選樣本，測(cè)試樣本為有真實(shí)標(biāo)簽的全部樣本。在AMD樣本選擇方法中，每次迭代最多選擇15 個(gè)樣本，共迭代20 次。在方法A 中，超像素的邊長(zhǎng)為4×4，超像素個(gè)數(shù)大約為總樣本數(shù)除以16，超像素中光譜和空間的權(quán)重因子為0.5。

為了進(jìn)一步測(cè)試方法的效果，本文對(duì)比了實(shí)驗(yàn)中每5 次迭代對(duì)應(yīng)的分類精度以及各組實(shí)驗(yàn)的耗時(shí)情況。Indian Pines 數(shù)據(jù)集的AMD 和AMD+A 實(shí)驗(yàn)迭代過程中的分類結(jié)果如表1 所示。Salinas 數(shù)據(jù)集的AMD 和AMD+A 實(shí)驗(yàn)迭代過程中的分類結(jié)果如表2 所示。

表2 Salinas 數(shù)據(jù)集的AMD+A 與AMD 的實(shí)驗(yàn)結(jié)果Table 2 Experimental results of AMD+A and AMD in the Salinas dataset

從表1、2 可以看出：無論迭代次數(shù)是多少，通過基于超像素分割的多樣性選擇方法改進(jìn)后得到的實(shí)驗(yàn)精度基本不變，而訓(xùn)練樣本數(shù)量均有不同程度的減少。

表1 Indian Pines 數(shù)據(jù)集的AMD+A 與AMD 的實(shí)驗(yàn)結(jié)果Table 1 Experimental results of AMD+A and AMD in the Indian Pines dataset

兩個(gè)數(shù)據(jù)集在AMD 和AMD+A 實(shí)驗(yàn)中得到的最終分類結(jié)果如表3 所示，分類結(jié)果對(duì)比圖如圖5、6 所示。

圖5 用方法A 改進(jìn)前后的實(shí)驗(yàn)結(jié)果分析(Indian Pines)Fig.5 Comparison of experimental results before and after improvement with method A (Indian Pines)

表3 AMD+A 與AMD 實(shí)驗(yàn)的最終結(jié)果Table 3 Final results of the AMD+A and AMD experiments

圖6 用方法A 改進(jìn)前后的實(shí)驗(yàn)結(jié)果分析(Salinas)Fig.6 Comparison of experimental results before and after improvement with method A (Salinas)

由AMD 和AMD+A 的對(duì)比實(shí)驗(yàn)結(jié)果可以看出：3 個(gè)HSI 數(shù)據(jù)集在兩組實(shí)驗(yàn)中的OA、AA、Kappa 值區(qū)別不大，分類結(jié)果圖也無明顯差別，然而兩個(gè)數(shù)據(jù)集在AMD+A 實(shí)驗(yàn)中用到的訓(xùn)練樣本總數(shù)比AMD 實(shí)驗(yàn)中分別減少了10.2%、17.1%，耗時(shí)僅增加了3.49 s、24.92 s。Indian Pines 數(shù)據(jù)集的AMD 和AMD+B 實(shí)驗(yàn)迭代過程中的分類結(jié)果如表4 所示。Salinas 數(shù)據(jù)集的AMD 和AMD+B 實(shí)驗(yàn)迭代過程中的分類結(jié)果如表5 所示。

表4 Indian Pines 數(shù)據(jù)集的AMD+B 與AMD 的實(shí)驗(yàn)結(jié)果Table 4 Experimental results of AMD+B and AMD in the Indian Pines dataset

表5 Salinas 數(shù)據(jù)集的AMD+B 與AMD 的實(shí)驗(yàn)結(jié)果Table 5 Experimental results of AMD+B and AMD in the Salinas dataset

從表4、5 中可以看出：無論迭代次數(shù)是多少，通過基于預(yù)測(cè)標(biāo)簽一致的去冗余算法改進(jìn)后得到的實(shí)驗(yàn)精度基本不變，而訓(xùn)練樣本數(shù)量均有不同程度的減少。兩個(gè)數(shù)據(jù)集在AMD 和AMD+B實(shí)驗(yàn)中得到的最終分類結(jié)果如表6 所示，分類結(jié)果對(duì)比圖如圖7、8 所示。

圖7 用方法B 改進(jìn)前后的實(shí)驗(yàn)結(jié)果分析(Indian Pines)Fig.7 Comparison of experimental results before and after improvement with method B (Indian Pines)

表6 AMD+B 與AMD 實(shí)驗(yàn)的最終結(jié)果Table 6 Final results of AMD+B and AMD experiments

圖8 用方法B 改進(jìn)前后的實(shí)驗(yàn)結(jié)果分析(Salinas)Fig.8 Comparison of experimental results before and after improvement with method B (Salinas)

由AMD 和AMD+B 的對(duì)比實(shí)驗(yàn)結(jié)果可以看出：3 個(gè)HSI 數(shù)據(jù)集在兩組實(shí)驗(yàn)中的OA、AA、Kappa 值區(qū)別不大，分類結(jié)果圖也無明顯差別，然而兩個(gè)數(shù)據(jù)集在AMD+B 實(shí)驗(yàn)中用到的訓(xùn)練樣本總數(shù)比AMD 實(shí)驗(yàn)中分別減少了8.2%、25.4%。AMD+B 比AMD 實(shí)驗(yàn)的耗時(shí)增加0.88 s、14.34 s。

通過觀察以上實(shí)驗(yàn)結(jié)果可以看出，AMD+A方法和AMD+B 方法相對(duì)于傳統(tǒng)AMD 方法具有明顯優(yōu)勢(shì)。從實(shí)驗(yàn)結(jié)果來看，將本文提出的兩種樣本多樣性選擇方法用在傳統(tǒng)AMD 樣本選擇方法后，OA、AA、Kappa 及分類結(jié)果圖均無明顯變化，訓(xùn)練樣本數(shù)量均有不同程度的減少。使用這兩種改進(jìn)方法雖然會(huì)少量地增加耗時(shí)，但增加的時(shí)間成本與節(jié)省的人工標(biāo)記成本相比可以忽略不計(jì)。

4 結(jié)束語

本文基于SLIC 超像素分割方法和各視圖預(yù)測(cè)結(jié)果的一致性，提了出2 種MVAL 多樣性樣本選擇方法，有效地解決了傳統(tǒng)MVAL 樣本選擇過程存在冗余樣本的問題。在2 組HSI 中進(jìn)行實(shí)驗(yàn)，驗(yàn)證了這兩種方法能夠有效地去除傳統(tǒng)樣本選擇過程中的冗余樣本，在分類精度不變的前提下，減少訓(xùn)練樣本總數(shù)，進(jìn)而減少人工標(biāo)記成本。