基于域內規劃的類質心匹配遷移學習算法研究

劉媛媛，郝慧琴，王耀力，孫永明，常 青

（1.太原理工大學信息與計算機學院，山西 晉中 030600；2.中國電信股份有限公司山西分公司，山西太原 030001；3.山西省林業和草原科學研究院，山西太原 030002）

煙霧檢測對森林火災的有效撲救有重要意義，因為火災的前期通常是以煙霧的形式表現出來，如果能夠快速檢測到煙霧并及時進行滅火處理，可以減少火災帶來的損失。近年來國內外煙霧識別檢測技術研究熱點主要集中在基于煙霧圖像的檢測技術，通過對煙霧視頻影像進行深度學習訓練實現圖像分類與識別。此類方法要求研究問題必須滿足訓練過程中訓練樣本與測試樣本獨立同分布，且需要有足夠可利用的訓練樣本圖的假設。然而，不同場景中的煙霧圖像無法滿足獨立同分布，且現實場景中，收集足夠的不同場景中的樣本標簽數據往往既昂貴又費力，樣本獲取困難，即產生所謂小樣本問題，模型推廣困難。

遷移學習[1]領域自適應方法[2]可以很好地解決這一問題，對于缺乏標簽數據的煙霧檢測任務，利用相似領域中豐富的標簽數據去學習。目前大多遷移學習算法對目標樣本進行單獨標記，容易產生誤分類，而誤分類的樣本將影響后續迭代中對共同特征空間的學習，最終導致性能顯著下降。

綜上所述，采用類質心匹配和局部流形自學習(CMMS)遷移學習算法[3]，對目標域進行標記時，通過將目標域中同一集群中的樣本視為一個整體來分配標簽，即將領域自適應的分布差異最小化問題重構為類質心匹配問題，同時加入域內規劃法[4]，使其充分利用域內結構來對樣本進行分類，達到較好的分類效果。

1 基于類質心匹配的遷移學習算法

1.1 類質心匹配算法

為了獲取目標數據的樣本分布結構信息，可以用聚類的思想來獲得聚類原型，這些原型可以看作是偽類質心。為了實現這個目標，采用經典的K-means算法來獲取聚類原型，即：

其中，P∈Rm×d為投影矩陣，F∈Rd×C為目標數據的聚類中心。定義源域樣本為xsi∈Rm，對應的標簽為ysi∈Rm，源域數據可表示為定義目標域樣本為xtj∈Rm，目標域數據可表示為Gt∈Rnt×C為目標數據的聚類標簽矩陣，如果xti的聚類標簽為j，則(Gt)ij=1，否則(Gt)ij=0。

獲得目標數據的聚類原型后，就可以將域自適應中的分布差異最小化問題轉化為類質心匹配問題。源數據的類質心可以通過計算同一類中樣本特征的平均值來獲得精確值。為使簡單有效，選擇最近鄰搜索來解決類質心匹配問題。即為每個目標聚類質心搜索最近的源類質心，并最小化每對類質心的距離之和。所以，兩個域的類質心匹配公式如下:

其中，ES∈RnS×C是一個常數矩陣，用于計算投影空間中源數據的類質心，如果ysi=j,每個元素，否則Eij=0。

1.2 局部流行自學習

目標樣本的聚類原型實際上是它們對應的類質心的近似。因此，聚類原型的質量對算法的最終性能起著重要的作用。已有研究證明，利用局部流形結構可以顯著提高聚類性能。然而，它們大多高度依賴于原始特征空間中預定義的鄰接矩陣，但由于維數過高，無法獲得高維數據固有的局部流形結構。所以使用局部流形自學習策略[5]，不再預先在原有的高維空間中定義相鄰矩陣，而是根據投影的低維空間中的局部連通性自適應地學習數據的相似度，從而獲得目標數據的固有局部流形結構。局部流形自學習公式如下：

其中，S∈Rnt×nt是目標域的鄰接矩陣，δ是超參數。Lt是對應的圖拉普拉斯矩陣，由Lt=D-S計算，其中D是一個對角矩陣，每個元素為Dii=∑j≠iSij。

對于源數據，一個合理的假設是同一類的樣本在投影空間中盡可能接近，這樣可以保留源域的判別結構信息[6]。作為一個簡單但有效的技巧，公式如下：

其中，tr(·) 為跡，W為源數據相似度矩陣，定義為如果ysi=ysj=c，則，否則為0。系數用于消除不同類大小的影響[7]。LS為拉普拉斯矩陣，定義為：

其中，X=[Xs,Xt]，L=diag(2Ls,2Lt)。結合式（3）和式（4），得到了一個通用的Ψ(P,S)項，它可以獲得源數據和目標數據的不同結構信息:

為避免過擬合和提高泛化能力，在投影矩陣P中進一步增加了F 范數正則項：

因此，結合公式（1）、（2）、（6）、（7），得到了最終的公式：

其中Id是維數為d的單位矩陣，H為中心矩陣，定義為:

其中的第一個約束是受主成分分析的啟發，其目的是使投影數據方差最大[8]。

2 改進的類質心匹配算法

2.1 域內規劃法

遷移學習的目的是將知識從一個標記良好的領域轉移到一個相似但不同的領域，這些領域有有限的標記或沒有標記。但是現有的基于學習的方法往往需要密集的模型選擇和超參數調整才能獲得良好的結果。此外，因為目標域中通常沒有標簽，導致超參數的調優不能進行交叉驗證。所以，需對以上類質心匹配算法進行改進。

域內規劃直接學習遷移分類器，為域內對齊提供可靠的似然信息。域內規劃引入了概率標注矩陣，并建立非參數傳遞分類器。其中c∈{1,…,C} 為類標號，M∈RC×nt為概率標注矩陣，其中的元素滿足0 ≤Mcj≤1。Mcj表示屬于類c的概率為。這樣，代價函數可以形式化為：

其中距離值Dcj是距離矩陣D中的元素，定義Dcj為xtj到源域第c類中心的距離。定義hc是的第c類中心，則Dcj可以通過歐幾里得距離計算：

其中I(·) 為指示函數，如果條件為真，則其值為1，否則為0。

2.2 約束條件

考慮最小化代價函數的約束，首先，Mcj的值是一個度量xtj屬于類c的置信度的概率，所以一個特定樣本xtj屬于所有現有類的概率為1。即滿足：

其次，由于Ωs和Ωt有相同的類別空間，即ys=yt，所以對于任何給定的類c至少有一個樣本，即滿足：

實際上，Mcj的理想值應該是一個二進制，0 或者1，即如果xj屬于類c，Mcj=1，否則Mcj=0。

因此，在不影響計算結果的情況下，使用以下公式代替上面的公式：

2.3 學習目標

結合代價函數和約束條件，最終的學習目標為：

這是一個求解線性規劃問題，可以用PuLP 求解M，最終由softmax 函數給出xtj的標簽：

所有xtj的標簽ytj組成一個標簽矩陣Gt∈Rnt×C，代入式（8）中。

目標函數為：

其中，n=ns+nt，V=diag(0ns×nt,Int),E=[Es;0nt×C],G=[0ns×C;Gt],L=diag(Ls,Lt)。

域內規劃法不僅考慮到樣本和中心的關系，還需考慮與其他樣本之間的關系。改進后的域內規劃類質心匹配算法(P-CMMS)的流程圖如圖1 所示。

圖1 P-CMMS流程圖

3 仿真實驗與分析

3.1 實驗概述

為了評估P-CMMS 算法的有效性，將其應用到兩個不同類的數據集進行分析比較。

Office-Caltech10 數據集[9]：Office31 包含31 種辦公物品的圖像，共4 110 張，圖像包括三個領域：亞馬遜（A）、數碼單反（D）和網絡攝像頭（W）。A 域是從網上下載的，D 域的圖像由數碼單反相機拍攝，W 域來自網絡攝像機拍攝。Caltech-256 包含30 607 幅圖像和256 個類別。由于Office 和Caltech 中的對象遵循不同的分布，域自適應有助于執行跨域識別。使用Office-Caltech10 數據集，該數據集包含12 個任務:A →D，A →C，…，C →W。在后續部分，使用A →B 來表示從源域A 到目標域B 的知識遷移。

煙霧數據集：由山西省林科院引進的南非ForestWatch 林火智能監測系統采集到的衛星遙感圖像和視頻影像圖像，分為有煙和無煙兩類，圖像樣本如圖2 所示。

圖2 煙霧樣本圖

對于衛星遙感(RS)圖像，其易獲取，數據量大，但拍攝周期較長，時效性低。而視頻影像(V)圖像可以克服衛星遙感圖像無法實時的缺點，能夠快速反映火災情況。煙霧數據集包括1 000 張衛星遙感(RS)圖像和1 000 張視頻影像(V)圖像，不同圖像分布代表兩個不同的領域。其中，每個領域分別包括500張有煙圖像和500 張無煙圖像。將每張圖片大小調整為3×224×224。選用Resnet50 網絡提取數據集特征，并與目前先進方法JDA[10]、BDA[11]、GFK[9]、CMEDA[12]進行比較。實驗采用交叉驗證的方法將各領域樣本集按比例劃分為訓練集、驗證集和測試集。其中，訓練集占總樣本50%，驗證集和測試機各占25%。

實驗利用準確率（Accuracy）、精確率(Precision)、召回率(Recall)和精確率與召回率的調和均值F1 衡量算法的性能，使煙霧圖像為正類，非煙霧圖像為負類，其計算公式如下：

參照的混淆矩陣如表1 所示。

表1 混淆矩陣表

3.2 Office-Caltech10分類準確率

在Office-Caltech10 數據集上分別使用GFK、CORAL、TCA、JDA、MEDA 與提出方法P-CMMS 在分類準確率上進行對比，結果列于表2。由實驗結果可知，P-CMMS 平均精度方面優于其他方法，除了C→W 之外，它在其他任務中表現最好。可以明顯看出在12 個分類任務中，P-CMMS 都有明顯優勢，且PCMMS 的平均分類精度提高了1.7%。

表2 Office-Caltech10數據集分類準確率

3.3 煙霧預測準確率

將衛星遙感樣本集作為源域，視頻影像樣本集作為目標域，遷移準確率如表3 所示。從假陽性、假陰性和準確率的角度來看，P-CMMS 的遷移效果優于JDA、BDA、GFK、CMEDA。其中，假陽性為3.02%，假陰性為4.14%，準確率為96.50%，準確率比CMMS明顯提高了4.50%。

表3 衛星遙感圖像到視頻影像圖像的遷移準確性

將視頻影像樣本集作為源域，衛星遙感樣本集作為目標域，遷移準確率如表4 所示，P-CMMS 的遷移效果同樣優于JDA、BDA、GFK、CMEDA。其中，假陽性為10.54%，假陰性為7.12%，準確率為92.00%，準確率比CMMS 明顯提高了6.50%。

表4 視頻影像圖像到衛星遙感圖像的遷移準確性

對比表3 和表4 可知，引入域內規劃可以更深入地學習目標域數據的結構信息，充分利用域內結構來對樣本進行分類，達到更好的分類效果。

由于實驗中用于特征提取的CNN 網絡模型參數是由基于ImageNet 數據集的預訓練模型遷移得到的，衛星遙感圖像到視頻影像圖像的遷移準確率低于衛星遙感圖像到視頻影像圖像的遷移準確率。

在煙霧數據集，遷移準確率(Accuracy)、精確率(Precision)、召回率(Recall)和調和均值F1如表5所示，其中RS→V 表示衛星遙感圖像到視頻影像圖像的遷移，召回率為97.2%；V→RS 表示視頻影像圖像到衛星遙感圖像的遷移，召回率為93.4%。從精確率(Precision)、召回率(Recall)及兩者的調和均值F1 可以看出提出的P-CMMS 方法性能較好。

表5 遷移準確率、精確率、召回率、F1

3.4 收斂速度

在視頻影像圖像和衛星遙感圖像數據集下，對比P-CMMS 方法與JDA、BDA、CMMS 方法的收斂速度。圖3 顯示了對衛星遙感樣本集學習，對視頻影像樣本集進行預測過程中每次迭代的準確率。圖4顯示了對視頻影像樣本集學習，對衛星遙感樣本集進行預測過程中每次迭代的準確率。

由圖3 和圖4 實驗結果可知，P-CMMS 算法在迭代次數為5 次時就已經收斂，該算法在收斂速度方面有很大優勢。

圖3 衛星遙感圖像到視頻影像圖像收斂速度

圖4 視頻影像圖像到衛星遙感圖像收斂速度

4 結論

針對森林火災煙霧檢測中缺乏標簽數據的問題，討論了類質心匹配和局部流行自學習遷移學習算法的優化，對其加入域內規劃法，該算法不僅考慮到樣本與中心的關系，還考慮到與其他樣本之間的關系，使其充分利用域內結構來對樣本進行分類。在實驗中，基于衛星遙感圖像與視頻影像圖像數據集對該模型進行評估，分別與各種最先進的遷移學習方法進行比較。結果表明，P-CMMS 算法在視頻影像圖像上的準確率提高了4.50%，在衛星遙感圖像上的準確率提高了6.50%，且在迭代次數為5 次時就已經收斂，可以達到較好的分類效果。