基于注意力類特定編碼的小樣本目標檢測

林弟忠 鄒書蓉 符 穎

(成都信息工程大學計算機學院,四川 成都 610225)

0 引言

現有的高性能目標檢測模型進行訓練需要大規模帶標簽信息的數據集,而大多數實際檢測場景中標注數據只占很小一部分。沒有足夠的標注數據用于訓練,導致現有模型檢測效果不佳,這阻礙了目標檢測的研究及應用于更多的場景中。近幾年,小規模標注數據集下的檢測任務引起了重視,從而小樣本目標檢測相關工作得到了迅速發展。當前大多數的研究模型基于傳統的 Faster-RCNN[1]、YOLO[2]、SSD[3]等有錨的目標檢測框架搭建,并借鑒了小樣本學習的元訓練策略[4]。但這些基于有錨的小樣本目標檢測框架依賴于大量的基類數據進行長時間訓練,并且為了適應新類樣本的檢測需要構建基類和新類的平衡小樣本集[5]并微調參數。如果還需要額外引入新類,就必須進行二次訓練,訓練方法十分復雜。為克服這種煩瑣的訓練方法,讓檢測器高效地檢測新類樣本,基于無錨的小樣本檢測器得到了發展。如ONCE[6]小樣本目標檢測器,參考了基于無錨的CenterNet[7]檢測網絡并額外引入基于ResNet的類編碼器對新類進行編碼。該網絡可以直接注入新類進行檢測無需微調及進行二次訓練,其中類代碼能構建起每個類獨有的權重參數用于檢測網絡進行有效檢測。而ONCE僅用了單一的ResNet[8]作為類代碼生成器提取類特征,編碼性能不佳導致對于困難樣本會產生大量錯檢和漏檢。

以上研究表明,提升小樣本目標檢測器對新類檢測的泛化性能是十分關鍵的。近年來,將注意力機制[9-10]融合到特征提取網絡有益于讓網絡專注于學習每個目標最重要的特征信息,提升網絡的編碼性能。

借鑒注意力機制的思想并參考無錨的CenterNet網絡框架,本文設計了全新的小樣本目標檢測器。引入融合注意力模塊的類編碼器高效地提取新類圖像的表征信息,讓類編碼器專注于學習每個類獨有的特征信息,提取類特定的代碼用于檢測網絡,有益于檢測新類中的困難樣本。實驗結果表明,本文的小樣本目標檢測模型使新類樣本的泛化性能得到了有效增強。

1 相關工作

2018年,Kang等[11]參考YOLOv2框架搭建小樣本檢測模型并額外引入了權重調整模塊生成每個類別的特有的權重向量用于適應對新類別的檢測,從而實現在基類和新類混合訓練場景下對新類的有效檢測。2019年,Zhang等[12]提出對比網絡,第一階段利用常規的Faster-RCNN進行訓練,第二階段先采用一個孿生網絡提取查詢圖像和目標圖像特征并做相似度計算,而注入新類樣本到模型中需要重新進行微調和訓練,才能進行有效檢測。2019年,Fan等[13]在候選框區域提取網絡中引入attention-RPN模塊用于融合查詢圖像與支持集圖像的特征,采用雙向對比訓練策略用于檢測新類。多次關聯和對比的訓練方式充分對目標的相似性特征進行分析,但模型訓練方式非常復雜。2020年,Wang等[5]提出了以Faster-RCNN為框架,分兩階段訓練,在第二階段只微調分類和回歸子網絡,通過重新調整特征的組合權重以適應新類。這種框架也需要在第二階段進行微調,因此不能輕易地將新類注入模型中。Juan-Manuel等[6]借鑒CenterNet[7]框架提出了ONCE網絡,引入提取圖像特征的元網絡和用于定位目標的目標定位網絡。另外,采用殘差網絡作為類代碼生成器提取與類相關的類代碼用于檢測網絡。這樣的網絡框架能輕易地引入新類,但單一的殘差網絡對新類的特征提取性能不足,導致模型的泛化性能不佳。

注意力機制能讓網絡顯著地關注圖像比較重要的部分,有效減少周圍信息的干擾。近年來,注意力機制[14-16]有效地引入到圖像領域CNN網絡中,取得了不錯的效果。Wang等[17]提出了由多層注意力模塊堆疊而成的殘差注意力網絡,可以進一步提取特征圖中的重要信息,對噪聲輸入也具有一定的魯棒性,但網絡參數量太大,增加了模型訓練負擔。Hu等[9]提出由若干個通道注意力模塊組合而成的SeNet(squeezeand-excitation networks),該注意力模塊旨在通過對特征進行全局平均池化學習通道之間的相關性,讓網絡能夠使用動態通道級特征重新進行校準從而提高網絡的特征表達能力。Sanghyun Woo等[10]借鑒了 Shen等[9]的工作并驗證了在注意力模塊中只使用平均池化關注單一的通道特征關系并非最優方案,提出對輸入注意力模塊的特征額外引入最大池化計算。設計出了融合空間特征和通道特征的注意力模塊CBAM(convolutional block attention module),提升了網絡對圖像重要特征的表達性能。實驗證明兩種注意力模塊的融合優于僅僅只關注通道特征的方式。

2 檢測方法

2.1 CenterNet網絡

針對增量式元訓練場景,本文選擇無錨目標檢測算法CenterNet網絡作為框架,對比YOLO、SSD等網絡,CenterNet網絡結構見圖1。該網絡針對每個類獨立進行檢測,減少了基類和新類的特征交叉,從而有效減小基類特征對新類的干擾。網絡獨立學習新類的能力更強,適合用于構建小樣本目標檢測的框架。首先,利用裁剪、顏色抖動、隨機縮放以及隨機翻轉等操作作為數據增強T1得到增強后的數據。然后,CenterNet將訓練圖像傳入特征提取器中得到網絡的熱圖,最終根據熱圖預測目標的中心點并回歸得到最終的檢測框。

2.2 小樣本目標檢測網絡架構

本文設計了一種新的小樣本目標檢測模型,其網絡結構見圖2。將CenterNet網絡分解為特征提取器和目標定位器,其中特征提取器為編碼解碼結構,編碼部分為殘差網絡,解碼部分為反卷積網絡。并且所有新類和基類共享權重。而目標定位器包含類相關的權重信息,能對特征圖進一步做卷積操作生成熱圖。

另外,引入了注意力類編碼器生成具有注意力感知的類代碼用于目標定位器,這取代了CenterNet利用迭代更新類相關權重參數的操作。注意力類編碼器通過全局平均池化輸出與類相關的權重信息進一步參數化目標定位器的參數。在該類編碼器中融合了空間注意力模塊和通道注意力模塊,使編碼器專注于學習類特定代碼。

2.3 注意力類編碼器

受注意力機制[15-17]相關工作的啟發,在注意力類編碼器的結構中,為保持最佳特征編碼性能,不改變整個殘差網絡的結構,在整個殘差網絡的前面和后面分別融合注意力模塊,見圖2。與CBAM[17]保持一致,該注意力模塊的結構見圖3。圖像經過卷積及歸一化等操作得到的淺層特征,先通過一個通道注意力模塊,得到加權特征之后,再經過一個空間注意力模塊,從而得到同時具有通道和空間注意力感知的特征信息。并利用殘差網絡進一步提取圖像深層的特征信息,最終以平均池化的方式輸出類特定代碼。

2.4 元訓練策略

借鑒元學習的訓練策略[4],為充分利用基礎類別,將元訓練分為兩個串行階段。第一階段,利用標注信息豐富的基類數據在標準的CenterNet網絡上訓練出特征提取器的權重參數用于下一個訓練階段。第二階段的訓練分為多個episode,見圖4。每個episode執行多個元任務,每個元任務根據標簽信息隨機抽取多個樣本構成一個支持集用于訓練和一個查詢集用于測試。這種學習機制有益于網絡在不同元任務中學習提取每個類別最重要的特征[4],增強模型的特征提取性能,同時也更有利于學習每個類獨有的類代碼。

2.4.1 第二階段訓練:注意力類編碼器的學習

元訓練第一階段采用標準的CenterNet網絡進行訓練,只是為了學習特征提取器的權重用于下一階段。在第二階段固定特征提取器的參數,主要訓練一個融合通道注意力模塊和空間注意力模塊的注意力類編碼器,從而具有生成注意力感知的類代碼的能力。為了對注意力類編碼器進行有效訓練,本文采用增量式元訓練策略[6]。

具體做法:整個訓練由多個episode構成,每個episode執行一定數量的元任務,并且每個元任務從所有類別中采樣一個類標簽集L。比如,L={香蕉,傘,…}。每個元任務會根據標簽集L隨機抽取一個支持集S和一個查詢集Q。每個支持集中的圖像x(x∈S)做數據增強T2輸入類編碼器提取特征。類編碼器中的殘差網絡部分用上一階段訓練得到的特征提取器中編碼器部分的權重進行初始化。在前向傳播過程中,每一個元任務中的查詢集圖像做數據增強T1,并利用一階段訓練好的特征提取器提取查詢集特征,見式(1),得到多通道的特征圖。同時,注意力類編碼器提取支持集圖像特征生成類特定代碼cIk:

其中,mQ為查詢集圖像I的特征,SIk為采樣得到的支持集樣本。最終,通過全局平均池化輸出768維的類特征cIk,并以同種類別的類特征cIk做平均池化,得到每個類的類特定代碼{ck}。將查詢集圖像特征mQ和類特定代碼{ck}輸入目標定位器中做卷積運算h生成每個類對應的熱圖Y:

熱圖的損失采用L1損失函數進行計算,如式(4)所示。通過更新目標定位器和注意力類編碼器的參數使得熱圖預測偏差最小。

其中,n為查詢集圖像的總數,Z為真實熱圖。

該訓練階段總損失Lmeta_det由查詢集熱圖heatmap、回歸框尺寸預測size、中心點偏移量offset 3部分組成:

2.4.2 元測試:注入新類

經過元訓練得到健壯的小樣本目標檢測器,其中包含注意力特征提取器、注意力類編碼以及目標定位器。采用元測試向檢測器注入新類進行測試。首先,根據標簽集對模型輸入隨機抽取得到的一組新類支持集樣本,注意力類編碼器提取新類的類特定代碼。同時,特征提取器對輸入的測試圖像進行特征提取。然后,網絡將得到的類特定代碼和特征圖輸入目標定位器中做卷積運算生成熱圖,并通過回歸得到測試樣本的檢測結果。

3 實驗

3.1 實驗環境及數據集

實驗部署在8張英偉達GT 710 12G顯卡的Linux服務器上,配置了符合要求的加速平臺和加速庫。采用目標檢測常用的COCO[18]基準數據集進行實驗,其中訓練集118287張,驗證集5000張,涵蓋80個目標類別,其中20個類別作為新類。該20個類別與PASCAL VOC[19]數據集所涵蓋的類別相同,COCO數據集中剩余的60個類別作為基類。因此,實驗可分為兩種:第一種為元訓練和元測試均在COCO上進行的COCO同數據集評估;第二種是將COCO數據集用于元訓練兩階段,在PASCAL VOC數據集上進行元測試的跨數據集評估。

3.2 COCO同數據集評估

首先,調整COCO基類訓練圖像的尺寸到512×512,以標準的CenterNet訓練方式進行元訓練第一階段。然后,在第二階段中,與ONCE[6]保持一致,將基類視為偽新類樣本進行訓練。設置每一個episode隨機抽取32個元任務,每個元任務包含對3個類別的檢測,并且每個類別含有5個標注框,增大元任務的學習量有益于性能的提升。

采用元測試對模型性能進行評估時,網絡會從COCO訓練集中采樣多組新類支持集,并且對每組支持集會隨機抽取每種新類{shot=1,5,10}個數據樣本用于提取類特定代碼。同時,使用COCO驗證集上的新類樣本作為測試圖像評估本文小樣本目標檢測器的性能。

本文的模型與主流的小樣本目標檢測算法進行了性能對比:標準Fine-Tuning檢測模型[6];Few-shot object detection via feature reweighting[11];增量式小樣本目標檢測網絡ONCE[6]。實驗結果如表1所示。從實驗結果可知,對每種新類采樣{shot=1,5,10}個樣本用于提取類代碼進行檢測,本文的方法均最優。證明設計的檢測器泛化性能得到了有效增強,能根據少量的新類樣本實現有效檢測。同時,在{shot=10}情況下,ONCE和本文方法檢測對比結果見圖5。可以看出,本文的方法有效地減少了對檢測目標的錯檢和漏檢情況。

表1 COCO同數據集檢測對比結果

3.3 PASCAL VOC跨數據集評估

對于從COCO到PASCAL VOC的跨數據集評估,同樣采用COCO數據集的基類數據進行兩個階段的元訓練,而元測試采用PASCAL VOC測試集作為測試圖像評估本文的小樣本目標檢測器的性能,實驗對比結果如表2所示。從實驗結果可知,對新類采樣{shot=5,10}個標注樣本提取類特定代碼進行元訓練,并對PASCAL VOC測試集進行元測試,在得到的測試結果中,AP和AR值均優于其他主流算法。說明本文的檢測器可以有效地遷移到新數據集上進行檢測,這對于實際檢測場景具有重要意義。

表2 PASCAL VOC跨數據集檢測對比結果

3.4 消融實驗

本文方法的消融實驗結果如表3所示。實驗結果表明,本文的檢測框架采用融合了通道注意力和空間注意力的類編碼器,在性能上能夠達到最優。

表3 消融實驗結果

4 結論和討論

引入的注意力類編碼器能對輸入的少量新類樣本高效編碼出類特定代碼用于目標定位器,從而提高目標檢測的準確性,減少了錯檢和漏檢。同時,采用的增量式元訓練策略并沒有在元訓練中構建基類和新類的平衡小樣本集,而在元測試階段直接注入新類樣本進行檢測。采取這種增量式元訓練策略,在實際應用場景當中更易于引入新類。而這也是極具挑戰性的工作,因為注入的新類樣本很容易被模型誤判為經過訓練的基類。在實驗部分通過目標檢測主要評價指標AP和AR對本文的方法進行了評估并取得了不錯的檢測效果。此外,檢測結果受益于更大的元任務學習量,如果有更多的GPU內存,方法可以在每一個元任務增大訓練樣本量,模型檢測性能還能夠得到進一步提升。