一種特征由深到淺疊加融合的多尺度目標檢測模型*

陳海燕李春堯

(蘭州理工大學計算機與通信學院，甘肅 蘭州 730050)

隨著自動駕駛、視頻監控等行業的興起，目標檢測已成為旅游[1]、交通[2]和商業[3]等多個領域研究的熱點問題。

復雜場景下的目標檢測面臨著尺度、外觀變化和遮擋等諸多挑戰[4]，其中，多尺度目標檢測的挑戰尤為突出[5]。對于多尺度目標檢測，除了目標尺度變化外，還存在較遠處的小尺度目標難以被識別的問題，加大了目標檢測的難度，而Faster-RCNN網絡在一定程度上能夠精確地檢測目標[6]，但該網絡僅在主干網絡的最后一層進行預測處理，對多尺度目標特征信息的提取不全面，限制了多尺度目標檢測的性能，影響了最終檢測精度。因此，有學者在Faster-RCNN的基礎上，參照SSD(Single Shot MultiBox Detector)網絡，通過對多個卷積層輸出的特征做分類和回歸的方法，對檢測方式進行改進[7-8]，對網絡中多個尺度的特征圖都進行候選區域的生成操作，這種方法雖然一定程度上解決了小目標特征隨卷積層深度的增加而減弱的問題，使Faster-RCNN對小目標的檢測性能有所提升，但對多尺度目標的檢測效果依然難以令人滿意。而FPN網絡是一種通過特征金字塔進行特征融合的深度學習網絡[9]，該網絡在Faster-RCNN的基礎上加入了特征金字塔進行特征融合，構建了深層特征與淺層特征間的聯系，對于多尺度目標檢測的性能有所提升，因此，近年來FPN已被廣泛應用于多尺度目標檢測中。然而，FPN網絡的特征金字塔結構采用從深層特征到淺層特征進行上采樣，并通過卷積操作將深層特征與淺層特征進行融合的方法。這種方法使得特征融合的路徑長度隨卷積網絡的加深而增長，并且使特征關聯性隨特征層之間距離的增加而減弱，且特征金字塔只有由深到淺一次特征融合的過程，難以保證特征融合的充分性。

為增強FPN淺層網絡特征與深層網絡特征的關聯性，Liu等人[10]在FPN網絡的基礎上提出了PANet(Path Aggregation Network)，該網絡針對FPN網絡深層特征到淺層特征傳遞路徑過長的問題提出了一種雙塔結構，即在特征金字塔之后添加一個由淺到深的路徑，來縮短FPN網絡深層特征與淺層特征的傳遞路徑；而Pang等人[11]提出的MINet則用了融合交互模塊來對相鄰層的特征進行融合，以增強不同分辨率特征的表示能力。這些方法增強了各層特征間的關聯性，然而他們的特征融合方式依然只關注相鄰層特征，忽略遠程特征之間的依賴關系，因而影響其特征關聯性增強的效果，并且由深到淺或由淺到深的順序融合方式會導致非相鄰層的特征在融合過程中被稀釋，使主干網絡各層輸出的特征對最終目標檢測結果的貢獻不平衡。而Libra-RCNN將FPN特征金字塔得到的特征進行集成再分別與特征金字塔各層特征相加[12]，雖然提高了FPN網絡淺層網絡特征與深層網絡特征的關聯性，也使參與融合的各層特征對最終目標檢測結果的貢獻一致，但Libra-RCNN網絡對特征金字塔輸出的特征與集成特征僅進行單次相加的融合方式不能保證特征融合的充分性[13]。因此，為同時解決FPN網絡淺層網絡特征與深層網絡特征的關聯性不強，以及單次特征融合無法保證特征融合充分的問題，在FPN網絡的基礎上，首先對在特征金字塔前各層網絡中得到的不同尺度的圖像特征進行特征融合，增強各層特征間的關聯性。其次，針對單次特征融合無法使特征得到充分融合的問題，在特征金字塔后進行補充特征融合，使所提取的特征更有利于多尺度目標的檢測。此外，由于在目標檢測中，圖像及視頻序列中環境的變化易對目標特征的提取造成干擾，本文在疊加融合后采用non-local網絡對特征進行增強[14]，減小環境因素對特征提取的影響，進一步提高模型對目標特征的提取能力。

1 本文目標檢測模型

FPN網絡由一個特征金字塔網絡將主干網絡的各層特征進行上采樣連接，通過卷積的方式將上采樣后的特征與相鄰層特征進行特征融合，這種單次順序的融合方式會導致各層特征的關聯性隨距離增長而減弱，使得深層特征與淺層特征無法形成有效的映射，同時也不能保證特征融合的充分性。

為解決FPN網絡深層特征與淺層特征關聯性弱和特征融合不充分的問題，本文在FPN網絡基礎上構建了一種特征由深到淺疊加融合的目標檢測模型，其結構如圖1所示，該目標檢測模型由主干網絡，特征融合模塊，特征增強網絡，特征金字塔網絡，補充特征融合及特征增強模塊和RPN網絡組成。

圖1 模型整體結構圖

首先，針對FPN網絡深層特征與淺層特征關聯性弱的問題，本文由模型的主干網絡提取特征得到圖1所示C2，C3，C4，C5，再通過卷積、上采樣以及池化等操作讓各層特征圖的尺度和通道數一致，將調整后得到的特征F2～F5進行由深到淺疊加融合，得到特征Z2，Z3，Z4。同時，為減小環境因素對特征提取造成的影響，將上述特征融合后得到的特征圖Z2，Z3，Z4采用non-local網絡進行特征增強。之后，與文獻[12]中先將特征集成再與原特征相加的方法不同，所提模型將特征融合以及特征增強后的特征輸入特征金字塔網絡進行上采樣并與相鄰層特征進行融合。與FPN相比，本文在特征金字塔前加入了一個特征融合模塊，以增強主干網絡提取的各層特征間的關聯性。并且，為使多層網絡特征融合更充分，本文模型將特征金字塔得到的特征進行補充特征融合與特征增強，并將得到的特征P2、P3、P4、P5、P6輸入RPN網絡用于最終檢測，其中P6為P5通過最大池化而得。

值得注意的是，本文模型僅在FPN網絡目標檢測模型的基礎上，在特征提取部分添加了特征融合模塊，特征增強模塊以及補充特征融合及特征增強模塊，其他部分都相同，FPN網絡目標檢測模型詳見文獻[9]。

1.1 各層特征關聯性的增強

由文獻[8]研究可知，特征金字塔網絡由深到淺單次順序的特征融合方法會使非相鄰層的特征在融合過程中被稀釋，在網絡中的影響會逐漸下降，無法保證深層特征與淺層特征形成有效聯系，由于多尺度目標檢測中，不同特征層的特征對不同尺度目標的檢測各有貢獻，因此深層特征在融合過程中被稀釋會對多尺度目標的檢測性能造成不利影響。因此，本文在FPN網絡的特征金字塔前進行了一次疊加融合，以增強FPN各層之間特征的關聯性。文獻[8]表明，在FPN中按順序的特征融合方式使特征圖更多地關注相鄰層，而忽略較遠層的依賴，文獻[12]中的模型通過將各層不同特征進行一次平衡后再與原特征融合的方法可以有效地解決上述問題。為了讓各層特征聯系更加緊密，本文將不同層間的特征分多次進行特征平衡:從最深層開始，第一次將相鄰兩層相加取均值，第二次在第一次基礎上再向下加一個層并取均值，此后每次均進行相同操作，以此迭代直到最后一層，相比于文獻[12]中只取一次均值的方法，本文的特征融合方法可以使任意一層特征與其非相鄰特征之間的關聯性更加緊密。上述的特征融合方式主要為逐層疊加，因此在本文中稱為由深到淺的疊加融合，具體步驟如圖2所示:

圖2 特征融合

①提取特征:本文以Resnet101為主干網絡，首先提取Resnet101中Stage2，Stage3，Stage4，Stage5四個階段的特征，Stage2～Stage5為Resnet101中的卷積層Conv2～Conv5[15]，取每個階段最后一個卷積層的特征可以得到4個不同階段的特征{C2，C3，C4，C5}。

②調整特征通道及尺度:通過1×1的卷積操作進行橫向連接調整C2～C5特征的通道數為256，調整后的特征記為{F2，F3，F4，F5}再通過最大池化和雙線性插值的上采樣調整F2～F5的尺度，綜合考慮尺度縮放對最終檢測結果的影響以及模型運算量的問題，將所有特征層的尺度調整到F4的尺度，具體為F5用雙線性插值上采樣一次，F3最大池化1次，F2最大池化2次，調整后的F2～F5尺度一致，通道數均為256。

③特征融合:如式(1)所示，其中Z n為n層特征融合后的輸出，F n為第n層的特征。將F5與F4相加后取均值得到Z4；F5，F4，F3相加取均值得到Z3；F5，F4，F3，F2相加取均值得到Z2，最終得到經過由深到淺疊加融合后的結果為{Z2，Z3，Z4}。

圖3所示為FPN網絡經過由深到淺疊加融合后各層間特征關聯性變化示意圖，由圖可更加直觀地看出，通過由深到淺疊加融合，深層網絡的特征在融合的過程中不再被稀釋，使FPN網絡的淺層網絡與深層網絡間的特征關聯性得到明顯增強。

圖3 各層間特征關聯性變化示意圖

1.2 non-local網絡特征增強

由于在自然場景中的目標檢測通常會受天氣，光線等環境因素的影響而干擾目標的特征提取，并且同一圖像經常包含多個特征相似的目標，因此本文對由深到淺疊加融合后的特征圖進行特征增強，以減小環境因素影響，增強待檢測目標的特征。參考文獻[14]及文獻[16]可知，non-local網絡不受感受野范圍限制，能充分利用圖像的非局部相似性，通過一張圖像或特征圖內任意距離上相似像素的關聯性來增強特征，因此本文采用non-local網絡來增強特征圖，以提高圖像中目標定位的準確性。

如圖4所示，本文將1.1中由深到淺疊加融合后得到的結果Z4，Z3，Z2，分別作為non-local網絡的輸入進行計算，即可通過non-local網絡對Z2～Z4進行增強，得到增強后的特征圖X2，X3，X4。

圖4 特征增強

綜上，將non-local網絡應用于由深到淺疊加融合的過程中，可對每次疊加融合后得到的特征圖Z2，Z3，Z4進行增強，加強了非相鄰深層網絡特征對淺層網絡特征的影響，進一步提高了各層網絡特征與非相鄰層網絡特征的關聯性，為最終預測提供與背景對比更鮮明、位置更準確的輸入特征，使檢測器更加準確地識別目標的特征和位置。

1.3 特征融合充分性的增強

文獻[10]表明，多次特征提取及融合的機制可增強特征融合的充分性，提高網絡在目標檢測中的精確度，但該文獻將FPN得到的結果重新輸入主干網絡并參與訓練，雖然使目標檢測精度提升明顯，但這種方法需要將FPN網絡訓練兩次，訓練成本較大。因此，為在提高特征融合充分性的同時節省訓練成本，本文對特征金字塔網絡輸出的特征再進行一次如本文1.1所述的特征融合，而不是重新輸入主干網絡進行訓練，從而在節約訓練成本的前提下提高模型檢測性能。如圖5所示，將特征金字塔的輸出再一次進行由深到淺的疊加融合，融合后的結果通過non-local網絡進行特征增強，然后調整尺度，得到最終用于預測的{P2，P3，P4，P5，P6}，其中P6由P5通過最大池化得到。

圖5 二次特征融合及特征增強

2 實驗結果及分析

2.1 實驗說明

為驗證本文模型在目標檢測中的性能，本文以PASCAL VOC2007和2012數據集中所有類別的圖像對模型進行訓練和測試。此外，為驗證本文模型對多尺度目標檢測性能的提升，又對PASCAL VOC數據集中的行人類別進行了單獨測試，同時為保證對比實驗的公平性，所有對比實驗均在同一實驗平臺下完成。

2.2 實驗平臺

本文實驗采用的操作系統為Ubuntu 16.04，顯卡為RTX 2080TI，GPU加速為CUDA 10，編程語言為Python 3.6，深度學習框架為Pytorch 1.2。

2.3 結果分析

本文使用AP(Average Precesion)、mAP(Mean Average Precision)及目標檢測模型的檢測速度三種指標對目標檢測結果進行評價。

為驗證特征融合的特征層數及融合次數對目標檢測精度的影響，首先在FPN模型的基礎上進行了添加不同數量特征層和不同融合方式的對比實驗，結果如表1所示。

表1 不同特征層數量及不同特征融合方式的目標檢測性能對比

由表1可知，對不同層的特征進行融合可以提高最終的目標檢測精度，其中實驗B和實驗C中各層均只進行一次融合，實驗B為添加F5～F3三層特征層相加取均值的方法，由表中數據可知，該方法比FPN的檢測精度提高了0.5%；實驗C為添加了將所有層直接相加取均值的方法，該方法在實驗B檢測精度的基礎上提升了0.2%；實驗D和實驗E是在實驗C的基礎上分別對不同特征層進行多次融合，實驗D為添加相鄰層相加融合取均值的方法，檢測精度比實驗C提高了0.3%，較FPN提升了1%，實驗E為本文提出的由深到淺疊加融合方法，其檢測精度在實驗D的基礎上提升了0.6%，較FPN提升了1.6%。由實驗C，D，E的結果對比可知，隨著深層網絡特征融合次數的增多，檢測精度也隨之得到提升。由此可見，深層網絡所提取的特征在特征融合過程中被稀釋的問題會影響最終檢測結果，而本文方法可以有效緩解深層網絡特征在融合過程中被稀釋的問題，大大減小因深層網絡特征被稀釋而對最終檢測結果造成的影響，使深層特征與淺層特征各層特征的關聯性得到增強，也使各層特征融合得更充分，有效提高了檢測精度。

表2所示為主流目標檢測模型與本文模型的總體性能對比，由表中數據可知，FPN模型比Faster-RCNN模型總體性能提升了2.6%，而在FPN模型基礎上，無論是在FPN網絡之前或之后添加一次本文所提出的由深到淺的疊加融合，模型的總體檢測精度均得到再次提升，其中實驗C1為將FPN網絡經過上采樣與相鄰層特征融合后，把得到的特征輸入本文由深到淺疊加融合方法中(即在FPN網絡之后加入本文提出的由深到淺疊加融合方法)，實驗D1則是將主干網絡得到的特征先通過本文由深到淺疊加融合的方法進行特征融合再進行FPN網絡上采樣與相鄰特征融合(即在FPN網絡之前加入本文提出的由深到淺疊融合方法)。實驗結果表明，由于FPN網絡存在特征關聯性有限以及深層特征與淺層特征融合不夠充分的問題，因此限制了先經過FPN網再輸入到本文由深到淺疊加融合方法特征的表現力，導致實驗C1的檢測精度相對較低，僅比FPN模型精度提高了0.9%，而實驗D1先通過本文由深到淺疊加融合方法，讓深層網絡與淺層網絡得到了更有效融合，為FPN網絡輸入了表現力更強的特征，因此最終檢測精度相對較高，較FPN模型相比，精度提升了1.6%。實驗E1為本文模型，在FPN網絡前后均進行一次本文提出的特征融合方法，由最終結果可知，實驗E1的總體檢測精度在實驗D1的基礎上又提高了0.8%，相比FPN模型提高了2.4%，達到了80.6%?？梢姡疚奶岢龅挠缮畹綔\疊加融合方法通過增加深層網絡的融合次數，增強了深層特征和淺層特征的關聯性，使特征融合更加充分，令最終用于目標檢測的特征信息量更足，表現力更強，對目標檢測的性能影響顯著，有效提高了目標檢測的檢測精度。然而，本文雖然通過由深到淺疊加融合以及補充融合的方法有效提高了檢測精度，但由于融合次數的增多，在提高檢測精度的同時，對檢測速度產生了一定影響。因此，為了進一步驗證本文方法對檢測速度造成的影響，對實驗A1～E1分別進行檢測速度測試，結果如表2所示，由表中數據可以看出，與Faster-RCNN模型檢測一張圖像耗時0.069 s相比，FPN模型檢測一張圖像耗時0.071 s，實驗B1、C1耗時0.074 s，本文實驗模型E1耗時0.077 s，僅比Faster-RCNN模型耗時增加0.008 s，比FPN模型耗時增加0.006 s?？梢姡疚奶岢龅奶卣饔缮畹綔\疊加融合方法對模型的檢測速率影響并不明顯，可忽略不計。

表2 主流方法在PASCAL VOC所有類別中檢測性能對比

為驗證本文模型的多尺度目標檢測性能，將4種目標檢測模型在PASCAL VOC2007和2012數據集中的行人類別上單獨進行了對比，實驗結果如表3所示。

表3 主流方法在PASCAL VOC行人類別中檢測性能對比

在表3中，實驗A2為文獻[6]中的Faster-RCNN目標檢測模型，該模型檢測精度為76.3%，實驗B2為文獻[9]中的FPN目標檢測模型，其檢測精度為78.5%，實驗C2如本文1.1及1.2中所述，僅在主干網絡后進行一次特征融合方法的模型，該模型精度為80.9%，相比FPN提高了2.4%。實驗D2為在實驗C2的模型基礎上，在特征金字塔之后添加了本文1.4中所述補充特征融合的模型，即本文所提出的目標檢測模型，在行人類別上的檢測精度達到81.3%，較FPN提高了2.8%，可見，本文模型在多尺度的目標檢測上性能提升更加明顯。

圖6所示為在PASCAL VOC數據集中的行人類別上，本文模型與Faster-RCNN及FPN目標檢測實驗結果的對比圖。由圖6中(a)、(b)兩組圖可以看出，Faster-RCNN與FPN對于行人檢測中的小目標性能均有限，對于復雜環境下行人檢測中的小目標存在較多漏檢問題。由(c)可見，本文模型通過對圖像特征進行由深到淺的疊加融合和以及補充特征融合，增強了各層特征的關聯性，使得特征融合更加充分，并且通過non-local網絡進行特征增強后，提升了圖像中長距離像素的關聯性，提高了模型的檢測性能，相比于Faster-RCNN和FPN，本文模型對數據集中不同尺度目標的檢測性能提升明顯，對小目標也可以進行精確檢測，漏檢問題改善顯著，能夠更加準確地檢測出圖像中尺度比較小的行人目標。

圖6 行人檢測結果

3 結論

FPN網絡僅進行單次特征融合，存在淺層網絡與深層網絡特征關聯性不強，多層網絡特征無法充分融合，無法保證多尺度目標檢測的性能問題。本文首先以FPN網絡為主體，對其主干網絡提取的特征進行由深到淺疊加融合，來增強FPN網絡中淺層網絡與深層網絡之間的關聯性。同時，針對FPN網絡僅通過特征金字塔進行單次由深到淺的特征融合，無法使多層網絡的特征得到充分融合的問題，本文在特征金字塔后進行補充特征融合，提高模型對不同尺度目標的檢測精度。此外，為減小天氣、光線等環境因素對目標特征提取的影響，本文對由深到淺疊加融合后將得到的特征分別利用non-local網絡進行特征增強，抑制環境因素對目標特征提取的影響，進一步提高檢測精度。最后，以PASCAL VOC2007和2012數據集的所有圖像對本文模型進行訓練和測試，并將其結果分別與Faster-RCNN和FPN進行對比，實驗結果表明，本文模型相比與Faster-RCNN和FPN，目標檢測性能有所提升，其中通過對數據集中行人類別的單獨測試可以看出，本文模型對多尺度目標檢測性能的提升尤為突出。