基于CNN和Transformer混合融合骨干的改進型DETR目標檢測方法研究

金祖亮

(重慶交通大學，重慶 400074)

0 引言

隨著深度神經網絡的發展，目標檢測[1]領域涌現出高精度、低延遲的目標檢測算法。目標檢測算法提供目標的類別和位置完成對目標的分類和定位，這為自動駕駛、醫療領域等提供了技術幫助。

目前，目標檢測算法主要可以分為one-stage模型和two-stage模型。早期目標檢測方法基于two-stage，例如Region-CNN(R-CNN)系列，其中Faster-RCNN[2]提出通過一個單獨的RPN網絡提供region proposal，對RPN中提取的ROI區域傳遞進分類頭進行分類，并在回歸頭中定邊界框位置。然而基于two-stage的方法精度很高，但速度卻很慢，并不滿足實時需求。

單階段的方法由一個端到端的網絡組成，并不包含RPN網絡，而是將所有位置視為潛在的proposal。單階段模型主要可以分為anchor-based和anchor-free檢測器，其中anchor-based需要使用anchor框輔助預測。最為熟知的方法就是YOLO[3]。YOLO將圖像特征視為網格，網格中心負責預測落在該網格的預測框，YOLO系列可以在保證預測精度的前提下，有著實時的檢測速度。anchor-free的模型不使用事先定義的anchor錨框，采用基于關鍵點的方式，通過預測關鍵點和寬高來回歸預測框，如FOCS[4]等。

但是，無論是anchor-based還是anchor-free的方法，都依賴于復雜的后處理如非極大值抑制的影響，這對目標檢測性能表現有著巨大影響。Detection Transformer[5](DETR)作為真正的端到端網絡，不依賴于非極大值抑制后處理這種耗時的操作，DETR利用Transformer強大的全局建模能力，將目標檢測看成集合預測的問題。DETR使用ResNet作為骨干網絡提取特征，但ResNet作為CNN網絡在全局信息提取能力上存在不足。但目標檢測需要更強的全局建模能力，DETR通過在CNN骨干后使用Transformer網絡編碼器全局建模，但這帶來更大的計算量和復雜度。因此本文提出一種基于CNN和Transformer混合融合骨干的改進型DETR目標檢測方法，該方法主要包含兩個關鍵設計：使用Swin Transformer[6]作為特征提取網絡提取全局信息，并在每個模塊的分支上并聯ConvNeXt[7]塊提取局部信息，使用特征金字塔結構對輸出的多尺度特征融合；借鑒使用DETR目標檢測解碼器和預測頭完成目標檢測任務。

1 算法設計

1.1 網絡整體設計

本文提出的網絡結構整體如圖1所示，第一部分采用改進的Swin Transformer模型作為骨干網絡，其主要思想是在特征圖像塊融合的層級輸出上并聯一個ConvNeXt塊，用于提取特征的局部信息，因此經過卷積神經網絡ConvNeXt塊的多尺度特征圖擁有更好的全局信息和局部信息的融合。第二部分采用特征金字塔結構對多尺度特征圖融合生成具有淺層特征信息和深層特征信息融合的特征圖。最后一個部分借鑒DETR網絡，由于本文使用的骨干網絡已經具有強大的全局建模能力，輸出的特征圖帶有全局信息，因此本文僅使用DETR的解碼器和預測頭。

圖1 網絡整體設計

1.2 骨干網絡改進

本文骨干網絡基于Swin Transformer模型改進，Swin Transformer塊包含一個窗口自注意力(Windows Multi-head Self-Attention，W-MSA)模塊和一個移動窗口自注意力(Shifted Windows Multi-Head Self-Attention,SW-MSA)模塊。W-MSA模塊就是在一個小窗口內進行多頭自注意力操作，SW-MSA能夠獲取窗口之間的信息，通過移動窗口、特征移動和mask3部分，使不同窗口之間的特征進行交互。通過W-MSA模塊和SW-MSA模塊，骨干模型有著媲美VIT的全局建模能力，并且由于窗口注意力的存在，模型的局部建模能力也相當優秀，但相較于CNN系列網絡仍有不足。

本文選擇在層級結構的輸出上通過ConvNeXt網絡增強局部信息的表達能力，從而為下游的檢測任務提供更好的特征表現。ConvNeXt塊在使用一個N×N的卷積后，通過多層感知機將特征通道數放大到原來的4倍，通過非線性激活函數GeLU后再連接一個全連接，恢復到原始通道數后與原始輸入殘差連接。因此ConvNeXt塊使用了和ResNet塊結構完全相反的架構，ConvNeXt塊的多層感知的隱藏維度為輸入的4倍，而ResNet則為輸入的1/4。

本文的特征金字塔不采用復雜的結構，如改進特征金字塔、加權雙向特征金字塔[11]等，這是因為特征金字塔結構可能會需要較大的計算量，從而導致推理速度變慢，本文的特征金字塔主要融合模塊2-4的輸出。

1.3 DETR解碼器和預測頭

DETR解碼器將目標檢測任務看成集合預測任務，每個解碼器并行解碼N個對象查詢(Query,Q)。DETR解碼器首先會使N個對象查詢進行自注意力操作，接著N個對象查詢，會與骨干網絡的特征轉換而成的鍵(Key,K)和值(Value,V)進行交叉注意力操作。

最后的預測頭是由一個帶有非線性激活單元的ReLU激活函數、通道數為D層的3層感知機和1個線性投射層組成。預測頭的輸出包含圖像的中心坐標和預測框的寬高，同時預測標簽由softmax函數激活獲得。DETR的解碼器和預測頭不需要手工設計較為復雜的錨框，也不需要復雜的非極大值抑制后處理，因此可以認為是一定意義上真正的端到端網絡。

2 實驗

2.1 數據集

COCO2017數據集包含11.8萬個訓練圖像和5 000個驗證圖像。每個圖像都用邊界框和全景分割進行標注。COCO2017數據集包含80個類別，平均每幅圖像有7個實例目標，其中在訓練集上，同一幅圖像上最多有63個實例目標，并且實例目標也有大有小。

2.2 實驗設置

本文使用AdamW優化器，學習率使用1e-4，權重衰減為1e-7。模型的框架使用Pytorch1.12.1+Cuda11.6，模型訓練采用的硬件設備為Intel i5-13600kf CPU，GeForce RTX 3090 GPU ，32 G內存，操作系統為Ubuntu20.04。本文遵循DETR的訓練策略，使用縮放增強，調整輸入圖像的大小，使短邊至少為480個像素，最多為800個像素，長邊最多為1 333。同時在DETR解碼器上對象目標查詢N被設置為100，解碼器層數設置為6層。

2.3 實驗結果

本文提出的方法在不同環境場景下的預測如圖3所示。由圖可知，本文基于CNN和Transformer混合融合骨干的改進型DETR目標檢測方法，無論在密集場景還是昏暗環境都取得了不錯的推理結果。本文提出的方法相較于DETR原始模型，能更好地預測小目標，這歸結于強大的特征提取混合骨干對局部信息和全局信息的把握。

圖2 模型推理結果

同時本文對比了和DETR和Faster RCNN在模型性能上的表現如表1所示。

表1 COCO數據集模型對比結果

由表1可知，本文提出的方法，無論在小目標還是大目標上，都優于DETR-R50的表現，在AP上至少提升3.8%，同時速度相較于更快的DETR-R50也是有所提升，超過了30FPS。盡管Swin Transformer相較于ResNet50模型有著更大的計算量和復雜度，但改進的骨干網絡擁有強大的全局建模能力，從而使本文的方法并不使用復雜的DETR的編碼器，能夠更加有效地降低模型的計算量和復雜度。

3 結語

本文提出的基于CNN和Transformer混合融合骨干的改進型DETR目標檢測方法，在骨干模型上對DETR進行改進，通過融合Swin Transformer和ConvNeXt模型的優勢，有效地融合了全局信息和局部信息，同時對層級結構輸出的特征圖通過特征金字塔融合深層和淺層特征，因此在目標檢測任務中比原始的DETR模型能夠取得更好的檢測結果。

相較于速度更快的DETR-R50，本文提出的模型在AP上提升1.6%，在FPS上提升10.7%，有更好的性能表現。而且本文提出的方法由于有著更好的特征提取能力，因此能夠在小目標上比DETR模型有更好的表現，同時在昏暗的環境仍有著不錯的性能表現。