基于多感知融合的遙感影像檢測算法

摘要：針對遙感影像復雜背景和小目標檢測困難的問題，提出了一種基于多感知融合的檢測算法YOLO-GT。為了提升特征圖中小目標的特征信息，設計了包含3種感知機制的檢測頭Adaptive Scale-Aware Dynamic Head(ASADH)；引入輕量級上采樣算子Content-Aware ReAssembly of Features(CARAFE)，解決語義信息丟失問題，提升特征金字塔網絡性能；為進一步優化模型的訓練速度和定位精度，采用了Wise-IoU作為損失函數。實驗結果在DIOR數據集上顯示，模型精度達90.4%，比原算法提高2.1%。這些改進有效提高了復雜背景下遙感影像小目標的檢測性能。"，"Introduction":""，"Columns":"測控遙感與導航定位"，"Volume":""，"Content":"

關鍵詞：遙感影像；目標檢測；多感知融合；深度學習

0引言

遙感技術和深度學習的快速發展使遙感影像檢測在多領域廣泛應用，旨在自動識別和定位建筑物、道路和植被等感興趣的目標，在農業、環境監測、森林資源管理、工程安全和自然災害監測等方面有重要價值。近年來，深度學習推動了目標檢測技術革新，涌現出一系列卓越算法。與傳統方法相比，這些算法在處理復雜場景、多類別目標和遮擋等方面取得了突破。基于深度學習的目標檢測方法主要分為一階段算法（如OverFeat、RetinaNet和YOLO系列等）和兩階段算法（如SPPnet、Fast R-CNN和Faster R-CNN），它們在目標檢測的流程和設計思路上存在一些區別。

一階段算法直接從輸入圖像中預測目標位置和類別，無需生成候選框，通過單次前向傳播實現目標檢測，檢測速度快，適合實時應用。兩階段算法包括生成候選框和分類目標2個步驟。生成候選框后，利用分類器進行精確分類和位置調整，進而提高檢測精度。此方法尤其適合精細定位和分類任務。

盡管遙感影像檢測有廣泛的應用前景，但仍存在挑戰。主要問題在于背景復雜干擾以及小目標檢測困難。復雜背景如山脈、水體等，而小目標通常有低分辨率、低對比度和低信噪比，這些都增加了檢測難度。為應對這些問題，研究人員提出了創新方法。例如，張寅等提出了一種基于特征融合和注意力機制的算法，用于遙感圖像的小目標檢測。該算法的目的是解決小目標檢測中特征信息不足和定位困難的問題。它通過增強特征模塊（Feature Enhance-ment Module，FEM）融合低層級特征圖的多重感受野特征來增強主干網絡的目標特征提取能力，同時利用FEM增強小目標的特征信息。這種算法在小目標檢測任務中具有重要的應用價值。馬梁等針對遙感圖像中小目標容易受到復雜背景干擾、通用檢測算法效果不佳以及相關數據集不足等問題提出了一種解決方案。首先，設計了一種輕量化特征提取模塊，該模塊基于動態選擇機制，能夠自適應地調整神經元的感受野大小。其次，為了更好地利用不同尺度特征傳遞的信息，引入了基于自適應特征加權融合的特征金字塔模塊，通過分組卷積的方式對各特征通道進行分組處理，以進一步提高圖像特征的表達準確性。這些方法的結合旨在解決遙感圖像小目標檢測問題，從而改善檢測結果的準確性和穩定性。張上等提出了一種針對無人機遙感圖像的小目標檢測算法，該算法輕量化且高效，通過對特征提取網絡和特征融合網絡進行多尺度特征融合，并對感受野進行重要改進。這一改進包括輕量化處理網絡結構、突出底層特征圖的權重、深化多尺度特征融合，并增加小感受野，以實現底層和深層語義信息的融合，從而使模型輕量的同時提高了檢測精度。此外，還引入了EIoU來強調高質量樣本的權重，并采用VariFocal Loss來在損失計算中強調底層正例樣本信息特征的重要性。這一算法旨在解決遙感圖像檢測的特定問題。以上文獻都取得了不錯的檢測效果，然而，在遙感影像中，由于背景往往具有復雜的紋理．結構和噪聲，目標物體的定位和識別仍然受到干擾。對于在復雜背景中多尺度遙感小目標的檢測性能，仍有提升的潛力。因此，如何有效提取淺層語義信息以減少誤檢率和漏檢率的問題成為當前面對的挑戰。

本文改進了YOLOv8，提出了YOLO-GT目標檢測算法，以解決復雜背景和小目標檢測問題。使用Adaptive Scale-Aware Dynamic Head（ASADH）多感知融合檢測頭適應不同尺度物體，并得到更豐富的特征信息。采用Content-Aware ReAssembly of Features（CARAFE）輕量級上采樣，并以Wise-IoU替換CIoU作為定位損失函數，提高了定位精度和訓練速度。

1YOLOv8目標檢測模型

YOLOv8代表了You Only Look Once（YOLO）系列的最新進展，不僅具有高精度的目標檢測能力，還能夠在實時或高速環境下執行任務。YOLOv8引入了一系列重要的改進和創新，使其在性能和效率方面取得了顯著進步，提供了多種模型選擇，包括P5640 pixel和P6 1280 pixel的目標檢測網絡，以及不同尺度的模型，如N/S/M/L/X，以滿足不同應用場景的需求。這種多樣性使YOLOv8非常靈活，可以應用于各種目標檢測任務。

如圖1所示，YOLOv8模型分為3個主要部分：輸入端、骨干網絡以及頭部網絡。輸入端標準化圖像分辨率為640 pixelx640 pixel，骨干網絡采用C2f結構，將來自高層網絡的語義特征與來自低層的細節特征進行有效的融合。頭部網絡包括頸部（Neck）和檢測頭（Detect）兩部分，頸部在網絡中扮演著特征提取和調整的角色，它進一步處理特征圖以提高分辨率。檢測頭包括分類器和回歸器，利用頸部的特征輸出，進行分類和位置預測。這個整體結構協同工作，使YOLOv8能夠高效地檢測目標。總的來說，YOLOv8代表了YOLO系列的最新巨大進展，為目標檢測領域提供了一個強大的工具，具備高精度和高速度的性能，適用于各種計算機視覺應用，包括自動駕駛、視頻監控、圖像識別、目標跟蹤和實時分析等，能夠滿足不同應用場景的需求。

2算法改進

針對遙感影像復雜背景干擾和小目標檢測效果較差等問題，對YOLOv8基礎模型進行優化改進，改進后的主要框架如圖2所示。

2.1基于多感知融合的ASADH

復雜的目標檢測場景對目標檢測頭提出了更高的要求。為了應對這些挑戰，目標檢測頭需要具備高效檢測不同尺度物體的能力，以便能夠準確地識別和定位各種大小的目標。在這一背景下，本文提出了一種全新的檢測頭——ASADH。受DynamicHead的啟發，本文在特征層級、空間位置和輸出通道之間無縫集成了多個自注意機制，從而實現了尺度感知、空間位置感知和任務感知的多感知融合。與傳統的目標檢測頭相比，本方法充分利用了多尺度特征金字塔和自適應注意力權重，允許模型在不同尺度上進行特征提取和感知，使得小目標的細節信息能夠得到更好的保留和利用，也讓模型能夠更加準確地捕捉目標的不同尺度和空間上下文信息，從而顯著提高了檢測性能。

ASADH實現了多感知融合。具體來說，它包括3個關鍵模塊：尺度感知模塊、空間感知模塊和任務感知模塊。圖3展示了ASADH模塊。

本文在尺度感知模塊添加了空洞空間卷積池化金字塔（Atrous Spatial Pyramid Pooling，ASPP）結構，ASPP從不同尺度提取輸入特征，然后將所獲取的特征進行融合。通過這種設計，使深度學習網絡能夠具備多樣化的感受野．進而在多尺度上全面捕獲上下文信息。這種特性使得網絡在處理復雜場景時，展現出更強大的感知和理解能力。通過ASPP進行多尺度特征融合，將融合后的特征應用于原始特征上，最終輸出經過尺度注意加權的特征信息。經過Hard Sigmoid激活函數的處理，特征圖之間完成了尺度感知。之后，經過尺度感知處理的特征圖被送入空間感知模塊進行進一步處理。在這個模塊中，利用一個3x3卷積操作獲得特征圖的偏移量和特征圖偏移量的權重項。然后，通過一種自學習偏移量的可變形卷積對空間位置進行采樣，實現了空間感知。并且，為了增強空間感知能力，本文引入了多尺度的特征金字塔，通過添加多個尺度的動態卷積層，結合不同尺度的特征圖進行融合。可以調整特征金字塔中的尺度范圍，確保特征金字塔包含適當的尺度，以捕捉到遙感影像中重要的空間信息。

最后，在任務感知模塊中，針對特征圖的C維度（通道維度），利用非線性激活函數ReLU來調整特征圖的通道值。同時，引入了自適應的注意力權重參數和偏置參數。模型可以學習每個通道的注意力權重，并根據輸入數據的不同特征進行動態調整。這使模型能夠在任務感知階段更靈活地對不同通道進行權重調整，以實現對特征圖的任務感知處理。通過這樣的多感知融合，ASADH能夠充分利用尺度、空間位置和任務之間的關系，提高模型的感知能力和泛化能力。具體表達式為：

2.2輕量級上采樣算子CARAFE

在卷積神經網絡中，特征提取是一個至關重要的步驟，通過對輸入圖像進行一系列卷積操作來提取圖像的高級特征。然而，這個過程中不可避免地會導致輸出圖像的尺寸減小。這種尺寸減小是為了提取更抽象的特征并表示圖像的更高級別信息。然而，在某些情況下，減小的尺寸可能不適合直接用于后續任務或應用。為了應對該問題，需要將提取的特征圖恢復至原始尺寸，這一過程稱為上采樣操作。通過上采樣，特征圖不僅可以還原為原始圖像的尺寸，還能輔助深度學習模型捕捉更豐富的空間細節，進而提升預測的精確度。目前，上采樣過程中廣泛采用的方法包括插值上采樣與反卷積上采樣。

插值上采樣方法僅根據像素位置信息確定上采樣核，未充分利用特征圖的語義信息，而且其感知域通常較小。反卷積上采樣方法在處理特征圖時，對每個位置都使用相同的上采樣核，無法有效捕捉到特征圖的具體內容信息。為了解決這些問題，引入了CARAFE來替代YOLOv8模型中的原始上采樣模塊。它是一種輕量級的上采樣操作，能夠更好地利用特征圖的語義信息，并擴大感受野以進行數據特征融合。CARAFE主要包含上采樣核預測模塊和特征重組模塊。首先，給定一個上采樣倍率，將輸入形狀為HxWXC的特征圖進入核預測模塊，用以預測出上采樣核；然后，上采樣核被應用于特征重組模塊，對輸入特征圖進行上采樣操作；最后，生成形狀為o-Hxo-WxC的特征圖。

在上采樣核預測模塊中，為了降低后續計算的復雜性，先對輸入特征圖進行通道數壓縮，將通道數從C減小到C。然后，利用卷積層進行上采樣核的預測和內容編碼。通過卷積層的計算，可以得到用于上采樣的核函數，從而實現對特征圖的尺度變換和精細化處理，其中輸入通道數為C，輸出通道數為。然后，將上采樣核在空間維度展開，最終得到形狀為的上采樣核。

隨后，特征重組模塊將執行特征映射操作，確保輸出特征圖中的每個位置都能與輸入特征圖上的相應位置準確匹配。這一操作確保了目標位置的準確性。進一步地，在該映射位置為中心的區域，會與預測的上采樣核進行點積運算，以求得相應的輸出值。這種設計不僅提高了計算效率，還因為相同位置的不同通道共享同一上采樣核，減少了計算冗余。最終，獲得了形狀為的輸出特征圖。CARAFE相對于傳統方法具有更高的性能和更強的特征表征能力，并且當引入較大的上采樣核時，只會引入較少的參數和計算代價。CARAFE結構如圖4所示。

2.3基于動態非單調聚焦機制的邊界框損失

由于遙感影像通常具有復雜的背景紋理、結構和噪聲，這些因素可能會對目標物體的定位和識別造成干擾，從而降低檢測精度。為應對這一挑戰，本文考慮針對損失函數進行改進。在YOLOv8模型中采用了DFL Loss+CIoU Loss作為邊界框回歸損失函數，重點關注CIoU損失，其計算公式如下：

相較于傳統的IoU指標，CIoU在評估邊界框相似度時，納入了中心點距離和寬高比差異等因素，從而實現了更準確的評估。傳統的IoU指標對于邊界框之間的尺寸差異比較敏感，而CIoU在考慮尺寸差異的同時，提供了更平衡的相似度度量。然而，相較于傳統的IoU指標，CIoU的計算復雜度更高。由于CIoU考慮了更多因素，包括中心點距離和寬高比差異等，需要進行更多的計算操作，從而導致計算時間較長。而且CIoU使用的是單調聚焦機制。在訓練過程中，該機制假設訓練數據中存在較高質量的示例，并致力于強化邊界框損失的擬合能力。然而，如果目標檢測訓練集中包含低質量示例，例如模糊的、部分遮擋的或不正確標記的樣本，過度強調對這些低質量示例的邊界框回歸可能會降低模型的檢測性能。因此本文采用WIoU作為邊框回歸損失函數，替換CIoU，計算如下：

動態聚焦機制引入了“離群度”概念以改進錨框的質量評估方式，不再單純依賴IoU指標。此外，還設計了一種更合理的梯度增益分配策略。此策略不僅有助于降低高質量錨框的過分影響，還能抑制低質量錨框產生的不良梯度效應。這使得WIoU能夠優先關注普通質量的錨框，并通過這種方式全面提升檢測器的性能。

3實驗結果與分析

3.1實驗設置

為了評估新模型的性能并驗證其有效性，在本次實驗中，選擇了DIOR遙感數據集作為基礎數據集。使用Python語言，結合PyTorch深度學習框架，構建了實驗模型。為了加速模型的訓練過程，使用具有8GB顯存的RTX A4000。在模型的訓練過程中，采用隨機梯度下降（Stochastic Gradient Descent，SGD）優化器對模型參數進行優化，初始學習率設置為0.01。將所有的模型在數據集上進行了100個epoch的訓練，訓練時利用YOLOv8s預訓練模型作為遷移學習的權重模型，并且將圖像輸入尺寸調整為800 pixelx800 pixel。

3.2實驗數據集

DIOR是專為遙感圖像目標檢測算法的評估而定制構建的，包含了來自不同傳感器和不同場景的遙感圖像，涵蓋了多個地理區域和物體類別；高分辨率的航拍圖像、衛星圖像和無人機圖像，具有多樣性的光學特征和場景背景。數據集空間分辨率為0.5～30m。該數據標注區域包括20個類別，共23463張圖像。本文按6：3：1的比例將數據集分化為訓練集、驗證集和測試集。

3.3評價指標

本文采用的評價指標包括平均精度均值（meanAverage Precision，mAP）、參數量和浮點運算數，具體計算公式如下：

3.5不同IoU對比實驗

為了驗證WIoU的有效性，本文對經典的IoU（GIoU、DIoU、SIoU和EIoU）進行了對比實驗。結果如表2所示，其中損失函數如圖5所示。

3.4消融實驗

為了驗證YOLO-GT模型的有效性，在DIOR數據集上進行了消融實驗，實驗結果如表1所示。其中Baseline表示YOLOv8基礎模型。由表1可知，單獨使用ASADH模塊時，精度相較YOLOv8提升了1.2%，參數量減少了11.4%。單獨使用WIoU時，其精度提升了0.6%。將二者同時使用則提升了1.4%。將3個改進措施都添加時，模型整體精度提升了2.1%，參數量減少了9.2%，效果顯著。

由表2可知，除SIoU與WIoU外，其余mAP均有所下降。且在圖5損失函數曲線中，使用WIoU時損失值下降更為迅速，Loss最后收斂至0.52。由于WIoU能夠根據目標框的大小和形狀自適應地調整IoU的權重，這意味著對于不同大小和形狀的目標框，能夠更準確地衡量它們之間的匹配程度。在DIOR數據集中，目標具有不同的尺度和形狀變化，WIoU的權重調整機制能夠更好地適應這些變化，從而提高了檢測的準確性。

3.6ASADH增強特征表示對比實驗

為了驗證ASADH模塊在增強模型特征表示能力方面的效果，采用了對比實驗的方式。實驗中，將原始的YOLOv8模型與集成了ASADH模塊的改進模型進行了比較。為了直觀地展示2個模型在特征表示上的差異，對它們的檢測熱力圖進行了可視化處理。這些熱力圖通過顏色的深淺來反映模型對圖像不同區域的關注程度，如圖6所示。圖6（a）表示YOLOv8模型的熱力圖，圖6（b）表示使用ASADH模塊后的熱力圖。可以看出使用ASADH模塊時，由于改善特征表示的表現力，使得特征信息更加豐富，導致其更加關注目標區域。同時，由表1可知，單獨使用ASADH時模型精度相較YOLOv8提高了1.2%，這表明ASADH能夠顯著改善模型的性能和特征表示，從而提高檢測效果。

3.7主流算法對比實驗

本文在DIOR數據集上對所提出模型進行了實驗，并與一些經典模型（包括YOLOv5、YOLOv7、SSD、Faster R-CNN和RetinaNet）的實驗結果進行了對比分析，如表3所示（表中加粗表示最高精度）。

上文提到的經典模型大多對小目標檢測都不敏感。比如在Faster R-CNN中，通過區域生成網絡（Region Proposal Network，RPN）生成的候選區域通常較大，存在小目標時容易漏檢。SSD算法采用了多尺度特征圖來進行目標檢測，利用高層特征對大目標進行預測，利用低層特征對小目標進行預測。這就影響了SSD算法在小目標檢測上的效果，因為低層特征缺乏高層語義信息，在小目標檢測上存在局限性。而本文的YOLO-GT模型，對小目標檢測友好，展現出了優越的性能，特別是在與當前的頂尖模型YOLOv8的對比中，多數類別的檢測精度均有所提高，總體精度提升了2.1%。這說明所采用的優化策略在提升遙感影像目標檢測的精確度方面表現出了有效性。

3.8檢測效果對比

為了更直觀地展示模型改進前后的效果，實驗挑選了數據集中的6組圖像進行實測，并將測試結果呈現在圖7中。

從圖7（a）～圖7（d）的對比中可以明顯看出，YOLOv8算法并未準確捕捉圖像中的所有小目標，然而，YOLO-GT模型在小目標檢測方面表現卓越，成功精準檢測出YOLOv8漏檢的小目標。在圖7（e）和圖7（g）的中，YOLOv8算法沒有檢測出待檢測目標，也存在漏檢，而YOLO-GT引入了ASADH模塊，增強了模型的特征表達能力，使其能夠聚焦于目標區域，從而抵抗了噪聲的干擾，實現了更準確的目標檢測，因此YOLO-GT針對復雜背景具備強大的抗干擾能力，通過優化算法有效濾除噪聲，確保準確識別目標，實現了高效精準的檢測（圖7（i）～圖7（1））。

4結束語

由于遙感影像目標檢測存在復雜背景干擾和小目標檢測效果問題，本文提出了YOLO-GT模型。提出了多感知融合的檢測頭——ASADH，通過在特征層級、空間位置和輸出通道之間無縫結合多個自注意機制，實現了尺度感知、空間位置感知和任務感知的多感知融合，獲得了更加豐富的特征信息，有效克服了復雜背景信息對目標檢測的干擾，并顯著增強了小目標檢測的效果。然后將YOLOv8的定位損失函數改進為WIoU以聚焦普通質量錨框的預測回歸。為解決上采樣過程中語義信息丟失的問題．引入了CARAFE這一輕量級上采樣算子。在DIOR遙感影像數據集中的實驗精度達到了90.4%，相較于原始YOLOv8，整體精度提高2.1%，參數量減少9.2%，證明了所提出的改進措施的有效性。

在改進模型的同時，注意到了推理速度的下降。未來將努力優化模型，減少參數數量，以提高推理速度，實現高精度與高效率的平衡。