999精品在线视频,手机成人午夜在线视频,久久不卡国产精品无码,中日无码在线观看,成人av手机在线观看,日韩精品亚洲一区中文字幕,亚洲av无码人妻,四虎国产在线观看 ?

改進RRPN模型的遙感圖像目標檢測

2025-01-06 00:00:00魯曉波郭艷光辛春花
現代電子技術 2025年1期
關鍵詞:特征提取特征檢測

摘" 要: 針對遙感目標背景復雜、易受外界環境干擾,傳統方法無法滿足復雜場景下的檢測高精度與實時性要求的問題,提出基于改進RRPN模型的遙感圖像目標檢測方法。首先,將特征金字塔(FPN)架構引入到了模型的殘差網絡中,使得遙感圖像的高、低層特征得到了有效融合;其次,在特征提取網絡中添加了通道和空間相融合的注意力機制(CBAM),提升了模型在遙感圖像目標特征提取方面的跨通道和空間處理能力;此外,將剔除重疊建議框時的原始NMS算法優化為DIoU?NMS算法,綜合考慮遙感圖像候選框之間的重疊度、距離、尺度大小等因素,使目標框的回歸過程更加穩定。對比實驗與消融實驗顯示,所提方法在公共數據集DOTA和HRSC2016上獲得的平均精度均值mAP分別可高達77.30%、90.24%,較原始RRPN模型分別提高了8.29%、11.16%,且優于其他幾種較新的經典模型,表明所提方法對于復雜環境下的遙感圖像目標檢測是合理且有效的。

關鍵詞: 目標檢測; 遙感圖像; 帶旋轉的候選框算法; 卷積通道注意力模塊; DIoU?NMS; 特征金字塔; DOTA;HRSC2016數據集

中圖分類號: TN911.73?34; TP391.4" " " " " " " " "文獻標識碼: A" " " " " " " " " 文章編號: 1004?373X(2025)01?0008?09

Remote sensing image object detection based on improved RRPN model

LU Xiaobo, GUO Yanguang, XIN Chunhua

(Department of Computer Technology and Information Management, Inner Mongolia Agricultural University, Baotou 010010, China)

Abstract: The background of the remote sensing object is complex. In addition, the remote sensing object is susceptible to external environment, so the traditional methods fail to meet the requirements of high precision and real?time detection in complex scenes. In view of this, the paper proposes a remote sensing image object detection method based on the improved RRPN model. The framework of feature pyramid network (FPN) is introduced into the residual network of the model, which enabled the effective fusion of high? and low?level features of remote sensing images. The convolutional block attention mechanism (CBAM) combining channel and space is incorporated into the feature extraction network, so as to improve the cross?channel and spatial processing capability of the model in the feature extraction of remote sensing image object. In addition, the original NMS (non?maximum suppression) algorithm is optimized into DIoU?NMS algorithm for eliminating overlapping object frames, and the overlap, distance, scale and other factors among the candidate frames of remote sensing images are taken into account comprehensively, so as to make the regression of object frames more stable. In the comparative and ablation experiments, it is shown that the proposed method achieves mAP (mean average precision) of 77.30% and 90.24% on the public datasets DOTA and HRSC2016, respectively, which are 8.29% and 11.16% higher than that of the original RRPN (rotation region proposal network) model, and it is better than that of the other advanced classical models. This indicates that the proposed method is reasonable and effective for the object detection of remote sensing images in complex environments.

Keywords: object detection; remote sensing image; RRPN; CBAM; DIoU?NMS; FPN; DOTA; HRSC2016 dataset

0" 引" 言

近年來,隨著遙感技術在諸多領域的蓬勃發展,高分辨率光學遙感圖像憑借其分布面積大、范圍廣等特點,受到國內外研究專家的廣泛關注[1]。遙感圖像目標檢測[2?3]作為其中的關鍵性任務,檢測性能的優劣對于船舶等的動態監測、交通秩序的監測與管理、城市建筑物的規劃等工作造成了直接影響。此外,由于遙感圖像自身具有目標方向不確定、排列密集、尺度不一等特點,這為復雜場景下的遙感圖像檢測工作帶來了挑戰。

在遙感目標圖像檢測的過程中,雖然傳統的圖像處理技術在特定條件下能順利實現遙感目標圖像的檢測任務,但是該方法在圖像的特征提取過程中需依靠人工輔助完成相關工作,過程耗時耗力,導致復雜場景中遙感目標圖像檢測的效率以及精度都較低。此外,由人工設計的特征信息對于變化明顯的遙感圖像具有較差的魯棒性,也對檢測性能造成了不良影響。基于深度學習的相關方法具有兩種類型:單階段目標檢測算法,如單發對齊網絡(Single?shot Alignment Network, S2ANet)[4]、精細化單級檢測器(Refined Single?Stage Detector, RSDet)[5]、 精細化旋轉視網膜網絡檢測器(Refined Rotated RetinaNet Detector, R3Det)[6]等;雙階段目標檢測算法,如快速區域卷積神經網絡(Faster Region?based Convolutional Neural Network, Faster RCNN)、帶旋轉的候選框算法 (Rotation Region Proposal Network, RRPN)[5]等。單階段目標檢測模型中,S2ANet模型通過特征對齊模塊和旋轉檢測模塊,使得模型的網絡實現全特征對齊,緩解了模型的邊界框分類與回歸的不一致性現象;RSDet模型是于2021年提出的旋轉靈敏度檢測網絡,通過設計一種新的調制旋轉損失,使得模型在分類與回歸過程中產生的旋轉靈敏度誤差得到有效緩解;R3Det模型則是由上海交大團隊于2021年提出的旋轉目標檢測網絡,通過設計特征精煉模塊增強對旋轉目標的特征提取能力;雙階段目標檢測模型中,Faster RCNN 是由Ross Girshick等人于2016年提出的端到端模型,通過構建區域建議網絡(Region Proposal Network, RPN)實現對候選建議框的選取,但該模型只能生成水平建議框,不利于旋轉目標的檢測任務[7]。針對此現象,文獻[8]在Faster RCNN的基礎上提出了基于不定向候選框的檢測模型,通過設計RRPN,并且對交并比(Intersection over Union, IoU)、非最大值抑制 (Non?maximum Suppression, NMS)、感興趣區域(Region of Interest, ROI)池化等算法進行重構,成功實現了復雜條件下對旋轉目標的檢測。然而,以上算法對于簡單場景中的遙感圖像目標檢測具有較高的精準性,在復雜背景下的遙感圖像小目標檢測方面仍具有較大的改進空間。

在國外,文獻[9]為了提高遙感圖像的融合性能,提出了一種新型的多級協同圖像分解算法,通過對輸入進網絡的高、低層的圖像進行分解,并且使用加權融合、平均融合策略對遙感圖像的特征信息進行高效的融合,實現遙感目標圖像的高精度檢測。文獻[10]針對遙感圖像的檢測難點,提出了一種基于遙感知識圖譜引導的深度配準網絡,通過在視覺特征和語義表征之間進行穩健的跨模式配準,有效地解決了零距離拍攝的遙感圖像場景分類問題。文獻[11]針對遙感圖像檢測系統存在的整體設計和研究等方面的不足,提出了一個基于深度學習的“數據輸入?網絡設計?模型訓練?測試時間增強”的端到端遙感圖像檢測框架,簡化了遙感目標圖像檢測的流程。但由于正負樣本不平衡,該方法仍存在部分漏檢的遙感目標圖像。在國內,文獻[12]在經典的目標檢測模型Faster RCNN基礎上,從模型的特征融合與增強、旋轉候選框質量的提高等方面進行優化,但由于遙感圖像的某些樣本數量較少,導致對該類別的檢測精度較低;文獻[13]通過在特征提取網絡中添加通道注意力模塊ECA?NET,使得模型的特征信息得以加強,但對于實際場景中的精準識別具有一定的距離;文獻[14]采用SSD作為模型的主干網絡,通過引入融合特征圖金字塔,將淺層特征圖位置信息與深層特征圖語義信息進行融合,提出了改進后的SSD遙感圖像目標檢測算法,但對于跨通道和空間的特征提取能力有待提升。為了解決跨通道問題,文獻[15]使用通道拼接方式融合不同深度的特征圖,提出了一種利用特征注意力金字塔的方法,一定程度上提升了遙感圖像目標檢測精度,但對于密集遙感圖像場景下的目標檢測能力仍需進一步提高。綜上所述,如何進一步提升基于深度學習的遙感圖像目標檢測精度,從而更加有利于應用到實際場景中,是該領域內需要開展的一項重要探究。

基于以上分析,在確保不降低檢測效率的前提下,為了更好地實現遙感圖像目標的高精度檢測,本文提出了基于改進RRPN模型(FCDI?RRPN)的遙感圖像目標檢測方法,主要的創新點如下。

1) 在模型的殘差架構中引入多尺度的特征金字塔(Feature Pyramid Network, FPN)[15]架構,對遙感圖像的高層信息進行保留的同時也避免了低層特征信息的丟失,有利于多尺度遙感圖像目標的檢測。

2) 在模型的特征提取過程中,添加通道和空間相融合的混合注意力機制(Convolutional Block Attention Module, CBAM)[16],增強了模型跨通道和空間對遙感圖像目標進行特征提取的能力。

3) 在模型的后處理過程中,將剔除重疊目標框時的原始NMS[17]算法優化為距離交并比非最大值抑制(Distance?IoU Non?maximum Suppression, DIoU?NMS)[18]算法,綜合考慮遙感目標圖像候選框之間的重疊度、距離、尺度等因素,可以更好地學習檢測框信息,從而有效降低密集分布遙感圖像場景中的漏檢和誤檢。

通過在DOTA數據集和HRSC2016數據集上的實驗結果表明,相較于原始RRPN模型,提出的FCDI?RRPN模型在檢測精度方面具有明顯優勢,IoU為0.50時[19]的平均精度均值(mean Average Precision, mAP)達到了77.30%、90.24%,表明提出的FCDI?RRPN模型對于實際場景中的遙感圖像目標檢測是合理且有效的。

1" RRPN模型介紹及分析

1.1" RRPN模型總體流程

由于RRPN模型是基于經典的兩階段目標檢測模型Faster RCNN[20]基礎上進行優化后的模型,具備較高的檢測效率,對于復雜場景下的多尺度遙感圖像,RRPN模型通過可旋轉的候選區域網絡能夠實現精準的目標檢測[8]。因此,使用RRPN作為基線模型,在此基礎上開展深入探究與分析。

基于RRPN模型的遙感圖像目標檢測流程圖見圖1。

由圖1可以看出,RRPN模型首先對輸入至網絡的圖像進行尺寸縮放等預處理操作;其次將經過預處理后的圖像輸入至模型的特征提取網絡中;接著將上步驟生成的特征圖輸入到可旋轉的RRPN網絡中,生成對應的旋轉建議框,經RRPN網絡輸出的分類層和回歸層會產生相應的損失,將兩層損失疊加則形成模型的多任務損失函數;再經旋轉RoI (Rotation Region of Interest, RRoI)層化層將得到的任意方向的遙感目標圖像建議框投射到特征圖上;最后通過由兩個全連接層組成的分類器判定遙感圖像的類型,經回歸器獲取遙感圖像的最終位置坐標。

1.2" 多任務損失函數

基于RRPN模型的損失函數采用多任務損失的形式,由于模型的真值框角度[θgt]位于對稱區間[-π4,π4],因此使用真值框角度作為目標來訓練角度分支。模型的多任務損失函數為:

[L=λN(x,y)Lctr(c,c*gt)+1Npos(x,y)c*gtLdist(t,t*gt)+1Npos(x,y)c*gtLangle(θ,θgt)] (1)

式中:[Lctr]表示交叉熵損失函數;[Ldist]和[Langle]表示smooth [L1]損失函數;[N]表示特征圖上所有點的數量;[Npos]則是正點的數量;[c*gt]表示通過區域分配方案得到的點標簽,當點標簽為正時,[c*gt]為1,否則為0。

2" FCDI?RRPN模型

為了驗證復雜場景下的遙感圖像目標檢測產生的實際效果,提出了FCDI?RRPN模型。首先,ResNet50作為骨干網絡提取輸入圖像的特征。ResNet50的前四個階段生成的特征圖具有不同尺度和語義層次,這些特征圖將成為FPN的輸入,作為不同金字塔層的代表特征。然后,在FPN中,低分辨率特征圖通過上采樣與高分辨率特征圖相融合,生成具有多尺度信息的特征金字塔。最后,對于FPN每個特征金字塔提取的特征,添加CBAM注意力模塊,同時計算通道注意力和空間注意力,使模型可以更有效地關注重要的特征。此外,在對遙感圖像的后處理過程中,采用DIoU?NMS優化算法代替模型的原始NMS算法,同時考慮了遙感圖像候選框的重疊區域和候選框之間的中心距離,實現對遙感目標候選框的精準剔除。FCDI?RRPN模型的遙感圖像目標檢測流程圖如圖2所示。

如圖2所示,FCDI?RRPN模型首先對輸入的遙感圖像進行預處理操作;其次通過添加特征金字塔的ResNet50+FPN網絡,結合CBAM混合卷積注意力模塊,加強對預處理后的遙感圖像的特征提取能力;接著將生成的特征圖送入RRPN網絡中,通過分類與回歸、DIoU?NMS優化策略對遙感圖像的冗余框進行剔除;最后經過RRoI池化、分類與回歸等操作,實現對遙感圖像的背景區域、目標區域、目標類型的判定,并且獲得遙感目標圖像的最終位置坐標。

2.1" 特征金字塔網絡

特征金字塔網絡(FPN)架構由一個自底向上的鏈路與一個自頂向下的鏈路經橫向連接而成,其主要功能是將各個特征層中的圖像信息進行融合后輸出[21]。圖3展示了FPN的基本組成架構。左側顯示了圖像的下采樣階段,在該分支中,輸入圖像經過ResNet50提取特征后,生成相應的特征圖[C2]~[C4]。這些特征圖的尺寸逐漸減小,而維度則逐漸增加。右側則展示了上采樣階段的過程,其中低分辨率的特征圖被上采樣至與相鄰層高分辨率特征圖相同的尺寸,然后兩個特征圖進行元素級別的相加,從而獲得用于檢測的融合特征圖[P2]~[P4]。

將FPN架構與模型的特征提取網絡ResNet50進行有效結合,使得來自不同層的遙感目標特征圖經過融合后能實現多尺度的遙感圖像檢測,明顯增強了遙感圖像目標的檢測效果。

2.2" CBAM注意力模塊

CBAM是一種應用于前饋卷積神經網絡的注意力模塊[22]。該模塊由基于通道的卷積模塊(Channel Attention Module, CAM)與基于空間的卷積模塊(Spatial Attention Module, SAM)相結合而成,通過將特征圖的通道和空間信息有效融合后進行多方位卷積處理,使得網絡對于特征圖中的有效特征信息的提取能力得以增強[23]。圖4所示為CBAM卷積模塊的組成架構。

SAM模塊首先對輸入的特征圖分別進行全局最大池化、平均池化,將其送入感知機(Multilayer Perceptron, MLP)[24]中得到兩個尺寸相同的單通道特征圖;再分別對輸出的特征進行加和操作,經Sigmoid激活函數,生成最終的遙感目標圖像通道注意力特征圖。式(2)為SAM模塊的計算過程。

[McF=σConvFcavg+ConvFcmax] (2)

式中:[σ]表示Sigmoid激活函數;[Fc]表示通道方向的特征向量;[Fcavg]表示經過平均池化的特征向量;[Fcmax]表示經過最大值池化的特征向量;[Conv]是尺度為[1×1]的卷積核。

CAM模塊的輸入特征圖由SAM模塊生成的通道特征圖與輸入的特征圖進行求積所得。首先通過全局、平均池化操作對輸入特征圖進行拼接;其次將拼接后的特征圖送入卷積核中進行通道降維;接著經Sigmoid函數激活,生成遙感目標圖像的空間注意力特征圖。

該模塊的計算公式如式(3)所示:

[MsF=σConv7×7catFsavg,Fsmax] (3)

式中:[Fs]表示空間方向的特征圖;[Fsavg]表示經過平均池化的特征圖;[Fsmax]表示經過最大值池化的特征圖;[cat]表示特征向量的拼接;[Conv7×7]表示尺度為[7×7]的卷積核。

為了解決復雜場景中的遙感圖像目標存在的重疊現象,將CBAM卷積模塊引入到模型的特征提取過程中,使得模型能夠增強對遙感目標圖像特征的提取并且弱化背景信息,最終實現遙感圖像目標的高精度檢測。

2.3" DIoU?NMS優化算法

模型的后處理過程中,通常使用NMS[25]算法實現冗余候選框的剔除。由于密集的遙感目標圖像候選框之間具有較大的IoU值,經NMS算法處理會將部分遙感目標圖像剔除,導致模型的檢測精度較低。

因此,為了提高在復雜背景下遙感目標圖像的檢測精度,采用DIoU?NMS[26]優化算法替代NMS算法,綜合考慮了遙感目標建議框與錨框之間的距離、重疊率等因素,使得遙感圖像目標被錯誤抑制的現象得到了有效緩解[27]。

DIoU?NMS優化算法的評價策略為:

[Si=si," " " IoU-RDIoU(M,Bi)lt;Nt0," " " IoU-RDIoU(M,Bi)≥Nt] (4)

式中:[Si]表示輸入檢測框的置信度得分;[M]表示具有最高置信度的檢測框;[Bi]表示剩余檢測框集合中的第[i]個檢測框;[Nt]表示設定的閾值。

3" 實驗結果及分析

3.1" 實驗環境與訓練過程

所有實驗都基于PyTorch框架、NVIDIA RTX 2080 Ti顯卡和Python語言實現。實驗具體的配置參數如表1所示。

在模型的訓練過程中,采用ResNet50+FPN作為主干網絡,并且將模型加載到ImageNet[28]上進行預訓練操作。并且采用隨機水平和垂直翻轉的方式,增加更多的樣本,提升魯棒性的同時,降低模型過擬合的風險。此外,通過隨機梯度下降(Stochastic Gradient Descent, SGD)[29]算法對原始RRPN模型進行優化,通過減少參數的波動現象,使模型獲得更加穩定的收斂性能。

3.2" 數據集構建及標注

本文分別基于兩個開源遙感圖像目標檢測數據集:DOTA數據集[30]和HRSC2016數據集[31],展開一系列對比實驗、消融實驗的探究。

3.2.1" DOTA數據集

DOTA是于2018年提出的一個大規模的空中物體檢測數據集,包含2 806幅圖像以及15種常見物體類別的188 282個實例:港灣(HA)、儲罐(ST)、大型車輛(LV)、游泳池(SP)、足球場(SBF)、橋梁(BR)、船舶(SH)、飛機(PL)、棒球場(BD)、網球場(TC)、地面跑道(GTF)、籃球場(BC)、小型車輛(SV)、環島(RA)和直升機(HC)。實驗按照7∶2∶1將DOTA數據集劃分為訓練集、驗證集與測試集,并且在測試集上評估該模型。圖5展示了DOTA數據集部分樣本圖像。

由圖5可知,DOTA數據集圖像中的目標尺寸具有明顯的差異,圖像分辨率由800×800~4 000×4 000不等,這對訓練過程造成不利影響。為了保證多尺度遙感圖像目標的完整性[32],經綜合考慮,實驗對原始圖像進行裁剪:首先將原始圖像調整為三個尺度(0.5、1.0、2.0),再將這三個尺度的所有圖像裁剪成圖像分辨率為1 024×1 024的圖像。此外,在該數據集的標注過程中,采用旋轉標注方式得到四邊形框,相對水平框的標注而言減少了較多重疊區域,更適用于模型的訓練過程。

3.2.2" HRSC2016數據集

HRSC2016是選自Google Earth中6個重要港口組成的船舶檢測數據集, 包含1 061張圖像,并且圖像的分辨率由300×300~1 500×900不等。實驗將訓練集(436張)和驗證集(181張)用于模型的訓練。此外,實驗在測試集(444張)上對模型進行了評估。由于船艦目標具有極其復雜的背景信息,對目標檢測任務造成了困難。

HRSC2016數據集的部分樣本示例如圖6所示。

3.3" 評估指標

基于提出的FCDI?RRPN遙感圖像目標檢測模型,將平均檢測精度(Average Precision, AP)、平均檢測精度均值(mAP)、每秒傳輸幀數(Frames Per Second, FPS)作為衡量模型性能優劣的重要指標。AP、mAP計算公式分別如式(5)、式(6)所示:

[AP=01PRdR] (5)

[mAP=i=1nAPin] (6)

式中:[P]為精確度;[R]表示召回率。

[P]、[R]的計算公式分別如式(7)、式(8)所示:

[P=TPTP+FP] (7)

[R=TPTP+FN] (8)

式中:[TP]表示檢測的遙感圖像為真陽性樣本;[FP]表示假陽性樣本;[FN]表示假陰性樣本。

3.4" 實驗結果及分析

3.4.1" 對比實驗結果及分析

為了驗證本文FCDI?RRPN模型的可靠性,將其與其他經典的目標檢測模型進行對比,包括:基于深度學習的單階段目標檢測模型S2ANet[33]、RSDet[34]及R3Det[35],雙階段目標檢測模型CenterMap[36]、RRPN[37]以及其他模型ROI?Transformer[38]、DRN[39]、FPN?CSL[40]。此外,對于提出的FCDI?RRPN模型,所有實驗均以ResNet50+FPN作為主干網絡,且基于IoU為0.50時進行探究。

1) DOTA數據集

表2展示了各檢測模型在DOTA數據集上的性能對比結果。由表中結果可知,提出的FCDI?RRPN模型具有最高的mAP值77.30%,較單階段目標檢測模型S2ANet、RSDet與R3Det模型分別提升了3.18%、3.2%與3.56%,較雙階段目標檢測模型DRN、RRPN模型分別提升了4.07%、8.29%。單階段模型中,由于S2ANet模型在對不同角度、比例以及尺寸的錨框進行設計的過程中,導致空間占用現象較為嚴重,不利于遙感圖像的目標檢測任務,RSDet模型、R3Det模型則對輸入圖像建議框的角度變化較為敏感。雙階段模型中,Faster RCNN模型只能生成水平的錨框,并且該模型經過ROI Pooling后易出現圖像特征不變性的丟失,對遙感圖像目標的定位準確性造成了一定程度上的影響,RRPN模型則采用旋轉錨框方式,用于對旋轉遙感圖像目標的有效檢測。

通過以上基于DOTA數據集的對比實驗結果證明,優化后的模型在復雜場景下的遙感圖像目標檢測中具有較優的檢測精度。

2) HRSC2016數據集

表3為所提FCDI?RRPN模型與經典的目標檢測模型在HRSC2016數據集中的mAP結果。此外,實驗使用PASCAL VOC2007和VOC2012[41]數據集的指標完成對各模型的評估。由表中結果可知,提出的FCDI?RRPN模型基于VOC2007指標和VOC2012指標分別取得了最高的mAP值90.24%和96.19%,這為HRSC2016數據集的高精度檢測提供了有效的思路。

3.4.2" 消融實驗結果及分析

為了量化分析,對比了將特征金字塔FPN、CBAM卷積模塊、DIoU?NMS優化策略引入模型后的綜合性能,分別在DOTA數據集、HSRC2016數據集上開展了消融實驗探究。基于不同優化策略的模型在IoU為0.50時的平均檢測精度均值(mAP)、每秒傳輸幀數(Frames Per Second, FPS)如表4、表5所示。

由表4、表5可知,在相同的實驗條件下,將FPN模塊引入原始RRPN模型的主干網絡后,其平均檢測精度mAP值提升了4.22%,表明引入特征金字塔網絡的主干網絡模型能有效地對密集遙感目標圖像的高、低層特征進行融合;在ResNet50+FPN主干網絡的基礎上,將CBAM卷積注意力模塊引入后,在DOTA數據集上的mAP值提升了2.93%,表明引入注意力機制后的模型有效地增強了模型的特征提取能力;在ResNet50+FPN主干網絡的基礎上,采用DIoU?NMS算法對模型處理過程進行優化之后,其mAP值較原始模型分別提升了3.26%,說明經DIoU?NMS優化處理后的模型減少了遙感目標圖像的漏檢、誤檢現象;同時引入CBAM卷積模塊、DIoU?NMS優化算法后的模型具有最高的mAP值,較原始RRPN模型提高了8.29%,驗證了提出的FCDI?RRPN模型在檢測精度方面的可靠性。

此外,將ResNet101替換為ResNet50后,網絡深度和參數量得到了大幅度下降,檢測速度提升了0.9 f/s,然而,引入CBAM和DIoU?NMS后,增加了網絡結構的復雜性,使得提出的FCDI?RRPN模型在檢測速度方面相比原始的baseline有所下降,但僅下降了0.4 f/s。綜合檢測精度和檢測速度,提出的FCDI?RRPN模型在確保不影響檢測速度的前提下大幅度提升了模型的檢測精度,表明了所提模型的可靠性。

由表中結果可知,在原始模型RRPN中,引入FPN模塊、CBAM卷積模塊、DIoU?NMS優化算法后的模型具有最高的mAP值90.24%,較原始模型而言提高了11.16%,表明所提FCDI?RRPN模型有效地實現了復雜背景下HRSC數據集的高精度檢測。

此外,相比原始的baseline,所提FCDI?RRPN模型的檢測效率有所下降,但僅下降了0.7 f/s,依然可以確保模型具備較高的檢測效率。綜合檢測精度和檢測效率,所提模型在HRSC數據集上的可靠性與DOTA數據集是一致的。

3.4.3" 檢測結果可視化

為了更加直觀地對可視化結果進行展示,圖7、圖8為在DOTA數據集、HRSC2016數據集中利用所提FCDI?RRPN模型(下半部分)與RRPN模型(上半部分)檢測到的遙感圖像目標可視化對比。通過圖中的檢測結果能夠明顯看出,在背景復雜、尺度不一、排列密集的遙感圖像目標中,基于所提FCDI?RRPN模型能成功將其檢測到,且具備精準的檢測效果。

4" 結" 論

遙感圖像目標檢測屬于計算機視覺領域中備受關注的研究方向之一,針對遙感圖像目標檢測任務存在的難點,本文提出了FCDI?RRPN模型的遙感圖像目標檢測方法。通過特征金字塔融合方法,將FPN架構引入模型的殘差網絡中,豐富了多尺度的遙感圖像高低層特征信息,有利于遙感圖像小目標的檢測。此外,在模型的特征提取過程中添加了基于空間和通道的卷積注意力機制(CBAM),使得模型對于復雜背景下遙感圖像的特征提取能力得到了明顯提升;在模型的后處理過程中,使用基于距離策略的DIoU?NMS優化算法實現對冗余框的剔除,明顯地改善了模型在遙感圖像檢測過程中的漏檢、誤檢現象。本文提出的FCDI?RRPN模型在不影響檢測速度的前提下,在DOTA數據集、HRSC2016數據集中的mAP結果分別可以高達77.30%、90.24%,通過與其他經典的單階段、雙階段目標檢測模型相比,本文模型比其他經典模型在檢測精度方面更具有優越性。

然而,構建的多尺度特征融合金字塔架構雖然比原始RRPN模型的綜合性能有所提升,但對于小目標的檢測仍存在部分漏檢、誤檢、檢測不準確的問題。因此,未來的工作會針對遙感圖像小目標檢測開展進一步探究。此外,會將提出的FCDI?RRPN模型應用于其他更多、更大型的遙感圖像目標檢測數據集,通過參數調優等方式提升模型的泛化能力。

注:本文通訊作者為郭艷光。

參考文獻

[1] 沈旭東,樓平,雷英棟,等.一種改進的高分辨率遙感圖像語義分割模型[J].電子器件,2021,44(3):633?639.

[2] 劉丹英,劉曉燕.基于U?net卷積神經網絡的多尺度遙感圖像分割算法[J].現代電子技術,2023,46(21):44?47.

[3] 李雷,張曄,胡楷.基于DSP的海上紅外小目標檢測系統設計[J].現代電子技術,2023,46(4):30?34.

[4] LU D D, TIE W J, LEI S L, et al. Improved S2ANet based on attention mechanism for small target detection in remote sensing images [C]// 2021 CIE International Conference on Radar (Radar). [S.l.: s.n.], 2021: 942?945.

[5] ZHOU L, WEI H R, LI H, et al. Arbitrary?oriented object detection in remote sensing images based on polar coordinates [J]. IEEE access, 2020, 8: 223373?223384.

[6] PENG Y C, LU X M, QUAN W, et al. Adversarial reconstruction for outdoors insulator anomaly detection and recognition in high?speed railway traction substation [C]// 2021 6th International Conference on Intelligent Computing and Signal Processing (ICSP). [S.l.: s.n.], 2021: 1349?1354.

[7] WANG C, YANG L, CHEN X Y, et al. Location and identification of suspension insulators based on RRPN [C]// 2022 2nd International Conference on Consumer Electronics and Computer Engineering (ICCECE). New York: IEEE, 2022: 863?866.

[8] MA J Q. RRPN++: Guidance towards more accurate scene text detection [EB/OL]. [2020?09?28]. https://arxiv.org/abs/2009.13118v1.

[9] ZOU X S, FENG W, QUAN Y H, et al. A multi?level synergistic image decomposition algorithm for remote sensing image fusion [C]// 2022 IEEE International Geoscience and Remote Sensing Symposium. New York: IEEE, 2022: 3754?3757.

[10] LI Y S, KONG D Y, ZHANG Y J, et al. Representation learning of remote sensing knowledge graph for zero?shot remote sensing image scene classification [C]// 2021 IEEE International Geoscience and Remote Sensing Symposium IGARSS. New York: IEEE, 2021: 1351?1354.

[11] YANG Y, GU H Y, HAN Y S, et al. An end?to?end deep learning change detection framework for remote sensing images [C]// 2020 IEEE International Geoscience and Remote Sensing Symposium. New York: IEEE, 2020: 652?655.

[12] 姚子康.基于深度學習的遙感圖像目標檢測[D].無錫:江南大學,2022.

[13] 黃佳琦,范軍芳,李蓓蓓.CenterNet?based遙感圖像目標檢測方法研究[J].彈箭與制導學報,2023,43(1):24?31.

[14] 張艷,杜會娟,孫葉美,等.基于改進SSD算法的遙感圖像目標檢測[J].計算機工程,2021,47(9):252?258.

[15] 汪西莉,梁正印,劉濤.基于特征注意力金字塔的遙感圖像目標檢測方法[J].遙感學報,2023,27(2):492?501.

[16] 曲福恒,李婉婷,楊勇,等.基于圖像增強和注意力機制的作物雜草識別[J].計算機工程與設計,2023,44(3):815?821.

[17] 蘇樹智,陳潤斌,朱彥敏,等.重定位非極大值抑制算法[J].光學精密工程,2022,30(13):1620?1630.

[18] WANG M X, FU B Y, FAN J B, et al. Sweet potato leaf detection in a natural scene based on faster R?CNN with a visual attention mechanism and DIoU?NMS [J]. Ecological informatics, 2023, 73(3): 101931.

[19] QIN R, LIU Q J, GAO G S, et al. MRDet: A multihead network for accurate rotated object detection in aerial images [J]. IEEE transactions on geoscience and remote sensing, 2022, 60(1): 1?12.

[20] ZHANG Y, SONG C L, ZHANG D W. Small?scale aircraft detection in remote sensing images based on Faster?RCNN [J]. Multimedia tools and applications, 2022, 81(13): 18091?18103.

[21] 喬美英,史建柯,李冰鋒,等.改進損失函數的增強型FPN水下小目標檢測[J].計算機輔助設計與圖形學學報,2023,35(4):525?537.

[22] LIU H, YANG G Q, DENG F L, et al. MCBAM?GAN: The GAN spatiotemporal fusion model based on multiscale and CBAM for remote sensing images [J]. Remote sensing, 2023, 15(6): 1583.

[23] 周蕾,鐘海蓮,陳冠宇.基于注意力機制的改進YOLOX行人跌倒檢測方法[J].電子器件,2023,46(2):404?413.

[24] CHEN G S, LU H L, DI D L, et al. StfMLP: Spatiotemporal fusion multilayer perceptron for remote?sensing images [J]. IEEE geoscience and remote sensing letters, 2023, 20(1): 1?5.

[25] KARLE L. NMS?less management of radio networks for small and medium sized enterprise networks [C]// 2022 13th International Conference on Computing Communication and Networking Technologies (ICCCNT). New York: IEEE, 2022: 1?5.

[26] DONG J X, LI Z N, WANG Z B, et al. Pixel?level intelligent segmentation and measurement method for pavement multiple damages based on mobile deep learning [J]. IEEE access, 2021, 9: 143860?143876.

[27] ZHANG H, HAO C Y, SONG W R, et al. Adaptive slicing?aided hyper inference for small object detection in high?resolution remote sensing images [J]. Remote sensing, 2023, 15(5): 1249.

[28] BENBRAHIM H, BEHLOUL A. Fine?tuned Xception for image classification on tiny ImageNet [C]// 2021 International Con?ference on Artificial Intelligence for Cyber Security Systems and Privacy (AI?CSP). New York: IEEE, 2021: 1?4.

[29] WIJNHOVEN R G J, DE WITH P H N. Fast training of object detection using stochastic gradient descent [C]// 2010 20th International Conference on Pattern Recognition. New York: IEEE, 2010: 424?427.

[30] XIA G S, BAI X, DING J, et al. DOTA: A large?scale dataset for object detection in aerial images [C]// 2018 IEEE/CVF Conference on Computer Vision and Pattern Recognition. New York: IEEE, 2018: 3974?3983.

[31] LIU Z K, YUAN L, WENG L B, et al. A high resolution optical satellite image dataset for ship recognition and some new baselines [C]// Proceedings of the 6th International Conference on Pattern Recognition Applications and Methods. [S.l.: s.n.], 2017: 324?331.

[32] 吳明哲.基于旋轉框的多尺度遙感目標檢測算法研究[D].哈爾濱:哈爾濱工業大學,2022.

[33] LIU M Y, YIN H J. Sparse spatial attention network for semantic segmentation [C]// 2021 IEEE International Conference on Image Processing. New York: IEEE, 2021: 644?648.

[34] QIAN W, YANG X, PENG S L, et al. Learning modulated loss for rotated object detection [C]// Proceedings of the Thirty?fifth AAAI Conference on Artificial Intelligence. [S.l.]: AAAI, 2021: 2458?2466.

[35] VO N D, NGUYEN P, TRUONG T, et al. Analysis of fog density on oriented object detection in aerial images [C]// 2022 RIVF International Conference on Computing and Communication Technologies. New York: IEEE, 2022: 1?6.

[36] WANG J W, YANG W, LI H C, et al. Learning center probabi?lity map for detecting objects in aerial images [J]. IEEE transactions on geoscience and remote sensing, 2021, 59(5): 4307?4323.

[37] MA J Q, SHAO W Y, YE H, et al. Arbitrary?oriented scene text detection via rotation proposals [J]. IEEE transactions on multimedia, 2018, 20(11): 3111?3122.

[38] DING J, XUE N, LONG Y, et al. Learning RoI transformer for oriented object detection in aerial images [C]// 2019 IEEE/CVF Conference on Computer Vision and Pattern Recognition. New York: IEEE, 2019: 2849?2858.

[39] PAN X J, REN Y Q, SHENG K K, et al. Dynamic refinement network for oriented and densely packed object detection [C]// 2020 IEEE/CVF Conference on Computer Vision and Pattern Recognition. New York: IEEE, 2020: 11204?11213.

[40] YANG X, YAN J C. On the arbitrary?oriented object detection: Classification based approaches revisited [J]. International journal of computer vision, 2022, 130(5): 1340?1365.

[41] 張衛良.基于深度學習的目標檢測算法與應用研究[D].無錫:江南大學,2022.

基金項目:國家自然科學基金項目(31960361)

作者簡介:魯曉波(1978—),女,內蒙古興安盟人,碩士研究生,副教授,主要研究領域為圖形圖像處理、人工智能。

郭艷光(1974—),女,內蒙古赤峰人,碩士研究生,教授,主要研究領域為人工智能、圖像處理等。

辛春花(1989—),女,內蒙古托克托人,講師,主要研究領域為人工智能、圖像處理等。

猜你喜歡
特征提取特征檢測
“不等式”檢測題
“一元一次不等式”檢測題
“一元一次不等式組”檢測題
如何表達“特征”
基于Gazebo仿真環境的ORB特征提取與比對的研究
電子制作(2019年15期)2019-08-27 01:12:00
不忠誠的四個特征
當代陜西(2019年10期)2019-06-03 10:12:04
抓住特征巧觀察
一種基于LBP 特征提取和稀疏表示的肝病識別算法
小波變換在PCB缺陷檢測中的應用
基于MED和循環域解調的多故障特征提取
主站蜘蛛池模板: 热思思久久免费视频| 国产精鲁鲁网在线视频| 国产白浆一区二区三区视频在线| 一区二区午夜| 日韩成人在线一区二区| 免费无码AV片在线观看中文| 国产免费黄| 黄色网址手机国内免费在线观看| 欧美精品亚洲精品日韩专区| 欧美在线网| 午夜福利无码一区二区| 99精品伊人久久久大香线蕉| 成人一区在线| 麻豆精品视频在线原创| 亚洲自偷自拍另类小说| 国产乱视频网站| 亚洲av中文无码乱人伦在线r| 国产在线视频福利资源站| 欧美一级视频免费| 欧美日韩一区二区在线免费观看| 中文字幕亚洲乱码熟女1区2区| 91蜜芽尤物福利在线观看| 欧美天天干| 国产成人8x视频一区二区| 国产男女免费视频| 99re在线观看视频| 在线va视频| 国产美女无遮挡免费视频| 无码人中文字幕| 任我操在线视频| 精品国产成人国产在线| 国产黄色免费看| 波多野结衣视频网站| 中文一级毛片| 91在线国内在线播放老师| 色综合久久无码网| 亚洲男人的天堂久久香蕉| 凹凸国产分类在线观看| 四虎国产在线观看| 区国产精品搜索视频| 国产一级裸网站| 色综合婷婷| 免费一级无码在线网站| 亚洲无码电影| 亚洲精品人成网线在线| 久久免费成人| 色噜噜久久| 中文国产成人精品久久一| 国产肉感大码AV无码| 无码福利日韩神码福利片| 91无码人妻精品一区二区蜜桃| 亚洲婷婷丁香| 国产地址二永久伊甸园| 久久国产V一级毛多内射| 亚洲国产成人超福利久久精品| 午夜少妇精品视频小电影| 免费激情网站| 一本大道香蕉中文日本不卡高清二区 | 超清无码熟妇人妻AV在线绿巨人| 亚洲国产第一区二区香蕉| 无码不卡的中文字幕视频| 精品一区国产精品| 色噜噜综合网| 日韩久草视频| 国产欧美视频在线| 亚洲精品久综合蜜| 99久久国产综合精品2020| 色亚洲成人| 麻豆精品在线| 亚洲天堂免费在线视频| 国产在线观看第二页| 国产一级毛片在线| 中文无码日韩精品| 亚洲无码电影| 99视频只有精品| 伊人大杳蕉中文无码| 99精品免费在线| av一区二区无码在线| 国产真实乱人视频| 久久青青草原亚洲av无码| 宅男噜噜噜66国产在线观看| 999国产精品永久免费视频精品久久 |