結合隨機擦除和YOLOv4的高空間分>辨率遙感影像橋梁自動檢測

孫宇， 黃亮，2， 趙俊三，3，4， 常軍， 陳朋弟， 成飛飛

(1.昆明理工大學國土資源工程學院，昆明 650093； 2.云南省高校高原山區空間信息測繪技術應用工程研究中心，昆明 650093； 3.智慧礦山地理空間信息集成創新重點實驗室，昆明 650093；4.云南省高校自然資源空間信息集成與應用科技創新團隊，昆明 650211；5.自然資源部第一大地測量隊，西安 710054)

0 引言

橋梁因其地理位置的特殊性和功能的不可替代性在軍事和民事上都有著重要的地位，因此對橋梁進行自動檢測有著重要的社會價值[1]。高空間分辨率遙感影像已成為目標檢測重要技術手段，但例如采用基于彩色特征的橋梁識別方法[2]、基于先驗知識的橋梁檢測方法[3]等傳統檢測方法魯棒性差，難以適用于高空間分辨率遙感影像橋梁檢測任務。基于深度學習的目標檢測方法在船舶[4]、飛機[5]、路面交通標志[6]和橋梁[7]等目標檢測中的優越性能已得到有效驗證，但需要大量訓練樣本，且對于光學遙感影像中云霧遮擋的橋梁檢測有一定局限性。因此，對小樣本數據集下云霧遮擋橋梁檢測具有重大研究意義。

目前對于高空間分辨率遙感影像橋梁檢測的方法主要分為兩類。一類是基于圖像處理的傳統方法。Lomenie N等[8]結合空間關系準則檢測高分影像中的橋梁，該方法錯檢率低，但漏檢率較高； 楊浩等[9]結合遙感圖像的成像特點識別橋梁目標，但是此算法只針對水域上的橋梁，對于陸地上橋梁的檢測不能達到很好的效果； 陳愛軍[10]提出了一種基于極化圓周SAR圖像的路上橋梁檢測方法，解決了傳統橋梁檢測方法需要基于河流提取結果才能實現橋梁檢測的問題。第二類是基于深度學習的目標檢測方法。Chen L等[7]提出了基于平衡和注意力機制的SAR圖像橋梁自動檢測網絡，極大提高了檢測精度。但是利用深度學習對光學遙感影像的橋梁進行檢測的相關報道較少。針對傳統方法泛化能力差、魯棒性低的問題，基于深度學習[11]的目標檢測算法逐漸興起，其主要分為兩類： 一類是將目標檢測過程分為特征提取和目標定位兩部分的兩階段目標檢測算法，如R-CNN[12]，Fast R-CNN[13]，Faster R-CNN[14]等； 第二類是將特征提取和定位一體化處理的單階段目標檢測算法，如SSD[15]，YOLO系列[16-18]等。YOLOv4[19]將分類和回歸在同一深度卷積網絡中實現，訓練過程簡單、占用物理空間小，與其他算法相比具有更高的檢測精度。

上述算法仍存在一些未能解決的問題： ①傳統橋梁檢測方法大多針對河流水體設計特征，對于陸地上橋梁或干涸水域上的橋梁檢測效果差； ②YOLOv4方法預設的錨框尺寸根據自然圖像公開數據集中的目標聚類得到，由于遙感影像與自然圖像存在較大差異，其尺寸較大，背景復雜，且待測目標尺度分布范圍廣，因此預設錨框的尺寸并不完全適用于遙感影像目標檢測任務； ③利用深度學習的橋梁檢測方法需要大量的訓練樣本，對于小樣本數據集的訓練和檢測具有一定難度。④遙感影像成像條件各異，存在目標被云霧遮擋的現象，以往的目標檢測方法沒有充分考慮到這種情況，導致檢測結果不理想。

針對以上問題，本文提出結合隨機擦除和YOLOv4的高空間分辨率遙感影像橋梁自動檢測方法： 首先，采用YOLOv4目標檢測方法對橋梁數據集進行訓練并檢測，以解決傳統方法的人工設計特征難以適用于多場景下橋梁檢測任務的問題； 然后采用k-means聚類方法，統計高空間分辨率遙感影像梁數據集中所有目標的尺寸，并進行聚類分析，得到適合于遙感影像橋梁目標檢測的錨框； 再引入隨機擦除(random erase, RE)數據增強方法，在遙感影像上隨機選擇矩形區域并擦除； 最后，對擦除后的影像進行訓練，這樣既能擴充數據集，又能解決云霧遮擋橋梁檢測精度低的問題，以此提高檢測精度。

1 研究方法

為了解決訓練數據較少，且傳統方法對于被云霧遮擋目標檢測精度低的問題，本文首先統計數據集中目標的尺度分布范圍，利用k-means聚類方法匹配合適的錨框尺寸； 然后用RE與Mosaic數據增強方法相結合對訓練數據集進行預處理； 再利用YOLOv4網絡訓練處理后的數據集； 最后對檢測結果進行精度評價。具體技術路線如圖1所示。

圖1 技術路線圖

1.1 數據集及尺度統計

1.1.1 數據集介紹

本文數據集采用第四屆“中科星圖杯”高分遙感圖像解譯軟件大賽提供的高分辨率可見光圖像中橋梁目標自動識別數據集[20]。該數據集中共包含2 000張由高分2號所拍攝的遙感影像，影像大小分為668像素×668像素及1 001像素×1 001像素2種，分辨率為1～4 m，每幅圖像包含至少一個橋梁目標，其中涵蓋鐵路橋、公路橋、公鐵兩用橋、人行橋、運水橋等類型的橋梁。數據集樣本示例如圖2所示。

圖2 數據集樣本示例

1.1.2 尺度統計

高空間分辨率遙感衛星成像過程因受環境條件的影響，生成的影像內容復雜，不同時段的影像輻射差異大，且目標尺度分布不均勻。因此同一尺寸的預定義錨框難以滿足不同尺度橋梁檢測的需求。YOLOv4預設了9個錨框，大小為Anchor box=(12,16； 19,36； 40,28； 36,75； 76,55； 72,146； 142,110； 192,243； 459,401)分別針對76×76，38×38以及19×19這3個不同的尺度進行檢測。以上錨框尺寸是根據VOC數據集目標框聚類得到的，但是并不適用于所有類型的目標檢測任務。

為了充分統計橋梁數據集中目標的尺度范圍，本文使用k-means聚類方法，對數據集中的2 000張高空間分辨率遙感影像進行統計。將所有橋梁的尺度分為9個類，首先隨機選擇數據中心的9個點作為質心； 然后將與之靠近的點進行分類； 不斷迭代更新這9個點的值，直到這9個點的值不再變化為止； 最后分別設置為預定義錨框的大小。表1為k-means聚類所得的預測框尺度。

表1 k-means聚類結果

1.2 數據增強

當模型中參數相對于訓練樣本過多時，就會發生過擬合現象，從而降低模型的泛化能力。遮擋是影響模型泛化能力的關鍵因素。現用于橋梁檢測模型的訓練數據集較小，且部分影像中含有被云霧遮擋的橋梁。因此實現不同層次的遮擋不變性是解決這一問題的有效方法。為了使橋梁的某些部分被云霧遮擋時，模型仍然能夠從整體結構中將其正確檢測出來，本文引入了RE數據增強，與YOLOv4本身的Mosaic數據增強相結合以擴充原有數據集并模擬橋梁被云霧遮擋的情況。RE數據增強[21]隨機選取影像上的一個矩形區域，只遮擋部分對象，能夠維護對象的整體結構，且將被擦除區域的像素值重新賦值為隨機值，亦可看作給圖像添加了塊噪聲。該方法能夠有效加大訓練難度，防止過擬合，在一定程度上提高泛化能力。利用RE數據增強方式主要是模擬遮擋場景，應用在橋梁檢測中即可模擬橋梁被云霧遮擋的情況，與YOLOv4本身的Mosaic數據增強相結合，使網絡具有更好的魯棒性。

圖3 隨機擦除數據增強流程圖

隨機擦除的優勢可以概括為以下幾點：

1)隨機擦除過程是在一個連續的矩形區域上操作、沒有舍棄任何像素值，不會引起信息丟失，目的是使模型對噪聲和遮擋具有更好的魯棒性。

2)隨機擦除可以在不改變原有學習策略的情況下應用于基于卷積神經網絡的目標檢測任務。

3)可以作為現有數據增強方法的補充，與其他數據增強方法相結合，能進一步提高目標檢測性能。

1.3 YOlOv4網絡結構

YOLOv4[19]是由Bochkovskiy等于2020年提出的單階段目標檢測網絡，該網絡的主干為CSPDarknet53，由5個CSPnet[22]模塊組成，每個CSPnet模塊前面都是大小為3×3，步長為2的卷積核，可以起到下采樣的作用，因此大小為608像素×608像素的輸入圖像被逐步下采樣為19×19的特征圖。CSPDarknet53解決了因梯度信息重復導致的推理計算過高的問題，增強了CNN的學習能力，使得網絡在輕量化的同時保持準確性，且能有效的降低內存成本及計算瓶頸。SPP模塊使用不同尺寸的滑動窗口對上一個卷積層獲得的特征圖進行采樣，分別合并得到的結果，就會得到固定長度的輸出； FPN層自頂向下傳達強語義特征，而包含2個PAN結構的特征金字塔則自底向上傳達強定位特征，兩者結合，從不同的主干層對不同的檢測層進行特征聚合，進一步提高特征提取的能力。

1.4 CIoU_Loss模型

遙感影像中的橋梁存在著多橋密集并行的現象，并行橋梁之間的錨框會有所重疊，非極大抑制過程會剔除部分錨框導致漏檢，采用CIoU能夠有效解決這一問題。尋常的IoU_Loss無法直接優化預測框和真實框沒有重疊的部分，CIoU將目標與錨框之間的重疊區域、中心距離、寬高比都考慮進去，使得目標回歸更加穩定，不會出現訓練過程中發散等問題。如圖4所示，c為預測框b與真實框bgt的最小外接矩形的對角線距離；d為預測框與真實框中心點之間的距離。IoU為預測框和真實框面積交集與面積并集的比值。

圖4 CIoU示意圖

CIoU公式如下：

，

(1)

式中，ρ2(b,bgt)為預測框和真實框中心點的歐氏距離；α為權重參數；v用來度量長寬比的相似性。α和v分別表示為：

，

(2)

。

(3)

所以CIoU_Loss為:

(4)

式中：b為預測框；bgt為真實框；ρ2(b,bgt)為預測框和真實框之間的歐氏距離；c為能夠同時包含預測框和真實框的最小閉包區域對角線長度；w和h分別為預測框的寬和高；wgt和hgt分別為真實框的寬和高。

2 實驗結果與分析

本文方法使用GPU進行訓練，計算機配置為Windows10，Intel(R)i7-9700k CPU，NVIDIA GeForce GTX1070 Ti顯卡，8 GB顯存，平臺為pytorch。訓練的初始學習率設置為0.001，權重衰減系數設置為0.000 5，訓練動量為0.9，置信度設置為0.5，IoU閾值設置為0.5，訓練300個Epoch，迭代次數4 000次。用隨機數法將數據集按照8∶2的比例分配為訓練集、驗證集，抽取典型橋梁影像作為測試集。

為了驗證本文方法的有效性，利用目標的平均檢測精度(mAP)以及平均檢測準確度(average detection accuracy,Ada)作為模型定量的評估指標，來衡量模型的準確性，其定義為：

，

(5)

，

(6)

式中：Precision為精確率，指實際正樣本占被預測為正樣本的比例；TP為被正確分類的正樣本，即被正確檢測的橋梁數量；FP為被錯誤分類的負樣本，即被檢測為橋梁的其他目標的數量；PrecisionC為C類目標的精確率；NC為含有C類目標的圖片的數量；N為數據集中圖片的總數。

平均檢測準確度(Ada)為檢測樣本的總準確度(detection accuracy,DA)與正確檢測樣本數之商，總準確度為單幅圖像中所有被正確檢測目標的準確度之和，計算公式如下：

。

(7)

為了驗證所提方法的有效性，本文主要對近幾年幾種典型的目標檢測網絡進行了對比實驗，分別利用SSD，mobilenet-SSD，Centernet，Efficiendet，Retinanet，YOLOv3和YOLOv4對橋梁數據集進行訓練，并分別計算其mAP； 再將本文算法應用到以上7個目標檢測模型中，并分別計算其mAP值。各模型進行橋梁檢測的mAP值如表2所示。表2中第二列“+RE”表示原始網絡結合RE方法計算所得mAP值，第三列“本身漲點”為原始網絡結合RE方法的mAP值與原始網絡相比的漲點，第四列“本文漲點”為本文方法與各原始網絡相比的漲點。表中加粗字體為本文算法檢測結果。

表2 不同模型的檢測結果

由表2可知，①在引入了RE方法之后，各網絡mAP漲點從1.77%到5.73%不等，說明RE數據增強可以與不同目標檢測方法相結合，并有效提升檢測精度； ②本文方法與其他6種方法相比，mAP都有較大程度的提高，驗證了本文選取YOLOv4作為原始網絡的可行性； ③其中RE數據增強(本文所提算法)能夠選擇影像上的隨機區域進行擦除，有效模擬了橋梁目標被云霧遮擋的情況，提升了整體的檢測精度。由此可知，對場景較單一、且數據量小的數據集進行數據增強對提高模型檢測的精度有一定積極作用。

圖5、圖6、圖7為利用YOLOv3、YOLOv4以及本文方法進行對比實驗的檢測結果，從數據集中選取具有代表性的5類橋梁影像進行檢測，分別為常規橋梁、復雜場景下的橋梁、多尺度橋梁、并行橋梁以及云霧遮擋下的橋梁。經統計，用于檢測的數據抽樣中常規橋梁共5個，復雜場景下的橋梁共3個，多尺度橋梁共19個，并行橋梁共6個，云霧遮擋下的橋梁共8個。其中云霧遮擋橋梁包括部分遮擋、完全遮擋2種情況，云霧包含厚云、薄云2種效果，影像中橋梁分為部分可見可完全可見2種類型。具體檢測結果如表3所示，表中加粗字體為各項最優結果。

(a) 常規橋梁1(b) 常規橋梁2(c) 復雜場景1(d) 復雜場景2

(e) 多尺度橋梁1(f) 多尺度橋梁2(g) 并行橋梁1(h) 并行橋梁2

(i) 云霧遮擋橋梁1(j) 云霧遮擋橋梁2(k) 云霧遮擋橋梁3(l) 云霧遮擋橋梁4

(a) 常規橋梁1(b) 常規橋梁2(c) 復雜場景1(d) 復雜場景2

(e) 多尺度橋梁1(f) 多尺度橋梁2(g) 并行橋梁1(h) 并行橋梁2

(i) 云霧遮擋橋梁1(j) 云霧遮擋橋梁2(k) 云霧遮擋橋梁3(l) 云霧遮擋橋梁4

(a) 常規橋梁1(b) 常規橋梁2(c) 復雜場景1(d) 復雜場景2

(i) 云霧遮擋橋梁1(j) 云霧遮擋橋梁2(k) 云霧遮擋橋梁3(l) 云霧遮擋橋梁4

表3 樣例檢測結果

由表3可知，相比于YOLOv3和YOLOv4，本文方法對于不同場景下橋梁的正確檢測個數均有提高，說明本文方法具有較好的橋梁檢測能力； 其次，本文方法對于云霧遮擋橋梁的檢測效果明顯優于其他2種方法，YOLOv3和YOLOv4僅能檢測出薄云覆蓋和部分遮擋橋梁，對于完全遮擋和厚云覆蓋等橋梁檢測效果較差，而本文方法能能夠以較高準確度檢測出部分遮擋、完全遮擋、厚云覆蓋及薄云覆蓋等多種條件下的橋梁，有效提高了對于云霧遮擋橋梁檢測的魯棒性； 最后，本文方法在絕大多數場景下的平均檢測準確度高于YOLOv3和YOLOv4，說明本文方法在保證檢測效果的前提下適用于多種場景的橋梁檢測。

3 結論與展望

針對傳統目標檢測網絡識別被云霧遮擋橋梁能力差的問題，提出結合RE和YOLOv4橋梁自動檢測方法。本文方法的mAP達到了97.06%，較YOLOv4網絡提高了2.99百分點。對于被云霧遮擋橋梁的平均檢測準確度提高了12百分點。試驗結果驗證了本文方法對于識別復雜場景下的橋梁、多尺度的橋梁、并行橋梁尤其是被云霧遮擋的橋梁有很大的優勢。但本文方法也存在不足之處，RE產生的像素值與真實云霧有一定差異，使得檢測效果提升有一定局限性，后期將對遮擋橋梁設計更有針對性的方法，進一步提高檢測性能。