基于clear-SSD的單點多盒飛機目標檢測天氣適用性

詹成祥， 孟慶巖， 安健健， 胡 蝶， 楊天梁

(1.中國地質大學(北京)地球科學與資源學院， 北京 100083； 2.中國科學院空天信息創新研究院， 北京 100094；3.中國科學院空天信息創新研究院海南研究院， 三亞 572029； 4.三亞中科遙感研究所， 三亞 572029)

隨著深度學習的快速發展，遙感影像目標檢測算法也在不斷更新，但目前目標檢測算法大多針對良好天氣。受霧霾影響，遙感影像質量下降，進而影響遙感影像檢測效果[1-2]。飛機在民用與軍用領域都有重要作用，若出現霧霾天氣，則會影響檢測精度，進而影響航空管制，故消除霧霾影響，提升遙感影像質量，使其在良好天氣及霧天均能有較高的目標檢測精度，具有重要意義[3-4]。

遙感目標檢測是多年來廣泛研究的熱點[5]，遙感目標檢測就是識別出遙感影像中感興趣的目標，并用回歸算法標記其位置[6]，其模型算法可以分為兩大類，一類是單階段目標檢測，即將分類與回歸放在一個網絡中完成，其優勢是速度更快，經典代表有SSD(single shot multibox detector)、YOLO(you only look once)，另一類是兩階段目標檢測，即將分類與回歸分兩部分進行，經典代表有R-CNN(region-based convolutional neural networks)、Fast-RCNN和Faster-RCNN[7-8]。

圖1 clear-SSD結構Fig.1 The structure of clear-SSD

近年來，有較多研究使用單階段或兩階段模型進行遙感影像目標檢測，如王穎潔等[9]使用Faster-RCNN以及R-FCN(region-based fully convolutional networks)檢測儲油罐，李淑敏等[10]使用YOLO_V2模型和遷移學習對高分二號影像進行目標檢測，熊偉等[11]使用支持向量機模型對合成孔徑雷達影像進行目標檢測，Wang等[12]使用Faster-RCNN模型，檢測高分辨率影像中的艦船，Chen等[13]提出目標熱圖網絡對高分辨率遙感影像進行目標檢測，但無論是深度學習還是傳統方法，都只針對良好天氣，沒有討論霧天對目標檢測精度的影響。受大氣反射與散射干擾，遙感傳感器拍攝影像的清晰度降低，導致飛機目標檢測精度下降，如何使飛機在良好天氣及霧天條件下均能有較優的檢測精度，是目前尚未解決的問題。

而暗通道與同態濾波作為經典清晰化算法，常用來恢復各種霧天影像，使其具有更優的可辨性，進而提高霧天影像目標檢測精度。

現提出一種基于影像處理的clear-SSD模型，分別對良好天氣及霧天條件下的飛機進行目標檢測。模型訓練完畢后，先對待檢測的遙感影像進行清晰化處理，再檢測影像中的飛機，對比不同清晰化算法對飛機目標檢測精度的優化效果，選取適用性最優的清晰化算法嵌入SSD模型中，組成clear-SSD，使其在良好天氣以及霧天條件下均能取得較好的檢測效果，消除現有目標檢測算法只能針對良好天氣影像檢測的弊端，提高模型適用性。

1 clear-SSD算法原理

采用clear-SSD模型進行實驗，該模型將影像清晰化算法與SSD目標檢測算法有機結合，即在卷積神經網絡前端設置影像清晰化算法，使輸入的霧天影像更清晰且不過多影響良好天氣影像的視覺效果。其中SSD模型由Liu等[14]在2016年提出，根據輸入影像的尺寸分為SSD-300和SSD-512，現采用SSD-512作為實驗網絡。SSD提供的檢測框有多個尺度，可以有效檢測大小不同的物體。

clear-SSD以卷積網絡VGG16網絡為主干，并將輸出端的全連接層替換成卷積層，用來輸出回歸及分類特征，其結構如圖1所示。

clear部分為清晰化算法，備選算法包括暗通道、高斯同態濾波以及線性同態濾波。對待檢測影像進行清晰化處理，導入卷積神經網絡提取特征，通過比較不同算法的處理效果，選擇適用性最優的算法作為clear部分。

對于目標檢測，SSD與其他模型不同，其定位特征由多個卷積層共同提供，包括4_3卷積塊以及7～12的卷積塊共7個模塊，每個模塊都提供不同數量的定位以及分類預測特征，最終得到影像中目標地物的預測類別及位置。訓練過程中，設置交并比閾值，將與標簽框交并比大于閾值的預測框選出，即每個標簽框可與多個預測框對應，反之每個預測框只能與單個標簽框對應，選擇置信度最大的預測框與標簽框相匹配計算損失函數，由于目標檢測包括分類與回歸兩部分，因此損失函數為分類損失與回歸損失的加權和：

(1)

式(1)中：L()表示整體損失；Lconf()表示分類損失;Lloc()表示定位損失;x為指示參數;c表示類別置信度;l表示預測框的位置;g表示標簽框位置;N表示標簽框的數量;α為回歸損失對分類損失的加權值。

分類代價函數采用softmax損失，定位代價函數采用定位差值的平方經L1平滑后的損失。

為準確提取不同尺寸的目標，SSD根據不同卷積層提取不同尺度的高層與低層特征，不同層次的卷積層能提取不同大小的特征。由于提取的特征足夠多，預測框的數量也有很多且大多為負樣本，根據得分選擇部分負樣本參與訓練，保證正負樣本比例為1∶3左右，使得訓練更穩定。

SSD模型能夠在保證目標檢測精度的同時消耗更少的時間[15]，因此選用SSD作為本文實驗的目標檢測網絡。

2 清晰化算法

2.1 暗通道原理

暗通道是He等[16]提出來的一種清晰化算法，該算法去霧效果顯著且計算量小，在對大量影像觀察后提出，幾乎所有良好天氣下的像素都有一個通道的值趨向于0，根據這一先驗知識與大氣物理模型，提出暗通道清晰化算法，大氣物理模型為

I(x)=J(x)t(x)+A[1-t(x)]

(2)

式(2)中：I(x)為原始有霧影像；J(x)為待求無霧影像；t(x)為大氣透射率；A為大氣光值,其大小為原始影像對應通道的最高值。暗通道用數學公式可表示為

(3)

式(3)中：Jdark(x)表示去霧影像暗通道理論值；Jc(y)表示去霧影像紅綠藍某一通道平面范圍內的值；{r，g，b}分別表示影像的紅綠藍三個通道；Ω(x)表示以像素x為中心的一個窗口。

對式(2)兩端分別取兩次最小值，先于每個波段平面范圍內取得最小值，再計算每個通道的最小值，即可滿足暗通道先驗條件。利用暗通道趨于0的先驗知識計算得到透射率為

(4)

式(4)中：ω為景深參數，調節w可使去霧效果更自然。

通過導向濾波處理，將式(4)計算的透射率精細化，代入式(2)中，即可算出恢復后的無霧影像為

(5)

式(5)中：t0表示透射率下限。

王鋒等[17]基于暗通道先驗知識有效復原近景霧霾圖像。緱新科等[18]基于暗通道理論優化透射率，有效去除包含天空區域的霧天圖像。王嬌等[19]基于暗通道改進出快速去霧算法，減少處理時間。由此可見，暗通道算法對遙感影像去霧有較好的效果。

2.2 同態濾波

由于霧在影像中對亮度的貢獻值變化緩慢，屬于低頻成分，因此將影像轉換到頻率域，壓縮低頻而拉伸高頻，即可達到去霧的效果。張文君等[20]基于同態濾波構建去霧模型，提升了SPOT-5遙感影像質量。李開偉等[21]基于同態濾波，實現無人機影像的清晰化處理。綜上可知，同態濾波對去霧也有不錯的效果。

一幅灰度影像可以表示為照射分量與反射分量的乘積[22]：

f(x,y)=i(x,y)r(x,y)

(6)

式(6)中：f(x,y)為影像灰度；i(x,y)為照射分量，屬于低頻；r(x,y)為反射分量，屬于高頻。

先對式(6)兩端取對數，將等式右邊的乘號轉換成加號，以便進行傅里葉變換到頻率域，其次使用濾波壓縮低頻成分而拉伸高頻成分，之后進行傅里葉逆變換，最后取對數，即可得到處理后的影像。使用高斯同態濾波與線性同態濾波分別進行處理，并比較不同濾波處理對檢測精度的提升效果，圖2為同態濾波處理的流程圖。

圖2 同態濾波流程圖Fig.2 The flow chart of homomorphic filtering

2.2.1 高斯同態濾波

高斯同態濾波即用高斯濾波器進行乘積操作，濾波器為

(7)

式(7)中：c表示形狀系數，控制濾波形狀；D0表示截止頻率；D(u,v)表示濾波前圖像；H(u,v)表示濾波后圖像。

2.2.2 線性同態濾波

線性同態濾波即用線性濾波器進行乘積操作，設置高頻與低頻兩個半徑，對低頻進行壓縮，達到去霧效果，對高頻進行拉伸，以突出地物邊緣信息，其濾波器為

(8)

式(8)中：r1表示低頻范圍閾值；r2表示高頻范圍閾值；a為壓縮系數；b為拉伸系數。

線性同態濾波處理示意如圖3所示，將影像轉換到頻率域后，對中間區域的低頻成分進行壓縮，對四周的高頻成分進行拉伸。

圖3 線性同態濾波原理Fig.3 Principle of linear homomorphic filtering

3 試驗及分析

3.1 數據集制作

開源的遙感影像目標檢測數據集有很多，但都是基于良好天氣，為探究霧天對目標檢測精度的影響以及提出改進方法。選擇google earth高分辨率遙感影像，制作霧天及良好天氣下飛機目標檢測數據集。實驗區選取首都國際機場，獲取了360張像素大小為512×512左右的影像，其中良好天氣有330張，霧天有30張，將300張良好天氣影像作為訓練數據，良好天氣與霧天各30張作為測試數據，影像分辨率達到0.5 m，數據示例如圖4所示，使用LabelImg標注工具對影像中的飛機進行標注。

3.2 模型訓練

在本次實驗中，使用tensorflow框架實現SSD目標檢測算法，所有的計算均使用同一臺GPU服務器(顯卡：Nvidia TESLA C2050)進行。首先設置SSD模型訓練參數：初始學習率為0.001，采用指數衰減，優化器采用rmsprop，batch size為8，正負樣本比例為1∶3。將300張良好天氣影像導入模型中訓練，模型在1 000步左右收斂，之后在3～6波動，訓練到1 388步停止，損失函數的變化如圖5所示。

3.3 實驗結果及分析

在本文實驗中，目標檢測部分選擇SSD單階段檢測算法，影像處理部分選擇暗通道算法、線性同態濾波以及高斯同態濾波，分別對霧天及良好天氣下飛機進行目標檢測，并對比以上3種清晰化算法對目標檢測精度的提升效果，將平均精度(AP)作為評判標準，其值是準確率-召回率曲線(P-R曲線)的積分面積。

3.3.1 霧天目標檢測結果

用訓練好參數的SSD算法分別對未處理霧天影像及3種清晰化算法處理后的霧天影像進行測試，結果如表1所示。可以看出，霧天對飛機目標檢測精度有較大影響，而經暗通道、高斯同態濾波及線性同態濾波處理后，對檢測精度有明顯提升作用，其中線性同態濾波提升效果最佳，相比較原始SSD檢測算法提高了0.505 9。

3種清晰化算法處理后霧天影像與原始霧天影像的P-R曲線如圖6所示，可以看出，高斯同態濾波與線性同態濾波具有較大的積分面積，能較好提高模型的檢測精度。

表1 霧天目標檢測結果

圖6 清晰化算法處理后P-R曲線對比Fig.6 Comparison of P-R curves processed by the sharpening algorithm

圖7 飛機SSD檢測結果示例Fig.7 Example of SSD test results of the aircraft

為直觀展示3種清晰化算法的優化效果，隨機選擇部分飛機目標檢測效果圖，如圖7所示，由此可見，霧天條件對影像視覺效果干擾較大，導致3幅影像有兩幅影像中的飛機均未被SSD模型檢測到，而3種清晰化算法處理后影像中的飛機均能被良好檢測，其中，暗通道算法處理后的影像色調偏暗，而線性同態濾波與高斯同態濾波處理后的影像色調更自然。

3.3.2 模型的適用性分析

由上述研究可知，暗通道算法、線性同態濾波及高斯同態濾波均能提高霧天遙感影像目標檢測精度，為驗證clear-SSD具有適用性，使清晰化算法與SSD目標檢測算法有機結合，則需考慮該清晰化算法對良好天氣下飛機檢測精度的影響。綜合模型對霧天及良好天氣影像目標檢測精度，優選最具適用性的清晰化算法。

分別對原始良好天氣影像及3種清晰化算法處理后良好天氣影像進行測試，結果如表2所示，實驗表明，原SSD算法對良好天氣下影像目標具有較好檢測精度，而暗通道算法、線性同態濾波及高斯同態濾波對良好天氣下影像目標檢測精度均有干擾，其中線性同態濾波影響更大。

表2 良好天氣目標檢測結果

據統計，北京地區霧霾天氣比例約為10%，良好天氣比例約為90%，則適用性精度可根據兩者加權計算，結果如表3所示，由此可見，暗通道算法與高斯同態濾波處理后檢測精度均比原始SSD高，分別提升了0.018 4與0.043。而線性同態濾波雖去霧效果最優，但對良好天氣影像干擾較大，導致適用性精度降低0.070 4。因此線性同態濾波不適合作為前端清晰化算法，而高斯同態濾波具有更優的適用性。

表3 適用性精度

4 結論

以飛機為例，探討霧天對遙感影像地物目標檢測精度的影響，并提出有霧與無霧均能有效檢測目標的clear-SSD模型，對比不同清晰化算法對精度提升的效果，研究發現：影像經高斯同態濾波處理后，其目標檢測精度可達到0.984 3，相比原始精度提升0.043，具有最優的處理效果，因此，選擇高斯同態濾波作為模型前端的影像處理部分組成clear-SSD模型。該模型不僅能檢測良好天氣下遙感影像地物目標，對霧天遙感影像目標檢測同樣具有較高精度，使模型具有適用性，彌補目前遙感影像目標檢測只針對良好天氣的不足。

對于在霧天提高遙感影像目標檢測精度，研究還有一些不足的地方，有待在后續中進一步探索：

(1)對于暗通道處理后有部分影像偏暗的問題，可以找到一種自適應亮度調整算法，根據影像本身亮度大小來決定需增強的亮度，即可改善暗通道處理后地物目標檢測精度，以及提高模型的適用性。

(2)對多區域多地物目標進行試驗，說明clear-SSD模型的魯棒性。