航空遙感影像的實時艦船目標檢測

姜 鑫，陳武雄，聶海濤，朱 明，郝志成

(1. 中國科學院 長春光學精密機械與物理研究所，吉林 長春 130033；2. 重慶嘉陵華光光電科技有限公司，重慶 400700)

1 引 言

在風云變幻的今天，適應世界海洋形勢變化，洞察海洋安全發展趨勢，提升海洋環境的監視能力，對于我國經略海洋事業，顯得尤為重要[1]。衛星等航天遙感手段已經在海洋環境監測中發揮了重要的作用，但其卻難以滿足對于時間響應要求快速的應急動態海洋監測任務[2]。航空遙感因其具備機動快速的響應能力，特別適合于海洋生態環境和突發事件的監測[3]。因此，實現航空遙感影像的實時艦船目標檢測具有重要的實際應用價值。

艦船目標檢測主要包括兩個步驟：海陸分割和艦船檢測[4]。首先，艦船目標屬于海上目標，因此當遙感影像中出現陸地區域時，為避免由于陸地環境結構復雜，影響后續艦船目標檢測的準確率，造成虛警，需要對遙感影像進行海陸分割的預處理操作，分離海洋區域和陸地區域，減弱環境的影響。之后，僅在海洋區域內進行艦船檢測，并輸出最終的檢測結果，如艦船目標在遙感影像中的坐標位置，面積大小，長度和寬度等信息。

傳統的海陸分割方式利用先驗已知的海岸數據庫，首先根據地理坐標信息找到遙感影像相對應的陸地模板，再利用模板匹配技術將遙感影像中的陸地區域與陸地模板進行匹配，最終完成海陸分割[5]。這種方案對于特定地理位置、特定場合的海陸分割可以實現較為理想的效果，但是在實際工程應用中，人工采集標定陸地模板難度巨大，且面對突發事件時，偵察飛機飛入新的區域，其海域、陸地模板難以獲得，利用模板匹配來進行海陸分割更加具有不可操作性。目前，閾值分割法因其簡單、高效的特點，在工程中得到了廣泛的應用。

艦船檢測大體上可以分為基于傳統特征的檢測方法和基于深度學習的檢測方法，其中傳統特征包括灰度特征、紋理特征、形狀特征等，該類方法實現起來快速，簡單，容易實現，但魯棒性差[6]；基于深度學習的檢測方法不需要人工定義特征，但其事先需要預知大量的艦船訓練數據庫，實際檢測時如果出現未被標定過的艦船，容易被錯誤分類；同時，深度神經網絡參數較多，檢測速度較慢，難以滿足實時處理系統的要求[7]。

實際工程應用中，實時艦船目標檢測應綜合考慮航空遙感影像的數據特點和應用場景等多方面因素，來選擇合適的算法[8]。目前航空遙感相機大多已經配備了光電傳感設備，由于要滿足數據存儲和實時圖像處理等多方面需求，采集的目標圖像往往是數據量相對較小的灰度影像。基于此，受機上實時處理軟硬件限制，在不進行航空遙感圖像精確幾何校正的情況下，本文重點針對航空遙感灰度影像，對海陸分割和艦船檢測兩大問題展開了研究，利用灰度信息對遙感影像進行自適應閾值分割，結合形態學算子和孔洞填充技術，實現海陸分割；利用艦船幾何結構特征進行直線段檢測，結合K均值密度聚類技術，完成艦船目標檢測，算法可以滿足機上實時處理的自動、準確、快速的需求。

2 海陸分割

將遙感影像中的陸地區域和海洋區域進行分割，屏蔽或去除陸地區域，將檢測范圍限定在海洋區域，稱為海陸分割過程。精準的海陸分割至關重要，可以有效地縮小后續目標檢測范圍，簡化檢測復雜度，提高檢測的速度和效率。

閾值分割法作為傳統的圖像分割方法，在海陸分割任務上也得到了廣泛應用，如直方圖谷底法[9]、最大類間方差法[10]等，該類方法從海面區域和陸地區域具有不同的灰度、紋理等特征的角度出發，確立分割閾值，經過二值化處理，實現海陸分割。但這些閾值分割法自適應性較差，比如對于最大類間方差分割法來說，其要求海洋和陸地的灰度直方圖具有雙峰特性，通過計算直方圖的波谷閾值，再將一幅遙感影像分割成海洋和陸地兩大塊。但實際應用中,航空相機采集圖像時受光照、環境、噪聲等多方面因素的影響，很難保證采集的影像具有雙峰特性；同時，最大類間方差分割法會對每幅圖像都進行分割，當航空相機采集的影像中全為海洋區域或全為陸地區域時，最大類間方差分割法并不適用。因此，本文充分考慮了海洋區域和陸地區域在灰度特征上的差異，提出了一種根據圖像灰度特征變化的自適應閾值分割方法，并結合形態學算子和孔洞填充技術，實現了航空遙感影像的海陸分割。海陸分割的具體流程如圖1所示。

圖1 海陸分割流程圖Fig.1 Flow chart of land sea segmentation

2.1 海陸粗分割

在航空遙感影像中，相較于陸地區域，海洋區域最顯著的特征就是表面灰度分布均勻，即從遙感影像局部統計特性的角度來講，海洋區域的統計均值與方差，在其局部區域內具有相似性[11]。從數學上講，灰度均值表示了局部范圍內像素點的亮暗程度，灰度方差表示了局部范圍內像素點灰度值變化的劇烈程度。灰度均值大，表示局部區域內亮度大；

灰度均值小，代表局部區域亮度?。换叶确讲畲螅砭植繀^域內波紋抖動大，變化較大；灰度方差小，表示局部區域內波紋抖動小，比較平靜[12]。因此，對于陸地區域來說，區域內環境錯綜復雜，區域的灰度方差值較大，區域內不同像素點的灰度均值也會體現出一定的差異；對于海洋區域來說，區域內具有局部相似性，區域的灰度方差值較小，區域內所有像素點的灰度均值也會具有一致性?；诖?，本文考慮利用灰度均值與灰度方差兩個變量，根據圖像本身的灰度信息自適應調整海陸分割閾值，完成海陸的粗分割。具體操作步驟如下：

對遙感影像中的每個像素點(x,y)，以其為中心取大小為d×d的滑動窗口H={(m,n)|x-d/2≤m≤x+d/2,y-d/2≤n≤y+d/2}，計算該滑動窗口內所包含像素點的灰度均值和方差，并將計算結果當作像素點(x,y)的灰度均值和方差，并依次遍歷遙感影像中的每個像素點。記像素點(x,y)的灰度均值和方差計算結果分別為Ave(x,y)和Var(x,y)，計算公式如下：

(1)

(2)

其中：F(m,n)表示像素點(m,n)的灰度值。接著，計算整幅影像的灰度方差均值Varave，公式如下：

(3)

其中：M和N分別表示影像的垂直分辨率和水平分辨率。對于影像中的像素點(x,y)，如果該點的灰度方差值大于整幅影像的灰度方差均值，同時存在該點的灰度均值與周圍鄰域像素點的灰度均值相差較大，則將該點判定為陸地區域，否則判定為海洋區域，數學上表示為滿足以下兩個條件：

Var(x,y)>Varave,

(4)

(5)

依次遍歷遙感影像中的每個像素點，依據上述準則將像素點判定為海洋區域或陸地區域，完成海陸的粗分割。

2.2 連接分散陸地

完成海陸粗分割后，影像中的海洋區域和陸地區域均會出現一定的斷裂和空洞情況，因此本文利用形態學算子和孔洞填充技術完成連接和填補。

利用形態學中的膨脹操作連接分散的陸地，將陸地區域連接成一個或幾個大的連通區域。本文利用3×3的結構元素，掃描影像中的每一個像素點，用結構元素與其覆蓋的二值圖像做“或”操作，使得邊界完成了向外部的擴張。

2.3 填充陸地孔洞

陸地中也存在具有局部相似性的區域，比如小型湖泊、田地、草原等[12]，這些區域在進行海陸粗分割時往往被誤認為是海洋區域，因此本文考慮利用區域生長的方法填充陸地孔洞。

區域生長方法是根據事先定義的準則，將相似或同類像素點聚合成一個大區域的過程[13]。其生長過程是從一個像素點開始，將與該生長點性質相似的相鄰像素點進行合并，并形成新的生長點，重復此過程直到不能繼續生長為止[14]。本文考慮將屬于海洋區域的像素點進行區域生長，具體的生長步驟如下：

(1)掃描整幅影像，找到第一個屬于海洋區域的像素點，記為(x0,y0)；

(2)以(x0,y0)為中心，考慮(x0,y0)的8鄰域像素(x,y)，若(x,y)為海洋區域的像素點，則將(x,y)與(x0,y0)合并，同時將(x,y)壓入堆棧；

(3)從堆棧中取出一個像素點，將其視為(x0,y0)返回步驟(2)；

(4)當堆棧為空時，返回步驟(1)；

重復步驟(1)～步驟(4)，直到圖像中所有屬于海洋區域的像素點均有歸屬，生長結束。

接著，統計生長過后各個獨立聯通區域的像素點數目，結合圖像分辨率的大小和先驗信息設定一個像素點數目的閾值，將小于該閾值的獨立聯通區域歸為陸地區域，完成陸地孔洞填充。

2.4 刻畫海岸線

通過膨脹操作連接分散的陸地區域后，需要執行一定次數的腐蝕操作，以完成海岸線的刻畫，保證海岸線的精度不受影響。類似地，本文利用3×3的結構元素，掃描影像中的每一個像素點，用結構元素與其覆蓋的二值圖像做“與”操作，完成邊界向內部收縮的過程，同時還可以消除小且無意義的區域。值得注意的是，腐蝕操作的次數可以略少于膨脹操作的次數，一是可以減低算法的復雜度，提高運算速度和效率，二是可以人為地適當擴大陸地區域，以減少海岸邊由于水紋、雜波等因素對后續艦船目標檢測時提取特征造成的影響。

2.5 填充海洋孔洞

與陸地區域類似，海洋區域內艦船、小島等目標不具有局部相似性，因此在進行海陸粗分割時易被誤認為是陸地區域[9]。同樣地，本文考慮利用區域生長的方法填充海洋的孔洞，具體生長過程與前文一致。之后，對于像素點少于一定數目的獨立聯通區域判定為海洋區域，完成海洋孔洞填充。

至此，完成了海陸分割的所有操作流程，可去除陸地區域，將后續的艦船目標檢測范圍限定在海洋區域中。

3 艦船檢測

隨著航空遙感影像分辨率的逐漸提高，影像中目標的幾何結構特征也變得更加豐富、清晰，比如機場、橋梁、港口等典型目標，均具備明顯的直線段特征。同時，與紋理、顏色等特征相比，幾何結構特征受相機拍攝環境的影響較小，無論在何種光照、角度下拍攝，一個典型目標的幾何基元結構都不會發生變化，因此幾何結構特征也逐漸成為遙感影像中目標檢測和識別的重要依據[15]。

對于艦船目標而言，艦首多為尖形結構，艦尾多為梯形、方形結構，兩舷平直[16]，其獨特的長條形狀是區分艦船目標與其他海面目標一個十分基礎且重要的幾何結構特征。基于此，本文利用艦船目標的幾何結構特性，首先對其進行直線段檢測；之后，對檢測出的直線段進行K均值密度聚類；接著，根據每個類內的直線段數目，完成對有效類的最小外接矩形畫框，并最終輸出檢測后的艦船目標信息。艦船目標檢測的具體流程如圖2所示。

圖2 艦船檢測流程圖Fig.2 Flow chart of ship detection

3.1 直線段檢測

艦船目標具有明顯的幾何結構特征，比較容易用直線段對其進行描述；而海面的島嶼、雜波、水紋等背景不具有明顯的形狀特征，因此其直線段分布是十分隨機的。基于此，本文中利用經典的LSD (Line Segment Detector)直線段檢測方法[17]，來完成對艦船目標的直線段檢測，該方法能夠在較短的時間內獲得較高精度的直線段檢測結果。

LSD直線段檢測算法首先計算圖像中所有點的梯度大小和方向，然后將梯度方向變化小且相鄰的點作為一個連通域，接著根據每一個域的矩形度判斷是否需要按照規則將其斷開以形成多個矩形度較大的域，最后對生成的所有的域做改善和篩選，保留其中滿足條件的域，即為最后的直線檢測結果。該算法的優點在于檢測速度快，而且無需參數調節，利用錯誤控制的方法，提高直線檢測的準確度。LSD算法對艦船目標的直線段檢測結果如圖3所示。

圖3 直線段檢測示意圖Fig.3 Schematic diagram of line segment detection

3.2 直線段聚類

如圖3所示，進行直線段檢測后，艦船目標區域往往會出現較為密集分布的多條直線段，基于此，本文利用K均值密度聚類算法[18]，來對檢測出的直線段進行區域聚類。K均值密度聚類算法應用簡單，收斂速度快，聚類效果好，因此在工程中得到了廣泛的應用。本文應用K均值密度聚類算法的具體實施步驟如下：

(1)從檢測出的所有直線段中隨機選擇出一條直線段，將該直線段的中心點作為初始聚類的中心點；

(2)隨機選擇一條直線段，計算該直線段中心與當前所有聚類中心點的距離，根據最小距離原則找到與其最近的聚類，當該距離小于預先設定的距離閾值時，將該直線段劃分到該聚類中，并重新計算該聚類的中心點，新的中心點即為類內所有直線段的中心；否則，重新創建一個聚類，并將該直線段的中心點作為新聚類的中心點；

(3)依次遍歷檢測出的直線段，重復步驟(2)，直至所有直線段均有所歸屬的聚類，聚類結束。

其中，距離閾值可以根據影像的分辨率大小、艦船目標的尺寸大小以及先驗知識綜合設定，以使艦船檢測效果達到最佳。

3.3 有效類畫框

聚類結束后，統計每個類內所包含的直線段數目，當直線段數目大于預先設定的數目閾值后，判定其為有效類，并畫出該類所有直線段的最小外接矩形。對圖3中檢測出的直線段進行K均值密度聚類、有效類畫框后，結果如圖4所示。

圖4 有效聚類畫框示意圖Fig.4 Effective clustering frame diagram

有效聚類畫框后，將有重疊區域的矩形框進行合并，并刻畫出重疊矩形框的最小外接矩形作為最終的檢測框，結果如圖5所示。

圖5 艦船檢測結果Fig.5 Results of ship detection

最終，將所刻畫的檢測框作為艦船目標信息進行輸出，包括了目標在影像中的坐標位置、目標長度、目標寬度、目標面積等信息。

4 驗證分析

本文所提出的海陸分割算法和艦船目標檢測算法已經應用在某型號航空相機任務上，算法實現平臺為嵌入式數字信號處理器TMS320C6455，針對1 920×1 080分辨率大小的航空遙感灰度影像，海陸分割算法實現時間約9 ms，艦船目標檢測算法實現時間約11 ms，實現了30 FPS的機上實時處理要求。為了驗證本文算法的有效性，選取了300張典型實際飛行拍攝的遙感影像進行對比測試，所構建的測試圖像集場景復雜且豐富，匯集了島嶼、海浪、薄云、近岸等各種區域背景條件下和不同光照條件下的艦船目標。由于相關航空遙感圖像較為敏感，不便于展示，本文僅列舉幾組能夠配套的影像對海陸分割效果和艦船目標檢測效果進行展示。

圖6 海陸分割實驗結果Fig.6 Experimental results of land sea segmentation

為了驗證海陸分割算法的有效性，本文與文獻[19]和文獻[20]中的海陸分割算法進行比較。文獻[19]通過改進指數加權平均比率算子進行邊緣強度檢測，而后利用小波變換進行二次邊緣提取，實現海陸分割；文獻[20]提出了一種分策略粗精結合海陸分割方法，進行基于梯度積分圖的邊界分割。本文采用如下參數來分析算法性能[5]：

(6)

陸地檢測錯誤率=

(7)

陸地檢測正確率=

(8)

不同海陸分割算法的比較結果如表1所示。從表中可以觀察出，本文提出的海陸分割算法陸地檢測率為95.8%，陸地檢測錯誤率為5.7%，陸地檢測正確率為94.4%，海陸分割效果較為理想。圖5為海陸分割的實驗結果，為便于觀察，對圖像進行了二值化處理，陸地區域用黑點表示，海洋區域用白點表示。實驗結果顯示文獻[19]中的海陸分割算法在海陸邊界處受海洋陰影干擾較大，易將海洋區域錯劃為陸地區域；文獻[20]中的分割算法海岸線輪廓刻畫較為粗糙，易將海陸交界處的海洋區域劃分到陸地區域；本文算法分割后陸地區域邊緣連接較完整，未出現邊緣斷裂情況，海岸線輪廓與原始圖像基本保持一致，分割算法對噪聲的敏感度較低，分割結果較為準確，魯棒性好。

表1 海陸分割算法結果比較

為了驗證艦船目標檢測算法的有效性，本文與文獻[21]和文獻[22]中所提出的檢測方法進行比較，評價指標選用準確率和虛警率。文獻[21]根據艦船目標特性對方向梯度直方圖進行了改進，將其與其他形狀特征組成特征向量，最后通過分類器完成目標確認。文獻[22]通過引入空間金字塔池化結構，結合密集連接對現有的YOLO-v3檢測算法進行了改進。其中，準確率和虛警率的定義為：

(9)

(10)

艦船目標檢測結果對比如表2所示。從表中的對比結果可以看出，本文提出的艦船檢測算法準確率為94.1%，虛警率為3.9%，檢測準確率高，虛警率低，檢測效果較為理想，該檢測精度指標已基本滿足絕大多數航空遙感影像艦船目標檢測任務的精度要求，同時可以滿足工程任務中的實時艦船目標檢測需求。文獻[22]中基于深度學習的艦船目標檢測算法實現了較高的檢測準確率，但其實現需要預知大量的目標樣本數據庫；同時，深度神經網絡參數較多，檢測速度慢，受機上軟硬件的限制，難以滿足機上實時處理的任務需求。另外，可以觀察到本文檢測算法的虛警率較低，這是因為在艦船檢測前已經進行了海陸分割，后續僅在海面區域上進行艦船目標檢測，避免陸地上復雜景物對檢測造成的影響，由此也體現了海陸分割+艦船檢測這一方法的優勢。

表2 艦船目標檢測算法結果比較

圖7是艦船目標檢測的實驗結果示意圖，文中分別給出了在平靜海面、海面雜波、海面薄霧、強碎浪海況、薄云覆蓋、云層干擾、小島干擾、陸地干擾等多種不同情況下的檢測結果。從圖中可以看出，在不同情況下，艦船目標檢測結果準確、穩定，受外界干擾小，魯棒性強。

圖7 艦船目標檢測實驗結果Fig.7 Experimental results of ship target detection

5 結 論

作為海洋監視任務中的關鍵一環，開展有關航空遙感影像的艦船目標檢測研究具有重要意義。本文重點對海陸分割和艦船檢測兩個問題進行了研究，利用影像灰度信息實現了自適應閾值分割，結合形態學算子和孔洞填充技術，較好的完成了海陸分割任務；利用艦船目標的幾何結構特征，結合LSD直線段檢測技術和K均值密度聚類技術，實現了艦船目標的有效檢測。實驗結果表明：針對海陸分割任務，算法的陸地檢測率為95.8%，陸地檢測錯誤率為5.7%，陸地檢測正確率為94.4%；針對艦船檢測任務，目標檢測準確率為94.1%，目標檢測虛警率為3.9%。本文算法能夠準確地實現海洋和陸地的自適應分割，并能夠提取出影像中艦船的數量、尺寸和位置信息，在檢測時間和檢測精度上都能夠滿足實際工程的需求。