基于運動與表象特征的廣域船舶目標識別方法

嚴榮慧，謝海成，花敏恒，羊箭鋒*

1 蘇州大學 文正學院, 江蘇 蘇州 215104

2 蘇州大學 電子信息學院, 江蘇 蘇州 215006

0 引 言

我國內河航運正處于快速發展的階段[1-2]，貨運、水上旅游等需求不斷擴大，航道內除了貨船、游船等大型船舶航行外，還有各類小型船舶（游艇、皮劃艇、摩托艇等）在航道內交互穿梭，航行環境日益復雜，監管難度增大，碰撞風險也愈加嚴峻，對水上交通安全構成了巨大挑戰[3-4]。傳統的航道內航行監管主要依賴船舶上安裝的自動識別系統（AIS）， 然而，受供電限制的小型船舶無法安裝AIS系統終端，且AIS系統定位精度及可靠性也不足，導致現有監管系統一直存在監控盲點[4]。因此，對關鍵廣闊水域（廣域）內航行的所有船舶進行識別管理是當前航道監管亟待解決的問題[5]。

目前，基于圖像的目標檢測方法（例如YOLO檢測算法）在航道船舶監控領域具有顯著的應用價值[6-9]。馬吉順等[10]提出的基于 YOLO 檢測算法的航區內船舶識別定位系統取得了很好的效果，但采用YOLO檢測算法對廣域范圍內航行的船舶進行識別定位時，經過多層卷積和池化后，使得識別小目標的準確率偏低，基本上丟失了小目標特征，而在監控范圍內遠水域的大型船舶則呈現出的是小目標特征，致使YOLO檢測算法無法準確識別。可見，基于YOLO檢測算法的船舶識別系統只局限于近水域，不能滿足對廣域內航行船舶實施監控的實際需求。

本文擬將運動目標檢測方法（例如，基于背景差算法）與圖像表象特征識別方法（例如，基于深度學習算法的YOLO檢測算法）相結合，設計關鍵廣域內航行船舶的識別算法，綜合運用目標的運動及表象特征進行兩個維度的識別，并通過改進的目標檢測方法，進一步提高識別的準確率。最后，使用常規監控攝像頭現場對廣域航道監控區域內船舶圖像進行統計分析，用以驗證所提船舶目標檢測方法。

1 廣域航道內船舶航行特征的分析

航道內船舶往來頻繁，船舶慣性大，且均有穩定的運動特征，同時目標還呈現出了一定的圖像表象特征。然而，由于航道監控具有范圍廣、高縱深等特點（如圖1所示），在監控范圍內，同一艘船舶的遠、近處位置不同，因此在監控畫面內呈現的外形大小、表象特征迥異。本文根據目標成像的面積，將這些船舶分為大、小、微小目標3個類別。

圖1 航道監控中遠、近水域內船舶目標對比Fig.1 Comparison of ship target in the far and near water areas during waterway monitoring

航道內近水域航行的船舶其運動及表象特征明顯，但在近水域會有明顯的水紋、漂浮物等噪聲干擾，一定程度上影響了識別船舶目標的準確率，而遠水域雖無水紋、漂浮物等噪聲干擾，但船舶運動及表象特征卻不明顯，也不利于對船舶目標進行準確的識別。

2 基于運動及表象特征的船舶目標識別

2.1 基于背景差分算法的運動目標檢測

背景差分算法(background subtraction algorithm)[11-12]是一種運動目標檢測方法，其基本思想是通過多幀時間序列圖像構建一個不含運動目標的背景模板，將當前單幀圖像與背景圖像相減，計算得到與背景偏離超過一定閾值的區域作為運動區域，再根據當前幀的圖像自適應更新背景圖像參數。背景模板建構方法能夠自適應處理光照及長時間的場景變化等干擾。此外，該算法具有像素級檢測能力，對船舶目標識別召回率極高，既可識別近處大的船舶目標，對遠水域小及微小的船舶目標也具有準確的識別率，而且能夠極大地擴展對船舶監控的范圍。如圖2所示，基于背景差分算法檢測得到的小目標識別效果。

圖2 基于背景差分算法對小目標船舶的識別效果Fig.2 Recognition effect of small-sized ship target by background subtraction algorithm

采用基于背景差算法的運動目標檢測方法需要圖像背景完全靜止，但在航道中作為背景的水面環境復雜，含有持續性的噪聲干擾。例如，動態的水紋噪聲會被識別為運動目標，運動檢測方法得到的識別結果會存在大量的噪聲框，降低了船舶目標識別的準確率。圖3所示為運動目標檢測效果，其中藍色邊框為船舶真實目標，紅色部分為水紋噪聲。為此，需要對基于水紋特征的船舶目標檢測降噪方法進行改進。

圖3 基于背景差分算法對運動目標檢測效果Fig.3 Detection effect of motion target by background subtraction algorithm

鑒于航道監控成像具有高縱深的特點，監控畫面中近處水面的細節特征豐富、變化劇烈，而遠水域水面的細節特征模糊、平穩，且水紋噪聲分布多位于監控畫面視角的近處。因此，根據水紋噪聲分布的特點采取如下水紋降噪的改進措施。

1） 漸變濾波降噪。

水紋噪聲屬于椒鹽噪聲，平緩的水紋中交雜有明暗變化，邊緣特征不明顯，故采用中值濾波算法進行初步的水紋降噪處理[13]。濾波模板的大小會影響平滑效果，模板越大效果越好，但模板過大又會損失邊緣信息。航道監控圖像中船舶目標大小呈現了近大、遠小的分布特點，若對整幅圖像使用同一個濾波模板處理，將嚴重損失遠水域的小目標、微小目標的表象特征。為此，針對航道監控的水紋噪聲多分布在圖像下方的特點，本文設計了漸變中值濾波算法。式（1）為航道遠近自適應調整濾波模板。

式中：Ksize為 濾波模板像素尺寸；h為圖像中像素點與天際線之間的垂直像素差。由此算法，靠近圖像下方的水域濾波模板像素尺寸較大，靠近天際線的水域濾波模板像素尺寸小，實現了漸變濾波模板的效果。

圖4所示為漸變濾波示意圖。通過漸變濾波可以濾除平緩的水紋噪聲，降低后續濾波過程的復雜度，同時保留遠水域小目標圖像的運動及表象特征。

圖4 漸變濾波示意圖Fig.4 Schematic diagram of gradual filtering

2） 圖像平均降噪。

如圖5所示，水紋有波狀紋理，其局部呈現為正弦型特征，其中某個像素點短時間的水紋明暗變化有一定的周期性。含水紋噪聲的水面圖像組成如式（2）所示。

圖5 水紋噪聲特征Fig.5 Features of water ripple noise

式中：g(x,y)為 含有水紋噪聲的水面圖像；f(x,y)為靜止的無噪聲水面圖像； δ(x,y)為波狀噪聲，且均值為0。為了得到靜止的無噪聲水面圖像f(x,y)，本文對k幅含有不同噪聲的連續圖像累加取平均值，得到平均無噪聲的水面圖像gˉ(x,y)，如式（3）所示，其中gi(x,y)為 第i幅監控圖像中 (x,y)坐標位置的像素值。

隨著圖像幀數k值的增加，gˉ(x,y)逐漸接近于靜止的無噪聲水面圖像f(x,y)。

本文考慮到計算復雜度及船舶航速緩慢等因素，最終選取了圖像幀數k=20，得到理想的gˉ(x,y)圖像，并將gˉ(x,y)作為目標運動檢測模型的輸入圖像，通過圖像平均法降噪，進一步削弱了水紋噪聲對構建一個不含運動目標背景模板的影響。

3） 支持向量機（SVM）分類器降噪。

運用漸變濾波算法、圖像平均濾波算法雖然可以濾除一些平緩的水紋噪聲，但對于船舶航行過程中產生的波浪等噪聲無法完全濾除。因此，本文對運動中的船舶目標面積與總圖像面積的比例、水紋噪聲目標面積與總圖像面積的比例（以下稱目標面積占比）與被監控目標距離的關系進行了統計分析，結果如圖6所示。圖中，橫坐標為運動目標實際距離，縱坐標為目標面積占比。通過統計分析，發現船舶目標與水紋噪聲存在明顯的分類邊界。因此，提出采用SVM分類器來判別和刪除噪聲。作為一種基于統計學習理論實現分類的非參數方法[14]，SVM分類器通過迭代學習方式，逐步確定船舶目標和水紋噪聲大小的分類邊界線，據此對運動目標識別結果中目標框大小及位置信息進行分類，從而實現對波浪等較大噪聲目標框的濾除。

圖6 航道中目標面積占比與目標距離的關系Fig.6 The relationship between targets area ratio and target distance

如圖7所示，結合多種降噪算法，水面常規的水紋噪聲得以濾除，提高了識別運動目標的抗干擾性。

圖7 水紋濾波效果圖Fig.7 Effect images of water ripple filtering

4） 多級運動檢測模塊。

基于背景差分算法的運動目標檢測方法建立的是一種動態背景模型，其可根據最新監控畫面更新背景參數。但是，航道監控圖像中遠水域的船舶運動幅度較小，甚至短時間內呈現靜止狀態，而遠水域的小目標船舶經常會被錯誤地識別為背景，導致漏檢了遠水域的船舶。鑒此，本文根據遠、近船舶目標的運動特征差異，提出了建立快、慢兩級運動檢測機制的改進措施。其中，快速運動目標檢測模塊的速度為1幀/s，主要用于識別近處特征強的運動目標，而慢速運動目標檢測模塊的速度為1幀/10 s，主要用于識別遠水域特征弱的運動目標。將兩個模塊檢測結果擬合可得到實時的識別結果。針對擬合過程中檢測目標框重復的現象，本文提出了極大值抑制的邊框合并算法，對比兩個模塊輸出的邊框，由式（4）計算兩者間的交并比（intersection over union，IOU）。

式中：Sslow為慢速目標檢測模塊中檢測的目標框；Sfast為快速目標檢測模塊檢測的目標框。

當IOU超過閾值時，表明兩個模塊檢測到的是同一目標。鑒于慢速檢測模塊檢測的滯后性，刪除了該模塊中的目標邊框，并將模塊保留的目標邊框整合到快速模檢測模塊的目標邊框集合中，如此，即可獲得全局所有船舶運動檢測的目標框，如圖8所示。

圖8 快慢二級運動目標檢測結果Fig.8 Results of two-level detection for the fast and slow motion targets

本文提出的基于背景差分算法的目標檢測方法，通過漸變濾波降噪、圖像平均降噪、SVM分類器降噪、多級運動檢測方法的改進，消除了水紋噪聲、運動特征不一致對船舶目標識別的干擾，其不僅能夠識別大、小目標船舶，對極遠水域的微小目標船舶也具有準確的識別率。

2.2 基于深度學習算法的運動目標識別

基于改進背景差算法的目標檢測方法實現了航道中船舶捕捉和定位功能，對于極遠水域微小目標船舶的識別準確率非常高，但該方法對大、小目標的識別準確率略顯不足，主要體現在：

1）無法識別船舶類型、停泊岸邊的船舶，以及無法濾除具有較大圖像面積的水紋噪聲；

2）受船舶航行產生的波浪、投影等因素影響，近處目標船舶的邊框明顯大于目標本身，而近處小型船舶（例如漁船、皮劃艇等）表象特征面積小，SVM分類器會將其歸類為噪聲并刪除。

上述缺陷均需通過對目標圖像表象特征分析和修正，特別是距離較近的目標船舶，更需要準確識別表象特征以獲取目標船舶類型。為此，本文運用YOLO檢測算法的運動目標識別方法來解決上述問題。YOLO檢測算法是一種端到端的目標檢測模型[15-16]，作為依據圖像特征進行目標識別的算法，其可識別具有表象特征的目標船舶類型，可對基于目標運動特征的識別算法進行補充和優化。

對于高縱深、船舶尺度變化大的廣域航道監控而言，近水域的船舶特征明顯，可采用YOLO檢測算法進行二次識別。如圖9所示，中間帶水域內的小目標船舶雖然具有一定的表象特征，但因其成像面積較小，影響了識別的準確率，并且對于極遠水域的微小目標，目標圖像表象特征基本丟失，無法運用YOLO檢測算法進行識別。因此，本文提出了對基于目標圖像窗口分割檢測的YOLO檢測方法進行改進。

圖9 中間帶水域內小目標船舶檢測圖像Fig.9 Image of detected small-sized ship target in the intermediate waterways

YOLO 檢測算法之所以對小目標識別不準確，主要原因是卷積神經網絡中存在大量卷積，導致頂層特征的感受野（receptive field）過大。感受野的計算如式(5)所示。

式 中：RFi為 第i層 卷 積 層 的 感 受 野；RFi+1為 第i+1層 上的感受野；S tridei為 卷積的步長；Ksizei為本層卷積核的大小。

經計算，YOLO算法網絡結構中高層特征的理論感受野為整張圖像，即高層的各特征值理論上受圖像所有像素信息的影響。但是，對于運動目標面積占比小的目標，感受野過大會引入過多的噪聲，導致小目標的微弱特征信息被淹沒，從而無法被正確識別。

為提高識別中間帶水域內小目標船舶的準確率，需要將域內目標感受野降至合理的范圍，以提高感受野中中、小目標特征的信噪比。在航道監控畫面中，可以發現船舶軌跡相對固定，目標船舶在近水域航道圖像面積中占比大，而在遠水域航道圖像面積中占比小，根據此透視特點，本文提出基于縱深窗口分割檢測改進船舶目標識別方法，將監控畫面按照航道透視規律進行窗口分割，如圖10所示。

圖10 航道監控畫面中的窗口分割Fig.10 Window segmentation of waterway monitoring image

考慮到YOLO檢測算法中高層感受野過大、運動目標面積占比與監控目標距離的關系，本文將航道監控圖像劃分為1，2，3級窗口，如圖10所示。其中，1級窗口為近水域航道監控圖像的剪切，2級和3級窗口為遠水域航道監控圖像的剪切，將剪切后的窗口圖像統一放縮為416*4166像素尺寸，并逐級識別。

針對遠水域航道監控圖像的剪切提取的預處理，可以保證遠水域航道監控區域窗口中的小目標船舶圖像面積占比達到可識別的閾值要求，同時對識別中間帶水域內的小目標過程中的感受野范圍進行控制，去除不必要的數據噪聲，提高識別準確率。最終，將從多級航道窗口識別得到的船舶目標邊框映射到原航道監控畫面中，再使用非最大值抑制（non-maximum suppression, NMS）算法去除冗余的目標邊框，保留最優邊框。如圖11所示，經過對航道監控圖像進行窗口分割再識別的改進，提高了YOLO 檢測算法對小目標船舶的細節特征提取能力和目標識別的準確率。

圖11 基于YOLO檢測算法的船舶目標識別效果Fig.11 Effect of ship target recognition based on YOLO detection algorithm

2.3 基于多特征的船舶目標識別

如上所述，可知基于背景差分算法的運動目標檢測方法對極遠處水域的微小目標船舶的識別準確率很高，而對近水域、中間帶水域航行的目標存在邊框不準確且無法識別類型，以及易受陰影、波浪干擾等缺點；而基于YOLO檢測算法的目標檢測方法雖可以識別近水域、中間帶水域航行的船舶類型且具有邊框準確、抗干擾能力強的優點，但對識別目標的大小有一定的要求，無法識別遠水域的微小目標。

權衡上述兩種目標檢測方法的優缺點，本文采用極大值抑制算法對這兩種算法的檢測結果進行組合，以達到相互補充的效果。具體而言，以YOLO檢測算法目標識別結果為基準，將基于背景差分算法的運動目標檢測邊框結果與YOLO檢測邊框結果分別進行對比，再通過極大值抑制算法，刪除運動目標檢測方法中重復的目標邊框，如式（6）所示：

式中：SYolo為采用YOLO檢測算法識別的目標框;SKNN為采用基于背景差分算法識別的目標框。當IOU超過閾值時，則表明兩種算法識別得到的是同一目標。由于YOLO 檢測算法識別的目標更準確，將刪除基于運動檢測的邊框。保留的運動檢測邊框則多為極遠處的小目標船舶，并將保留的小目標邊框組合到YOLO檢測算法的目標識別結果中，即得到廣域內所有船舶的識別和定位結果。圖12所示為目標識別系統的完整流程圖。

圖12 基于二維特征的船舶目標識別流程圖Fig.12 Process of ship target recognition based on two-dimensional features

綜上所述，結合使用目標運動及其表象特征的改進船舶識別方法，能夠準確地識別航道監控畫面中任意尺度的船舶目標，且噪聲抗干擾能力強，使用常規攝像頭即可實現對半徑3 km范圍內的船舶進行準確識別與定位。廣域內船舶目標識別效果如圖13所示。

圖13 基于二維特征的船舶目標識別效果Fig.13 Effect of ship target recognition based on two-dimensional features

3 船舶目標識別結果分析

為了驗證針對網絡的各改進方法的可行性及其檢測效果，使用基于背景差分算法的方法、基于YOLO檢測算法的方法與改進的方法進行目標識別驗證，并分析結果。

實驗驗證現場選擇在蘇州周莊大橋上，通過架設監控攝像機對白艦湖航道進行了5 h的實景拍攝。攝像頭安裝高度為10 m，監控畫面圖像分辨率為1 080 P，共獲取了36 000幀連續監控圖像。本文采用上述不同算法對每幀圖像的識別準確率及最遠識別距離進行了統計，結果如表1所示。結果表明，與未改進前的其他算法相比，改進后方法在目標檢測靈敏度、抗干擾能力、監控范圍等方面均顯著提高。

表1 船舶目標識別原算法與其改進方法檢測效果對比Table 1 Effect comparison of ship target recognition by original and improved algorithms

4 結 語

本文充分分析了廣域航道環境內船舶航行的特點，結合基于背景差分算法的運動目標檢測方法（靈敏度高）和基于深度學習算法的目標表象特征識別方法（抗干擾能力強）二者的優勢，提出了時間序列與表象特征分析相結合的廣域船舶識別算法，通過對水紋降噪、多級運動檢測、航道監控圖像窗口分割檢測等方法的改進，進一步提高了目標識別的準確率。現場驗證驗證結果表明，改進后的方法在攝像頭高度為10 m、畫面圖像分辨率為1 080 P的條件下，可以實現半徑3 km范圍內對船舶的準確識別與定位，效果達到了人工瞭望的識別水平，具備監控范圍廣、船舶類型全覆蓋、自動識別、抗干擾能力強等優點，其成果對于關鍵水域船舶航行的安全管理、港航實時監控具有重要意義。