基于視頻信息的港口滯留船舶檢測研究

倪慧洋

(江蘇航運職業技術學院，江蘇南通 226010)

0 引言

港口是船舶密集區域，極易發生交通事故[1]。在港口安裝視頻采集設備，采集港口船舶的視頻信息，對所采集的視頻信息，通過圖像處理等技術，檢測港口滯留船舶，確定船舶滯留時間等信息。港口滯留船舶檢測過程中，容易受到周圍環境影響[2]，海天線環境提升了港口滯留船舶的檢測難度。對采集的港口視頻信息進行圖像處理時，需要重視圖像的背景干擾去除性能，快速定位滯留船舶目標。攝像頭等設備采集港口視頻信息時，容易出現噪聲[3,4]，港口的海面波浪和海水漩渦等因素，均對船舶檢測存在一定影響。

目前已有眾多學者針對船舶監測進行研究。于楠晶等[5]將多頭自注意力方法應用于船舶檢測中，該方法可以準確檢測復雜背景下的船舶。但是存在檢測過程過于復雜，檢測實時性較差的缺陷。周慧等[6]將Mask-FPN 模型應用于船舶監測中，該方法利用多任務損失函數，提升船舶檢測精度。該方法在背景簡單、灰度相差較小時，可以有效檢測船舶目標，但是圖像背景起伏較大時，船舶目標檢測效果并不理想。針對以上方法在船舶監測中的缺陷，本文研究基于視頻信息的港口滯留船舶檢測方法，通過對港口視頻信息進行形態學濾波等處理，提升視頻信息中港口滯留船舶檢測性能，具有較高的應用性。

1 港口滯留船舶檢測

1.1 港口視頻信息的多結構形態學濾波

數學形態學是由形態學代數運算組成的方法。利用形態學濾波算法，對港口視頻信息簡化處理，保持港口視頻信息的基本形狀特性，去除港口視頻信息中，與滯留船舶目標不相關的結構，為船舶檢測提供基礎。形態學濾波選取非線性代數工具作為運算工具，依據圖像信號的局部特征[7]，修正圖像信號，濾除船舶港口視頻信息灰度圖像中的噪聲。f(n)與g(m)分別為港口視頻圖像以及結構元素，港口視頻圖像與結構元素的膨脹運算表達式如下：

港口視頻圖像與結構元素的腐蝕運算如下：

對港口視頻信息進行形態學開運算如下：

通過對港口視頻圖像開運算處理，磨光圖像外邊界，去除港口視頻圖像中細小輪廓的突出部分。對港口視頻圖像進行形態學開運算后，對原始圖像以及處理后的圖像作差處理，即對圖像實施頂帽變換，圖像頂帽變換的表達式如下：

結構體尺寸大小對圖像形態學濾波影響較大，圖像結構體的尺寸，影響高通濾波效果[8]。圖像低頻背景在結構體尺寸越小時，濾除效果越優秀，此時保留的滯留船舶尺寸較小。滯留船舶目標尺寸與圖像結構圖間存在如下近似關系：

式中， max(Ss)與 m ax(So)分別為形態學濾波的圖像結構體最大尺寸值以及最小船舶目標在港口視頻圖像中的二維尺寸最大值。

利用形態學開運算估計港口視頻圖像的背景分量，將估計結果與原港口視頻圖像相減，獲取不包含背景分量的滯留船舶圖像，即港口視頻圖像的背景抑制過程。港口視頻圖像中包含多個船舶目標時，各船舶目標尺寸存在較大差異，采用單結構形態學濾波算法，過濾低頻背景的同時，可能出現過濾小尺寸船舶目標情況。為了避免發生以上情況，充分考慮滯留船舶與港口視頻圖像背景信息中幾何特征的差異，選取多結構元素對圖像進行加權開運算。f(n)與w分別港口視頻圖像及權重，B1(m1,n1)與B2(m2,n2)分別表示不同大小結構體的開運算，可得多結構形態學濾波如下：

依據濾波處理后港口視頻圖像的信息熵與原始圖像信息熵之比，調整w的值。形態學濾波中，結構元素的選擇極為關鍵。選取十字形結構元素作為結構算子，十字形結構元素可以消除相比于結構元素較小尺寸的亮細節，令港口視頻圖像中大的亮度區域以及圖像灰度值不受濾波影響。

1.2 港口視頻信息的局部自適應閾值分割

選取局部自適應閾值分割方法，分割完成濾波處理后的港口視頻圖像。港口視頻圖像中，各像素值的二值化閾值伴隨周圍像素分布變化而變化，依據港口視頻圖像的船舶目標區域亮度，確定二值化閾值大小。利用局部鄰域塊均值方法，確定局部自適應閾值。計算像素點在港口視頻圖像中，大小為p×p區域的加權平均值，將所獲取結果與鄰域塊的最小方差值相減，確定局部自適應閾值。fi,j為完成濾波處理的港口視頻圖像，mi j與vij分別為港口視頻圖像的像素均值以及方差，其計算公式如下：

式中：w與p分別為權值以及局部鄰域塊；t為局部自適應閾值。

依據式(7)和式(8)的計算結果，確定局部自適應閾值的表達式如下：

式中，vmin為 最小方差值。

利用以上過程，確定局部自適應閾值分割的閾值，將港口視頻圖像劃分為背景圖像與前景圖像。

1.3 基于SSD算法的滯留船舶檢測算法

選取SSD(single shot MultiBox detector)算法，檢測港口視頻信息中的滯留船舶。SSD 算法通過提取船舶特征以及目標分類檢測船舶目標。基于SSD 算法檢測滯留船舶的結構圖如圖1所示。

圖1 港口滯留船舶檢測結構圖Fig.1 Structure diagram of detecting stranded shipsat port

可以看出，SSD算法主要包括圖像輸入、特征提取、生成默認框、目標匹配、預測網絡以及損失網絡，各部分介紹如下：

1)圖像輸入

輸入通過港口視頻圖像分割獲取的港口前景圖像，輸入圖像船舶坐標位置信息以及類別編號，作為SSD算法的訓練樣本。

2)特征提取

利用卷積神經網絡提取港口前景圖像特征，輸出從不同卷積層提取的特征圖，選取卷積層作為圖像的特征提取層。

3)生成默認框

依據所設定的參數，在SSD 算法的特征提取層中，生成默認框，框選船舶目標。

4)船舶目標匹配

依據生成的默認框，利用固定的匹配策略，匹配輸入信息的真實框與默認框，將匹配結果傳送至預測網絡中。

5)預測網絡

利用卷積層組成預測網絡，利用卷積層依據匹配信息和所提取的特征圖，輸出船舶訓練結果。

6)利用損失函數層，評估船舶檢測性能

通過優化損失函數調整SSD算法反向傳播的網絡權重，選取Softmax 損失函數作為SSD算法的損失函數，提升SSD算法檢測港口滯留船舶的精度。

重復以上過程，直至網絡收斂，損失值穩定，完成網絡訓練。將港口視頻信息測試樣本輸入網絡中，輸出港口滯留船舶檢測結果。

2 實例分析

為了驗證本文港口滯留船舶檢測方法檢測港口滯留船舶有效性，選取某港口作為測試對象。該港口管理部門采用港口視頻監控系統采集港口視頻信息。該監控系統采用長焦高清鏡頭配合200萬像素可見光高清彩轉黑攝像機與640×480大口徑非制冷熱成像攝像機，并輔以重載360°全方位云臺，可實現方圓6 000 m范圍內晝夜全天視頻監控。復雜環境下，仍然可以有效采集港口的視頻信息。

將所采集的港口視頻信息，作為港口滯留船舶檢測的圖像基礎。

采用本文方法對所采集的港口視頻信息進行形態學濾波處理，濾波處理后的港口視頻信息如圖2所示。可以看出，本文方法通過多結構形態學濾波方法，對所采集的港口視頻圖像進行有效的濾波處理。濾波處理后的港口視頻圖像，干擾噪聲被有效濾除，提升港口視頻圖像的清晰度。本文方法采用多結構形態學濾波方法，改善單結構形態學濾波出現的誤過濾目標情況，濾波效果良好。

圖2 港口視頻信息濾波結果Fig.2 Port video information filtering results

采用本文方法對完成濾波處理的港口視頻信息進行分割處理，港口視頻圖像分割結果如圖3所示。可知，本文方法可以有效將濾波處理后的港口視頻圖像，實現圖像前景與圖像背景的分割。將港口視頻圖像分割結果，作為港口滯留船舶檢測基礎。

圖3 港口視頻圖像分割結果Fig.3 Port video image segmentation results

采用本文方法檢測港口滯留船舶，檢測結果如圖4所示。可知，采用本文方法可以有效檢測港口滯留船舶，依據所采集的港口視頻，對于距離監控攝像頭較近的滯留船舶，以及陰天環境下的滯留船舶，本文方法仍然可以精準檢測，具有良好的滯留船舶檢測性能。

圖4 港口滯留船舶檢測結果Fig.4 Inspection results of stranded ships in port

為了進一步驗證本文方法對港口滯留船舶的檢測性能，統計該港口于2020年10月11日?11月17日，監控系統運行7 d 的視頻圖像中，滯留船舶檢測情況，統計結果如表1所示。可知，本文方法可以依據港口視頻信息，檢測視頻信息中的港口滯留船舶，確定港口滯留船舶類型與滯留時間。本文方法在陰天、黑夜等復雜環境下，仍然可以檢測港口滯留船舶，具有較高的應用性能，適用于港口管理的實際應用中。

表1 港口滯留船舶檢測結果Tab.1 Test results of stranded ships at port

3 結語

選取SSD 算法作為檢測港口視頻信息內的船舶目標算法，該算法具有實時性強以及檢測準確度高的特點，有效提升船舶目標檢測精準性。船舶港口背景復雜，海天背景下的港口滯留船舶檢測的難度較高，通過對采集的港口視頻信息進行形態學濾波處理，有效濾除港口視頻信息中的背景噪聲，以及港口視頻信息中的孤立噪聲點，實現滯留船舶的完整性檢測，可以作為船舶港口管理的基礎。