一種基于深度學習視覺感知的輔助靠泊系統

曹征宇，劉 芳，孫彥琰

（1.上海外高橋造船有限公司，上海 200137；2.邁潤智能科技（上海）有限公司，上海 201206）

0 引言

相較于陸地交通，水上交通面臨的風險更高。安全受到多方面因素的影響，一方面，如風向、水流、水域深度、寬度等自然環境因素會影響船只的安全航行；另一方面，如航道過窄等交通因素可能增加碰撞危險。此外，船員的過失操作或通信失誤等人為因素也可能影響船舶安全航行[1]。

除航行安全外，靠離泊也是船舶安全的重要關注點。隨著全球海運需求量的增加以及貨船的相關技術進步，貨船向著大型化和高速化發展，貨船數量的增加提高了航道和港口船舶密度，增加了靠離泊時的風險。貨船在靠離泊時的航速較低，風和海流對船只的運動軌跡的影響大，可能改變船只入港時的速度或泊角。其次，大型貨船的船體尺寸加大了操作員的觀測盲區；大型船體帶來的巨大慣性也嚴重影響操船的靈活性。船舶輔助靠泊系統應運而生，輔助船員安全高效地完成船舶的靠離泊。

1 傳統靠泊輔助系統

船舶靠泊輔助系統主要通過直接或間接測距的船位探測設備采集并計算船舶的靠泊信息幫助船員了解船舶入港時的姿態，警告潛在的危險，以此輔助船舶的安全靠港。靠泊系統根據探測器的安裝位置可分為岸基式靠泊輔助系統和船載式靠泊輔助系統[2]。根據使用的船位探測設備的類型可分為聲波輔助靠泊、電磁波輔助靠泊兩大類，而這兩類輔助靠泊系統依據探測設備使用的技術可以進一步細分。聲波靠泊輔助系統根據使用的探測技術主要可以分為空氣聲波靠泊輔助系統[3]和聲吶靠泊輔助系統兩類[4]。電磁波輔助靠泊系統根據使用的探測技術主要可以分為微波雷達靠泊輔助系統[4]、紅外靠泊輔助系統[3]、激光靠泊輔助系統[5]和DGPS靠泊輔助系統[6]四類。

從測距范圍、測距精度、測速范圍、測速精度、不同距離的測角范圍以及動態響應六個方面對各類靠泊輔助系統進行了比對，詳見表1。從表1可以看出，傳統靠泊輔助系統均存在易受環境影響、有效距離有限等較為明顯的不足，即使目前應用較廣的激光靠泊輔助系統受制于船舶大小、靠港姿勢，存在一定局限性[2]。此外，傳統感知手段缺乏直觀性，無法直觀獲取船舶與碼頭的狀態畫面，增加了船員的使用成本。

表1 傳統靠泊輔助系統優缺點對比

除以上的傳統系泊輔助外，CCTV作為輔助靠泊的設備也可以彌補上述系統缺乏直觀性的問題，通過在船身安裝攝像頭，讓船員直接獲得船舶周邊的視覺信息，以此輔助船舶靠泊。但是由于CCTV缺乏有效的數據采集手段，僅依靠船員自身判斷安全風險，難以作為主要輔助靠泊系統使用。

2 基于視覺感知的輔助靠泊系統的開發

隨著物聯網、云計算、大數據等技術的發展與應用，工業智能化的進程正在穩步推進。德國提出了“工業4.0概念”[8]，我國制定了《中國制造2025》[9]，明確指出“以體質增效為中心，以加快新一代信息技術與制造技術深度融合為主線，以推動智能制造為主攻方向”這一指導思想，并將高技術船舶列為重點推動的領域，重點推進高技術船舶配套設備的集成化、智能化、模塊化設計制造和新技術。

DNVGL集團在《未來航運業》中提出了“智能船舶”的概念，即具備實時數據傳輸匯集、高計算能力、數學建模能力、遠程操控傳感器和微型化的船舶[10]。根據2014年10月10日的“大數據與智能船舶發展”高峰論壇的研討結論，船舶智能化已經成為當今船舶制造與航運領域發展的必然趨勢[11]。

為推進船舶智能化發展和解決傳統靠泊輔助系統存在的問題以及局限性，保證船舶航行和靠離泊安全，基于視覺感知的輔助靠泊系統的研發被提上了日程。該系統使用人工智能光學感知技術，通過深度學習方法識別環境物體，分析安全風險并進行決策預警，輔助船員進行航行及離靠泊操作，降低船員的操作難度，減少安全事故的發生率。在輔助船舶離靠岸時，通過深度學習算法處理多部攝像頭的影像，可以實現全船周圍360°的監控，實時顯示船舶離岸距離、入泊角度、航行速度等信息，同時對安全風險進行實時預警，降低安全風險并提升靠泊效率。在船舶航行時，可實現船前大范圍視野監控，盡可能消滅視野死角。AI輔助識別船舶、障礙物等安全風險并給出預警，保證船舶航行安全。

2.1 系統架構搭建

視覺感知輔助靠泊系統的構架示意圖如圖1所示，主要組成部分包括視覺感知模塊、數據處理模塊、通訊模組、存儲模塊、顯示終端以及計算平臺等。視覺感知模塊由十組靠泊環視攝像頭組成。靠泊環視攝像頭安裝在船體周圍以及船舶兩翼，主要用于提供船只兩側以及周邊的視頻信息。圖2為靠泊環視攝像頭的安裝位置示例。數據處理模塊接收并處理感知模塊采集的視頻資料，并傳輸給其他模塊。同時數據處理模塊也會負責該系統與其他系統的數據交互。存儲模塊用于儲存原始視頻資料與合成處理后的視頻資料。通訊模組用于將視頻資料傳輸給岸端的顯示終端。態勢感知計算平臺通過圖像處理算法將多部攝像機拍攝到的視頻資料合成，分析是否存在安全風險，并將合成后的視頻資料以及決策判斷傳輸給顯示終端。

圖1 視覺感知輔助靠泊系統架構示意圖

圖2 靠泊環視攝像頭安裝點位示意圖

2.2 算法設計

2.2.1 算法整體框架

如圖3所示為視覺感知輔助靠泊系統算法整體框架圖，通過靠泊環視攝像頭獲取船舶實時靠泊畫面，采用全景視頻拼接方法，獲取無盲區全景畫面。在獲得的全景畫面基礎上，運用深度學習方法獲取船舶舷側線與碼頭岸線，根據事先標定好的圖像與實際場景距離的對應關系計算舷側線與碼頭岸線間的距離，通過幾何關系計算得到船舶艏艉分別與碼頭的距離以及船舶與碼頭的夾角，設定報警閾值，在艏艉與碼頭的距離、速度以及夾角達到判斷條件時發出報警提示。

圖3 算法整體框架圖

2.2.2 船岸距離及夾角測量

在靠泊過程中，測量船岸距離及夾角主要采用deeplabv3深度學習模型對水岸圖像進行分割，并使用直線擬合算法從圖像分割后的特征中找出岸線，根據標定結果算出船舶與岸的距離以及夾角。

本文所采用的是DeepLabv3+深度學習模型[12]，主要用于機器視覺領域的圖像分割任務。它是DeepLab系列模型中較新的版本，由Google Brain團隊開發。DeepLabv3+結構采用了空洞卷積和多尺度金字塔池化等技術，其結構核心是空洞卷積。傳統的卷積操作只考慮局部像素之間的關系，而空洞卷積則可以在不增加參數數量的情況下，擴大卷積核的感受野。這樣可以更好地捕捉圖像中的上下文信息，提高分割的準確性。

DeepLabv3+另一項優化技術是多尺度金字塔池化。使用該方法可以在不同尺度下對圖像進行池化操作，從而捕捉不同尺度下的特征。這樣可以更好地處理圖像中的物體大小和形狀變化，提高分割的魯棒性。

除了空洞卷積和多尺度金字塔池化，DeepLabv3+結構還采用了空間金字塔池化、反卷積和條件隨機場等。這些技術可以進一步提高分割的準確性和魯棒性。圖4所示為本文采用的DeepLabv3+模型整體架構圖。

圖4 DeepLabv3模型整體架構圖

圖5所示為將DeepLabV3+用于船舶與碼頭圖像分割及直線擬合的效果圖，從圖中可以將碼頭擬合出直線，再根據直線所在位置及標定結果，就可以計算出船岸距離及夾角。

圖5 船舶圖像分割及直線擬合效果

2.2.3靠泊預警功能

攝像頭拍攝船舶舷側靠泊過程的俯視畫面，在拍到圖像后對圖像中的碼頭岸線及船舶舷側線進行目標識別及特征提取，利用直線擬合方法抽象出碼頭岸線及船舶舷側線如圖6所示，以前后相機安裝位置為起始點，分別做碼頭岸線的垂線在抽象圖片上得到距離d1、d2以及舷側線與碼頭岸線的夾角α。根據攝像頭成像原理，攝像頭拍攝到的畫面中的像素點距離與真是距離具有一一對應關系，而對應關系可以通過攝像頭的參數標定獲得。根據該關系可以得到真實舷側攝像頭到碼頭的距離D1、D2，夾角利用相似性原理與抽象圖片中夾角相等為α，如圖6所示，為攝像頭映射后的真實場景下的示意圖。

圖6 基于視覺的靠離泊預警映射示意圖

在得到D1、D2及α后可以對船舶靠泊進行危險預警，危險判斷標準分為兩條：1）在船艏和船尾與碼頭的距離小于距離閾值Dg的前提下靠近碼頭速度V1、V2大于速度閾值Vg；2）夾角α的絕對值|α|小于角度閾值αg，V1、V2通過對D1、D2進行離散微分得到，即：

則預警邏輯如下：

2.3 試驗驗證及分析

為驗證視覺感知在輔助靠泊系統中的應用效果，在某散貨船上安裝視覺感知輔助靠泊系統在某次靠泊作業時對系統進行測試。該船船寬約為45 m ，船長約為300 m ，橋樓兩側攝像頭安裝高度約30 m 。

系統顯示界面安裝在船舶駕駛臺屏幕上，系統會調用靠泊環視攝像頭拍攝到的視頻畫面，在進行拼接合成后，顯示終端會顯示靠泊五視視頻畫面并增加輔助線標注離船兩側距離，如圖7所示，包含2D俯視視角、前向視角、后向視角、左舷靠泊視角、右舷靠泊視角五個畫面，其中2D俯視視角下舷側可視范圍達到3倍船寬，艏艉可視范圍達到150 m ，增強了船員在靠泊時對周圍情況的直觀觀察。在該模式下，系統可顯示并且實時更新船舶距離岸邊的距離、靠岸速度、船舶與碼頭夾角等信息，并在存在安全風險時預警船員。如圖8所示為測距及測角功能畫面。

圖7 五視全景視覺畫面

圖8 靠泊過程測距測角功能

為進一步驗證系統的可用性，還需對系統測距、測角能力進行驗證。距離測量是角度測量的基礎，距離測量的誤差水平直接影響角度測量的誤差水平，所以主要驗證測距誤差水平。

試驗中，首先在已安裝系統的船舶停靠泊位的兩端放置激光測距儀，用于測量船舶靠泊過程中船艏及船艉到碼頭的距離，根據攝像頭安裝高度，估算攝像頭最遠覆蓋距離大約為3倍船寬，即135 m 左右，所以采用200 m 量程激光測距儀，該測距儀精度為1 mm，可作為試驗驗證真值系統。

通過GPS系統作為時間同步器，在相同時間下，船艏船尾各取10組數據，試驗結果如表2所示。

表2 靠泊試驗結果（單位：m ）

由表2可以看到，船艏視覺距離測量在整個過程中的誤差均值為0.71 m ，船艉視覺距離測量在整個過程中的誤差均值為0.8 m ，均值誤差均小于1 m 可以滿足在船舶在靠泊過程中船舶相對碼頭距離測量的使用需求。

3 結語

船舶的航行與離靠泊安全十分重要，傳統靠泊輔助系統使用了不同的船位探測技術，但均存在不夠直觀及使用受限問題。為了優化輔助靠泊系統的功能，同時推進船舶智能化發展，本文探討了應用深度學習視覺感知的輔助靠泊系統，運用DeepLabv3+圖像分割模型對船舶及碼頭的特征進行分割，并根據分割及標定結果計算船艏船艉到碼頭的距離，并設計了相應的靠泊預警算法。

系統在某型散貨船上進行了實船驗證，結果表明采用視覺感知的方式設計輔助靠泊系統，不僅可以提升輔助靠泊系統的直觀性，同時也可以滿足船員在靠泊時相對距離測量的誤差要求，具備一定的實用性。