基于傳感器和AI技術的智能航行研究概述

于柏楓

（大連中遠海運川崎船舶工程有限公司，遼寧 大連 116052）

0 引言

國際海事組織的海事安全委員會將海上自主水面船舶定義為一艘在不同程度上可以獨立于人的交互作用而運行的船，如圖1所示。一艘船上若要正常航行，需要同時進行很多的操作，智能航行能夠體現在各個部分，但在本文中主要關注自主環境感知的問題，船舶智能化設計在船舶運行的不同階段具有不同的任務。出發前，要規劃好航線。在這個規劃中，對于不同的天氣條件自動優化路線是非常重要的，特別是在冰雪覆蓋的水域[1-2]。智能化在船舶航行中扮演一個關鍵的角色。

圖1 “凱征號”智能船舶

智能航行系統大致由感知系統和控制兩部分組成。在一艘船上，感知部分包括船舶定位、雷達和其他探索環境的傳感器系統，而控制系統包括例如推進和轉向系統。船舶的控制系統是非常先進的，因此即使是最難滿足的推進需求也可以用傳統的方位角推進器來滿足，在一個吊艙中一般設有由一個發動機和一個螺旋槳組成的推進器[3]。這些推進器可以圍繞指定的角度旋轉360度，使得即使是龐大的船只也能快速安全地進入狹窄的港口。此外，全球導航衛星系統(GNSS)與動態定位系統相結合的控制系統，可以抵消外部環境帶來的作用力，以保持其位置和航向盡可能接近指定位置(無錨)，即它可以保持航線穩定，而不是被波動的風浪影響[4]。但是用于海洋環境的綜合感知系統在自主操作方面仍未得到充分發展，需要用其他感知傳感器和通過人工智能與多傳感器融合技術結合的方法來補充。

多傳感器感知系統的主要好處是通過優勢互補提高了系統的可用性和完整性，一種傳感器不能檢測到的目標可以用另一種傳感器檢測到；同種功能的不同傳感器可以進行交叉驗證。多傳感器感知技術被廣泛運用了在自動駕駛汽車[5]，移動測圖[6]，基于機載和無人機的遙感[7]，機器人技術[8]等領域中。但是海洋感知系統的發展受到多種因素的阻礙，特別是惡劣的天氣或者在極地地區，所以傳感器系統需要在多種技術輔助，以保證不受天氣影響。

近年來，人工智能算法在學術界和工業界都取得了巨大的成功。因此，將人工智能技術應用于智能船舶設計和傳感器融合是很自然的。AI[8-9]在不同的海洋傳感器數據具有了大量的研究和應用，但針對復雜環境感知的研究和應用較少。在這種情況下，需要從融合傳感器數據的角度，以AI方法為手段，提供所需的環境感知和傳感器完整性監測。

本文綜述了智能航行感知系統的相關背景研究、設備和方法，其中包括了傳感器的選擇和人工智能技術。本文的結構如下。第一節介紹了智能船舶領域的最新進展；第二節介紹相關的傳感器技術；第三節介紹已經成功應用于融合多模態數據的人工智能技術；第四節展望未來智能航行的發展。

1 背景

與公路、鐵路和航空運輸一樣，海上運輸也在朝著自主、智能的方向發展。自主和智能系統降低來自于人類操作失誤的風險及其相關成本，使新型機器人操作成為可能，如果在系統的設計階段得到適當實施，還可以降低建造和運營成本。智能船舶的研究和項目主要集中于北歐，近期亞洲國家也加入了研究，包括中國、日本、韓國和新加坡。主要的研究活動集中在大型的公司和研究機構，最著名的項目包括MUNIN[14]，AAWA[11],芬蘭西海岸Jaakonmeri海上進行測試的OneSea Ecosystem，挪威的集裝箱船Yara Birkeland號，SIMAROS, AUTOSEA[15]和ROMAS項目，中國無人貨船發展聯盟及其測試區域，日本的遠程操作計劃，還有新加坡也在在智能船舶設計也展開了很多研究。這些宏偉的智能船舶項目中不乏應用了傳感器技術和人工智能技術。

2 船舶傳感器技術介紹

智能船舶航行中常用的傳感器主要分為4類：視覺傳感器（相機），遙感傳感器（無線電雷達，激光雷達），音頻傳感器（麥克風），定位傳感器（衛星導航satellite navigation（SatNav）和慣性導航系統Inertial Navigation System（INS）。而人工智能技術主要與視覺傳感器和音頻傳感器相結合，即通過提取傳感器收集到的數據的相關特征，檢測識別位置物體或者環境。

圖2中展示了各種傳感器在智能船舶上的空間布局圖，圖2中的SatNav或者INS傳感器為智能船提供了絕對位置，為了傳感器能夠較好融合，即功能上優勢互補，根據傳感器探測區域的遠近程度可以大致將傳感器分為兩類：（1）較遠距離：無線電雷達（RADAR）還有單目相機（天氣較好的情況下使用）；（2）較短距離：激光雷達（LiDAR），相機，音頻傳感器。融合相機、雷達，愈發成為一個在智能船舶設計領域的研究熱點。下面重點介紹視覺傳感器在智能船舶上的應用，這是因為這種傳感器與人工智能技術結合較多，且應用廣泛。

圖2 智能船舶傳感器空間布局結構圖

2.1 視覺傳感器

常規的視覺傳感器是指所有至少能捕捉到與人眼相似的二維圖像的傳感器，其中包括RGB（Red-Green-Blue）相機、黑白相機和紅外相機。相機可以用于定位、測距、目標檢測和分類，這些都是一個自主系統的基本任務。但是在公海條件下，沒有路標來執行基于相機的定位，所以要依賴一些有特殊的方法。單目相機測距可以通過立體化來完成的，兩個單目相機可以看作為一個立體相機(或者使用一個立體相機)，然后兩個相機和目標物三者構成一個三角形，通過三角測量法[10]可以計算出距離。特別說明的是，基于三角測量的相機與目標物之間距離估計為D，估計誤差為，還有視差誤差三者間的關系如公式1所示。

另外，單目相機距離估計也可以利用相機的運動[12]來實施。但這些方法都有局限性，一旦相機視野中出現物體運動，或者有很多遮擋物等情況，測量的結果都極有可能出乎意料。為了克服這些外部環境的干擾，出現許多與深度學習相結合的新方法，論文[13]中提出了一種基于左右一致性的無監督多損失融合的方法，可以在沒有真實標簽的情況下進行基于單目相機的深度估計。論文[14]中提出了一種距離感知損失，可以完全解決亮度恒定假設中的遮擋問題。表1中展示了各類海上船用視覺傳感器的性能對比。

表1 各類海上船用視覺傳感器的對比

各類相機都有各自的優缺點，選擇取決于實際情況。如圖2中為了更好地進行環境感知，互補使用了兩種相機。在理想的海事條件下，彩色相機更適合于環境感知任務，因為彩色相機能夠獲得的物體特征更多，從而有利于完成各類任務，但在非理想條件下，單色相機可能更適合于此，這是因為彩色相機所能獲得的有效特征有限，而黑白相機在光線較暗的情況下表現更好。紅外相機的優點就是能夠捕捉到熱輻射，某些物體與水溫度偏差較大的物體通常會在紅外相機的圖像上清晰可見，夜間也是如此，但是紅外相機的造價貴分辨率低，在特地場合才會使用。

3 智能船舶的人工智能技術介紹

本節的主要對與智能船舶相關的人工智能的最新技術進行介紹。人工智能驅動的海上環境感知系統的結構圖如圖3所示。

圖3 人工智能驅動的海上環境感知系統的結構圖

人工智能方法在智能船舶導航和環境感知領域的應用包括目標識別、定位和軌跡優化任務。2017年[15]的一項工業研究證明了利用深度學習來完善海上環境感知系統的可行性，他們提出使用深度學習處理不同傳感器融合數據的算法來進行智能船舶環境感知，本節重點介紹深度學習在智能船舶中目標檢測的應用。利用圖像數據進行目標檢測的主要挑戰是數據的維數非常大。而且直接使用經典的卷積神經網絡（CNN）并不簡單，因為CNN是圖像分類的算法，而一般的目標檢測算法在實際應用中采用小滑動窗口遞歸搜索大圖像的所有區域，但是這樣做的缺點就是計算代價過大，而且圖像中待檢測物體的大小會隨著距離的變化而變化。RPN（The Region Proposal Network）[16]為處理這些問題提供了一個很好的方案。如圖4所示。

圖4 使用RPN的船舶探測的一般框架（船舶圖片來自源于MarDCT數據集[17]）

經典CNN和RPN的主要區別是區域選擇（region proposal）層，它給出了感興趣物體的潛在區域。這大大減少了圖像中對象的搜索區域。當目標物（如小船）只覆蓋了一個非常小的像素區域時，它是特別有用的。表2列出了利用不同傳感器檢測海洋物體的近期研究。

表2 海洋目標檢測的相關研究

4 總結

本文主要介紹了智能船舶相關的可用傳感器同時指出了相應傳感器的優缺點，以及用于處理傳感器融合數據的適用深度學習算法。實際上智能船舶技術遠不止本文所述的，包括智能故障預測與健康管理（Prognostics and Health Management，PHM）技術為以安全、高效和成本效益的方式操作和維護復雜的智能船舶提供了保障，能效控制技術為發展綠色船舶理念，航線規劃路線技術等技術。