基于深度網絡的船舶冰區航行路線規劃方法

賈立校，喬前防，牛 童

(江蘇航運職業技術學院 航海技術學院，江蘇 南通 226010)

0 引 言

北極圈與南極圈氣候環境與地理環境極為復雜，不但存在大量浮冰同時還有許多移動中的冰山，各類船舶在此區域航行過程中經常遭遇極端惡劣環境與諸多障礙問題，尤其是能見度較低情況下，憑借船員的駕駛經驗很難避開這些海上障礙物。由于高緯度地區的浮冰分布較為復雜且連續程度較高，經過該區域時需要保持精神高度集中并且多人相互協作才能確保船舶航行的安全，這一過程操作難度大，航路切換頻繁，帶來較大壓力。童幫裕等提出使用改進蟻群算法實現船舶的航行避障路徑優化，該方法利用人工勢場法改進粒子群算法，確定海冰覆蓋率后，構建海面航行柵格模型，在該模型中驗證方法的規劃效果，研究結果證明該方法能夠準確避開海面上的浮冰，但是如果遇到浮冰數量較多的情況，避障效果就沒有那么理想。楊琪森等提出以復雜水域為研究對象，使用長短神經網絡預測船舶航行軌跡，確定最優避障速度。這種方法常見于動態避障，對于運動速度較慢的浮冰并沒有較好的避障效果。

本文使用深度網絡，計算最優策略，為船舶在海面避冰航行規劃出更加優異的路線。

1 船舶冰區航行避障路線規劃設計

1.1 基于深度Q網絡的船舶路線規劃準備

深度網絡能夠準確感知復雜環境，將該方法應用于船舶冰區航行避障，能夠獲得更加理想效果。深度網絡能夠一定程度提升神經網絡的穩定性，該過程主要依靠空間以及目標值網絡()，為提升深度網絡處理復雜控制問題的能力，值更新使用隨機梯度下降函數，這也幫助網絡無需額外數據信息實現訓練。深度網絡的基本形式見下式：

式中：(,)為 動作值函數；為船舶航行當前避冰動作；a為 船舶的下一個避冰動作；與s分別為海洋冰區當前以及下一個狀態；為 獎勵；γ為獎勵衰減系數； m(s,a) 用于描述s狀態下動作極大值，α代表學習率。

深度網絡通過構建值表找尋最佳線路，但是這種算法會出現維度災難，不能實現復雜路徑規劃，如果冰區障礙物較多，無法準確實現避障，所以需要引入卷積神經網絡，在卷積神經網路中輸入原始數據，實現數據智能處理。改進后的深度網絡能夠與環境交互，獲取含獎勵值的樣本數據，促進在線網絡參數更新。一段時間后，目標值網絡接收在線值網絡復制的參數，目標值經目標子網絡計算獲取。深度網絡的詳細計算流程如圖1所示。圖1中，ω表示主網絡權值，ω用于描述目標網絡權值。本文考慮海洋冰區不同狀態(與s)，利用使用深度學習確定船舶當前以及下一個避冰動作(與) ，同時獲取獎勵，最終規劃船舶避冰路線。該方法中最關鍵的步驟是船舶避障路線的狀態、動作空間以及獎勵機制。

1.2 船舶冰區避障路徑設計

1.2.1 海洋環境建模

圖1 深度Q網絡計算流程Fig. 1 Calculation flow of deep Q network

使用柵格法能夠將密布冰塊的海洋環境信息清晰地顯示出來，只要柵格選取合適，可以確保整個海洋環境的清晰程度，能夠提升船舶冰區避障路徑規劃的速度。柵格化模型之中使用黑色區域表示海洋中的冰塊障礙物，正常無障礙海域使用空白表示，利用二進制“0”及“1”描述柵格化地圖，利用該二進制組成的矩陣構建20×20的二維柵格圖，使用整數實現網格標記，確保坐標系單位長度一致。利用正交坐標系制定障礙物坐標點。使用描述柵格序號值(取整數)，從起點開始記錄，一直標記至400，使用下式表述柵格坐標：

其中， mod 與int 分別取余運算與整運算，代表柵格上各行上的格數量。通過兩點式坐標標識柵格，最終完成海洋環境的模型構建：

1.2.2 避障路線狀態空間確定

根據柵格模型的構建結果，可以確定柵格中的各柵格個體都代表一個環境狀態，這些狀態都能使用式(4)描述。海洋環境變幻莫測，假設狀態共有個，使用式(3)定義環境空間：

1.2.3 避障路線動作空間確定

研究過程中發現，路徑規劃時需要在柵格模型中簡化模擬船舶模型，將船舶簡化成1×1像素大小的像素點，從實際航行狀態考慮，船舶的狀態空間可以劃分成4個基本動作，分別為上動作、下動作、左動作、右動作，動作空間設計時使用 ε貪婪策略，航行路徑上的新海洋環境探索需要通過 ε概率選擇船舶的隨機動作，值最大動作選 取通過1 -ε概率確定，使用下式描述探索-利用機制：

通過 ε貪婪策略，不但可以確保船舶選取較優航行路徑，同時還能確保全部航行區域的狀態空間都能被搜索到。

1.2.4 設計獎勵函數

可以看出，船舶航行的動作空間較為有限，同時還具有離散化特點，所以可以泛化處理獎勵函數，一旦船舶到達目的地，可以將100設置為獎勵值；如果在柵格模型上出現船舶像素點與黑色方格重合的情況，可以判斷船舶沒有有效躲避冰區中的冰塊，出現碰撞情況，此時設置-100為獎勵值，表示懲罰機制。在柵格模型中，把全部無障礙的白色區域獎勵值設置為0，使用下式描述獎勵函數：

1.2.5 航路平滑設置

研究表明柵格模型會限制船舶路徑規劃，通過計算規劃出的船舶航行路徑中會存在諸多節點，但是在冰區實際航行過程中，駕駛船舶躲避冰塊的難度較大，所以采取算法處理深度網絡規劃后船舶航行節點序列 {，···,P,P}上的冗余節點，由此獲得船舶航行線路規劃的平滑處理，使得規劃后的船舶航線線路具有較高指導意義。遍歷船舶航行路徑上各個節點序列，分析節點之間相連所獲得的線路是否從冰塊上通過，以此為依據將規劃后船舶航行的路線上非必需節點剔除。如果經過分析后發現每2個節點之間形成的路線沒有從冰塊上穿越，就可以把非必要節點剔除，獲得平滑處理后的船舶航行避冰線路。

2 結果與分析

選擇北半球高緯度某海域作為本文所研究的冰區，收集該區域的具體環境資料，構建該冰區的柵格模型。該區域緯度為北緯67.34°，海域最深區域超過5 000 m，最淺區域僅為1 097 m，氣候較為寒冷，最低氣溫能夠達到-70℃，全年平均溫度在-1.5℃～8℃，大部分時間洋面密集分布浮冰，尤其是冬季，80%海面均為浮冰，導致船舶航行困難較大。舶情況參考“海冰722”破冰船，長度與寬度分別為85 m與16 m，滿載情況下排水量達到9 191 t，可抗12級大風，最大航速為18 kn。由于試驗環境限制，不能在真實海域開展研究，因此將這些海洋數據與船舶數據一起輸入模擬試驗平臺中，利用柵格模型開展模擬試驗。試驗過程深度網絡中所需要使用的參數為：學習率α=0.01，目標網絡更新間隔=200，獎勵衰減因子=1.0，ε概率=0.15，迭代步數=8 000。

為了確定迭代步數變化下獎勵值的變化趨勢，設置8 000步迭代次數，訓練深度網絡，在該迭代次數之下獎勵值的變化趨勢如圖2所示。可以看出，隨著迭代次數的不斷增加，獎勵值無限接近于0，根據式(6)中的內容可知，獎勵值為0時代表船舶在冰區中航行并未與冰塊發生碰撞而安全抵達終點，由此可以確定，獎勵值的這一變化趨勢，證明本文方法能夠實現船舶航行的冰區避障，且算法能夠向收斂靠近。

圖2 獎勵值變化趨勢Fig. 2 Change trend of reward value

算法訓練開始階段與訓練結束階段，損失函數波動情況會發生變化，2個階段的損失函數變化規律如圖3所示。可知，訓練初期，真實值與算法預估值之間存在較大差異，該階段損失函數出現較為劇烈的波動，這個階段所規劃的船舶航行路徑并沒有學會準確躲避冰區中的浮冰，迭代次數增加，算法已經能夠熟練捕捉特性，訓練結束以后，算法已經平均損失波動較為平緩且稀疏，損失出現明顯收斂，說明該節點算法已經可以明確避障，該階段船舶路徑規劃結果已經可以準確躲避冰區中的浮冰

本文方法在船舶航行冰區避障研究中添加路徑平滑處理，因此規劃后路徑節點更少，對比平滑處理前后路徑規劃效果，結果如圖4所示。能夠看出，使用本文方法規劃后的冰區船舶航行路徑，不但能夠有效避開航行區域上的浮冰干擾，同時路徑更加平滑，減少眾多不必要節點，實際航行中能夠有效提升船舶在冰區中的航行速度，同時降低船舶與浮冰碰撞而出現的事故概率，有效提升冰區船舶航行的安全性。

圖3 損失函數變化Fig. 3 Change of loss function

圖4 平滑處理前后路徑規劃效果Fig. 4 Effect of path planning before and after smoothing

所研究區域每年不同季節下，海域浮冰面積不同，綜合考慮多種氣候影響下冰區浮冰障礙物的面積，使用模擬試驗平臺模擬出不同浮冰面積下，本文方法路徑規劃的效果，結果如圖5所示。可知，使用本文方法，無論船舶所處冰區環境如何復雜，船舶仍舊可以準確躲避浮冰，準確且安全抵達最終目的地，完成船舶航行目標。

圖5 不同浮冰面積下船舶避障效果Fig. 5 Obstacle avoidance effect of ships under different floating ice areas

3 結 語

本文基于深度網絡的冰區船舶路徑規劃，使用深度網絡實現路線規劃，同時引入平滑處理機制，減少路徑規劃結果中的節點，節省船舶航行時間。試驗結果表明，本文方法能夠實現冰區船舶的避障路線的準確規劃，即使面對較為密集的冰區障礙，仍舊能夠保持安全平穩地避障航行，提升船舶在冰區航行的安全性。