基于遞歸神經網絡識別船舶在開放水域中的運動與性能分析

摘 要：遞歸神經網絡能夠純粹從輸入輸出測量中學習未知非線性系統的動力學。本文中，我們將遞歸神經網絡表示為一個具有非線性擾動的線性時不變系統，通過引入約束參數，可以保證初始增益穩定性。我們應用這種識別方法來學習在開放水域中四自由度船舶的運動，結果表明，約束遞歸神經網絡在測試集上的預測精度較低，但在非分布集上，在滿足約束條件的同時取得了可比性的結果。

關鍵詞：遞歸神經網；系統識別；線性矩陣不等式約束；深度學習

引言

傳統的系統識別通常依賴于領域專業知識來獲得目標系統的表示。相比之下，基于深度學習的方法已經被證明可以高精度地預測未知非線性系統的系統狀態。與傳統建模技術推導出的微分方程模型相比，更能滿足識別系統的穩定性要求[1]。遞歸神經網絡（RNN）可以處理輸入序列，預測未知系統在未來的系統狀態，但通常缺乏穩定性保證。RNN可以被建模為具有非線性擾動的線性定常系統。本文應用一個RNN模型，保證初始增量穩定性增益來識別具有多個輸入和多個輸出的開放水域的船舶真實運動。

一、研究背景

深度遞歸神經網絡結構對非線性系統識別任務顯示出較高的預測精度，如四旋翼或船舶運動。與廣泛研究的經典鑒定方法相比較，這些學習方法通常不能提供輸入—輸出行為的穩健性保證。將神經網絡中的非線性激活函數與線性的線性層分離，我們可以使用經典的穩健性控制工具來分析穩定性。最近，Fazlyab等人使用半深度網絡規劃計算深度神經網絡的增益。對用于系統識別的序列到序列模型，引入了凸參數約束，以保證遞歸神經網絡的初始增量增益穩定性[2]。將該網絡結構推廣到不需要參數約束的平衡網絡，使用了一個遞歸神經網絡控制一個部分未知的線性系統，從而建立了閉環穩定性保證，對循環均衡模型進行了擴展。在這項工作中，本文遵循了Fazlyab等人的方法顯示了初始增益穩定性。與現有的方法相比，本文方法可以在具有多個輸入和輸出的擬真問題上評估識別模型。

二、模型結構和穩健性能

在航行過程中，船舶會遇到各種隨機的環境力量，對船舶產生復雜的影響，導致船舶出現三種旋轉運動響應，即橫傾、縱傾和航向。同時，船舶還會出現三種線性運動響應，即涌動、搖擺和垂蕩，這些運動響應的復雜性使得對海況的估計變得尤為重要。為了更好地理解和預測海況，使用波浪浮標類比方法是一個有效的手段[3]。這種方法能夠綜合考慮船舶的三種運動響應，從而更準確地估計海況。我們通常根據輸入和輸出的對應數據對動態系統進行描述。本文主要關注RNN的初始增量穩定性增益問題，這是控制理論中用于衡量系統穩健性的一個重要指標。在進行系統識別任務時，我們需要關注最差的情況，同時考慮初始穩定性增益和初始增量穩定性增益。我們需要明確模型的結構，系統S通過一個與非線性ψ反饋與線性系統G互聯，并且系統S映射一個輸入序列u。

（一）初始隱藏狀態x0

為了確保線性系統G的隱藏狀態得到有效的初始化，我們采納了馬哈杰林教授[3]的建議，選擇使用長期記憶（LSTM）網絡。這個初始化器LSTM是獨立于預測網絡進行訓練的，確保其能夠為預測網絡提供堅實的基礎。在訓練預測網絡S之前，我們需要滿足一些約束條件。這些約束通過模擬初始參數集θ0來滿足。這個初始參數集是通過求解半圓程序來獲得的，其中解對應一個可行的參數集θ0。重要的是，我們知道存在一個可行的初始參數集θ0，使得均方誤差損失最小化。為了防止參數過于靠近約束邊界，我們采用勢壘函數作為正則化方法，這樣可以使參數分布更為合理和穩定。這一系列的步驟都是為了確保預測網絡的訓練能夠順利進行，并獲得更好的預測性能。

（二）數值實驗

為了進行系統識別，我們首先需要生成相關的數據。為了確保數據的真實性和準確性，我們選擇使用一個具有四自由度的巡邏艇模型。這個模型不僅考慮了船體的基本運動，還擴展到外部因素，如風和波浪對其產生的影響。為了模擬真實的航行環境，我們進一步將舵和螺旋槳建模為執行器，并使用兩個混合螺距的方向來控制船體的導航。使得我們的模型能夠更準確地模擬實際船舶的操作和響應。輸入序列是通過一個開環控制器生成的，這個控制器能夠模擬船舶在不同情況下的動作，例如轉彎或保持圓形軌跡等。這些動作的執行都是基于控制器的指令，確保了數據的多樣性和實際應用性。除了考慮船體的輸入序列，我們還模擬了風的強度和吹入攻角角度，并將這些數據一并輸入控制器中。這樣做的好處是能夠更全面地考慮船舶在實際航行中可能遇到的各種環境和條件，從而獲得更準確和全面的系統識別數據。

（三）數據集D的采樣

數據集D由兩部分組成，96小時的常規樣本和29小時的特殊樣本。在采集數據時，測量值會被每秒鐘精確地采樣一次，確保數據的實時性和準確性。對于常規樣本，按照60%、10%和30%的比例將其分配給訓練、驗證和測試階段。這樣的分配有助于平衡數據的使用，并確保模型訓練的穩定性和準確性。特殊樣本專門用于評估模型的表現，涵蓋了更大的螺旋槳速度范圍和更頻繁的舵角變化。模型在面對這些特殊情況時，必須展現良好的適應性和穩健性，這樣可以更全面地評估模型的性能，并確保其在各種實際應用場景中都能表現出色。

三、模型訓練

（一）觀測狀態空間及指令行動空間

為了構建預測器的基線模型，我們采用一種純粹基于學習的策略，我們確保所有模型都使用相同的LSTM架構作為初始隱藏狀態，這種架構在多步預測四軸飛行器的運動時表現出色。通過這種方式，我們可以將該模型簡化為一個受約束的模型，同時加入初始穩定性增益作為超參數，從而更好地適應不同的預測任務。

（二）獎勵結構

在強化學習（RL）中，代理旨在優化被稱為獎勵的數字信號，該信號由環境提供，作為對代理行為的響應。獎勵作為代理人的反饋機制，告知其在特定

狀態下的表現，并指導其未來的行動實現目標[4]。在DRL中，代理神經網絡接收環境的觀測結果作為輸入，并生成動作作為輸出。網絡的參數是根據從環境中獲得的獎勵通過算法進行調整的。獎勵在DRL代理的學習過程中起著關鍵作用，因為它嘗試各種行動并觀察相應的獎勵。積極的獎勵強化了代理人的決策過程，而消極的獎勵則阻止了代理節點重復某些行為。當代理節點獲得經驗時，它會確定哪些行動會產生最高的獎勵，并更新其策略以最大限度地提高未來的獎勵。因此，獎勵為DRL代理學習和增強其決策能力提供了至關重要的反饋信號。

（三）培訓過程

在每一訓練集中，船舶從原點（初始航路點）開始，定向在正x方向（航向角ψ=0），在無量綱形式的浪涌方向（u）上的初始速度為1。船舶在搖擺和偏航運動中沒有初始速度。目標航路點是從起點8L到28L之間隨機選擇的，其中L是船在垂線之間的長度。方向在0到2π之間均勻選擇。一個訓練集的時間跨度設定為160個時間步長。在目的地航路點上指定了0.5L的公差，如果船只能夠進入該區域，則認為該事件成功。建立另一個條件來確定代理節點是否仍然能夠到達目的地，或者事件是否為故障事件，并且船只是在附近徘徊。

（四）網絡的超參數

通過對節點、評價網絡和其他超參數的不同值進行實驗來調整代理。Actor網絡和評價網絡都使用了兩個隱藏層，在隱藏層中由正弦函數激活。由于PPO是一種基于策略的算法，在一定數量的時期內更新參與者和價值網絡之前，在每次迭代中收集50多集的數據，給出了用于訓練的最佳超參數集，顯示了訓練期間每次迭代的平均回報圖。選擇60次迭代的策略是為了在擬合不足和擬合過度之間取得平衡。

四、結果

這里使用三步評估過程來評估PPO制劑的性能。首先，評估代理在不同情況下跟蹤航路點的能力，在每個象限中選擇目的地航路點。其次，引導代理遵循離散函數成為多個路點的復雜路徑。最后，將風引入環境中，并在風力的影響下對代理進行測試。

（一）航點跟蹤

通過在（10L，10L）、（-10L，10L）、（10L、-10L）和（-10L、-10L）四個不同的象限中設定目的地航路點，我們對PPO代理的性能進行了深入分析。為了確保實驗的公正性，我們將航向角為0、浪涌速度為1U的原點設定為船舶的起點。經過充分的訓練，我們發現模型在所有四個象限中都能夠順利到達目標航路點，這表明其性能穩定且可靠。

（二）通過航路點跟蹤的路徑跟隨

由于該模型在四個象限中均能準確跟蹤航路點，因此具有應對復雜導航路徑的能力。通過模擬各種形狀的模型軌跡，我們觀察到代理能夠輕松遵循橢圓路徑。長軸和短軸分別為28L和24L的橢圓被離散為15個路點，“8”字形的路徑被離散為23個路點。起始位置為（x，y）=（14L，0），并沿著負y軸以ψ=-π/2的初始航向開始其航行。模型展示了從航向為ψ=0的原點出發，進行八次精確轉彎的能力。每次轉彎后，船舶都會完成一個半徑為9L的航線轉舵，從而實現180°的完美轉向。這些復雜的導航操作進一步證明了該模型在處理實際導航問題時的強大性能和可靠性。

（三）風力作用下的性能

對風力和力矩進行建模和添加，所檢查的兩個具體案例顯示了每個案例都有不同的風速和方向。可以觀察到，即使在風速是船舶運行設計速度六倍的強風情況下，代理節點也能夠使船舶遵循所需的軌跡。

五、與PD控制策略的比較

比較PPO代理與比例微分（PD）控制策略在路徑跟隨能力上的表現，所需的航向角ψd是通過LOS獲得的目標值，誤差e被定義為當前航向角ψ與參考值ψd之間的差值。為了優化跟蹤效果，我們調整了控制策略的增益參數，以最小化跟蹤誤差。在實驗中，所使用的比例增益和導數增益的值分別為kd=4.0和kp=2.0。觀察結果顯示，基于PPO控制策略的均方根（RMS）交叉軌跡誤差比PD控制策略的誤差小45.5%。這一顯著差異表明PPO代理在路徑跟隨方面具有更好的性能。類似地，在由20個半徑為6L的圓組成的連續“8”字形的情況下，交叉軌跡誤差的RMS被計算為小19.8%。這一結果表明，無論是在直線軌跡還是復雜軌跡的跟蹤中，PPO控制策略都展現出優越的性能。我們還觀察了兩個策略在跟蹤舵角的變化情況。雖然PPO控制策略在交叉軌跡誤差方面表現優異，但其計算工作量相對較大，可能是由于PPO算法在優化過程中需要進行更多的計算和迭代。因此，在實際應用中，我們需要根據具體需求權衡PPO控制策略的計算復雜性和跟蹤性能之間的平衡。

結論

綜上，將一種基于DRL的控制策略RNN用于船舶通過航路點的路徑跟蹤。為了完成這項任務，對PPO代理進行了訓練，并給予與航跡誤差、航向角誤差和到目標航路點的距離相關的獎勵。PPO代理成功地展示了其在靜水中跟蹤目標航路點的能力，以及通過航路點離散的復雜路徑，如橢圓和“8”字形機動。此外，它被發現與標準用于該任務的PD控制策略一樣有效地進行軌跡跟蹤。與PD控制策略相比，在PPO控制策略的情況下的控制策略努力顯著更高，這可以通過DRL代理的更多超參數調節來改善。

今后應改進當前DRL框架，包括避障和防撞，從而優化和創建一個計算高效且允許實時實現的策略。將對多目標控制策略結構進行實驗測試，以便更好地理解傳統和現代控制策略的微妙之處。未來的研究還將探索控制策略在其他環境干擾（如波浪和洋流）下的有效性。

參考文獻：

[1]姜巖，王雪剛，侯先瑞，等.深度循環神經網絡在船舶操縱運動辨識中的對比研究[J].水動力學研究與進展A輯，2023，38（02）：187-194.

[2]陳壯.基于卷積神經網絡的內河船舶檢測與識別研究[D].遼寧：大連理工大學，2020.

[3]林晨，鐘志根.海事管理過程中智能視頻技術的運用[J].中國水運（上半月），2017，38（09）：58-59.

[4]樊翔，程陳，侯先瑞，等.基于徑向基神經網絡的船舶運動智能預報[J].船舶設計通訊，2022（02）：8-12.