變體飛行器智能自主決策與控制

王青，劉華華

(北京航空航天大學，北京 100086)

0 引言

隨著航空航天技術的發展，近年來人們對新一代飛行器在可靠性、自主性、適應性等方面提出了越來越高的要求，要求飛行器在能適應不同的飛行環境來執行不同任務的同時，也能夠很好地保證飛行器飛行性能。顯然，固定翼飛行器無法滿足這些多變環境下的嚴苛要求。在這種情況下，可變形飛行技術成為研究熱點。變體飛行器旨在進行大規模飛行器外形的改變以改善飛行器空氣動力學，使飛行器可以執行多項任務。

與現有飛行器相比，變體飛行器具有許多優勢和潛力：首先，變體飛行器通過主動變形改善氣動特性，降低飛行能耗，擴大飛行包線范圍；其次，變體飛行器可通過主動變形輔助操縱，增強控制能力；再次，變體飛行器能夠通過改變構型適應多種飛行環境與飛行任務，擴大應用范圍。上述優勢使得變體飛行器有望成為未來高性能飛行器實現突破性發展的基礎，具有極高的發展潛力和使用價值[1-3]：

可變形能力在給飛行器帶來性能提升的同時，也給其決策與控制提出了全新的要求和挑戰：變體飛行器需要在復雜戰場環境中具備自主變形能力；變形過程使得飛行器系統呈現出多模態、強非線性和強耦合的特點；飛行器在變形飛行過程中極易受到各種內外部擾動的影響，飛行穩定性難以得到保證。傳統的針對固定外形飛行器的分析設計方法已很難滿足變體飛行器的需求。而人工智能的出現為變體飛行器系統設計提供了新的思路。

人工智能是計算機科學的一個分支，是研究使計算機來模擬人的某些思維過程和智能行為(如學習、推理、思考、規劃等)的學科，近30年來獲得了飛速的發展。在飛行器控制等領域，人工智能的諸多方法如深度學習、強化學習、深度強化學習、生成對抗網絡等也受到了廣泛的關注。深度學習是機器學習領域的一個重要研究方向，它的核心在于感知和表達，具有強大的處理復雜識別任務能力[4]，目前已成功應用于控制目標識別、狀態特征提取、系統參數辨識等方面。強化學習是智能體以“試錯”的方式進行學習，通過與環境互動來獲得獎賞指導行為，以期獲得最大獎賞的學習方式，它的核心在于策略選擇，通過環境的評價性反饋信號在線修改自身策略，從而實現決策優化[5]，已成為解決控制策略計算問題的一種重要方法，在包括基礎理論中的不確定非線性系統、未知模型零和博弈在內的問題中得到了應用。深度強化學習汲取深度學習和強化學習各自優點，兼具感知能力與決策能力，為實現復雜控制問題提供了解決方法。生成對抗網絡是一種結合零和博弈思想的無監督學習算法，具有強大的近似與決策能力，在作戰模擬仿真，提高模型精準度等方面具有良好的前景。由于人工智能方法的諸多優點，故而在傳統的控制系統設計方法中加入人工智能的方法受到廣泛的關注，新型智能變體飛行器是在現代與近未來飛行器的研究發展中亟待突破與進步的技術點。

1 變體飛行器發展歷程與發展趨勢

在變體飛行器技術的探索歷程中，人類總是能夠展示他們超凡的智慧與想象力，形態多樣的變體飛行器概念設計層出不窮。科學技術的發展，讓很多曾經的“異想天開”變成現實，各種變體技術逐漸走進人們的視野，甚至很多技術已經在驗證機上進行了飛行驗證和應用研究。變體飛行器現存主要的變形設計都是基于機翼外形的改變而展開的[6]，主要的變形策略包括自適應機翼、折疊機翼變形、滑動蒙皮后掠角變形，以及人們較為感興趣的撲翼變形。

自適應機翼技術通過主動改變機翼彎矩以獲取更為理想的飛行性能。1985年，美國國家航空航天局將機翼設計成柔性，并采用傳統控制面從氣動上誘導機翼變形。將主動氣動彈性翼技術應用在F/A-18A改裝試驗機上進行試飛，驗證了該技術對于提升飛機的機動性能和生存能力具有較為明顯的效果。

折疊機翼變形技術是將飛行器機翼設計成可折疊的形態，在飛行中，飛機或主動或被動地改變機翼的折疊角，從而得到變化范圍較大的機翼面積、展弦比等參數特性，從而有效提升飛機的多任務適應性。俄羅斯“圖-160”是目前仍在服役的折疊機翼轟炸機，該飛行器采用變后掠翼結構，在起降飛行時將后掠角減小至20°，巡航飛行時后掠角增加至35°，高速飛行時則將后掠角增大至65°，以適應不同的飛行狀態。

滑動蒙皮機翼是由美國NextGen航空公司提出的一種飛行器變形技術，使用“火蜂”(Fire-bee)飛機作為設計平臺。它是通過沿機翼方向分布的微型驅動裝置，使得機翼后掠角大幅變化，結合柔性蒙皮技術，進而飛機的機翼面積、展弦比等參數也發生相應的改變。

撲翼機可算是人類對于飛行器變形技術探索的起點，為了實現人類“像鳥兒一樣自由自在地飛翔”這一最初的夢想，前赴后繼的學者開展了漫長而卓越的探索。德國科技公司Festo的科學家聲稱“破譯了鳥飛行的原理”，成功研制出仿生機器鳥——SmartBird。SmartBird能夠自動起飛、飛行和降落。它的翅膀不僅可以上下拍打，同時也能按特定角度扭動。不但在外觀上與真正的鳥極為相似，而且其移動與拍打翅膀的方式均具有極高的仿真性，堪稱仿生撲翼飛行器的代表作。

近些年來，變體飛行器朝智能方向發展，即飛行器的外形能夠根據飛行任務、飛行速度、飛行環境等自主地發生改變。一方面，在執行不同飛行任務時、在不同飛行速度下，飛行器外形布局可能有很大差異，在近空間復雜飛行環境時更是如此，飛行器需要改變外形以更好地自主適應飛行環境。另一方面，自然界中的飛行生物進行盤旋、俯沖、加速時都會采用適合的外形來獲取最佳飛行姿態。因此，實際任務需求與自然界的啟示都指向智能變體飛行器，變體飛行器逐步走向智能化、自主化。

目前，變體飛行器亟待解決的關鍵技術有針對飛行器變形控制的智能變形決策，以及針對飛行器飛行控制的智能自主控制。下面將分別分析這些問題。

2 變體飛行器智能變形決策

變體飛行器的外形取決于飛行環境與作戰任務，設計合適的自主變形策略可以有效提高變體飛行器對不同飛行環境和復雜作戰任務的自適應能力。

目前,關于變體飛行器變形控制的研究大多集中在智能材料與結構的設計與應用，其中包括受到廣泛關注與大量應用的形狀記憶合金與壓點復合材料[7-8]，此類方法具有很大局限性，不能解決復雜控制策略計算問題。此外，也有部分研究人員將人工智能相關算法引入變形控制中去，從而實現了智能變形控制或智能變形決策。文獻[9]基于Q學習方法建立了非監督學習算法，根據針對于不同飛行條件下的最優飛行外形的諸如升力系數、拉力系數和動量系數等參數，設計相應的獎賞函數并得到最優外形。文獻[10]以一種抽象化的變體飛行器為對象，給出其外形變化公式與最優外形函數等，并結合深度學習與確定性策略梯度強化學習，設計深度確定性策略梯度學習步驟，使飛行器經過訓練學習后具有較高的自主性和環境適應性，提高其在戰場上的生存、應變和攻擊能力。文獻[11]基于強化學習理論，提出一種新型的變體飛行器翼型自適應控制方法，可以很好地滿足變體飛行器在多任務狀態下保持最優性能的需要，設計的高度子系統的三回路法向過載控制器和速度子系統的滑模控制器可以確保飛行器在變體過程中保持穩定。然而現有的飛行器智能變性策略大多基于簡單模型給予驗證，并且考慮的作戰任務單一，泛化能力差。因此，智能變體飛行器的自主變形決策問題亟待進一步的深入研究。

基于人工智能框架的變體飛行器變形決策過程可以概括為：首先，結合變體飛行器飛行性能、變形策略、任務需求、作戰環境等,選擇并建立智能算法模型；其次，設計變體飛行器變形策略訓練模型；最后，生成合適的數據集并進行智能算法的訓練與驗證。因此，需要加強在人工智能算法選擇、變形策略訓練模型、智能算法訓練框架等方面的研究。

2.1 人工智能算法選擇

變體飛行器復雜的變形決策過程對于智能算法的感知能力、決策能力等均有極高的要求。人工智能中的深度確定性策略梯度算法(deep deterministic policy gradient，DDPG)是一種基于策略梯度的深度強化學習算法，兼具深度學習的感知能力和強化學習的決策能力。DDPG采用經驗回放機制和單獨的目標網絡，減少數據之間的相關性，增加算法的穩定性和魯棒性。并采用執行-評價機構，能夠處理高維和連續空間的復雜任務。因此，以深度確定性策略梯度算法為例，設計飛行器智能變形決策算法。

2.2 智能變形策略訓練模型

選擇合適的智能訓練模型是變體飛行器變形決策設計中的重要環節。需要兼顧智能算法的設計流程與實際飛行器的飛行過程。對于智能算法，深度強化學習模型需要設計相關要素使其系統符合馬爾科夫決策過程，其中包括狀態空間、動作空間、獎賞函數、狀態轉移概率以及折扣因子。而在變體飛行器的變形決策問題中，對上述要素的設計需要結合實際飛行任務需求。其中，狀態空間由飛行高度、速度、迎角等與飛行器縱向相關的狀態向量以及舵偏控制量與后掠角組成；動作空間為狀態空間下期望獲得的后掠角；將任務目標分為：巡航、盤旋、機動、脫戰，不同的任務目標將有不同的獎賞函數權值側重，將變體飛行器3項飛行性能，升阻比、最大速度、穩定性，外加給定飛行任務獎賞，設計成關于后掠角的4項分獎賞函數，并針對不同的任務需求設計不同的各分獎賞函數的權值，從而得到一個綜合獎賞函數；以上設計包括了馬爾可夫決策過程中的狀態空間、動作空間、獎賞函數，再加上建立的環境交互模型，得到在任一狀態下給定的狀態轉移概率；最后，再對此系統設計相應的折扣因子，該系統就具備了馬爾可夫決策過程的全部要素，變體飛行器智能變形決策訓練模型即可建立完成。

2.3 智能算法訓練框架

以DDPG算法的執行-評價網絡結構為例，需分別設計合適的執行網絡與評價網絡結構。

可設計如圖1所示的執行網絡，網絡的輸入量由飛行器狀態量給出，隱層神經元個數一般由三層隱層組成，每層隱層需要采用合適的激活函數，目前常用的是Relu函數，可以有效避免梯度消失等問題。前2層的數據在經過激活函數后，可以采用批標準化層以在降低網絡參數初始化的同時提升訓練速度。最后的隱層連接到一個一維的輸出層，輸出層的激活函數一般采用Tanh函數，該函數可以使輸出能夠限制在一定的后掠角需求范圍內，與倍率系數相乘再經過線性變換即可得到當前狀態下的后掠角選擇。

圖1 執行網絡結構圖

在執行網絡得到的動作基礎上，可進一步設計評價網絡如圖2所示，由狀態向量與動作向量作為網絡的輸入，網絡由隱層神經元個數同樣由三層隱層構成，同執行網絡一樣，各個隱層依次連接Relu函數激活層與批標準化層，不同之處在于最后的隱層直接連接到一個一維輸出層且輸出層數據不經過激活函數，直接得到評價值，用于強化學習中的貝爾曼方程的迭代更新。

圖2 評價網絡結構圖

另外，執行網絡和評價網絡需要利用損失函數來優化算法模型，Adam優化器是實際學習中最常用的算法，優點在于每一次迭代學習率都有一個明確的范圍，參數變化平穩，因此采用該優化器來訓練損失函數。最后選取合適的學習率，就完成了深度學習智能算法框架的設計。

2.4 智能算法訓練與優化

考慮到學習成本與訓練時間，需要結合一定的訓練數據來縮短訓練過程。數據的生成方式可以采用如下形式：將變體飛行器的后掠角固定為一定的數值，對不同的時間段設計不同的任務需求，并實現各個時間段內高度與速度的跟蹤控制，獲得航跡各個采樣時刻的所有縱向飛行狀態量，將所有數據進行標準化處理后得到可以使用的訓練數據。多次設計并獲得大量不同航跡的狀態數據后組成訓練與驗證數據集，在構造的數據集的基礎上進行深度強化學習的訓練。進一步為了解決算法收斂過慢、過擬合、梯度消失或爆炸等問題，需要進行算法的優化。常見的優化方法有正則化、批標準化、優先權掃描方法等。正則化通過限制參數的規模來限制模型的學習能力，使模型趨向于權值更小的目標函數，同時相當于給模型加入了一定的先驗信息，從而限制了參數的分布，能夠大大提高模型的泛化能力，減少泛化誤差。批標準化針對訓練中每一批數據，在深度網絡每一層輸入之前增加了歸一化處理，能夠有效地防止深度網絡發生過擬合的情況，并提升訓練速度。優先權掃描方法相比于隨機選取數據更新的方法能夠大大提升更新效率，使得訓練更高效。優化后的變體飛行器智能變形策略訓練模型能夠在同數據分布的驗證數據集中針對不同的飛行環境與飛行任務選擇相應合適的飛行外形，增加變體飛行器的環境適應能力與作戰性能。

3 飛行器智能自主控制技術

變體飛行器變形過程中存在質量分布和氣動特性的較大變化，包括氣動力和力矩的變化，這些變化甚至可能導致飛行器不穩定，給飛行器控制帶來很大難度，這也對變體飛行器智能自主飛行控制算法的設計提出了更高的要求。

現有關于變體飛行器的控制器設計方法主要有線性參數時變控制[12]、神經網絡控制[13]、滑模控制等[14]，這些控制方法取得了一定的進展，但是還存有不足之處，例如通常只在變形簡單、小擾動情況可行，此外，還有部分學者將變體飛行器的變形結構作為輔助控制手段進行研究[15]，其主要思想在于通過飛行器的主動變形改變自身的氣動力和力矩，從而提升飛行器控制系統性能。而對于變形輔助控制，其對變形機構要求過高，因此目前僅僅作為一種理論上的探討。可以看出，上述方法仍具有未能準確反映變體飛行器的飛行特性等不足之處，因此變體飛行器的智能自主控制問題需要進一步深入研究。

由于具有強耦合、強非線性、強不確定性等特點，變體飛行器一般不滿足常規飛行器建模時的小擾動、小偏差假設，飛行器在變形過程中，其動態特性會發生很大改變，采用單一的非線性系統設計的控制器具有很大的局限性。所以研究變體飛行器智能自主控制時一般采用非線性切換系統。目前對于變體飛行器的控制需要重點考慮的方面有：強耦合、強不確定性下的主動抗擾動控制、非線性切換系統全局穩定控制和高適應性、高自主性的智能控制等。

3.1 變體飛行器主動抗擾動控制

目前針對變體飛行器的抗擾動控制的研究多屬于對擾動的被動抑制，與變體飛行器通過變形提高飛行性能的初衷相悖。主動抗擾動控制的核心思想在于構造觀測器對系統總的擾動進行估計，在控制器中對估計的擾動進行實時補償，從而達到主動抗擾動控制的目的。故而可采用“擾動觀測+補償”的開放式設計框架進行變體飛行器非線性切換子系統主動抗擾動控制器設計。可將飛行器狀態變量分為2個回路，其中一個回路為姿態角速率和變形速率，另一個為姿態角和變形量回路。在變體飛行器快慢2個回路中分別利用擾動觀測器來估計系統擾動，并在前饋通道加以補償。

主動抗擾動控制的核心在于擾動觀測器的設計。可使用擴張狀態觀測器進行變體飛行器非線性切換系統的擾動觀測。使用擴張狀態觀測器的優點在于只利用被控對象的輸入輸出信息，通過積分器逼近系統高階微分狀態，不僅能實現對系統狀態與“總擾動”精確估計，且不依賴模型本身信息，具有強魯棒性。擴張狀態觀測器本質上具有高增益的特性，觀測誤差動態與被觀測系統動態之間存在較明顯的時間尺度分離特性，即觀測誤差為快動態，被觀測系統為慢動態。因此，可采用奇異攝動理論對擴張狀態觀測器的收斂特性進行分析，保證觀測器的收斂性。

3.2 變體飛行器變形全包線穩定控制

由于變體飛行器變形過程中質量分布和氣動特性會發生較大變化，故而切換系統的所有子系統選用公共李雅普諾夫函數是不合適的。所以考慮到變體飛行器在廣義飛行包線內的某一區域動力學特征較為相似，容易通過設計觀測器參數與控制器參數使得局部重疊切換系統各自具有公共李雅普諾夫函數，同時在公共子系統工作的時間充分長，可以設計具有局部重疊切換律的切換系統。使用此穩定性分析方法可以推廣至平均駐留時間約束的情況，允許在某些公共子系統內的工作時間小于平均駐留時間，從而適應工程系統中必須切換的情況。上述方法不要求切換系統的所有子系統具有公共李雅普諾夫函數，適用范圍更廣，另一方面，僅要求公共子系統滿足時間約束，局部重疊切換系統內除了公共子系統外的所有子系統之間均可任意切換而不失穩定性，具有更低的保守性，從而充分發掘變體飛行器自身性能，應對更為復雜的飛行條件和任務需求。

3.3 變體飛行器智能自適應控制

變體飛行器系統往往具有復雜的系統特性與多變的飛行環境，這也為變體飛行器的自適應性和自主性提出了更高的要求。自適應動態規劃(adaptive dynamic programming，ADP)是人工智能技術目前在控制領域應用較為廣泛的方法。該方法結合了強化學習的自適應特性與動態規劃的最優特性，具有優秀的自適應調節能力。利用自適應規劃設計變體飛行器飛行控制系統可以提高變體飛行器的自適應性與自主性，提高控制性能。

基于自適應動態規劃的變體飛行器飛行控制系統設計一般分為如下步驟：首先定義狀態向量為各子系統的誤差信號，設計效能函數和代價函數，代價函數應滿足貝爾曼方程。自適應動態規劃的目標是尋找控制輸入使得代價函數取最小值，由于很難獲得方程的精確解，所以可利用深度強化學習的執行評價機構，在自適應動態規劃中采用評價網絡與執行網絡2個神經網絡結構來求解，如圖3所示。評價網絡的輸出為代價函數的估計值，執行網絡根據代價函數的估計值計算控制策略。在自適應動態規劃中，評價網絡和執行網絡均由具有單隱層的感知器神經網絡組成，隱層的激活函數可選為常用的雙曲正切函數。

圖3 評價網絡(左)與執行網絡(右)示意圖

當系統的狀態向量偏離零點時，自適應動態規劃會產生補充控制輸入以減小狀態向量的幅值，使系統狀態可以更好地跟蹤期望值，提高控制性能。因此，加入基于自適應動態規劃的變體飛行器飛行控制系統補充控制之后，系統具有更好的變體飛行器高度跟蹤性能，并且能夠保證高度誤差收斂到0。

4 結束語

變體飛行器通過適應性的主動變形保證在不同飛行環境下的最優飛行性能，已成為各國關注與研究的焦點。由于變體飛行器在變形過程中會引起質量分布和氣動特性的明顯變化，變體飛行器的控制顯得十分困難。同時，多樣的飛行任務也對飛行器變形自主性提出了更高的要求。將人工智能方法引入變體飛行器中可實現飛行器的智能變形決策和智能自主控制，有效提高自主性與適應性。此外，文中提到的若干關鍵問題，值得進一步深入研究。