基于深度學習的魯棒非線性模型預測控制方法

孫京誥，陳顯鋒，李郅辰

(華東理工大學 信息科學與工程學院，上海 200237)

0 引 言

多階段非線性模型預測控制[1](multi-stage nonlinear model predictive control，MSNMPC)是最近提出的一種有前景的方法，在假設不確定性可以由場景樹完美建模的情況下，MSNMPC為魯棒NMPC問題提供了最佳可能的解決方案，隨后Lucia等[2]給出了該方法的穩定性和遞歸可行性證明。MSNMPC方法雖然解決了模型的不確定性問題，但同時增加了大規模優化問題的實時求解難[3]。

為了避免在過程運行中實時求解優化問題，Karg等[4]在線性MPC的情況下，利用整流器線性單元作為激活函數的神經網絡精確地表示描述MPC反饋定律的分段仿射函數，獲得了不錯的近似效果。文獻[5,6]提出使用神經網絡逼近顯示MPC控制律。其中文獻[5]結果表明，給定大小的神經網絡可以精確地表示由線性定常系統MPC問題定義的分段仿射函數。在非線性系統的情況下，NMPC策略不是分段仿射，因此需要更強的學習能力。深度學習已經被證明在計算機科學領域取得了良好的結果[7]。最新的理論進展[8]表明深層神經網絡比淺層網絡具有更強的學習近似能力，從而對復雜函數具有更好的逼近能力。為了解決MSNMPC方法應用的復雜性及實時性問題，本文提出了一種基于深度學習的方法學習魯棒的NMPC策略，并將其應用于半間歇聚合反應器模型案例中。

1 魯棒的MSNMPC框架

在MSNMPC方法中，不確定性由離散場景樹建模，該樹在每個預測步驟中為不確定性的每個可能值進行分支，結構如圖1所示。場景樹的結構明確考慮了未來反饋信息的可用性，即未來的控制動作可以根據反饋的測量信息來調整。將不確定性決策問題公式化為場景樹是多階段隨機規劃領域中常用的方法[9]。若不確定性是離散值，MSNMPC方法為給定的預測范圍提供了最佳可能的解決方案，而對于不確定性是連續值的情況，它提供了一個近似方案。

在MSNMPC框架下，假設不確定的非線性動態系統的離散時間公式描述如下

(1)

構建場景樹的合理策略是將不確定性極值的所有可能組合視為分支。這樣雖然不能保證非線性情況下的約束滿足，但對復雜的非線性系統通常具有良好的性能[10]。非線性情況的嚴格保證可通過將其與可達性分析工具相結合來實現[11]。隨著預測時域和不確定性數量的增加，求解優化問題的規模會呈指數增加。如圖1所示，通常假設不確定性在特定的魯棒時域后保持不變，以縮小優化問題的規模[10]。

每個時間步k基于場景樹MSNMPC公式的優化問題可以表示為

(2)

(3)

(4)

(5)

其中，Xi,Ui是屬于出現概率為ωi的場景Si的狀態和控制輸入的集合。S表示場景的數目，對輸入和狀態的約束用g(·) 表示。每個場景的損失函數用Ji(·) 表示為

(6)

2 基于深度學習的魯棒NMPC方法

采用深度學習方法主要有兩個原因。首先是為了避免在線求解由魯棒的NMPC方法的優化公式產生的非線性規劃問題，因為該過程是復雜且耗時的。其次是用于學習魯棒NMPC控制策略的大量數據可以使用精確的求解器離線求解以獲取全局最優解，而不需要優化問題的實時解。一旦網絡訓練完成，我們就獲得控制器的解析表示，該網絡可部署于具有較小的內存占用空間和能夠簡單實現的微控制器中應用于工業過程控制系統中。

一個標準的深度神經網絡結構如圖2所示，它的函數表示形式為nx→nu

(7)

式中：網絡的輸入為x∈nx， 網絡輸出為u∈nu。 函數f和g的組合表示為g°f(·)=g(f(·))。M為每個隱藏層神經元的數量，表示網絡的寬度，L為隱藏層數目，表示網絡深度。當L≥2時，為深度神經網絡，當L=1時為淺層神經網絡，每個隱藏層由一個仿射函數組成

fl(ξl-1)=Wlξl-1+bl

(8)

式中：ξl-1∈M是上一層神經元的輸出。矩陣Wl和向量bl被稱為l層的權重和偏置，它們的值是通過用已知的輸入輸出數據對訓練神經網絡來確定的。非線性激活函數gl采用整流線性單元ReLU，計算當前層l的零點到仿射函數之間的元素上的最大值

gl(fl)=max(0,fl)

(9)

參數θ={θ1,…,θL+1} 為各層仿射函數的所有權值和偏置

θl={Wl,bl} ?l=1,…,L+1

(10)

其中，權值表示為

(11)

偏置表示為

(12)

圖2 深度神經網絡結構

隱藏層中的神經元總數可以表示為ntot=L·M， 這是對控制器復雜度的衡量。如果考慮所有的隱藏層都完全相連并且有相同數量的神經元的密集規則網絡，為了完整描述一個神經網絡需要存儲權值的數量為nw， 可以通過輸入的數量nx， 輸出的數量nu， 隱藏層的數量L以及每個隱藏層包含的神經元數量M等參數計算獲取。神經網絡的總權值數量可以由下式給出

(13)

需要訓練的權值的數量nw決定了近似的控制器模型內存占用，這是控制器部署中的一個關鍵考慮方面。魯棒的NMPC算法實現需要使用大規模的NLP求解器，由于內存占用很大，通常不適用于微控制器或嵌入式應用部署中。

訓練一個預定義的深度為L和寬度為M的深度網絡，包括獲取最優參數θl={Wl,bl}， 最小化給定的損失函數。本文選擇最優輸入u*(x) 和網絡輸出y(x) 之間的均方誤差(mean square error，MSE)作為損失函數，該最優輸入u*(x0) 作為初始狀態x0的參數，由MSNMPC優化公式求解得到。所解決的訓練優化問題為

(14)

式中：N為訓練中考慮的數據對總數。

3 半間歇聚合反應模型

本文以BASF SE公司提供的實際工業半間歇聚合反應器模型為研究對象。如圖3所示，該系統主要由反應器，夾套和外部熱交換器(external heat exchanger，EHE)組成，夾套和EHE可用于控制反應器中的溫度。

圖3 半間歇聚合反應工藝

根據物料和能量守恒，機理模型主要由8個常微分方程組成

(15)

(16)

(17)

(18)

(19)

(20)

(21)

(22)

該系統包含10個狀態變量x和3個控制變量u， 分別表示為

(23)

(24)

4 仿真分析

4.1 控制器的訓練

在針對上節中的半間歇聚合反應模型進行仿真時，通常考慮的經濟型成本函數表示為

(25)

式中：r1、r2、r3為調節參數，分別為0.002、0.04、0.002。對于標準NMPC方法通常只有一個場景，而對于MSNMPC方法則有S個場景，設置每個場景的權重ωi為1/S。

標準NMPC及MSNMPC方法用于生成網絡訓練所需的數據對，其中深度神經網絡的輸入是系統的當前狀態x， 輸出是計算的魯棒最優控制輸入u。 MSNMPC方法中考慮的不確定性參數為反應熱焓ΔHR和反應速率k0， 不確定性變化范圍為±30%。兩種方法考慮的預測時域為Np=15， 采樣時間tstep=50 s。 MSNMPC方法中考慮的魯棒時域為Nr=1， 可知場景樹中場景數目S=9。 為了生成用于網絡訓練的豐富數據對，每種方法均考慮多個不同的批次，它們分別從不同的初始條件開始。溫度狀態的初始條件變化范圍為±1 ℃，質量狀態的初始條件變化范圍為±10%，所有初始條件遵循均勻分布。使用文獻[13]中基于python的do-mpc模塊化程序求解標準NMPC問題及MSNMPC問題，該方法使用工具包CasADi[14]中的IPOPT求解器來解決由此產生的非線性規劃問題。

標準NMPC有50個不同批次數據總共包含5791個數據對；MSNMPC方法有200個批次數據總共包含27 026個數據對。它們分別將80%的數據用于網絡的訓練，20%的數據用于測試網絡的準確性。深度神經網絡是通過Tensorflow[15]的Keras[16]工具包搭建的，使用的優化器為ADAM[17]，它是隨機梯度下降的改進方法。對不同網絡結構進行訓練，直到觀察到均方誤差沒有進一步改善(1000個時期)。網絡結構的選擇對近似質量具有一定的影響，其中網絡結構的參數包含網絡的深度L以及每個隱藏層包含的神經元個數M。 考慮的淺層網絡結構為L=1,M=100， 深層網絡結構為L=10,M=10。

4.2 標準NMPC的學習效果分析

圖4 標準NMPC的50個不同批次仿真

圖5 深淺網絡NMPC和標準NMPC仿真比較

4.3 標準MSNMPC的學習效果分析

針對不同網絡結構對MSNMPC方法的100個不同批次的數據進行網絡訓練，其網絡訓練的MSE結果見表1，可以看出，淺層網絡獲得的MSE比用深層網絡獲得的MSE更高(無論是訓練MSE還是測試MSE)。此外，使用深層網絡可以減少網絡權重的數量，從而減少了近似控制器在實際過程中部署的存儲空間。

在相同不確定性值及初始條件下，MSNMPC控制器，淺層網絡MSNMPC和深層網絡MSNMPC控制器的仿真結果如圖6所示。可以看出基于深層網絡MSNMPC控制器輸出幾乎等同于標準MSNMPC控制器每次求解優化問題的輸出，而基于淺層網絡MSNMPC控制器輸出波動較大。

表1 不同網絡結構的訓練和測試性能

圖6 深淺網絡MSNMPC和標準MSNMPC仿真比較

圖7顯示了提出的基于深度學習的魯棒MSNMPC控制器獲得的不同初始條件和不同不確定參數值的50個批次過程仿真。初始條件按照獲取訓練數據時的均勻分布方案生成，但與訓練數據不同。不確定參數在它們的標稱值周圍±30%遵循不規則分布，但在每一個批次過程中保持不變。可以看出，幾乎所有場景均能在滿足約束條件的前提下完成批次反應過程，獲得不錯的性能。所有50個批次的定量性能比較見表2。可以看出，基于深度學習的MSNMPC控制器和標準MSNMPC控制器的平均批次時間幾乎相同，同時具有非常小的約束違反。

4.4 基于深層網絡的MSNMPC控制器的魯棒性

由數據可以看出基于深層網絡的MSNMPC控制器具有非常小的誤差，并且在與訓練相同的條件下性能評估顯示出非常好的結果。我們通常也認為通過使用神經網絡來學習的魯棒NMPC控制器，它如果在與訓練期間條件不同的情況下使用，可能會導致災難性的誤差。為了評估標準MSNMPC控制器和基于深度學習的MSNMPC控制器針對

圖7 深層網絡MSNMPC的50個不同批次仿真

表2 深淺網絡MSNMPC和標準MSNMPC的性能比較

超出范圍條件的情況下的魯棒性，我們考慮具有更大范圍不確定性和初始條件下的50個不同的批次過程，其中不確定參數變化范圍為±40%，而考慮的場景僅假設±30%。溫度初始狀態在±2 ℃(訓練數據為±1 ℃)，質量初始狀態在±20%(訓練數據為±10%)內服從均勻分布隨機變化，包括訓練數據中未包含的情況。

圖8顯示了標準MSNMPC控制器的仿真結果，可以看出存在一些場景違反約束，這主要是因為真實的不確定性大于場景樹中考慮的不確定性。圖9顯示相同50個批次的所提出的基于深度學習MSNMPC控制器的性能。雖然也有小的約束違反，但控制器性能不會存在災難性地降低，它能夠在較大的不確定性范圍和與訓練不同的初始條件下，具有一定的約束能力和魯棒性。如表3所示，兩種控制器無論是平均批次時間，還是約束滿足，它們的性能都是非常接近的。表2中的對比結果也說明了深度學習MSNMPC控制器性能不會比標準MSNMPC的性能降級很多。

5 結束語

為了解決魯棒NMPC方法因其較大的計算復雜度而無法應用在具有實時控制要求過程中的這一缺點，本文提出一種基于深度學習的魯棒NMPC方法。通過離線求解標準NMPC方法和MSNMPC方法的優化問題來生成訓練數據，利用這些數據對，基于深度神經網絡學習魯棒NMPC策略。

圖8 標準MSNMPC 50個不同批次魯棒性仿真

圖9 深層網絡MSNMPC 50個不同批次魯棒性仿真

表3 深層網絡MSNMPC和標準MSNMPC 魯棒性性能比較

以半間歇聚合反應模型為研究案例的實驗結果表明，本文基于深度神經網絡的近似方法在魯棒NMPC控制策略的逼近上具有良好的效果，并且基于深度學習的魯棒控制器的性能與標準控制器相當，這說明了該方法的有效性和可行性。此外，由于近似控制器的顯示表達式為矩陣乘法和加法，這意味著控制器可以輕松部署在低成本微控制器上，這也是未來的實踐研究方向。