受強化學習思想啟發的一種結構優化算法

李 徐，張 帆

（上海工程技術大學 機械與汽車工程學院，上海 201620）

0 引 言

結構工程中的大多數設計優化問題都是高度非線性的，在復雜的約束條件下涉及許多不同的設計變量，這些約束可以寫成簡單的界限，如材料特性的范圍，也可以寫成非線性關系，包括最大應力、最大撓度、最小承載能力和幾何形狀，這種非線性經常導致多模態響應景觀，所以在結構優化問題中，尋求最優參數就變得更加困難。

強化學習的思想來自于條件反射理論和動物學習理論，是一種受到動物學習過程啟發而得到的仿生算法，是重要的機器學習方法，因為其具有良好的無監督學習能力，該算法主要被運用于機器人領域以及人工智能領域，在結構優化問題中幾乎沒有被提及，這是因為如果套用整個的強化學習算法模型，則無法運用在結構優化問題中，但是基于結構優化問題中的設計參數和界限函數與強化學習中的動作、狀態很相似，選擇某一組設計參數就會對應某一個確切的界限函數值，在強化學習中選擇某一動作后轉移到某一個狀態是一個概率事件，而結構優化問題中是確定性事件，也可認為轉移的概率為1，在強化學習中目標是要找到獎勵值最大的策略，而在結構優化問題中，只要找到可以使目標函數最優的設計參數就行，而設計參數的測試與選取也是靠某種策略得到，因此可以將強化學習的動作狀態轉移模型轉換到結構優化尋優中來，更詳細的說明在算法原理中有介紹。

布谷鳥搜索（Cuckoo Search，CS）是一種新的元啟發式搜索算法，這個算法是基于一些杜鵑物種的專性繁殖寄生行為，結合了一些鳥和果蠅，是由Yang等人開發的，初步研究表明，該算法的應用前景很廣，優于現有的遺傳算法和粒子群算法，因此在本案例中，用布谷鳥搜索（CS）算法去驗證所提出的優化算法，證明了該算法的可行性。本文的工作主要分為以下3個部分：

（1）算法原理中，介紹了該算法的原理，以及算法流程。

（2）案例驗證中，用純數學問題和工程案例去驗證該算法的可行性。

（3）結果與討論中，分析了實驗仿真的結果，同時說明了該算法的局限性。

1 算法原理

在算法中，采用神經網絡作為策略函數，因其具有極強的泛化能力、非線性映射能力，以及高度的非線性并行性，研究時常被用來作為一種學習器，并廣泛運用于圖像識別、分類應用中。在強化學習中也充分利用了其特性來作為策略函數，以解決具有連續動作和連續狀態的強化學習，例如Policy Gradient（PG）、Proximal Policy Optimization（PPO）、Deep Deterministic Policy Gradient（DDPG）等。基于此，在本次研究中，采用了神經網絡作為策略函數，單層的神經網絡模型如圖1所示。

圖1 單層神經網絡模型Fig.1 Single-layer neural network model

由圖1可知，圖1的輸出值為：

神經網絡的更新方式是通過反向傳播、梯度下降的原理去更新神經網絡的參數，其更新方式的數學原理如下。

設輸入樣本為：

期望輸出為：

隱藏層各神經元的輸入輸出如下：

求出期望值d k()與實際輸出值yo k()的誤差函數的偏導數δ k()，其公式如下。

輸出層可寫為：

隱藏層可寫為：

利用輸出層各神經元的δ k()和隱藏層各神經元的輸出來修正鏈接權值w k()。 研究中推得的數學公式可表示為：

利用隱藏層各神經元的δ k()和輸入層各神經元的輸入修正權連接。研究中推得的數學公式可表示為：

其中，是學習率。

通過式（17）就可以實現梯度下降，從而找到最優的目標函數值。

對于一個工程或機械結構優化問題，會涉及到設計參數，需要優化的目標函數（），以及會因為參數改變而引起其他性能變化的函數，在這里稱為界限函數（），一般會要求（）在某一范圍內。

雖然該算法啟發與強化學習，但是在尋優的過程中沒有正向意義上的獎勵值，而是用優化機會作為獎勵值，只要滿足某一狀態就可得到一次優化的機會，在強化學習中使用了基于神經網絡的強化學習算法，如PPO、DDPG算法。在訓練神經網絡時，是對一批數據輸入進行訓練，這是由強化學習的算法決定的，現實中均值是無法確定的，需要通過求平均值來近似均值，而在結構優化中，只是要找到滿足界限函數這一狀態下的最優目標參數這一動作值即可，因此用本文提出的算法只能一次輸入一個狀態值（界限函數）到神經網絡中，得到什么樣的權重參數不重要，重要的是得到的設計參數是否是最優。

在提出的算法中，運用了強化學習的狀態轉移和策略函數的思想，以及神經網絡的特性去優化目標函數，在有界限函數（）的情況下找到最優解的前提是其設計參數必須先滿足界限函數，因此首先要找到滿足界限函數的參數空間位置，然后在這個參數空間中尋找最優的目標參數。在該算法中，先隨機選擇一組滿足界限函數的初始狀態，用該狀態作為神經網絡的輸入，其輸出是該狀態下選擇的動作（設計參數），將該動作作為界限函數的自變量，計算出下一個狀態（），與強化學習中的狀態定義不同，這里將滿足界限函數值這一類作為一個狀態，不滿足作為另一個狀態，如果下一個狀態在界限函數范圍中，將該狀態作為新的神經網絡的輸入，通過反向傳播，梯度下降優化目標函數，如果超出了界限函數的范圍，就以上一次的狀態作為新的輸入，通過反向傳播、梯度下降的方式去更新動作輸出，直到輸出的動作值在界限函數值的范圍之內，重復以上過程，直到訓練結束，算法流程如圖2所示。

圖2 算法流程圖Fig.2 Algorithm flow chart

2 案例驗證

2.1 純數學問題驗證

為了驗證該算法可以找到最優解，考慮如下一個數學問題，有4個參數（，，，），∈[0，4]，∈[0，5]，∈[0，4]，∈[0，6]，有函數：

求在(，，，)≤9，(，，，)≤20的情況下函數（，，，）的最小值：

可以知道，在不考慮，的情況下可以取值6，取值2，取值4，而可以任意取值就可得到最優解；當考慮，的情況下，明顯不能取值6，取值2，取值2，取值4同樣可以得到最優解。通過所提出的算法求得其參數見表1，和預想的結果幾乎一樣，同時在相同運算時間內比使用CS算法得到的值更精確。

表1 實驗數據Tab.1 Experimental data

該數學問題的目標函數不是很復雜，滿足，的參數空間占比較大，且連續，可以看見收斂過程非常快（見圖3），值與，相對應的散點三維圖見圖4，很明顯在目標函數值下降的過程中，最小值對應的點越來越集中。

圖3 收斂過程Fig.3 Convergence process

圖4 散點圖Fig.4 Scatter plot

2.2 工程實例

最小化工字梁的垂直偏轉：使用一個包含4個變量的設計問題來測試該算法，此案例來自報告中的原始問題（已修改），目標是最小化工字梁的垂直偏轉（見圖5）。梁的相關參數：5 600 kN，550 kN。并且同時滿足給定載荷下的橫截面積和應力約束。當梁的長度（）和彈性模量（）分別為5 200 cm和523 104 kN/cm時，最小化垂直撓度（）48。 因此，該問題的目標函數可寫作如下形式：

圖5 梁結構Fig.5 Beam structure

以橫截面積小于300 cm為基準，有：

如果梁的容許彎曲應力為56 kN/cm，應力約束如下：

其中，設計參數空間滿足10≤≤80，10≤≤50，09≤t≤5，09≤t≤5。

目標函數最終是收斂的（見圖6），在近乎相同時間內該算法得到的最優值和相關參數與布谷鳥搜素算法得到的值見表2。為了排除該算法得到的最優值具有偶然性，運行得到了其他3組數據，仿真結果顯示目標函數收斂在同一值附近，如圖7所示。

表2 本文提出的算法與布谷鳥搜索算法得到的數據對比Tab.2 Comparison of the results between the proposed algorithm in this paper and the Cuckoo Search algorithm

圖6 收斂過程Fig.6 Convergence process

圖7 散點圖Fig.7 Scatter plot

3 結束語

實驗仿真結果表明，在利用該算法尋優過程中，其目標函數值會因要考慮界限函數的值，可能出現一個振蕩下降的過程（見圖8），起初會有一個搜索階段，這個階段是為了尋找滿足界限函數值的區域，當收斂到滿足要求的界限值位置時，目標函數值會以一個相對光滑的趨勢下降，直到收斂到最小值，呈現一條相對粗細一致的線條。從圖8中可以看到，其收斂過程存在一定的差異，但最后都收斂到了最優值，經過分析發現，其原因就在于神經網絡的初始化參數和初始化的狀態值不同，較好的初始化位置，會使其在尋優過程中收斂曲線更加地平穩光滑，甚至會影響其收斂速度，因此可以認為，不同的初始化狀態值和神經元參數對收斂過程具有一定的影響。

圖8 實驗仿真結果Fig.8 Experimental simulation results

另外，該算法具有一定的局限性，當滿足界限函數的參數空間在整個參數空間占比較小，且位置較分散的時候，很難收斂到最優值，有時甚至無法收斂到滿足界限函數的參數，這時需要不斷改變初始值去求解最優值，同時如果面臨參數空間中，有多個局部最優解的情況，此時初始化權值參數和初始化狀態值沒有選擇到合適值，就可能無法找到全局最優解。但是對于全局最優解單一，滿足界限函數的參數空間占比足夠大的結構優化問題，該算法則可以更高效地找到最優解。