一種非線性凸優化的神經網絡算法

吳炎翰

摘 要： 在日常生活、工程應用和研宄數學中，優化問題普遍存在。對于優化問題的高效求解一直為學者探究，自1986年Hopfield 和Tank 提出優化問題可以利用神經網絡求解之后，人們廣泛關注并不斷研究這樣一種高效的優化求解方法[1][4]。

本文在凸優化理論，Lyapunov 穩定性理論的背景前提下，利用Karush-Kuhn-Tucker（KKT）條件轉換并構造了一個遞歸神經網絡模型，研究了如何利用神經網絡求解含等式與不等式約束條件的凸優化問題。

關鍵詞： 遞歸神經網絡；非線性凸優化；KKT條件

1 論述 凸優化問題和Karush-Kuhn-Tucker（KKT）條件

1.1 凸優化，由于其已經證明的性質——局部最優解即為全局最優解——以及拉格朗日對偶性[2]被廣泛用于線性回歸、插值擬合等問題。將無法求解或難以求解的優化問題（如Linear-Fractional規劃，整數規劃）轉化為凸優化問題是近年來學者和業界工程師廣泛研究并使用的解決手段。

接下來，我們看如下帶有等式和不等式（非線性）約束條件的凸優化問題：

其中，f（x）是可微凸函數， G（x）≤0 ， Hx=0分別是凸優化問題的等式約束條件和不等式約束條件，不失一般性地，令H是一個行滿秩矩陣（ rank（H）=m

1.2 Karush-Kuhn-Tucker（KKT）條件，是非線性優化問題下對Lagrange乘數法的推廣?？梢詫⒑仁郊s束優化問題擴展至含有不等式約束條件的問題。

那么，對于上述凸優化問題，其KKT條件為：定義拉格朗日函數L（x）=f（x）+g（x）Ta+h（x）Tb，若x是該優化問題的一個最優解，那么存在a∈Rm， b∈Rl， 使得下面的式子成立：

1）aTg（x）=0

2）L（a，b，x）對x求導為零

3）h（x）=0

2 針對上述凸優化，欲通過神經網絡求解，我們需要將其轉換為一個動力系統，通過對KKT條件的推導，我們構造了遞歸神經網絡模型：

其中y=[y+g（x）]+

易證該神經網絡動力系統是李雅普諾夫（Lyapunov）穩定的，且可以從任意初始點收斂于上述凸優化的最優解。

3. 我們使用以下的凸優化例子作為算法效用的驗證[3]：

通過基于matlab R2018a平臺的測試 ，發現在初始點隨機的情況下，該遞歸神經網絡模型收斂于最優解（0.982，1.672，0，0），并有相對較好的收斂效率。

4. 結束語

使用神經網絡來提效改善非線性凸優化問題的求解是本文的目標。本文利用了KKT條件，凸優化的優良性質，針對該類問題構造了遞歸神經網絡模型，并利用該神經網絡的穩定性確保了凸優化求解的收斂性。最后，通過數值模擬舉例證明了該優化求解算法的實用性。

參考文獻

[1]Simple 'neural' optimization networks： An A/D converter， signal decision circuit， and a linear programming circuit. IEEE Transactions On Circuits And Systems， Circuits And Systems， IEEE Transactions On， IEEE Trans. Circuits Syst [serial online]. 1986；（5）：533. Available from： IEEE Xplore Digital Library， Ipswich， MA. Accessed August 27， 2018.

[2]Boyd S， Vandenberghe L. Convex Optimization [e-book]. Cambridge ； New York ： Cambridge University Press， 2004.

[3]A dynamic system model for solving convex nonlinear optimization problems. COMMUNICATIONS IN NONLINEAR SCIENCE AND NUMERICAL SIMULATION. 17， 4， 1696-1705， ISSN： 10075704.

[4]Xia Y， Feng G. A new neural network for solving nonlinear projection equations. Neural Networks [serial online]. July 2007；20（5）：577-589. Available from： Academic Search Complete， Ipswich， MA.

[5]Hosseini A， Wang J， Hosseini S. A recurrent neural network for solving a class of generalized convex optimization problems. Neural Networks [serial online]. August 1， 2013；44：78-86. Available from： ScienceDirect， Ipswich， MA.