神經網絡優化算法與《最優化方法》課程教學融合研究

孫杰寶 楊暢 吳勃英

摘?要：近年來，人工智能在學術界和工業界都取得了極大的成功，這正是由于深度神經網絡在最近十年內的飛速發展。神經網絡模型的目標就是最優化，對一個復雜的問題中作出最優決策。幾乎所有的神經網絡模型都可以建模為一個優化問題。本文就求解神經網絡模型過程中涉及的優化算法進行總結，并對《最優化方法》課程教學內容進行了探索。通過將神經網絡模型及其優化算法與《最優化方法》課程教學融合，使學生熟悉并掌握其原理和優化求解方法，具備更強的核心競爭力。

關鍵詞：人工智能;最優化方法;神經網絡

中圖分類號：G420?文獻標識碼：C

Abstract：In recent years，artificial intelligence has achieved great success in academia and industry.This is due to the rapid development of deep neural network in recent ten years.The goal of neural network model is optimization，that is making optimal decision in a complex problem.Almost all neural network models can be modeled as an optimization problem.In this paper，we summary the optimization algorithms involved in the process of solving neural network models，and explore the teaching content of optimization method.Through the integration of neural network model and its optimization algorithm with the teaching of optimization method，students can master its principle and optimization method，and have stronger core competitiveness.

Keywords：Artificial Intelligence;Optimization method;Neural network

一、概述

隨著人工智能的不斷發展和在社會各個領域應用的不斷深入，人們逐漸切實領略到其改變人類生活方式的潛力。實際中，存在很多對人類來說較為容易，但卻難以通過數學公式表達的問題，如語音識別、人臉識別。人往往能夠通過經驗輕松地處理這些問題。由于深度神經網絡能夠從大量的樣本中提取內在的語義特征、學習經驗并做出決策，其在處理這類的任務方面有著出色的表現。神經網絡模型是目前人工智能中表現最為優秀的算法之一。

優化算法需要大量的數值計算，通常情況下是指通過迭代過程更新解的估計值來解決數學問題的算法。最優化方法[1]在這個訓練學習的過程中起著重要的作用，是求解模型的關鍵。作為人工智能實現模塊的核心工具之一，學習并掌握一定的優化算法的重要性也日趨顯著。教育的變革不應當僅僅局限于教學方法探索方面，更應該緊跟國家發展的戰略與方向，與時俱進提出新的教學理念，緊跟科學發展更新教學內容，從而精準地定位培養目標。社會發展是課程改革和教育發展的原動力。對當代教育來說更應該培養學生在掌握專業知識的同時，具備將所學知識應用到我國發展中所面臨的實際問題的能力。因此，最優化方法的課程內容如何與當前社會實際應用相匹配、如何體現本課程特色、如何滿足當前社會與行業的人才需求等問題一直是教學工作中需要關注和思考的問題。

二、課程教學改革的必要性

在21世紀，在物聯網技術高速發展的同時，如何培養同時具備理論分析和實踐應用的創新性人才是極為重要的。這也是最優化方法課程改革不可避免要面對的問題。

隨著互聯網與計算機硬件的不斷發展，近20年來，各行各業都積累了大量的數據。人類對數據的采集、存儲、傳輸及處理能力飛速提升。因此，亟須有效的數據分析算法來合理利用這些數據。機器學習[2]恰巧滿足了處理海量數據的迫切需求。實際上，科學研究的模式方法由傳統的“理論+實踐”到如今的“理論+實驗+計算”，以至近年來流行的“數據科學”，機器學習扮演著越來越重要的角色。數據科學的核心是通過對數據進行分析從而獲取有價值的信息，數據分析是以“計算”為依托的。現如今，在多媒體、圖形學以及網絡通信、軟件工程，甚至芯片設計、體系結構等計算機學科的分支領域中，機器學習的身影無處不在。此外，機器學習已經成為推動計算機視覺、自然語言處理等計算機應用技術領域向前發展最重要的動力源泉。

人工智能的目標就是最優化，在一個復雜的環境中做出最優決策，幾乎所有的人工智能問題都可以建模為一個優化問題。最優化理論可以判定人工智能目標函數的最大值、最小值是否存在，并且可以尋找到滿足最優目標的數值。機器學習算法在人工智能領域中扮演著至關重要的角色，是人工智能中的核心技術，將其引入最優化課程中，在拓寬學生知識面的同時還能夠讓學生掌握最先進的科學技術，從而提高學生在就業中的競爭力。在本科生、研究生教學中，引導學生思考、探索最前沿的科學問題是一項重要的任務。數值優化算法是機器學習求解的基本策略，所以將其相融合是一個很自然的想法。這恰恰為學生創新能力的培養提供了素材。鑒于此，將人工智能中的神經網絡模型引入《最優化方法》課程是非常有必要的。

如何將最優化方法中被廣泛應用的一些工具性算法與其嚴謹又抽象的數學理論相結合，是廣大數學教育工作者堅持不懈的目標。這種結合一方面可以使得學生接受嚴格數學理論的熏陶，培養嚴謹的數學思維，同時又能夠熟練掌握相應的計算方法，為后續課程的學習與科學研究奠定基礎[4-6]。當前的最優化方法課程教學內容主要包括傳統的凸優化算法的基本概念、基本理論、基本方法和基本算法，其重點是理論基礎和基本技術，尚未包含人工智能的相關內容。因此，有必要從求解神經網絡模型的角度對最優化方法課程教學內容進行更新探索。

三、神經網絡中的優化教學內容探索

神經網絡模型是目前最具代表性的人工智能算法。人工智能的目標就是最優化：在復雜環境與多體交互中做出最優決策。幾乎所有的人工智能問題最后都會歸結為一個優化問題的求解，因而最優化理論與方法是人工智能必備的基礎知識。深度學習[3]優化算法與純優化算法最大的區別在于目標不同。純優化是找到優化問題的最優解，比如能量最小點，但是深度學習其實只是借用了純優化的手段，最終的目的是讓模型的泛化誤差最小。深度學習優化算法有很多，例如：SGD（隨機梯度下降法）、動量方法、Adagrad自適應學習率調整方法、Adam、Nadam等。下面首先介紹神經網絡模型，再介紹求解神經網絡模型過程中經常使用的優化算法：梯度下降法。

（一）神經網絡[2]

神經網絡模型：假設有訓練樣本集xi，yi：

這里的藍色圓圈表示輸入，“+1”代表偏置節點，即截距。上圖中最左邊一列為輸入層，最右邊一列為輸出層（本文上例中輸出層為單一節點）。中間的部分稱為隱藏層，這是由于中間的隱藏層是通過輸入層與損失函數數據計算得來的，其具體的值并不能直接觀察得到。

（二）反向傳播與梯度下降法[2]

這部分，本文介紹如何通過反向傳播與梯度下降法求解神經網絡的參數（W，b）。首先，設樣本集為：

其為m個樣例構成的集合，x為神經網絡的輸入，y為期望的輸出值。對于單個（x，y），本文研究的損失函數為：

對于包含m個樣例的數據集，整體的損失函數為：

為了防止過擬合，增加上式中的正則化項（第二項）來降低權重的值。

針對上述損失函數，梯度下降法為按照下列公式更新參數W和b：

通過梯度下降法迭代過程，減小代價函數J（W，b），得到最優的參數W和b。

結論

“人工智能”不僅是一項科學技術，更是一種可以認識當下萬事萬物的思維方式。本文基于應用這樣的認知邏輯到實際問題中，從教育的角度出發，將人工智能中的神經網絡算法求解融入最優化方法課程內容當中。希望把握國家發展戰略與教育變革發展方向，探索實現教育變革的路徑，使得學校教育緊跟時代發展的步調與方向。此外，當前機器學習取得的一系列優秀成果使得其被廣泛應用到各行各業，機器已經開始取代一些器械重復性的工作。在此趨勢之下，學生對于神經網絡原理與最優化方法的學習與掌握將極大地提高其在就業市場的核心競爭力。

《最優化方法》改革建議：在向同學們講解一般的優化方法的同時，也介紹一些神經網絡優化中出現的問題及一般的解決辦法。同時將神經網絡優化中的實際問題提煉出來交給學生去做，讓學生通過查閱文獻、交流討論、編程實現來解決實際問題并對其中的問題做相應的理論分析。這不僅能夠使得教學內容與時俱進，提高學生對最優化方法的理解，同時也能鍛煉學生查閱資料、合作與動手能力。

參考文獻：

[1]袁亞湘，孫文瑜.最優化理論與方法[M].科學出版社，1997.

[2]周志華.機器學習[M].清華大學出版社，2016.

[3]伊恩·古德費洛，約書亞·本吉奧，亞倫·庫維爾.深度學習[M].人民郵電出版社，2017.

[4]王永建，楊建華，郭廣濤，王治東.面向最優化問題的人工智能搜索算法研究[J].通信技術，2016，49（11）：1459-1465.

[5]孫杰寶，吳勃英，張達治.《最優化方法》課程教學法研究與實踐[J].大學數學，2016，33（3）：120-124.

[6]李明奇，杜鴻飛.最優化建模實驗中的可視化設計[J].大學數學，2014，30（4）：19-23.

基金項目：黑龍江省高等教育教學改革研究項目“人工智能驅動下的《最優化方法》課程教學改革”（SJGY2019 0224）;中國高等教育學會理科教育專業委員會高等理科教育研究課題“新時代下數學學科拔尖人才培養模式研究與實踐”（20ZSLKJYZD12）;哈爾濱工業大學研究生教育教學改革研究重點項目“數學學科杰出人才培養模式探索與實踐”

作者簡介：孫杰寶（1977—?），男，黑龍江雙鴨山人，博士，哈爾濱工業大學教授，從事計算數學研究;楊暢（1983—?），男，湖北武漢人，博士，哈爾濱工業大學副教授，從事計算數學研究;吳勃英（1961—?），女，黑龍江哈爾濱人，博士，哈爾濱工業大學教授，從事計算數學研究。