機器學習的數學理論及其算法研究——評《機器學習的數學理論》

書名：機器學習的數學理論

作者：史斌，［美］S.S.艾揚格（S.S.Iyengar)

出版社：機械工業出版社

ISBN：978-7-1116-6136-8

出版時間：2020年8 月

定價：60 元

人工智能和統計學的發展衍生出了關于數據分析的機器學習。這門新興學科是數據分析領域的研究人員重點探究的方向。有科學家將機器學習定義為，計算機通過儲存的數據經驗不斷提高其自身性能的行為。機器學習是指計算機通過固有的規律性信息獲得新的經驗和知識，從而提升計算機的智能，達到像人類一樣作出決策的目的。隨著計算機科學的發展，機器學習的探究和應用取得了很大成就，研究機器學習的數學理論和算法對計算機的發展有重要作用。由史斌和艾揚格編著、機械工業出版社出版的《機器學習的數學理論》一書，詳細介紹了機器學習的數學理論，討論了機器學習的優化理論，為提高計算機研究人員對于機器的認知、實現機器的自動化具有重要指導價值。

《機器學習的數學理論》全書共分為十一章。第一章圍繞神經網絡、深度學習、梯度下降法的基本知識進行了概括介紹。第二章主要介紹機器學習與計算統計學的相關基礎知識。第三章針對機器學習所需的優化理論的相關內容從專業角度進行了多維度介紹。第四章從梯度加速下降法和在線時變黏性網算法等方面對CoCoSSC 方法進行了全面解讀。第五章針對關鍵術語的基本知識進行了概括介紹。第六章介紹了關于非凸規劃幾何的相關研究。第七章分析了收斂到最小值的梯度下降法，并介紹了最優和自適應的步長規則。第八章解讀了基于優化的守恒定律方法。第九章分析了CoCoSSC 算法的主要結果，同時提出了算法改進策略。第十章分析了多元時間序列中穩定和分組因果關系。第十一章是后記。

筆者在開展基于海南省高等學校教育教學改革研究項目（Hnjg2021-145）研究成果認為，機器學習的深度學習與人類大腦的學習過程最接近，機器的深度學習借鑒了人腦的多分層結構和信息分析處理機制，擁有學習和適應處理信息的能力。雖然目前機器學習的應用范圍較廣并在商業上取得了成功，但機器學習還處于起步階段，機器深度學習在構造、功能、運行機制和處理問題的能力方面都與人腦有巨大差異。

基于該書指導，機器學習主要過程是：機器首先在確定的網絡結構和相應的數學模型上，選擇可接收的學習和輔導方法，然后輸入數據的數據構造進行進一步了解，同時不斷調整內部模式，最后利用數學工具解決網絡參數問題，以提高機器的泛化能力并阻止過度擬合。機器學習算法的過程是指用數理統計方法分析問題并采用最優化步驟解決問題，通常采用的算法有卷積神經網絡深度學習算法和經典的BP 算法。

卷積神經網絡是一種多層前饋神經網，其神經網絡是卷積結構，這種網絡結構與全連前饋神經網絡大不相同，具有參數共享和本地連接的重要特性，這種特性使連接數、權重、和網絡模型的復雜度都大幅度降低，同時提升了計算效率。另外，通過子采樣自動提取具有平移不變性的局部特點。該書指出，卷積神經網絡模型由輸入層、隱藏層和輸出層構成。多個獨立的神經元構成一個平面，多個平面構成每層網絡，隱藏層包含多對卷積層和下采樣層，輸出層通過前饋網絡全連的方法相互連接。卷積層的神經元根據視覺局部感受野原理只與前一層網絡對應位置的感受野相連，這種連接方式降低了網絡參數。卷積神經網絡要求當前層的卷積核等于在不同位置連接的前一層的權值，這樣不僅簡化了網絡參數、實現了網絡權值共享，而且提高了網絡學習的魯棒性視覺特征提取效果。

BP 算法屬于有監督學習算法，該算法神經網絡計算模型中的淺層前向區由輸出層、隱藏層和輸入層組成，各層互相連接的網絡節點處的神經元通過激勵函數處作為連接強度信號的網絡權重，神經元通過調整強度信號將包含的模式信息的輸入數據傳遞到輸出圖層。結合該書，BP 算法的學習過程分為傳播和糾錯兩個階段。第一階段是向前傳播，通過網絡學習提取訓練信息并傳遞給輸出層。第二階段是糾錯，將誤差向后傳播，基于最優化理論算出與期望值比較后的殘差，將殘差向后傳遞改變輸入的連接強度，調整輸出值，減小殘差，網絡的權值是最終的學習結果。因此，BP 算法的本質是通過第二階段將殘差不斷傳遞給輸入層的神經元，調整輸入層神經元的連接強度進行連續校正，使每個單元的重量和偏移量逐漸減小最終滿足應用要求。