基于深度學習的典型神經網絡對比分析

苑方

摘 要：深度學習作為計算機領域快速研究與發展的重要方向，近年來受到了人們的廣泛關注，且在諸多方面已經取得了一些進展。本文為進一步了解深度學習，首先闡述了深度學習的基本概念與深度學習方法，接著對幾種典型深度學習神經網絡具體內容進行了分析，主要包括對前饋深度學習網絡、反饋深度學習網絡與雙向深度學習網絡的基本結構與功能等方面進行闡述與對比分析，相信通過深度學習神經網絡的進一步發展完善，將會為人工智能技術發展帶來新機。

關鍵詞：深度學習；神經網絡；前饋深度學習網絡；反饋深度學習網絡；雙向深度學習網絡

中圖分類號：TN91 文獻標識碼：A 文章編號：1671-2064（2018）19-0009-02

1 引言

隨著科技的迅猛發展，深度學習是人工智能研究中的一個新的研究方向。它的目的是用機器模擬大腦進行圖形等相關數據分析，從而使計算機和人類一樣具有學習能力。這其中有幾種典型神經網絡是人工智能技術研究的重要基礎，比如：前饋深度網絡、反饋深度網絡、雙向深度網絡等神經自學習網絡?；谏疃葘W習的神經網絡通常都是以實現優化計算、模式識別、數據聚類等智能算法來實現模擬人腦的工作過程，因此其主要廣泛應用于智能機器人、統計數據分析相關領域。

正是由于基于神經網絡的深度學習已經得到了一定應用，且具有廣泛的前景，本文針對深度學習的基本模型，對比分析了幾種典型的神經自學習網絡，并從其結構、功能、效率等角度進行了深入研究，以此深入了解人工智能技術。

2 深度學習概況

作為機器學習的一個重要分支，深度學習主要克服在對象特征的選擇與提取所遇到的困難，而發展起來的一種自動特征提取的無監督學習機制。

所謂深度學習是相對于之前傳統的淺層學習的一個新方法，其概念在G.E.Hinton教授的有關深度自信網絡的快速算法中提出。主要通過自主學習對象特征，并且幫助人類進行特征選取工作的一種方法，它是通過構建大量訓練數據從而提升分類、預測的準確性。它的思想來源于對人工神經網絡的研究與應用，所以在結構上比較類似，但它與傳統的神經網絡之間又具有本質的區別。相同點是二者均采用了相似的分層結構，且對應的各種網絡結構很接近人腦的神經元網絡結構。而不同點在于，傳統的神經網絡采用的是BP（Back Propagation）的方式，而深度學習神經網絡采用的是分層的訓練模型與訓練機制。

其分層訓練模型主要體現在其采用的各種神經網絡一般均采用了輸入層、隱藏層與輸出層，其中隱藏層可能是多層結構，在訓練模型中只有相鄰層節點之間具有信息傳遞，同一層內的節點之間、非相鄰層的節點之間沒有信息傳遞，每一層可以看成一個獨立的數據邏輯處理模型。對應的分層訓練機制是通過對這種多層神經網絡進行大規模數據訓練，對對象原始信息進行依次逐層的特征分析與變換，并自動地學習獲取各層特征，通過對特征信息的描述，進而實現對對象的識別學習。

3 典型深度神經網絡及其對比

深度學習神經網絡是現今人工智能技術的主要研究對象，其結構內部類似神經元之間的連接方式是受到動物視覺皮層組織的啟發。深度學習所使用的深度網絡中含有大量的類似神經元的節點，它們之間相互連接，且由多個單層非線性網絡疊加形成，其強度在學習過程中得到不斷修改，以此決定學習網絡的功能，此深度網絡的結構符合神經網絡的特征，所以稱之為深度神經網絡（Deep Neural Network：DNN）。通常神經網絡的編碼情況可以劃分為三類：只含編碼器、只含解碼器、同時含有編碼解碼器，按照神經網絡數據編碼方式的不同，深度神經網絡可以分為：前饋深度學習網絡（Feed Forward Deep Network：FFDN），反饋深度學習網絡（Feed Back Deep Network：FBDN）和雙向深度學習網絡（Bi-Directional Deep Network：BDDN）。

3.1 前饋深度學習網絡

所謂前饋深度學習網絡是指在神經網絡中只有編碼器，是一種前向網絡結構，網絡信息只能沿輸入端到輸出端進行傳輸。前饋學習網絡分為兩類：單層前饋神經網絡和多層前饋神經網絡。其中單層前饋神經網絡是最簡單的一種人工神經網絡，只含一個輸出層。多層前饋神經網絡有一個輸入層、中間有若干個隱含層、一個輸出層。

其特點結構簡單，應用廣泛，能夠以精確精度逼近任意連續函數以及平方可積函數。從系統來看，前饋網絡屬于靜態非線性映射，擁有復雜的非線性處理能力，但從計算來看，缺乏動力學行為。前饋網絡中大多都是學習網絡，它的分類、模式識別能力均強于反饋網絡。

另外，還有幾種前饋神經網絡，如：感知器網絡——用于模式分類，BP網絡（Back Propagation）——可實現從輸入到輸出的非線性映射，RBF網絡（Radial Basis Function，徑向基函數）——由線性神經元組成的輸出層。

3.2 反饋深度學習網絡

所謂反饋深度學習網絡是指在神經網絡中只有解碼器，這恰好與前饋神經網絡不同，反饋網絡是對輸入信號進行解碼，通過對反卷積的解或數據集的基進行求解實現神經網絡的反饋學習。反饋深度學習網絡按照反饋程度分為兩大類：全反饋網絡和部分反饋網絡。在全反饋網絡中，1982年發明的Hopfield網絡是其中最簡單、應用最廣的模型。它具有單層且對稱的結構，每一個神經元是輸入也是輸出，將自己的信息傳遞給其他神經元的同時也接受其他神經元傳送過來的信息。它有兩種工作的方式：離散型——處理聯想記憶方面問題；連續性霍普菲爾德神經網絡——解決TSP問題。另外由于這種神經網絡是全鏈接，而其結構中缺少隱含層，所以在面對一些非線性系統中，會對其應用產生影響。

為了簡化結構繁雜的全反饋網絡，往往用部分反饋網絡。其中有幾個典型的例子：Elman網絡、Jordan網絡。Elman網絡的結構由輸入層、隱含層、輸出層組成，另外還有一種特殊的隱含層——關聯層，他接收從隱含層傳來的反饋信號，用來記憶隱含層中神經元在上一時段的輸出值，然后關聯層神經元的輸出經過存儲后再次輸入至隱含層，這樣以達到加強自身處理信息的能力。Jordan網絡不同于Elman網絡，它是將輸出層的輸出信息再反饋至輸入層。

從上面幾種反饋神經網絡可以看出，反饋神經網絡是通過增加隱含層或將輸出層的信息返回輸入層的方式來增加自身網絡的動態性能，但同時也增加了網絡的復雜度。

3.3 雙向深度學習網絡

所謂雙向深度學習網絡是指在神經網絡中既有編碼器又有解碼器，這時單層可能有三種數據處理方式，即只有編碼過程、只有解碼過程、同時具有編碼與解碼過程，可見是結合了前饋網絡與反饋網絡的功能，網絡功能相對更加豐富，但網絡結構也更加復雜。在雙向深度學習網絡中有幾個典型的網絡，如：波爾茲曼機雙向深度學習網絡、深度信念雙向深度學習網絡與帶棧式自編碼器雙向深度學習網絡。

波爾茲曼機雙向深度學習網絡（BM），由Hinton等人在1983至1986年間提出并不斷完善，是一種隨機遞歸神經網絡，并可分為限制波爾茲曼機雙向深度學習網絡與深度波爾茲曼機雙向深度學習網絡。限制波爾茲曼機（RBM）在原有波爾茲曼機的基礎上使隱含層減少一點，這樣提高其自身效率。而多個限制波爾茲曼機疊加，并將一層的輸出用作下面一層的輸入，這樣就形成了深度波爾茲曼機，其每層間的節點都是雙向的。

深度信念雙向深度學習網絡（DBN），是由多個RBM疊加得到的，前一層的輸出為下一層的輸入。在訓練過程中，需要充分地逐層訓練到最后一層，這樣的方式解決了之前多層網絡訓練時出現的問題，以達到更好的效果。

帶棧式自編碼器雙向深度學習網絡也具有相類似的結構，是一個由多層稀疏自編碼器組成，前一層的自編碼器輸出直接作為后一層自編碼器的輸入，而對應的解碼過程是從后向前進行的，與編碼過程恰好相反，如果結合反向傳播算法實現對訓練參數的微調會得到局部最優的結果。

4 結語

由淺層學習發展而來的深度學習已經給生活帶來了一些巨大的改變，越來越多的人也都正在或將要聚焦深度學習領域，雖然深度學習還剛剛處于發展初期，但自從深度學習概念的提出到如今一些理論的形成與成果的應用給機器學習及其人工智能技術產生了深遠影響。但深度學習領域還有大量的工作要做，如如何縮小網絡規模、縮短訓練時間、提高網絡工作效率等問題，以及借助深度學習網絡優化傳統算法的性能等。

參考文獻

[1]尹寶才，王文通，王立春.深度學習研究綜述[J].北京工業大學學報，2015，41（1）：48-60.

[2]李海峰，李純果.深度學習結構和算法比較分析[J].河北大學學報（自然科學版），2012，32（5）：538-544.

[3]毛勇華，桂小林，李前，賀興時.深度學習應用技術研究[J].計算機應用研究，2016，33（11）：3201-3215.

[4]孫志軍，薛磊，許陽明，王正.深度學習研究綜述[J].計算機應用研究，2012，29（8）：2806-2810.

[5]吳曉紅.反饋神經網絡的一種反向傳播算法[J].系統工程與電子技術，1999，21（9）：65-68.

[6]周飛燕，金林鵬，董軍.卷積神經網絡研究綜述[J].計算機學報，2017，40（6）：1229-1250.