人工神經網絡初探

杜秉航

摘 要 本文重點總結了人工神經網絡的發展歷程，并闡述了它的仿生學原理、BP算法步驟及其改進，最后分析了人工神經網絡在具體領域的應用并展望了它的前景。

關鍵詞 人工神經網絡；發展；應用；BP算法

中圖分類號 TP3 文獻標識碼 A 文章編號 1674-6708（2018）203-0066-03

1 人工神經網絡發展背景分析

人工神經網絡是一門人工智能領域的新興信息系統，運用了模仿人腦結構的仿生學原理，它得天獨厚的非線性信息的處理、整合的強大功能，使之在信息、醫學、經濟、交通、控制、心理學等領域具有極其廣闊的發展前景。它的發展可概括為四個歷史時期：起步時期、低迷時期、恢復時期、新發展時期。

1.1 啟蒙時期：20世紀40年代—20世紀60年代

人工神經網絡發展的奠基時期。

1943年，開創了人工神經網絡研究的是一個神經元模型（M-P模型）。

1952年，英國生物學家 Hodgkin和Huxley建立著名的H-H方程。這一方程廣泛用于描述神經膜中的非線性現象，有重大歷史意義。

1960年，Widrow和Hoff提出激起許多學者興趣Adaline網絡模型，可用于自適應系統。上述成果足以表明初期人工神經網絡所取得的奠基性成就。

1.2 低谷時期

正當人們受到極大的鼓舞努力追求神經網絡那美好的目標但卻忽視其本身的局限性時，人工智能的創始人之一Minskyh和Papert經過多年的深入研究，于1969年在《Percep2trons》一書中，明確指出當前的網絡只能應用于簡單的線性問題而不能有效地應用于多層網絡的巨大局限。由此，美蘇的科研機構紛紛撤資，從而形成了長達10年的發展低谷。可喜的是，在低谷中仍有一些科學家不忘初心，鍥而不舍地追求人工神經網絡的研究，使它出現了灰色時期的微馨。

先輩們持之以恒的工作精神值得我們后來者學習，杰出的成果更是為日后神經網絡研究打下了極其堅固的地基。

1.3 復興時期

1986年，美國Rumelhart和McCkekkand提出PDP網絡思想，進一步被推動神經網絡發展同時對BP算法進行了極具歷史性的整合總結。

20世紀90年代中后期，神經網絡研究在已有理論不斷深化的基礎上達到了一個新的高度，新的理論和方法不斷出現并被投入使用。

1.4 迅速發展時期

20世紀80年代，伴隨著人工神經網絡在世界范圍內的不斷興起、復蘇，中國也逐步開始研究神經網絡。

1990年2月，中國8個頂尖學會聯合在北京召開“中國神經網絡首屆學術會議”。經過二十幾年的不斷發展，中國的研究取得了萬眾矚目的輝煌成就。

2 理論分析

2.1 人工神經網絡仿生學原理

人工神經結構網絡運用了仿生學原理。大家都知道，人類的大腦是一個十分神秘的器官，可以說有無限的開發潛能。據美國著名大腦專家東尼博贊統計，如果一個人從出生開始以每秒10條信息的速度向大腦輸入信息，那么到這個人將去世的時候，他的大腦所儲存的信息也不到總腦容量的一半。再舉一個現實中的例子：聞名遐邇的科學家阿爾伯特·愛因斯坦的大腦開發量也不超過4%。所以人工神經結構網絡就是在這樣一種令人驚異的人腦基礎上展開研究的，經過一個世紀的研究，展現出了難以估量的潛力和誘人的前景，吸引無數專家學者“沉溺”其中，推動著它不斷縱向和橫向發展。

人工神經網絡的仿生起點，是神經元的信號傳遞方式，一個神經元就是一個神經細胞，它是神經系統的基本組成單位，神經元之間通過突觸連接，構成了極其復雜的神經網絡系統。

初期的人工神經網絡通過模仿一個簡單神經元的工作過程：來自外界或其他細胞的信號通過突觸傳導給神經元，當細胞收到的信號總和達到一定的閾值后細胞釋放神經遞質，通過軸突向下一個細胞發送電信號。這個過程就蘊藏著細胞對外界信息加工的過程。

人工神經網絡研究的愿景與靈感大抵如上所述。

2.2 人工神經網絡的基礎結構

2.2.1 McCulloch-pitts模型

由W.S. McCulloch和W.H.Pitts于1943年提出此模型。

神經元是此模型中的功能是將輸入信號加權求和，當求和值超過閾值時神經元進入激活狀態，輸出值為1，如果不超過閾值，輸出值為0，這個模型可用公式：

θj稱為閾值邏輯單元，若要使輸出值為1或-1，則可用符號函數sgh（.）替代θ（.）

很顯然，這個模型是高度簡化的，只是反映出神經元的最簡單的功能特征，但是作為一種極度的抽象形式，這一科技模型反映著神經結構網絡的研究出發點，是人工神經網絡的基礎。

它作為一種最簡單的可學習機器，只能完成線性可分數據分類問題，對于非線性問題它無能為力。但當多個基礎模型交錯組合形成的一般神經網絡就具備了很強的非線性問題處理能力。

2.2.2 BP算法的建立及其改進

毫不夸張地說，BP神經網絡模型是人工神經結構網絡的左膀右臂，實際上是一個多元函數的優化問題，即以連接權系數為變量，將誤差函數最小化作為目標的優化問題。

BP算法上的突破主要源于著名的Singmoid函數（S形函數）來代替初期感知器中的閾值函數來構建神經網絡。如圖1。

Sigmoid函數可表示為其值域為（0，1），由于處處可導，則可以看作是對階躍函數的逼近，Sigmoid函數的構建實現了誤差的逆傳播，從而使得反向傳播過程中根據輸出節點的實際輸出和理想輸出的誤差逐層修改權值成為可能，自主尋找并提取解決問題的求解規劃，很對人工智能自學的胃口。由此，可以認為BP算法的建立是人工神經網絡的一個飛躍式進步。endprint

2.3 BP算法的基本步驟

BP算法的目標函數（誤差函數）是神經網絡在所有樣本上期望輸出與預測輸出的切方誤差，通過采用梯度下降法來調整各層權值求目標函數的最小化。

具體步驟如下：

1）隨機賦予各權值的一定初值。

2）前向過程：當某個具體樣本作用在輸出端后，利用當前權值計算輸出，即一個信號從輸入到隱層再到輸出。

3）誤差逆轉修正權值。計算所得到的輸出與樣本已知正確輸出之間誤差，并根據誤差對節點權值的偏導數修正權值，直到把各層權值都修正一次。

選擇另一樣本重復上述過程。

4）訓練中總的誤差水平達到預先設定閾值或訓練時間達到預定上限時終止學習。

BP算法的關鍵在于能夠將誤差反向傳播到各隱層節點，從而對中間各層權值進行學習。

BP算法的局限性：BP算法的本質是梯度下降法，它所要的最小化目標函數非常復雜，因此算法可能陷入目標函數的局部最小點，即出現“鋸齒形現象”，所以不能保證收斂到全局最優點，這同時也注定BP算法是低效的。

BP算法的優化：BP人工神經網絡自適應學習算法。

優化點（一）初始權值的選取。

未改進的BP算法采用隨機抽取思想，產生大量隨機初始點，逐步迭代，最終選出最優解，但其具有一定的隨機盲目性。我們可以采用逐步搜索法即將初值區域n等分，在這幾個區域分別產生初始權值進行學習，選取誤差最小的區域再進行n等分，分別學習，直到誤差不能再小時終止。經檢驗，只要區域足夠小，這種方法可避免局部行為。

優化點（二）輸入層節點數目確定。

由于BP網絡是解決非線性復雜問題，其因變量受多個自變量影響，我們可以先用自組織算法（應用不完全歸納法，使用線生逼近得結果）盡量全面廣泛，不必經專門主觀篩選地找出輸入變量，再利用BP算法進行學習，二者取長補短，增強BP網絡對復雜系統建模處理能力。

優化點（三）網絡隱層層數與隱節點數目確定。

Lippmann和Cyberko指出只需兩個隱層就可解決任何形式分類問題，而且Robert Hecht Nielson也通過研究指出：只有一個隱層的神經網絡，只要有足夠多的隱節點，就可以以任意精度逼近一個非線性函數。所以為了尋找合適的隱節點數要在神經網絡學習過程中根據環境的要求，自適應地調整自己的結構，最終獲得一個大小合適的人工神經網絡模型。

3 人工神經網絡前景展望及應用

經過近一個世紀的發展，人工神經網絡以其與其他各門科學技術緊密結合的廣泛應用性及工作時高速度和潛在的超高速的強大性能吸引了無數學者和工程人員投入其中。

3.1 應用

3.1.1 信息領域

信息的來源十分不完整，并且在一定程度上包含虛假信息，決策規則很多時候非常蕪雜，十分繁復導致在處理許多問題時寸步難行。而神經網絡的仿生原理使其具備結構上的兩大特性—數據數理的越大規模并行性和數據存儲的分布性，使人工神經網絡具有模仿或代替人的思維的優良性能，從而形成與傳統方法有著天壤之別的獨到處理方法。

此外，即使在戰爭中線路遭到十分嚴重的破壞，由于人工神經網絡具有極強的容錯容差能力及自組織性，所以，它仍能維持在優化工作狀態。這使得它在軍事系統電子設備中大顯身手，由此它被引入報警系統、自動控制制導系統和自動跟蹤監測儀器系統等領域。

3.1.2 經濟領域

預測社會消費品零售總額和分析商品價格的變動等問題需要考慮多種因素的不同影響并對這類問題進行綜合性分析。人工神經網絡中的BP神經網絡模型就是一個多元函數的優化，對于這種不完整的、模糊不確定的數據有獨到的處理方法，相對于傳統方法來說其有無法比擬的巨大優勢，從而可以大大增加了得到準確評價結果的可能性。

3.1.3 控制領域

人工神經網絡以其特有固有的非線性問題處理能力，以及高度的魯棒性等令人驚異的突出特征，使迅猛發展的控制領域如虎添翼。最優決策控制、監督控制、內模控制、預測控制等都是基本的控制結構。

3.2 前景展望

人工神經網絡或許無法代替人類大腦，或許它也只是對數字計算機的補充，而非替代，但它確確實實地拓展了人們對外部環境的識知和控制處理能力，它特有的非線性適應性信息處理能力使之與各門科學技術相互交錯，共同發展。

人工智能可能的發展趨勢如下：

1）人工神經網絡正奔跑在模擬人類認識的道路上。

2）通過光電結合的神經計算機創造出功能更強大、應用更廣泛的人工神經網絡，同時研究更加高效簡潔的網絡結構，擴大神經元芯片的作用范圍。

3）實現智能機器人的自然口譯、與人流暢談話和用自然語言與計算機對話也是其發展方向之一。

4 結論

本文通過背景回顧、理論分析、應用前景3個方面，系統地介紹了人工神經網絡。人工神經網絡以其強大的非線性、自學習、自適應能力激勵著我們這些后學者們投入對它的探索。筆者堅信，人工神經網絡定會以其廣泛的應用前景在不久的將來變得家喻戶曉。

參考文獻

[1]毛健，趙紅東，姚婧婧.人工神經網絡的發展及應用[J].電子設計工程，2011，19（24）：62-65.

[2]楊曉帆，陳延槐.人工神經網絡固有的優點和缺點[J].計算機科學，1994，21（2）：23-26.

[3]李曉峰，徐玖平，王蔭清，等.BP人工神經網絡自適應學習算法的建立及其應用[J].系統工程理論與實踐，2004，24（5）：1-8.endprint