神經網絡技術初探

山東省青島市第二中學 張 瑞

神經網絡技術初探

山東省青島市第二中學 張 瑞

隨著信息科學的快速發展，人工智能得到了研究者的廣泛關注。作為人工智能中的主要實現手段，人工神經網絡受神經元工作原理啟發，而建立的一種對信息處理的數學模型。近年來，隨著深度學習的發展，對它的研究取得了一系列進展，并得到廣泛的商業應用。本文將簡述神經網絡的發展歷史及現狀，基本原理及對其未來的展望。

人工智能；人工神經網絡

一、引言

自從第一代電子計算機問世以來，計算機科學技術便得到了快速的發展，從最早被應用到科學計算，到利用計算機程序進行數據處理及輔助設計，以及最為廣泛應用的無紙化辦公，計算機已被應用到我們社會生產生活的方方面面。傳統上我們在利用計算機處理實際問題時，我們通過將目標任務分解成一條條簡單可執行的步驟，并將其用相應的編程語句記錄下來，并利用相應的軟件解釋執行。原則上我們可以給出每一個任務的分解，但是許多現實問題過于復雜以至于我們沒有辦法給出有效的具有普遍性的分解，如面部識別，語音識別，自動駕駛，機器翻譯。上個世紀，由生物神經網絡啟發而建立起來的人工神經網絡模型，經過幾十年的發展，已被證明在處理類似傳統編程方法難以解決的問題上具有明顯的優勢。與傳統的方法相比，它不需要事先就準確地將相應任務的程序編寫完成，允許其具有一定的較大的誤差，通過大量樣本的學習而最終以極高的成功率完成目標任務。近年來，神經網絡的技術有了極大的發展，尤其是深度學習技術的廣泛而深入的研究推動了神經網絡的實際應用，如智能手機中的語音助手，不久前在圍棋上擊敗人類棋手的Alpha Go 等。

在本文中，我們將通過分三個部分對神經網絡技術進行初步的闡述。首先我們對神經網絡發展的歷史及現狀進行闡述，接著我們介紹了神經網絡的基本原理，最后我們給出神經網絡技術的張望，以及其對人類社會文明可能帶來的影響。

二、神經網絡發展歷史及現狀

人工神經網絡的研究萌芽于上個世紀四十年代，神經學家Warran McCulloch及數學家Walter Pitts所構建的用來解釋神經元工作原理的電流神經元模型。在這之后Donald Hebb 提出兩個神經元之間的連接會在其每次有傳導的時候而增強，并認為這也是人腦學習過程的基本原理。到了五十年代，Rosenblatt提出了感知器的模型，并證明對于線性可分的系統，其學習算法一定收斂。感知器模型在處理簡單分類模型時極其有效，它可以看作是最早的人工神經網絡，它的提出極大推動了人工神經網絡的發展。但同時由于其單層結構模型過于簡單，它也有著較大的局限性，它對于經典的二進制問題都無法處理。同時由于當時計算機技術水平所限，以及傳統編程方法的快速發展，人工神經網絡的發展進入了低潮。直到上個世紀八十年代初，加州理工教授J.J.Hopfield提出了一種單層反饋網絡Hopfield的網絡，并成功用它解決了旅行商問題，同時由于國際上對于第五代計算機研發的競爭使得更多的資金涌入這一領域，從而推動了人工神經網絡這一領域的復興。之后反向傳播法被提出用于多層神經網絡的訓練，從而解決異或邏輯的處理。

在長期的研究后，人們逐漸達成共識層數越多網絡能完成的任務越多。但是，層數越多也就意味網絡的訓練越困難。對這一問題的研究產生了深度學習這一領域。1984年,日本學者福島邦彥提出了卷積神經網絡的原始模型神經感知機，1998年，Y. LeCun提出了深度學習常用模型之一卷積神經網絡。到了2006年G. Hinton提出了深度學習的概念，隨后與其團隊提出了深度學習模型之一，深度信念網絡，并給出了一種高效的半監督算法：逐層貪心算法，來訓練深度信念網絡的參數，打破了長期以來深度網絡難以訓練的僵局，并在政府機構，研究機構，公司中掀起了對深度學習的研究。時至今日利用深度學習訓練的深度網絡已進入我們生活的方方面面，如機器翻譯，語音助手，人臉解鎖，步態識別等等。

三、神經網絡基本原理

人工神經網絡是受神經元的工作原理啟發而來的。圖1展示了神經元的基本結構，一個神經元由樹突，細胞核，細胞核，細胞體及突觸組成。每一個神經元細胞通過樹突接受從其他神經元細胞傳來的電化學信號。當電化學信號的總強度達到一定閾值時，神經元便可以被激活，當神經元被激活后，電化學信號通過突觸被傳送到與之相連的神經元。人工神經網絡便是基于神經元工作的模型構建出來的。

圖1 神經元基本結構圖

將多個這樣的單元組成一組作為一層并把每個層相互連接成網絡則形成人工神經網絡。一個人工神經網絡基本結構示意圖如圖3所示。它由輸入層隱含層以及輸出層組成。數據通過輸入層輸入，經過隱含層而處理，最后由輸出層輸出。對于中間的隱含層前一層的輸出就是下一層的輸入。

在人類學習的過程中，我們不斷接觸具有相同特征的事物，做大量的練習，通過正反饋使得相應神經元之間的連接得到增強，從而使得我們學會相應的任務。對于人工神經網絡，其學習過程也類似，我們通過改變連接系數，不斷的使得網絡學到的結果和我們希望它學習的內容直接的差異不斷減小而完成其學習過程。主要的學習方法有。

四、神經網絡的發展展望

今日，在深度學習及硬件性能提升的基礎上，人工神經網絡尤其是深度網絡得到廣泛的研究和應用。但是仍然存在著許多困難阻礙其更進一步實際的應用。首先，由于一般的實際問題都需要是要使用多層的網絡，隨著層數的變多，可以修改的參數也隨之成倍增加，這樣一來，利用傳統的梯地下降法進行訓練，其收斂的速度極慢。同時訓練對于神經網絡的應用極其重要，因此我們首先要提供合適的樣本以供訓練。為了得到較好的學習效果，一般會采用監督學習，及對于每一個樣本均有相應的標簽，在訓練的過程中，通過改變連接系數減小網絡預測值與標簽的誤差。現實應用中需要大量的樣本，樣本標簽的獲得需要人力物力，提高了應用的成本。

為了解決訓練速度的問題，一方面可以通過提出更易于訓練的新型網絡和學習方法來解決，另一方面可以通過構建人工神經網絡專用的處理器，來提高訓練及運行速度。由于無標簽的樣本較容易獲得，不需要過多數據加工，因此讓網絡從沒有標簽的樣本中自己學習即無監督學習可以減小標記樣本的成本。但是無監督算法較難實現，而通過在樣本中進行少量的標記而進行的半監督學習則較為容易實現，因此半監督學習算法及無監督學習算法的發展將推動人工神經網絡的發展及進一步應用。

五、總結

人工神經網絡是以神經元模型為基礎而構建的一種數學模型，它通過訓練過程調整每個神經元之間的連接系數，從而學會某一任務。相比于傳統的編程方法，它更擅長處理一些人類很容易完成，但傳統計算機難以解決的問題，如語音識別，機器翻譯，人臉識別等等。自從近年來深度學習算法的提出，人工神經網絡已漸漸地投入實際應用中，如手機語音助手，百度在線翻譯等等，相信隨著更優化的算法進一步提出，以及計算機性能的提高，人工神經網絡最終將極大地推動生產力的發展甚至的社會變革。

[1]鄒蕾,張先鋒.人工智能及其發展應用[J].信息網絡安全,2012(2):11-13.

[2]焦李成,楊淑媛,劉芳,等.神經網絡七十年:回顧與展望[J].計算機學報,2016,39(8):1697-1716.

[3]孫志軍,薛磊,許陽明,等.深度學習研究綜述[J].計算機應用研究,2012,29(8):2806-2810.