人工神經(jīng)網(wǎng)絡(luò)研究與分析

祝凌云

摘 要 人工智能主要研究機(jī)器行為、機(jī)器學(xué)習(xí)、機(jī)器思維等。這些看起來(lái)很難做的事，在人工神經(jīng)網(wǎng)絡(luò)的發(fā)展下變成可能。本文首先論述人工神經(jīng)網(wǎng)絡(luò)的由來(lái)，研究生物神經(jīng)元的特點(diǎn)，并引出人工神經(jīng)元模型及激活函數(shù)；進(jìn)一步分析了幾種常見(jiàn)的人工神經(jīng)網(wǎng)絡(luò)，主要包括目前廣為應(yīng)用的反向傳播網(wǎng)絡(luò)、能夠有效避免局部最優(yōu)問(wèn)題的徑向基網(wǎng)絡(luò)、以及能夠有效實(shí)現(xiàn)記憶功能的自適應(yīng)的諧振網(wǎng)絡(luò)；最后總結(jié)了目前在計(jì)算機(jī)視覺(jué)和自然語(yǔ)言處理的實(shí)際應(yīng)用。

關(guān)鍵詞 人工智能；人工神經(jīng)網(wǎng)絡(luò)；基本原理；反向傳播

中圖分類號(hào) TP3 文獻(xiàn)標(biāo)識(shí)碼 A 文章編號(hào) 1674-6708（2019）237-0120-03

近10年來(lái)取得重大技術(shù)突破的人工智能技術(shù)，已經(jīng)以各種方式進(jìn)入到社會(huì)的方方面面，并起著舉足輕重的作用。目前世界各地關(guān)于該領(lǐng)域的研究都在如火如荼的開(kāi)展，我國(guó)也在大力發(fā)展人工智能，并希望在2030年成為人工智能強(qiáng)國(guó)。許多中國(guó)公司已經(jīng)相繼發(fā)布了諸多高科技人工智能產(chǎn)品，如Tmall Genie X、iFlytek translator 2.0與智能音箱等。而人工智能的發(fā)展當(dāng)然也離不開(kāi)它的核心技術(shù)——人工神經(jīng)網(wǎng)絡(luò)[ 1 ]。

人工神經(jīng)網(wǎng)絡(luò)作為信息處理系統(tǒng)，具有非線性、自適應(yīng)的特性。每個(gè)神經(jīng)元都處在興奮和抑制這兩種狀態(tài)，因此，建立非線性關(guān)系是必須的。進(jìn)一步人工神經(jīng)網(wǎng)絡(luò)的自適應(yīng)，需要不斷在學(xué)習(xí)的過(guò)程優(yōu)化和迭代。在面對(duì)不同對(duì)象與環(huán)境時(shí)，可將學(xué)習(xí)分為3類，分別為有監(jiān)督學(xué)習(xí)、無(wú)監(jiān)督學(xué)習(xí)和強(qiáng)化學(xué)習(xí)。目前人們對(duì)某種神經(jīng)網(wǎng)絡(luò)的訓(xùn)練，主要是調(diào)整神經(jīng)元的閾值和權(quán)值，找到適當(dāng)?shù)闹担梢蕴岣呱窠?jīng)網(wǎng)絡(luò)的效率，增加其容錯(cuò)性。

1 基本原理

人類自古就對(duì)大腦的結(jié)構(gòu)有著極大的興趣。研究發(fā)現(xiàn)，人腦在傳遞信號(hào)的過(guò)程中，神經(jīng)元與神經(jīng)元之間的突觸結(jié)構(gòu)需要經(jīng)過(guò)電信號(hào)-化學(xué)信號(hào)-電信號(hào)的轉(zhuǎn)換，因此人腦信號(hào)的傳遞比計(jì)算機(jī)計(jì)算速度慢很多。但自1997年“人類腦計(jì)劃”啟動(dòng)以來(lái)，人們逐漸認(rèn)識(shí)到人腦在對(duì)外界做出反應(yīng)時(shí)，反而比機(jī)器更快，究其根本是因?yàn)槿四X在不斷的學(xué)習(xí)與記憶使其無(wú)需繁瑣的機(jī)器計(jì)算，而是對(duì)記憶的搜尋與經(jīng)驗(yàn)的再現(xiàn)。因此，基于人腦信息處理機(jī)制的基本原理對(duì)設(shè)計(jì)人工神經(jīng)元，構(gòu)建神經(jīng)元之間的聯(lián)系組成人工神經(jīng)網(wǎng)絡(luò)有著重要意義。

1.1 生物神經(jīng)元

雖然人類還沒(méi)有掌握生物神經(jīng)元的功能與結(jié)構(gòu)，目前所說(shuō)的人工神經(jīng)元與生物神經(jīng)元之間也可能有很大的區(qū)別，但生物神經(jīng)元是人工神經(jīng)元的原型。因此對(duì)生物神經(jīng)元的學(xué)習(xí)很有必要。

研究發(fā)現(xiàn)生物神經(jīng)元主要由兩部分組成，一是細(xì)胞體，二是突起。細(xì)胞體，包括核糖體內(nèi)質(zhì)網(wǎng)，高爾基體等細(xì)胞器，可對(duì)信息即上一神經(jīng)元傳遞而來(lái)的沖動(dòng)進(jìn)行處理，從而使細(xì)胞膜電位發(fā)生改變。當(dāng)細(xì)胞膜電位超過(guò)某一閾值時(shí)，細(xì)胞就會(huì)興奮，并由軸突傳遞給下一神經(jīng)元，否則細(xì)胞抑制無(wú)興奮傳遞。其中軸突是神經(jīng)元的信息輸出端，其末端也稱為神經(jīng)纖維，它可把興奮傳遞給下一個(gè)神經(jīng)元。

上述的軸突為突起的種類之一，另一種則為樹(shù)突。樹(shù)突是神經(jīng)元較短的分支，數(shù)量較多，形如樹(shù)枝，可用于接收上億神經(jīng)元的刺激。上億神經(jīng)元的軸突與下一神經(jīng)元的樹(shù)突通過(guò)突觸相連形成生物神經(jīng)網(wǎng)絡(luò)。

1.2 人工神經(jīng)元數(shù)學(xué)模型

為了解決現(xiàn)實(shí)生活中的非線性問(wèn)題，實(shí)踐過(guò)程中常引入激活函數(shù)[3]。在深度學(xué)習(xí)技術(shù)興起以前，Sigmoid函數(shù)是最為廣泛應(yīng)用的，目前常用的則是ReLU函數(shù)。主要是因?yàn)镽eLU函數(shù)計(jì)算簡(jiǎn)單，速度快。尤其是在深層神經(jīng)網(wǎng)絡(luò)在反向傳播的過(guò)程求偏導(dǎo)數(shù)時(shí)，Sigmoid函數(shù)導(dǎo)數(shù)會(huì)從0.25減小，當(dāng)模型層數(shù)較多的時(shí)候，就會(huì)出現(xiàn)梯度消失的現(xiàn)象，而ReLU的梯度恒為1，能有效避免梯度消失和梯度爆炸的問(wèn)題。二者都是對(duì)神經(jīng)元電信號(hào)的一種模擬。公式如下：

2 常見(jiàn)的幾種模型

2.1 BP神經(jīng)網(wǎng)絡(luò)

BP即Back Propagation指的是反向傳播。反向BP網(wǎng)絡(luò)是目前使用最為廣泛的網(wǎng)絡(luò)，它是深度學(xué)習(xí)核心訓(xùn)練算法的基礎(chǔ)。BP神經(jīng)網(wǎng)絡(luò)的訓(xùn)練就是先將信息前向傳遞，再反向傳播調(diào)整閾值和權(quán)值的過(guò)程。它是一種有監(jiān)督學(xué)習(xí)，未經(jīng)訓(xùn)練的模型輸出的結(jié)果與準(zhǔn)確值會(huì)有偏差。通過(guò)損失函數(shù)和代價(jià)函數(shù)來(lái)量化和計(jì)算實(shí)際輸出與標(biāo)簽之間的誤差指，再基于鏈?zhǔn)椒▌t采用梯度下降的算法，使得誤差收斂到最優(yōu)解即最小值。

BP網(wǎng)絡(luò)的組成通常由輸入層，隱含層和輸出層3部分組成，各層神經(jīng)元之間全部相連，同一層神經(jīng)元?jiǎng)t無(wú)連接，其中復(fù)雜的神經(jīng)網(wǎng)絡(luò)中可含有多個(gè)隱含層。

在信號(hào)向前傳播時(shí)，信息經(jīng)輸入層傳入網(wǎng)絡(luò)中，其中每一個(gè)神經(jīng)元包括兩步操作：其一為數(shù)據(jù)的整合，主要是對(duì)每個(gè)信號(hào)的輸入乘以權(quán)重并求和之后，再加上閾值；其二為數(shù)據(jù)的處理，即將上述的結(jié)果輸入到激活函數(shù)中進(jìn)行非線性映射。訓(xùn)練完成的網(wǎng)絡(luò)中，隱含層常抽象出物體的特征。如當(dāng)輸入一個(gè)漢字的圖像，隱含層可能表示的是這個(gè)字的某個(gè)組成部分，且中間的隱含層層數(shù)越多，它便可分層次的提取高級(jí)特征。最后利用誤差函數(shù)計(jì)算神經(jīng)網(wǎng)絡(luò)輸出與真實(shí)值的誤差，誤差函數(shù)值越小，表明結(jié)果越準(zhǔn)確。利用梯度下降和反向傳播的算法，可將損失反向傳播，進(jìn)而調(diào)整神經(jīng)元間的權(quán)值，通過(guò)不斷的迭代訓(xùn)練，達(dá)到優(yōu)化輸出的目的。

2.2 RBF神經(jīng)網(wǎng)絡(luò)

由于在實(shí)際訓(xùn)練過(guò)程中，BP神經(jīng)網(wǎng)絡(luò)存在局部最優(yōu)的問(wèn)題。1988年，人們提出了徑向基函數(shù)（radial basis function neural network， RBF），它也是一種前饋式神經(jīng)網(wǎng)絡(luò)。通過(guò)利用徑向基函數(shù)，該網(wǎng)絡(luò)不僅解決了局部最優(yōu)的問(wèn)題，而且實(shí)現(xiàn)了最佳逼近，節(jié)省了大量的訓(xùn)練時(shí)間。

2.3 ART神經(jīng)網(wǎng)絡(luò)

自適應(yīng)共振理論（adaptive resonance theory）的提出，是為了解決傳統(tǒng)神經(jīng)網(wǎng)絡(luò)中知識(shí)遺忘的問(wèn)題。ART神經(jīng)網(wǎng)絡(luò)的記憶內(nèi)容可隨學(xué)習(xí)的過(guò)程不斷增加，避免了遺忘。

共振，也是模仿人類對(duì)圖像的識(shí)別與記憶。其主要過(guò)程如下，首先環(huán)境輸入模式，ART神經(jīng)網(wǎng)絡(luò)有一個(gè)判斷的過(guò)程，以相似度的參考門限為準(zhǔn)，與神經(jīng)網(wǎng)絡(luò)儲(chǔ)存的模式進(jìn)行比較。判斷結(jié)果即有相似的模式和無(wú)相似的模式。若有相似的模式，就選擇最相似的模式作為代表，并調(diào)整該模式的參數(shù)，類似于共振，以強(qiáng)化并完善該模式的內(nèi)容。若無(wú)相似模式，只需新建此模式，并設(shè)置權(quán)值和閾值，讓環(huán)境再次輸入的相似模式能與之匹配。

3 應(yīng)用

3.1 計(jì)算機(jī)視覺(jué)

計(jì)算機(jī)視覺(jué)，簡(jiǎn)單的說(shuō)就是讓計(jì)算機(jī)能夠像人類一樣，從圖像中提取某些信息，讓計(jì)算機(jī)能夠看懂圖像。人類的視覺(jué)是一種感知。人們可以從自我的感覺(jué)中做出判斷，得出結(jié)論。計(jì)算機(jī)視覺(jué)技術(shù)基于現(xiàn)代心理物理學(xué)的研究成果，利用人工神經(jīng)網(wǎng)絡(luò)，對(duì)圖像進(jìn)行識(shí)別、檢測(cè)與處理[4]。在這過(guò)程中，攝像機(jī)代替人眼獲取圖像，人工神經(jīng)網(wǎng)絡(luò)利用算法模擬人腦。

在某些方面，計(jì)算機(jī)視覺(jué)的表現(xiàn)突出，甚至能夠超越人類。人工神經(jīng)網(wǎng)絡(luò)功不可沒(méi)，它具有優(yōu)秀的圖像處理技術(shù)，如圖像分割、圖像平滑和邊緣銳化等；能夠根據(jù)灰度閾值將圖像分割；能夠?qū)⒁驗(yàn)閿z像機(jī)等設(shè)備自身原因造成的失真現(xiàn)象進(jìn)行平滑處理；還能夠給圖像中的各個(gè)物體勾勒出其邊緣的線條。

但是在實(shí)際場(chǎng)景中，計(jì)算機(jī)視覺(jué)與其他技術(shù)和硬件，還不能夠完美的結(jié)合。例如，可移動(dòng)機(jī)器人在未知環(huán)境中，還未實(shí)現(xiàn)全自動(dòng)的行為能力。

3.2 自然語(yǔ)言處理。

自然語(yǔ)言指的就是人類使用的語(yǔ)言。計(jì)算機(jī)科學(xué)家希望能夠讓人們從復(fù)雜計(jì)算機(jī)語(yǔ)言中解脫出來(lái)，實(shí)現(xiàn)人與計(jì)算機(jī)的自然語(yǔ)言通信[5]。研究自然語(yǔ)言處理，不僅可以促進(jìn)人與計(jì)算機(jī)的交流，提高人們的生活質(zhì)量；而且也能讓人類了解自己的語(yǔ)言特征。自然語(yǔ)言處理包括自然語(yǔ)言的理解和自然語(yǔ)言的生成。語(yǔ)言的理解就是對(duì)輸入的文本進(jìn)行對(duì)話處理、知識(shí)處理。語(yǔ)言的輸入可以是語(yǔ)音和文字的形式，這也利用了語(yǔ)音識(shí)別和計(jì)算機(jī)視覺(jué)的技術(shù)。語(yǔ)言的生成便是將處理的結(jié)果以自然語(yǔ)言表達(dá)出來(lái)。

自然語(yǔ)言處理具有廣泛的應(yīng)用。例如iflytek translator 2.0、信息檢索系統(tǒng)。但是目前它還不能處理大規(guī)模的文本。自然語(yǔ)言處理面對(duì)的最大困難就是語(yǔ)言的不確定性，容易引起歧義。對(duì)語(yǔ)言的組成部分字符、詞組、句子，每一個(gè)都有多種含義。而一個(gè)含義又可用多種方式來(lái)表達(dá)。這不是僅僅研究語(yǔ)法或者開(kāi)發(fā)程序可以解決的，人們?cè)趯?duì)話中往往是根據(jù)語(yǔ)境加以判斷。要克服句意理解的障礙，就必須研究人腦對(duì)語(yǔ)言的識(shí)別與判斷，使計(jì)算機(jī)能夠篩選出語(yǔ)境中有用的隱含信息，推理句子的指代和省略。

4 結(jié)論

自20世紀(jì)80年代人工神經(jīng)網(wǎng)絡(luò)被提出以來(lái)，經(jīng)過(guò)無(wú)數(shù)科學(xué)家的深耕細(xì)作，使其目前得到了突破性進(jìn)展。本文主要介紹了人工神經(jīng)網(wǎng)絡(luò)的基本原理、常見(jiàn)模型和應(yīng)用。人工神經(jīng)網(wǎng)絡(luò)是一種模仿人腦運(yùn)作的網(wǎng)絡(luò)，其中反向傳播神經(jīng)網(wǎng)絡(luò)是目前運(yùn)用最為廣泛的一種，而自適應(yīng)諧振網(wǎng)絡(luò)和徑向基網(wǎng)絡(luò)二者相比于BP神經(jīng)網(wǎng)絡(luò)也各有所長(zhǎng)。最后介紹了人工神經(jīng)網(wǎng)絡(luò)在計(jì)算機(jī)視覺(jué)和自然語(yǔ)言處理等領(lǐng)域的應(yīng)用與挑戰(zhàn)。相信隨著人工神經(jīng)網(wǎng)絡(luò)的發(fā)展，它會(huì)給我們帶來(lái)更多的驚喜。

參考文獻(xiàn)

[1]王佳.計(jì)算機(jī)人工智能識(shí)別技術(shù)的應(yīng)用瓶頸探賾[J].科技展望，2016，26（35）：93-94.

[2]朱大奇，史慧.人工神經(jīng)網(wǎng)絡(luò)原理及應(yīng)用[M].合肥：安徽科技出版社，2006.

[3]李航.統(tǒng)計(jì)學(xué)習(xí)方法[M].北京：清華大學(xué)出版社，2012：6-8.

[4]李超波，李洪均，徐晨.深度學(xué)習(xí)在圖像識(shí)別中的應(yīng)用[J].南通大學(xué)學(xué)報(bào)，2018（1）.

[5]黃子良.深度學(xué)習(xí)應(yīng)用前景分析[J].通信與信息技術(shù)，2017（3）：54-56.