基于復雜性層級結構的神經網絡組合研究

摘要：大腦大量的神經細胞數量和復雜的聯系是處理信息的物質基礎。由于包含神經元數量太少，現存各類人工神經網絡難以勝任更加復雜的工作。復雜性理論的層級結構提供了以簡單基本系統組建大規模系統的基本方法。神經解剖學關于大腦分區、分層、腦細胞垂直柱的概念，為構建基本子系統和實現子系統之間的連接提供了啟示。在此基礎上，以單個神經網絡作為垂直柱單位的模擬，建立了組合神經網絡的模型。基于這種可以包含大量神經元的模型，將有可能發展出適用于大規模信息處理的人工神經網絡。

關鍵詞：復雜性；層級結構；垂直柱；信息處理；人工神經網絡

中圖分類號：TP389文獻標識碼：A文章編號：1009-3044(2008)35-2235-02

The Study for Assembling ANN by the Hierarchy of Complexity

WANG Bo， HE Shan

(Economic and Management School， South West Petroleum University， Chengdu 610500， China)

Abstract: Brains process information with their great numbers of the neuron cell and complicated relationships between them. Today’s ordinary ANN cannot deal with the sophisticated task since it’s limited scale. According to the theory of hierarchy of complexity and the Vertical organization in brain cell， a kind of large scale ANN system model can be build for information processing.

Key words: complexity; hierarchy; vertical organization; informaitong processing; ANN.

1 引言

信息管理和信息處理的主要對象是通過人類語言表達的知識。這種知識，從本質上看，是人類大腦新皮層進化的產物，與高度抽象化的模式識別能力有關。從某種程度上看，智能的基礎是模式記憶和識別的能力。依據不同的研究結果，人類大腦擁有從一百至數百億個神經元，這些神經元、他們之間的聯系以及各種生化物質和反應，建立了我們生物智能的基礎。這種復雜的結構幫助我們識別世界的不同模式，并產生不同的反應。有些模式是簡單的，如生物反射；有些模式很復雜，比如視覺和聽覺；還有些模式高度抽象，比如語言和文字。經過多年的發展，人工神經網絡研究取得了很大的進展，學者們建立了各種不同的模型，比如BP網絡，Hamming競爭以及Hopfield網絡等，也廣泛參考其他學科提出了很多有效的算法。但目前構建的很多人工網絡系統規模都仍然十分有限，屬于局部結構。這些網絡包含的神經元數量有限，網絡結構簡單，如BP網絡，實際應用中幾十個神經元，2～3層的網絡。有限的規模，導致了人工系統的儲存模式和識別的能力受到限制，作為普通分類器可以有效運用，然而如果問題規模很大，現有神經網絡效果并不理想。更加抽象的模式分類，如語言和文字，人工網絡目前就更難象人腦那樣實現大規模的高度抽象的建模和識別。如何根據復雜性原理，用現有的局部神經網絡結構構建大規模的神經網絡，可能是提高人工神經網絡處理信息能力的途徑之一。

2 復雜系統與腦神經層級結構

2.1 復雜系統的層級結構

如何利用現有的簡單神經元搭建復雜系統結構？西蒙（司馬賀）在其簡明杰作《人工科學》探討了復雜性的結構。[1]他認為復雜性是從簡單性進化而來的，可以借助層級理論構建復雜系統。自然中大部分復雜系統都呈現出層級結構：大系統由相互聯系、相互作用的子系統組成，而子系統也常常是層級式的；子系統之下有它們的子系統，直到某個基本的最低層次。

層次結構的一些基本概念與分析方法：

1）層級結構系統通常由適量的子系統組成。例如，20種氨基酸的不同排列組成了地球上所有不同的蛋白質類型。

2）層級結構有助于進化。1955年，雅各布森（H. Jacobson）基于信息論、熱力學的嚴格分析，論證從簡單元素到復雜形態的進化所需要的時間之長，簡直意味著進化不大可能發生。但是，如果考慮到中間形態（或組件、中間件）的存在，同樣嚴格的分析表明，進化所需時間要短很多。因此，復雜性是依賴系統的層次性由簡單性進化而來。

3）層級結構的近可分解性。大系統的子系統之間的相互作用與子系統內部組件之間的相互作用，強度差別很大。如果一個系統的子系統間相互作用很弱，子系統內部相互作用強，則稱它是近可分解系統。

生物機體明顯的區分為不同的器官子系統。這種近可分解性，對我們通過應用復雜性層級結構理論，簡化對復雜系統的描述很有利。我們可以認為人類大腦進化仍然是這種層級結構的產物，從而為我們分析極其復雜的大腦提供一種借鑒。

2.2 大腦皮層神經元的功能區域劃分

幾億年前，多細胞生物開始在地球的各個角落繁衍，不久之后，就出現了簡單的神經系統。然而真正的智能是隨著我們的爬行類祖先的出現開始的，然后它們很成功的征服了大陸和海洋，它們有著敏銳的感覺和能夠賦予它們復雜行為的、相當發達的大腦（原始腦，古腦）。幾千萬年前，新大腦皮層首先出現在哺乳動物身上（“新大腦皮層”源于拉丁語，意思是“新長出的樹皮”或“新的外層硬皮”，因為它的確將古腦包裹了起來）。進化論發現，給原始腦增加一個記憶系統（新大腦皮層），動物就能夠獲得存儲模式和識別模式的能力。通過對現實的感覺輸入和喚起的記憶模式進行對比，動物不但可以了解自己所在的位置，并且可以預見未來。相較哺乳動物，人類大腦的新大腦皮層得到了更顯著的發展。大腦皮層的層級結構主要表現為按功能的區域劃分和水平分層。

相對體型而言，人類大腦皮層比其他動物的更大，展開后大約相當于一張大餐巾大小，約2毫米厚。在這張薄片上，各個區域之間的連接構成了一個層級機構。[3]例如識別物體時設計的前4個視覺區域V1區，V2區，V4區和IT區。如圖2，箭頭表示了源于雙眼視網膜的視覺輸入。

2.3 大腦皮層的水平分層與垂直柱

在大腦皮層的Nissl染色法切片標本上，人們觀察到皮質是水平分層的。[3]在顯微鏡下觀察，皮層從上到下細胞排列的密度和形狀都不一樣，這些差異就是分層的基礎。最頂層我們稱為第1層，依次往下命名直到第6層。同時，人們也注意到在皮層的某些區(如軀體感覺區、視皮質區)還存在著垂直機構(vertical organization)，即細胞垂直柱（也稱為功能柱），它們貫穿整個皮層，與皮質表面垂直。利用Golgi技術處理某些皮質標本發現，垂直機構較之水平機構更為明顯。這一結果得到了以下證據的支持：1）同一細胞柱的神經元都與同樣的或幾乎同樣的外周感受野相關；2）同一細胞柱的神經元細胞被同一外周刺激激活；3）同一柱內的所有細胞，在一次短暫的外周刺激以后，在不同程度上發放電的潛伏期很接近。

大腦皮層大約含有5億個垂直功能柱，它們在整體上呈放射狀排列。一般認為，每個柱大約含100～300個神經元（也有人認為有上千個甚至上萬個神經元。柱內細胞數之所以相差懸殊，可能是由于不同區域細胞柱的高矮和大小不同所致）。

一個細胞垂直柱是一個\"傳入－傳出\"信息的整合處理單位。傳入沖動首先進入第4層，并由第4層和第2層細胞在柱內垂直擴布，最后由第3層和第5、6層細胞發出傳出沖動離開大腦皮質。第3層細胞的水平纖維還有抑制相鄰細胞柱的作用。因此一個柱發生興奮活動時，其相鄰細胞垂直柱就受到抑制。

3 組合神經網絡模型

3.1 系統基本架構

我們可以構建一個大規模的神經網絡，這個神經網絡是以一種符合復雜性層級結構和大腦皮層解剖學知識的方式組合成的，這里稱為“組合神經網絡”。系統的主要特點：1）單一神經網絡構成基本子系統，實現細胞垂直柱的基本分類功能；2）子系統之間具有層級結構的近可分解性，主要以系統內部作用為主，但子系統之間仍然存在較弱的相互作用；3）有效實現大量神經元的組合。系統按照層級結構，由大量神經網絡組合而成，突破單個神經網絡神經元數量極限。組合網絡可以包含成千上萬個有效工作的神經元，從而具有記憶與識別大量模式的潛力；4）通過層次疊加實現對模式的高度抽象。一個4層結構的組合神經網絡體系如圖4。

從A到D區，是從高級到低級功能區域的分布。但各區的構成基本單元是相同的，都是由代表垂直柱基本的單一神經網絡組成。各個垂直柱之間的連接方式和垂直柱內部選用什么樣的神經網絡算法是值得考慮的。

3.2 垂直柱之間的連接方式

從神經解剖學上看，垂直柱內第3層細胞的水平纖維具有抑制相鄰細胞柱的作用。這種抑制與競爭網絡的神經元激活自己而抑制所有其他神經元的特點非常類似。因此，可以在垂直柱之間采用競爭網絡連接方式。

3.3 垂直柱神經網絡算法

一個細胞柱內含有傳入、傳出和聯絡纖維系統。傳入纖維主要是中央胼胝體纖維和特異性的丘腦皮質纖維，傳出纖維為大錐體細胞的軸突。而聯絡纖維（也可充當柱的傳入或傳出纖維），則主要構成柱內的內環路。傳入沖動通過內環路的興奮和抑制，進行精細的整合，最后由離心纖維傳出皮質。因此，基本的功能單位要受種種附加環路沖動的影響。傳出神經投射纖維釋放的沖動，實際是多種沖動的總和。環路的興奮和抑制，與BP網絡比較類似，因此，在垂直柱內部，我們使用BP算法的神經網絡。

4 結論

對于大腦而言，語言與文字這種信息是高度抽象化而數量豐富的模式系列。大腦巨量的神經細胞數量和復雜的聯系是處理這種信息的物質基礎。顯然，只具有幾十個神經元的現存各類人工神經網絡是難以勝任這種復雜與巨量的分類工作的。從復雜性理論的層級結構和神經網絡解剖學出發，以單個神經網絡為單位，構建有效的大規模組合神經網絡，將有可能發展出適用于大規模信息處理的人工神經網絡體系。從理論和邏輯推理上看，組合神經網絡具有一定的可行性和巨大發展潛力。

參考文獻：

[1] 司馬賀.人工科學：復雜性面面觀[M].上海：上海科技教育出版社，2004:169-201.

[2] Hawkins J.人工智能的未來[M].西安：山西科學技術出版社，2006.

[3] 羅煥敏.大腦皮層的功能單位_細胞垂直柱[J].神經解剖學雜志，1988.4(1):23-25.

[4] 謝芳，胡泉.基于BP神經網絡的詞義消歧模型[J].計算機工程與應用，2006(12):187-188.

[5] Hagan M T， Demuth H B， Beale M H.神經網絡設計[M].北京：機械工業出版社，2002.

[6] Allen J. 自然語言理解[M].北京：電子工業出版社，2005.

[7] 馮天瑾.智能學簡史[M].北京：科學出版社，2007.

[8] 張育智，李喬，單德山.用于結構損傷位置識別的兩種神經網絡性能比較[J].公路交通科技，2007，24(12):69-71.