文獻計量視角下的神經網絡發展軌跡研究

〔摘要〕神經網絡是涉及生物、計算機、數學、電子、物理、心理學、認識科學等多個學科領域的一門邊緣性交叉學科。本文綜合運用文獻計量學的方法將神經網絡劃分為探索期、成長期和快速發展期3個時期，指出當前正是神經網絡發展的快速成長期，同時利用可視化軟件分析其演化發展過程、學科結構等方面的內容，為了解和掌握這些內容提供了獨特的視角和知識。

〔關鍵詞〕文獻計量學；可視化；

神經網絡

收稿日期：2011－04－20

基金項目：本文受“863”課題2010AA5221資助

DOI：10．3969／j．issn．1008－0821．2011．08．026

〔中圖分類號〕G250.252 〔文獻標識碼〕A 〔文章編號〕1008－0821（2011）08－0103－06

Research on the Path of Neural Network Based on Bibliometric

Zhou Yangming Shui Chao Sun Zhixin Huang Qiang

（College of Information Management，National University of Defense Technology，Changsha 410073，China）

〔Abstract〕The neural network is involved in biology，computer，mathematics，electronics，physics，psychology，cognitive science and other disciplines，its an interdisciplinary marginal.This paper used bibliometric methods to divide the neural network into three periods:exploring，growth and rapid development，and pointed out that the current neural network is in rapid development period.It also used the visualization software to analyze the evolution process of development，the subject structure，and so on.It offer an unique perspective and knowledge to understand and master the content neural network.

〔Key words〕bibliometrics;visualization;neural network

神經網絡是涉及生物、計算機、數學、電子、物理、心理學、認識科學等多個學科領域的一門邊緣性交叉學科，從神經網絡的形成到現在的80多年中，不斷推動著一大批相關學科的發展。本文運用文獻計量的方法對神經網絡的發展歷程進行再回顧和再分析，將神經網絡劃分為誕生期、成長期和快速發展期，利用可視化分析、共引分析、詞頻分析等方法揭示神經網絡發展的學科結構、影響程度、關鍵節點與時間點等重要而獨特的知識，為了解和掌握神經網絡的發展與演化過程提供了獨特視角。

1 數據來源

SCI（Science Citation Index）是美國科學情報研究所ISI（Institute for Science Information）出版的期刊文獻檢索工具，所收錄的文獻覆蓋了全世界最重要和最有影響力的研究成果，成為世界公認的自然科學領域最為重要的評價工具，并于1997年利用互聯網的開放環境，將SCI、SSCI（Social Science Citation Index）、AHCI（Art Humanities Citation Index）整合，創建了網絡版的多學科引文數據庫——Web of Science。本文以Web of Science中的SCI數據庫為數據來源，選用高級檢索方式，以“Neural Network”和“Neural Networks”為主題詞，邏輯關系選擇“OR”，檢索時間設置為1900－2010年（數據庫更新日期2011年3月30日），一共檢索到86 863篇相關文獻記錄。表示2010年以前文獻發表年度變化情況，關于神經網絡的論文是從1956年的1篇增加到2010年的7 119篇（1956年以前的數據均為0），總體呈現上升趨勢。圖中虛線是根據論文數量變化情況的分割線，將神經網絡的發展史劃分為3個時期——探索期、成長期和快速發展期，目前正處于快速發展時期。

2 坎坷探索期（1943-1985年）

利用基于JAVA平臺的引文分析可視化軟件CitespaceⅡ，首先設定時間跨度為1956-1985年，時間切片長度為3年，聚類方式為共被引聚類（Cited Reference），閾值選擇為（2，2，20）、（2，2，20）、（2，2，20）。Citespace得出這些引文的時間跨度為1943－1985年，從而繪制出該時間段的神經網絡論文時區分布圖。

可以劃分為3個聚類。A1聚類中有2個節點明顯的節點，其中第1個代表了1943年《A Logical Calculus of the Ideas Immanent in Nervous Activity》［1］的發表，該文中心理學家McCulloch和數學家Pitts合作提出的神經元的形式化模型，建立了閾值加權和模型（MP模型），拉開了神經網絡研究的序幕。其后，心理學家D.O.Hebb在1949年發表《The Organization of Behavior》［2］一書中提出神經元突觸聯系可變假說，即Hebb學習規則，是神經網絡學習訓練算法的起點。

從20世紀50年代開始，以符號機制（Symbolism）為代表的經典人工智能（Artificial Intelligence，簡稱AI）形式體系取得了巨大的成功，這樣的研究大環境推動著許多專家學者紛紛開始了對神經網絡的研究，形成了A2聚類。從圖中可以看出，該時期的研究成果大部分集中于1961－1968年，堪稱神經網絡研究的黃金期。原因在于，1958年，F.Rosenblatt在MP模型的基礎上，提出了單級感知機及電子線路模擬，建立了第一個真正的神經網絡模型，激發了許多學者對神經網絡研究的極大興趣，形成了神經網絡歷史上的一次熱潮。哈佛大學醫學院神經生物學教授D.Hubel對腦部視覺系統的信息處理進行了深入研究，提出了生物神經系統模型，這是神經網絡在神經生理學上的應用。意大利科學家Caianiello則在神經元模型中引入了不應期特征，從信息處理的角度研究了自組織性、自穩定性和自調節律。視覺神經專家F.Ratliff將視網膜抑制和抑制解除類比神經系統進行研究。

可是從20世紀60年代末到80年代初圖中凸顯節點明顯減少，說明該時期神經網絡研究表現。其原因在于1969年神經網絡代表人物的Minsky和Papert在MIT出版了論著《Perceptrons》［3］，對單層神經網絡進行了深入分析，并且從數學上證明了它的局限性，指出線性感知機功能是有限的，它不能解決如“異或”這樣的簡單邏輯運算問題。由于Minsky在人工智能領域的巨大威望和論著中的悲觀結論，使得有些學者毫不猶豫地否定了該研究方法。加之當時串行計算機和人工智能所取得的成就，掩蓋了發展新型計算機和人工智能新途徑的必要性和迫切性，這一切直接導致的后果是，計算機科學界基本放棄了神經網絡領域，美國聯邦基金取消了支助神經網絡方面的研究長達15年之久，前蘇聯也取消了幾項研究計劃，從此神經網絡的研究處于一個極度困難的“低潮時期”。

然而在10多年的“低潮時期”中，雖然研究的前景不被看好，但仍然有許多重要成果誕生。

A3聚類中的幾個節點代表了當時的一些重要研究成果，如日本學者K.Fukushima提出了認知機模型，是目前為止結構上最為復雜的多層網絡。1974年，W.A.Little發表的文章《The existence of persistent states in the brain》［4］，指出一些記憶或情感等行為的發生并不一定需要認知過程，而是強調與腦中神經網絡有直接關系。Wilson則從數學角度構建了腦神經組織的神經模型。與此同時，適應諧振理論（ART網）、自組織映射等理論也在這個時期初現端倪，為神經網絡的再次崛起奠定了堅實基礎。

在A3聚類中，圖示上方有一個明顯的節點，是美國加州工學院物理學家J.Hopfield在1982年發表了重要文章《Neural Networks and Physical Systems With Emergent Collective Computational Abilities》［5］。該文引入了“計算能量”概念，提出Hopfield神經網格模型，給出了網絡穩定性判斷。1984年，他又提出了連續時間Hopfield神經網絡模型，為神經計算機的研究做了開拓性的工作，開創了神經網絡用于聯想記憶和優化計算的新途徑，有力地推動了神經網絡的研究。這一系列論文的發表推翻了Minsky關于感知機無科學價值的判斷，標志著神經網絡理論產生了重大突破，喚醒了學術界對神經網絡研究的興趣。

3 穩步成長期（1986-2001年）

從1986年開始，神經網絡的論文數量明顯增多，神經網絡研究開始進入穩步成長期。1987年，美國召開第一次神經網絡國際會議，宣告了這一新學科的誕生，說明神經網絡已經被國際社會所認知，已經完全從“低潮”的陰影下走了出來。在國際上，《Neural Networks》雜志于1988年創刊，《IEEE Transactions on Neural Networks》雜志也在1990年誕生，這些事實表明，神經網絡已經步入穩步成長時期。我國也于1990年和1991年召開了兩次神經網絡學術大會，并成立了中國神經網絡學會，這是我國神經網絡發展以及走向世界的良好開端，也標志著我國進入了神經網絡研究的初級階段。

時期引文最多的前六篇論文。影響巨大的是1986年D.Rumelhart和J.McClelland領導的PDP研究小組。他們總結了當時神經網絡在物理學、數學、分子生物學、神經科學、心理學和計算機科學等許多相關學科的著名學者從不同研究方向或領域取得的重要成果，主要致力于認知的微觀研究，探討認知過程的機理，并發表了著作《Parallel Distributed Processing：Exploration in the Microstructures of Cognition》［6］，建立了并行分布處理理論，重新提出了簡明有效的誤差反傳（Error Back-Propagation，BP）算法［7］。一些理論研究成果如雨后春筍般相繼誕生，1989年，奧地利維也納工業大學統計與數學系教授K.Hornik研究了統計計算和數據挖掘，特別是對量化風險管理的應用領域的各種數據進行分析定量；1991年，J.Hertz發表了《Introduction to Theory of Neural Compution》［8］，全面論述了神經計算理論，為神經網絡的計算復雜性分析奠定了基礎；1989年，G.Cybenko對隱層神經網絡的函數逼近能力進行了深入研究，并發表了《Approximation by superpositions of a sigmoidal function》［9］，討論了非線性可能實施人工神經網絡的逼近性質類型。S.Haykin發表了《Neural networks:a comprehensive foundation》［10］一文，則從工程學前景全面論述了神經網絡的誤差反傳學習、徑向基函數網絡、自組織系統等。這一系列研究成果的誕生促使人工神經網絡基礎理論走向成熟，導致與之相關的技術及其性能大幅改善。

我們利用ESI學科分類的方法，繪制了這個時期各個學科神經網絡論文數量的變化情況。該圖說明在1990年后，各學科都致力于神經網絡領域的研究，曲線呈明顯上升趨勢。特別是在工程學方面的論文增長迅速，標志著該研究領域一些技術已經成熟并進入實用階段。為此，神經網絡在20世紀90年代后開始受到各個國家的重視。美國國會通過決議將1990年1月5日開始的10年定為“腦的10年”，日本于1996年制定為期20年的“腦科學時代——

腦科學研究推進計劃”。這段時期，各個國家已經將資金大量注入神經網絡研究領域。在美國，神經計算機產業在此時期獲得軍方的強有力支持，僅一項8年神經計算機計劃就投資4億美元。在歐洲共同體的ESPRIT計劃中，單是生產神經網絡專用芯片這一項就投資2 200萬美元。

4 快速發展期（2002年至今）

曲線表明從2002年開始，曲線呈現躍升態勢，神經網絡的研究進入了突飛猛進的時期。從2002－2010年這9年間的論文總數為54 767篇，占到了全部總數86 863篇的63%。為了研究當前神經網絡的熱門領域和前沿，利用自編的文獻計量軟件對近五年（2006-2010年）的34 573篇論文的關鍵詞進行抽取并統計分析這些論文中全部主題詞的頻次，現列出出現頻次最高的30個關鍵詞。

“遺傳算法”是最近五年間的研究熱點，共出現974次，遺傳算法是一種新的全局優化搜索算法，具有簡單通用、適于并行處理等顯著特點，已經成為了關鍵智能算法之一。“功能核磁共振成像技術”出現頻次為701次，使人們可以在無創傷的條件下了解腦的組織結構和相應組織結構的基本功能，觀察在一定思維狀態下究竟哪些腦組織參與活動［11］。“支持向量機”一詞出現頻次是688次，它是基于統計學習理論的一種新的機器學習技術，很好的解決了小樣本學習的問題。“模擬”出現了512次，體現了腦模擬研究的基礎地位。

通過定性分析，我們可以聚類圖分為A、B兩個大類群，分別代表腦模擬研究和腦科學研究。A類群表示以人的大腦（如學習和記憶能力）為模擬對象，而抽象出的工作原理、算法及模擬應用；B類群表示腦的結構和功能的科學研究，主要包括對海馬體、前額葉皮層等腦結構的研究，以及對記憶、精神分裂等腦的認知行為和過程研究，這些都是目前腦神經網絡的熱門研究方向。

當前，以腦模擬為目標的人工神經網絡已經取得了重大進展。根據A類群聚類分析結果，分析各類關鍵詞之間的語義關系，可以劃分為4個子群，代表目前該研究領域的研究熱點，包括：

Ⅰ群：基礎應用研究。此群表明了人工神經網絡的主要應用范圍和領域，主要包括決策樹、數據挖掘、機器學習、退火算法、聚類、模擬等。

Ⅱ群：基礎算法研究。此群表明了人工神經網絡的基礎算法，主要涉及模糊神經網絡和遺傳算法。其中模糊神經網絡自1993年被提出的，是將Mamdani模糊模型和多層前向網絡相結合的一種算法，成為智能控制研究領域的一個活躍的分支。遺傳算法是基于全局搜索的非線性反演方法，通過群體搜索策略使個體之間在群體內進行信息交換。這兩種算法都具有方法簡單、普遍適應的特性。

Ⅲ群：基于時間序列的行為預測算法研究。行為預測算法是數據挖掘中的一類典型問題，大量研究表明，神經網絡預測優于統計預測，目前已被廣泛應用在經濟、氣象、通信、醫療等領域。

Ⅳ群：神經網絡的互聯結構研究。此群表明了人工神經網絡的基礎理論，包括神經網絡的穩定性、紊亂度、同步、識別等。當神經網絡應用于解決最優化問題時，由于神經之間進行通訊傳播的時滯會影響神經系統的動力學行為［12］，因此，必須要確定平衡點的存在惟一性和平衡點的穩定性，包括了神經網絡模型的全局漸近穩定性、指數穩定性以及魯棒穩定性等一系列問題，是神經網絡結構研究的基礎研究方向。

Ⅴ群：代表了當前一些較為獨立的研究領域，包括反饋神經網絡、誤差反傳神經網絡、概率神經網絡、自組織映射等。其中反饋神經網絡的突出特點是具有聯想記憶功能，跟人腦的工作方式很相似。誤差反傳網絡是一種按誤差逆傳播算法訓練的多層前饋網絡，是目前應用最廣泛的神經網絡模型之一。概率神經網絡是基于密度函數估計和貝葉斯決策理論而建立的一種分類網絡，它的拓撲結構簡單，容易設計算法，廣泛應用于模式識別及模式分類領域。自組織映射在聚類領域被廣泛使用，其在可視化領域的應用也是研究的熱點，實現了對高維數據的把握。

5 結束語

本文采用文獻計量方法和可視化工具，利用SCI數據庫中反映神經網絡主題的文獻進行統計，分3個時期對神經網絡的發展以及熱門研究方向進行了直觀的描述，客觀的反映了神經網絡的發展歷程，從而對神經網絡的發展軌跡有更加清晰的認識。從發展前景來看，當前研究分為腦神經網絡研究和人工神經網絡研究兩個方面。其中腦神經網絡研究重點研究了腦結構及其認知過程，形成了“腦結構的認知機理”研究這一重要研究方向。在人工神經網絡方面，部分理論和技術已經成熟，并已經滲透到語音識別、圖像識別與理解、智能機器人、企業管理、市場分析、決策優化、物資調運自適應控制、專家系統、智能接口等領域中，應用前景十分廣泛。

參考文獻

［1］McCulloch W S，Pitts W H.A Logical Calculus of the Ideas Immanent in Nervous Activity［J］.Bulletin of Mathematical Biophysics，1943，(5).

［2］Hebb D O.The Organization of Behavior［M］.New York:John Wiley，1949.

［3］Minsky M，Papert S.Perceptrons［M］.Cambridge:MIT Press，1969.

［4］Little.The existence of persistent states in the brain［J］.Mathematical Biosciences，1974.

［5］Hopfield J J.Neural Networks and Physical Systems With Emergent Collective Computational Abilities.In:Proceeding of National Academy of Science，USA，1982：

79.

［6］Rumelhart，McClelland.Parallel Distributed Processing:Explorations in the Microstructure of Cognition［M］.1986.12.

［7］馮天瑾.智能學簡史［M］.北京:科學出版社，2007.

［8］Hertz，Introduction to Theory of Neural Compution［J］.Complexity Science Series，1991.

［9］CYBENKO.Approximation by superpositions of a sigmoidal function［J］.Mathematics of Control，Signals，and Systems，1989.2.

［10］HAYKIN，Neural networks:a comprehensive foundation［M］.1994.

［11］中國人工智能學會.2009-2010年智能科學與技術科學發展報告［M］.北京:中國科學技術出版社，2010.

［12］崔萍.一類具有時滯的Cohen-Grossberg神經網絡的穩定性［J］.楚雄師范學院學報，2010，25(12):3.