Potts網絡的模塊化Latching動力模型

摘 要： Latching（鎖連）是意大利國際高等研究生院的Alessandro Treves教授根據人類語言所獨有的無窮遞歸能力假設構造出的自適應Potts動力學模型。Latching能夠解釋思維中的策略轉移現象，對于探索人類智能的出現具有重要的意義。但是Latching動力學模型是建立在單個模塊基礎上的，無法與實驗證據進行直接對話。本文利用具有時延的異聯想突觸連接將Latching動力擴展到模塊化Latching鏈，并對其主要參數重繞概率、閾值系數、噪聲模式對和反饋連接系數做了深入的仿真分析。研究的主要結果有：1）一個適當的重繞概率能增強模塊內模式之間的鎖連活動。2）在模塊化網絡中，LCL和ISR對反饋連接和噪聲模式的大小都不敏感。3）只有在閾值較高，網絡中才會出現比較清晰的Latching轉移。

關鍵字：Potts網絡；鎖連；無窮遞歸

中圖分類號：TP391 文獻標識碼：A 文章編號：2095-2163（2013）04-

Latching Dynamics in Potts Network

SONG Sanming， YAO Hongxun

（School of Computer Science and Technology， Harbin Institute of Technology， Harbin 150001， China）

Abstract： Latching dynamics， designed by A.Treves from SISSA， is a kind of adaptive Potts dynamics model that derived from the unique infinite recursion capability hypothesis in human languages. It successfully explains the strategic transition phenomenon in human thinking， bringing great significance to the exploration of the emergence of human intelligence. But Latching dynamics runs on a single module， forfeiting a fruitful dialogue with the experimental evidence. A modular Latching chain is proposed by the introduction of delayed hetero-associative synapses， and the effects of structural parameters like rewiring probility， threshold， noise patterns pairs and feedback connections are analyzed by computational simulations. The main findings in the paper includes： 1） an appropriate rewiring probability promotes the intra-modular latching transitions. 2） The average latching chain length and inverse switching ratio is insensitive to the noise and feedback connections. 3） A larger threshold is necessary for the clear transition between modules.

Key words： Potts Network； Latching； Infinite Recursion

0 引 言

在人類頭腦中多有策略轉移過程的發生。例如，在圍棋中存在Stamma's mate（斯塔瑪將殺）。圖1中，當白移動到b4時 （Nb4），黑子沒有選擇，只能移動王 （Ka1）。按照教條式的落子方法，白子可以通過移動王 （Kb3） 吃掉黑兵。如果這樣的話，黑王只需移動到b1 （Kb1）就會逃脫，導致平局。但是，白子其實還有一種更好的選擇。比如，跳向一種新的策略（圖1）中藍色的轉移。白王移動到c1 （Kc1），迫使黑兵（a2）前移。白王移動到c2 （Nc2）， 黑王將死，黑子落敗。

這種內部生成的策略改變可以通過Hayling測試在實驗中進行觀察[1]。在實驗中，實驗員要求試用任意詞補充類似于``The ship sank very close to the ...\"這種預先設計好的句子框架。但是，被試不得使用與句子環境相關的或者句子的自然填充詞。一般情況下，被試很快就會學習到一種新的策略，這種策略使其在大多數實驗中均能生成一個不相關的響應。比如，選擇實驗室里身邊的物體。在沒有外部刺激輸入的條件下，監督式非路徑操作s能從執行中容易出錯的操作S1鎖連到正確的操作S2，而且該過程可以自然、簡單地執行。和標準的路徑不同，這種過程需要一種特殊的操作，如Latching[2]，實現s-操作之間的鎖連。

Latching動力模型是意大利國際高等研究生院（SISSA）的Alessandro Treves教授于2005年根據哈佛大學教授Hauser、麻省理工學院教授Chomsky和哈佛大學教師Fitch關于人類語言獨有的無窮遞歸能力的假設[3]構造了一個基于自適應Potts 單元的自聯想記憶模型。每個Potts單元代表一塊皮質。Potts假設將皮質塊視作功能單元[4]，并與Mountcastle的微柱理論[5]相得益彰。Amati等認為，latching現象對于人類智能的出現是起決定性作用的關鍵[1]。

Treves指出，如果全局網絡是均勻稀疏網絡，網絡的容量非常小，以至于全局吸引子的數量甚至并不比局部吸引子數勝過許多[2]。Treves建議作兩個修改：

（1）非均勻分布的長程連接；

（2）稀疏放電模式。即從宏觀的角度上看，活動模式并不定義在所有的模塊上，而是傾向于在少數強烈交互的模塊上。

但是，實際情況是第一個修改條件在后面的分析中很大程度上被忽略了[6]。雖然Potts考慮到了神經元之間的連接關系，但是Potts之間也應該滿足上述兩個條件[7]。本文將考慮在小世界網絡的框架下分析模塊化Potts網絡中的Latching動力學特性，而模塊化小世界網絡框架則如圖1所示。

圖1 模塊化小世界網絡

Fig.1 Modular Small-World

基于此，本文將Latching動力模塊化，并做出以下幾方面的考慮：

（1）模塊化網絡。將網絡分成多個模塊，在模塊之間建立異聯想突觸連接。異聯想突觸連接有助于將Latching Chains 從一個模塊轉移到另外一個吸引子。模塊內的Latching動力可以看成自發轉移（包括“策略轉變”），而模塊之間的異聯想連接引導網絡動力的路徑轉移，如s操作。

（2）小世界網絡。從fMRI和MEG的成像記錄[8]來看，無論是局部的皮質網絡，還是更宏觀的白質連接，都具有小世界網絡結構。

（3）傳輸時延。在此，引入了突觸時延。信號的傳遞存在時延，如海馬的CA3區，神經元之間的傳遞時延大約是2.5ms[9]。

（4）網絡中可能存在噪聲連接和反饋連接。

（5）自適應閾值。假設系統的閾值與網絡活性成正比，即將閾值看成某種形式上的反饋。在神經系統中，這種抑制的角色可能由下丘腦扮演[10]。如此，模型就能更為客觀真實地模擬語言和行為中的時序放電活動。

本文通過計算機仿真分析模塊化Latching鏈。主要采取兩個測度去分析其中的時序關聯動力。一個是平均Latching鏈長度 （latching chain length， LCL），用來刻畫平均每個模塊中被喚醒的模式的個數。另一個是逆向跳變概率（inverse switching ratio， ISR）。由于噪聲模式對和反饋連接的存在，網絡中會存在不同程度的逆向跳變。下面，將主要分析重繞概率、閾值、噪聲和反饋連接等主要連接參數對時序關聯動力的影響。

1 模型

Latching動力導致狀態之間結構性的轉移。產生Latching動力有兩個基本的條件：

（1）神經元自適應。成功回憶起某個概念的過程中激活的所有神經元均會通過適應，導致其活性下降，并使相應的Potts單元遠離當前局部吸引子狀態；

（2）吸引子關聯。一些Potts單元剩下的活性能可作為線索來提取和當前全局吸引子關聯的模式。

這樣，與當前正在衰退的模式關聯的全局活動同時滿足兩個條件：

（1）是如此地弱，不能完全抑制收斂到其它吸引子；

（2）是如此地強，能夠引起對一個與當前模式足夠關聯的新模式的回憶。

所以，一旦給出第一個線索模式，網絡狀態就能自動經歷一連串的記憶模式[2]。

1.1網絡結構

為了生成模塊化小世界網絡，首先按照Watts-Strogatz算法[11]生成一個小世界網絡。先將個Potts 單元排成一個環形結構，每個Potts單元和距離其最近的個Potts 單元形成突觸連接（周期性邊界）。這樣，網絡的稀疏連接系數是。然后以重繞概率對所有的突觸連接進行重繞。當， 沒有任何重繞，網絡仍然是一個正則的近鄰網絡。 而當時，網絡即變成全局隨機耦合網絡，網絡的環狀結構消失。當較小時，網絡呈現小世界特征。

重繞后，將環狀網絡等分成個模塊，對模塊內的自聯想突觸連接進行隨機重排，對任意兩個模塊間的異聯想突觸連接也進行隨機重排。在圖1中，顯示了一個典型的模塊化小世界網絡及其連接矩陣。Potts單元之間的突觸連接的有無則用二值連接矩陣C表示。如果Potts單元和之間存在一條突觸連接，則，否則。和Hopfield網絡類似，為了確保網絡能收斂到吸引子，矩陣的對角線需要設置0。

1.2突觸連接

每個模塊具有相同的Potts個數，不同的模塊存儲不同的模式集。設定模式集的大小，網絡總共存儲個模式。模式用（，）表示。每個模式中，比例為的Potts單元設置為個可能的Potts態中的任意一個，剩下的Potts單元全部設置為靜息態。

每個模塊都是標準的自聯想記憶Potts網絡。模塊之間通過模式對建立異聯想突觸連接，以利于活動在模塊之間的傳遞。注意，每個模式都有可能參與多條路徑。如果模塊中的模式和模塊中的模式存在時間上的關聯，則將其稱作是一個模式對， 或者簡稱。任何兩個相鄰的模塊之間都存在個模式對。即，通過異聯想突觸，每個模式都能連接到下一個模塊中的個模式。

假設每個Potts的狀態數是，除此之外還有一個靜息態。同時假設Potts處于非靜息態的概率為，且處于每個非靜息態的概率相等，即都等于， 則第個Potts單元處于狀態，第個Potts單元處于狀態時兩個Potts單元之間的突觸連接權重為（）：

（1）

其中，為每個Potts單元的平均連接數。

前一個模塊中第個Potts單元處于狀態，后一個模塊中第個Potts單元處于狀態時，兩個Potts單元之間的突觸連接權重為：

其中，。系數調節異聯想突觸連接的強度。

時序模塊之間可以存在反向連接。為了減小非對稱對自聯想過程帶來的影響，假設反向和正向連接權重之間滿足，。

噪聲模式對也是需要考察的對象。如果兩個并不相鄰的模塊之間存在模式關聯，則稱這些模式對為噪聲模式對。噪聲模式對的強度為，即任意兩個相距很遠的模塊之間存在個模式對。

1.3 Latching動力

第個Potts單元處于狀態時的立即場是從模塊內及其模塊外的其它Potts單元的輸入的加權和。其計算公式為：

是閾值，偏向靜息態。最后一項是自增強項，有助于收斂到更活躍的狀態。

熱浴動力為[6]：

其中，稱為局部勢，包含了立即場和每個Potts狀態的動態閾值。和的更新公式為：

由于局部勢比閾值的更新速度要快得多，因此時間常數滿足。類似地，可以寫出靜息態的局部勢：

靜息態的局部勢由非靜息態的活性所驅動。靜息態的局部勢開始是，激活Potts單元的靜息態則會慢慢增加到，下調Potts單元的活性，在防止過熱的同時，使當前吸引子去穩態。

閾值的大小和當前網絡的整體活性成正比，具體公式為：

其中，是閾值系數。

3 仿真實驗

文中利用MATLAB軟件對Latching動力進行了仿真。在每個模塊中存儲個隨機模式。進行仿真時，任意選擇一個模式，將其中20%的Potts單元設置為隨機狀態，同時作為線索輸入網絡。計算初始立即場，并用其初始化局部場。初始閾值均設置為0。具體考察某一個參數的時候，保持其他的參數不變。Latching鏈的性能通過LCL和ISR考察。所有的值都是20次獨立仿真得到的平均值。主要仿真參數為，時間常數，其它仿真參數參考文獻[12]。

3.1 Latching鏈

圖3顯示了一條典型的Latching鏈。

可以看到，在大多數時間里，活動都集中在單個模塊的單個模式中。當活動在一個模塊中停留一段時間后，則將傳遞至下一個模塊。

LCL可根據如下公式計算：

其中，是模塊中被喚醒的模式數，是latching迭代完成的模塊數。只有一個模式的喚醒程度（overlap）大于0.4時，才可將其看作有效的喚醒模式。式（9）中出現了減1，則是因為只考慮真正鎖連的模式數。在圖2中，LCL= （2+1+2+2）/4-1=0.75.

ISR是逆向傳播的次數（）和總的異聯想跳轉次數（）的比值，具體公式為：

所有違背的異聯想轉移（包括遠程轉移） 均可看作是逆向跳轉。而在圖2中，活動沒有逆向傳播的情況，所以 ISR=0。LCL和ISR和參數密切相關。文中將在如下專節中討論這些情況。

3.2 閾值和重繞概率

當U非常大時，和線索模式相關的模式將首先被喚醒。但這個模式并不足以克服閾值，導致無法進行Latching轉移，或者喚醒下一個模塊中的模式。在圖3（a）中，，幾乎所有的活動在3 000個仿真步內停止。

一個貼切適中的閾值會形成較為清晰的Latching傳遞。比如在圖3（b）中，當時候，活動沿著環狀網絡，從模塊2傳遞到1，然后依次傳遞到5，4，3。而且每個模塊中都有一個或多個鎖連轉移。當閾值繼續下降時，新的網絡動力學出現了。為了顯示比較清晰的例子效果，輕微調低了重繞概率，，。如果說在圖3（b）中每次只有一個模塊被激活，那么在圖3（c）中同時有多個模塊處于激活狀態。之所以說這是一個不同的相，是因為活動沿著網絡傳遞的概念逐漸消失了。模式轉移路線逐漸變得模糊和混亂起來。

當很小的時候，如3（d）中，不僅多個模塊同時激活，而且同一個模塊中也有很多模式同時處于激活狀態。更重要的是，Latching轉移能夠一直持續下去。在目前的參數條件下，較小的閾值能產生由單模塊latching到多模塊latching的相變。

繼續降低閾值，系統將停滯在穩定的吸引子態。在4（e）中，，有些模式一直處于激活狀態，而另外一些模式則出現了交替。

具有不同行為的參數取值區域可以綜合成一張相圖。不同的，參數取值空間分成不同的區域，就構成了相圖。并且知道，LCL依賴于系統的相特征，可以通過考察LCL繪制相圖。圖4畫出了（為了簡便起見，沒有考慮反饋），和 （中等程度的噪聲）時候的相圖。

（a） noL： no latching

（a） noL： 沒有latching

（b） sL： single-modular latching

（b） sL： 單模塊latching

（c） mL： multi-modular latching

（c） mL： 多模塊latching

（d） infL： infinite latching

（d）infL： 無窮latching

（e） SA： stable attractor

（e） SA： 穩定的吸引子

3.3 重繞概率

重繞概率影響Latching序列的過程如圖5所示。在圖5中，可以看到，當很大的時候，沒有latching轉移發生。同時，也考察噪聲模式系數和反饋連接系數的效應。為了理解網絡結構究竟影響網絡動力的具體機理，選擇了一個比較高的閾值。因為當閾值較低時，網絡結構逐漸不相關。

在圖5中，給出了四種可能的組合條件下LCL，ISR和重繞概率的關系，沒有反饋（）或中等程度的反饋（），沒有噪聲（）或中等程度的噪聲水平（）。圖LCL-q變化曲線可以看出，當噪聲或反饋連接出現時，LCL和ISR對噪聲和反饋連接并不敏感。但是如果噪聲和反饋連接都出現的時候，對于準正則網絡（），ISR明顯增強。并且，在小世界網絡的中間參數段，，LCL突然增強。而ISR在這個區間卻明顯變小。如果網絡趨向隨機網絡，，LCL和ISR都很快衰減到0。

4 結束語

本文利用有時延的異聯想突觸連接，將Latching動力進行模塊化擴展。Latching活動在一個模塊中停留一段時間以后，將自動傳遞到下一個模塊。自聯想突觸連接支持自由關聯的latching動力，而異聯想突觸為模塊間的吸引子轉移提供了通道。隨后，分析了主要結構參數，如重繞概率、噪聲模式對、反饋連接和閾值對Latching Chains的影響。仿真表明，一個適當的概率和一個相對較高的閾值均能增強模塊內模式之間的鎖連活動。而且LCL和ISR對反饋連接和噪聲模式的大小都不敏感。此外，網絡活動逆向傳遞的概率則非常低。只有當反饋連接和噪聲連接同時出現時，逆向傳遞的概率會突然增加。模塊化Latching鏈是第一個能同時進行模塊內和模塊間轉移的時序放電模型，具有豐富的內涵，其后將從理論和實驗兩個層面對其進行更加深入的研究。

參考文獻：

[1] AMATI D， SHALLICE T. On the emergence of modern humans”， Cognition， 2007，103：358–385.

[2] TREVES A. Frontal latching networks： a possible neural basis for infinite recursion. Cognitive Neuropsychology， 2005， 22（3-4）： 276-291.

[3] HAUSER M N， FITCH C W T. The language faculty： what is it， who has it， and how did it evolve？. Science， 2002， 298：1569–1579.

[4] KANTER I. Potts-glass models of neural networks. Phys. Rev. A， 1988， 37：2739–2742.

[5] MOUNTCASTLE V B. Modality and topographic properties of single neurons of cat’s somatic sensory cortex[ J]. Neurophysiol， 1957，20（4）：408–434.

[6] RUSSO E， TREVES A. Cortical free association dynamics： distinct phases of a latching network. Phys Rev E Stat Nonlin Soft Matter Phys.，2012， 85（5（051920））：1–18.

[7] FAVOROV O V， KELLY D G. Minicolumnar organization within somatosensory cortical segregates： I. Development of afferent connections”， Cerebral Cortex， 1994，4（4）： 408–427.

[8] BASSETT D S， BULLMORE E. Small-world brain networks. The Neuroscientist”， 2006，12（6）：512–523.

[9] SABATINI B L， REGEHR W G. Timing of synaptic transmission. Annual Review of Physiology， 1999，61：521–542.

[10] HOHLWEG W. The regulatory centers of endocrine glands in the hypothalamus”， Pioneers in Neuroendocrinology， 1975，159–172.

[11] WATTS D J， STROGATZ S H. Collective dynamics of ‘small-world’ networks. Science， 1998，286：509–512.

[12] SONG S， YAO H， TREVES A. A modular latching chain”， cognitive neurodynamics （in press）.

[1]

基金項目：國家自然基金重點項目（項目編號：61133003），國家自然基金面上項目（項目編號：61071180）。

作者簡介：宋三明（1984-），男，湖北荊州人，博士研究生，主要研究方向：神經計算、人工智能；

姚鴻勛（1965-）*，女，浙江杭州人，博士，教授，博士生導師，主要研究方向：計算機視覺、多媒體計算和人機交互。