視知覺(jué)學(xué)習(xí)的自組織機(jī)制研究

陳家偉, 陳六君, 劉 艷

(北京師范大學(xué)管理學(xué)院,北京 100875)

知覺(jué)具有學(xué)習(xí)的特征,大腦感知外部世界的策略總是隨著經(jīng)驗(yàn)的增加而變化,漢字的知覺(jué)過(guò)程也體現(xiàn)了這個(gè)特點(diǎn).漢語(yǔ)的初級(jí)學(xué)習(xí)者最常使用的學(xué)習(xí)方式是整體字形策略[1],例如,把“商”字看成一張悲傷的臉.這種方式可以幫助學(xué)習(xí)者記憶漢字,但也是使得他們?cè)趯?xiě)漢字時(shí)常出現(xiàn)缺少筆畫(huà)的原因之一.對(duì)中高級(jí)漢字學(xué)習(xí)者的研究表明,漢字的部件和位置信息在高年級(jí)留學(xué)生的漢字知覺(jué)過(guò)程中起到了重要作用[2],學(xué)習(xí)者已經(jīng)能夠?qū)h字做出拆解并對(duì)部件在漢字中的位置有一定敏感性.而母語(yǔ)為漢語(yǔ)的有經(jīng)驗(yàn)學(xué)習(xí)者,能很快地抽取漢字的各個(gè)組成部分,而不是把整個(gè)漢字作為一個(gè)整體來(lái)知覺(jué).例如,在測(cè)試對(duì)漢字反應(yīng)時(shí)的實(shí)驗(yàn)中,當(dāng)給學(xué)習(xí)者看過(guò)漢字“怕”以后,分別測(cè)試對(duì)漢字“白”、“百”、“黑”的反應(yīng)時(shí),結(jié)果“白”的反應(yīng)時(shí)間明顯少于其他兩個(gè)字,這也說(shuō)明了學(xué)習(xí)者在對(duì)漢字的知覺(jué)中具有快速拆解能力.

可見(jiàn)對(duì)漢字來(lái)說(shuō),有兩種基本的知覺(jué)方式,即整字加工和部件分解,而部件分解方式具有更高的效率,通過(guò)訓(xùn)練,學(xué)習(xí)者的知覺(jué)策略會(huì)由整字加工方式向部件分解方式轉(zhuǎn)化.知覺(jué)模型的模擬結(jié)果也表明[3],大腦中可能存在局部到整體和整體到局部?jī)煞N知覺(jué)模式,局部到整體的知覺(jué)效率更高,這與行為實(shí)驗(yàn)的結(jié)果是一致的,但知覺(jué)模型不能實(shí)現(xiàn)行為實(shí)驗(yàn)中觀察到的知覺(jué)模式的轉(zhuǎn)變.由知覺(jué)模型可知,知覺(jué)模式在神經(jīng)系統(tǒng)中體現(xiàn)為不同的權(quán)重分布方式,知覺(jué)模式的轉(zhuǎn)變就體現(xiàn)為權(quán)重分布方式的變化.作者認(rèn)為權(quán)重分布方式的轉(zhuǎn)變過(guò)程是一個(gè)自組織過(guò)程,即通過(guò)神經(jīng)元之間局部的相互作用從而形成整體上權(quán)重分布狀態(tài)的改變,本文將討論這個(gè)過(guò)程發(fā)生的神經(jīng)動(dòng)力學(xué)機(jī)制.

實(shí)際上,討論大腦自組織機(jī)制的模型在20世紀(jì)80年代初就有了,1982年Kohonen提出的自組織映射(self-organizing map,SOM)神經(jīng)網(wǎng)絡(luò)模型就是其中一個(gè)成功案例[4],該模型能夠比較好地模擬大腦中發(fā)生的一些自組織過(guò)程.Erwin等的研究表明,SOM模型可以解釋獼猴初級(jí)視覺(jué)皮層形成的過(guò)程[5].邢紅兵等用SOM模型模擬小學(xué)生對(duì)形聲字命名過(guò)程中的一致性和規(guī)則性,得到了和行為實(shí)驗(yàn)一致的結(jié)果[6].本文以知覺(jué)模型為基礎(chǔ),加入局部的側(cè)向相互作用機(jī)制,建立能反映漢字知覺(jué)學(xué)習(xí)過(guò)程權(quán)重演化的神經(jīng)網(wǎng)絡(luò)模型,通過(guò)對(duì)多個(gè)漢字樣本的學(xué)習(xí),權(quán)重整體的分布發(fā)生變化,實(shí)現(xiàn)漢字整體知覺(jué)向局部知覺(jué)的轉(zhuǎn)變.

1 模 型

1.1 模型結(jié)構(gòu)

在Edelman統(tǒng)計(jì)學(xué)習(xí)模型[7]和Chen知覺(jué)模型[3]的基礎(chǔ)上建立知覺(jué)學(xué)習(xí)模型.模型分3層,輸入層X(jué)、中間層Y和輸出層Z,如圖1所示.輸入層和輸出層都是由40×40的神經(jīng)元點(diǎn)陣組成,中間層由4個(gè)40×40的感受野Ri組成.輸入層神經(jīng)元Xmn分別連接中間層4個(gè)感受野Ri的對(duì)應(yīng)神經(jīng)元Yi,m n,連接權(quán)重分別為ui,mn;中間層的4個(gè)神經(jīng)元Yi,mn再共同輸入到輸出層神經(jīng)元Zmn,連接權(quán)重分別為vi,mn.其中,下標(biāo)i=1,2,3,4;m,n=1,2,…,40,分別表示感受野的編號(hào)和神經(jīng)元的位置.

圖1 知覺(jué)學(xué)習(xí)模型結(jié)構(gòu)示意圖Fig.1 Network structure of perceptual learning model

不同感受野之間的神經(jīng)元存在競(jìng)爭(zhēng)關(guān)系,當(dāng)輸入Xmn不為0時(shí),Yi,m n只能有一個(gè)激活;同一個(gè)感受野內(nèi)的神經(jīng)元之間存在著合作關(guān)系,合作方式采用側(cè)向相互作用機(jī)制,被激活神經(jīng)元對(duì)近鄰的神經(jīng)元有興奮性刺激.

1.2 輸入層到中間層的權(quán)重調(diào)整

中間層加入側(cè)向相互作用,使得輸入層到中間層的權(quán)重矩陣U發(fā)生變化的因素變?yōu)榱藘蓚€(gè):一個(gè)是來(lái)自輸入層的輸入;另一個(gè)是來(lái)自同一層神經(jīng)元之間的相互作用.兩者引起的變化之和為總的權(quán)重變化.

對(duì)于外部輸入引起的權(quán)重矩陣U的調(diào)整,參照Edelman使用的偽Hebb學(xué)習(xí)法進(jìn)行[7],方程為

式中,t為時(shí)間;θ為感受野的閾值,具有歷史相關(guān)的特性;h為歷史長(zhǎng)度;c為感受野的凈輸入;Y為感受野的輸出;u為連接權(quán)重;η為網(wǎng)絡(luò)訓(xùn)練時(shí)的學(xué)習(xí)效率;下標(biāo)i表示感受野的編號(hào);mn表示神經(jīng)元在感受野中的位置;e為外部輸入導(dǎo)致的權(quán)重變化.

感受野之間的競(jìng)爭(zhēng)與合作仿照Kohonen使用的側(cè)向相互作用[4],分為前期的競(jìng)爭(zhēng)過(guò)程和后期的合作過(guò)程.對(duì)于輸入層的任意神經(jīng)元與它連接的中間層神經(jīng)元為權(quán)重分別為當(dāng)外界輸入不等于0時(shí),則第c個(gè)感受野的神經(jīng)元獲勝,如果xmnuc,mn≥xmnui,mn,對(duì)?i成立,這是競(jìng)爭(zhēng)過(guò)程.獲勝神經(jīng)元影響它鄰域內(nèi)的神經(jīng)元,使得這些神經(jīng)元和輸入層之間的權(quán)重增加,這是合作過(guò)程.鄰域半徑設(shè)為Nc,mn(t),其大小隨時(shí)間變化.

式中,S為感受野的大小,取值為40;β(t)為確定鄰域范圍大小的系數(shù).

側(cè)向相互作用的大小由該神經(jīng)元到獲勝神經(jīng)元之間的距離決定,這里采用高斯分布的形式描寫(xiě)這種相互作用的大小,即當(dāng)為獲勝神經(jīng)元時(shí),獲得的權(quán)重變化

總的權(quán)重變化為輸入層和中間層引起的權(quán)重變化之和,即

再考慮權(quán)重矩陣U的歸一化可得

中間層神經(jīng)元的輸出為

1.3 中間層到輸出層的權(quán)重調(diào)整

采用感知機(jī)整合方式調(diào)整中間層到輸出層的權(quán)重,每一次訓(xùn)練過(guò)程經(jīng)過(guò)計(jì)算輸出、調(diào)整權(quán)重和歸一化3個(gè)階段,方程為

式中,vmn為中間層,為中間層的輸出,為輸出層的輸出;ξ為學(xué)習(xí)效率; ρ為輸出層神經(jīng)元的閾值.

2 模擬結(jié)果

2.1 初始狀態(tài)

知覺(jué)學(xué)習(xí)模型模擬知覺(jué)模式改變的過(guò)程,假定初始時(shí)刻權(quán)重矩陣U的分布為代表整體到局部知覺(jué)模式的隨機(jī)分布,即再進(jìn)一步歸一化,即結(jié)果如圖2所示.

圖2 輸入層到中間層的初始權(quán)重是歸一化了的隨機(jī)分布Fig.2 Initial weights from input layer to middle layer is assumed as normalized random distribution

2.2 單個(gè)漢字的訓(xùn)練

首先采用單個(gè)漢字“打”對(duì)模型進(jìn)行訓(xùn)練,考察權(quán)重分布的演化過(guò)程.選擇上文中的參數(shù)分別為θi(0)=50,η=0.5,h=5,k=0.1,α=0.2,ρ=0. 3,ξ=0.5,β=0.1.權(quán)重矩陣U以及中間層和輸出層的輸出隨時(shí)間的演化結(jié)果如圖3所示.

圖3 使用單個(gè)漢字訓(xùn)練網(wǎng)絡(luò)時(shí)權(quán)重和輸出隨時(shí)間的演化Fig.3 One Chinese character is used to train the model, and the weights and outputs are displayed

學(xué)習(xí)的開(kāi)始階段,中間層每個(gè)感受野的輸出以漢字的基本輪廓為主,隨著訓(xùn)練的進(jìn)一步進(jìn)行,各感受野逐漸轉(zhuǎn)向?qū)斎氲哪骋徊糠置舾?從而獲取更多的細(xì)節(jié),這種學(xué)習(xí)方式的轉(zhuǎn)變能帶來(lái)效率的提高,有利于輸出層更快地重現(xiàn)樣本,實(shí)際上,6次訓(xùn)練就已經(jīng)能比較完整地重現(xiàn)輸入了,9次訓(xùn)練能夠完成對(duì)樣本的再現(xiàn).

2.3 多個(gè)漢字的訓(xùn)練

使用具有相同特征的多個(gè)漢字訓(xùn)練網(wǎng)絡(luò),不僅能夠發(fā)生知覺(jué)模式轉(zhuǎn)變,而且能夠獲得漢字的局部特征.本文選取如圖4(a)所示的10個(gè)左右結(jié)構(gòu)的漢字,每一次隨機(jī)抽取其中1個(gè)漢字訓(xùn)練網(wǎng)絡(luò),參數(shù)選取與訓(xùn)練單個(gè)漢字時(shí)相同,只是鄰域范圍增為β(t)=0.35.訓(xùn)練40次后得到權(quán)重U的演化結(jié)果如圖4(c)所示.訓(xùn)練過(guò)程中的兩次輸出結(jié)果如圖4(b)所示.

圖4 用相同結(jié)構(gòu)的漢字訓(xùn)練網(wǎng)絡(luò)能抽取漢字的局部特征Fig.4 A group of Chinese characters with the same structure are used to train the network, and the local feature can be extracted

用多個(gè)漢字對(duì)模型訓(xùn)練也能夠?qū)崿F(xiàn)感受野權(quán)重的重新分布,即從初始的隨機(jī)分布狀態(tài)轉(zhuǎn)變到最終的塊狀分布狀態(tài),從而使得各感受野最終只對(duì)輸入的某一部分敏感,實(shí)現(xiàn)了從整體知覺(jué)到局部知覺(jué)的轉(zhuǎn)變.用特定結(jié)構(gòu)的漢字訓(xùn)練模型,還能實(shí)現(xiàn)對(duì)漢字進(jìn)行有意義的拆解,從而提取出局部特征——偏旁部首.

2.4 對(duì)神經(jīng)連接受損時(shí)的模擬

某些腦區(qū)的神經(jīng)連接受到損傷將會(huì)影響其功能的實(shí)現(xiàn),本文研究知覺(jué)學(xué)習(xí)過(guò)程中神經(jīng)連接損傷對(duì)權(quán)重U的最終分布狀態(tài)的改變.采用與2.2條完全相同的參數(shù)和初始條件,只是假設(shè)β(t)=0.35-t(0.35-0.1)/40,當(dāng)學(xué)習(xí)到第10次的時(shí)候,假設(shè)神經(jīng)系統(tǒng)受到損傷,即當(dāng)t=11時(shí),u4,mn=0,對(duì)任意(m,n)成立.再繼續(xù)學(xué)習(xí)30次,得到權(quán)重分布結(jié)果為圖5所示.

圖5 訓(xùn)練過(guò)程中神經(jīng)連接受損時(shí)的權(quán)重演化過(guò)程Fig.5 Weight evolves with time before and after the damage of neural connections

第10次的結(jié)果和第40次時(shí)的結(jié)果相比,只是R2和R1的敏感范圍擴(kuò)大,占據(jù)了R4敏感的區(qū)域,而其他感受野的權(quán)重變化較小,沒(méi)有引起全局性的重新分布.這說(shuō)明在學(xué)習(xí)過(guò)程中,當(dāng)有神經(jīng)連接損傷,損傷部分所敏感的區(qū)域會(huì)被對(duì)該區(qū)域周圍敏感的感受野代替,從而保證知覺(jué)過(guò)程能夠完成.軀體感覺(jué)皮層也存在類似的情況,Merzenich在20世紀(jì)80年代所做的梟猴軀體感覺(jué)實(shí)驗(yàn)也發(fā)現(xiàn)了類似現(xiàn)象[8].

3 結(jié)束語(yǔ)

在Hebb學(xué)習(xí)法和側(cè)向相互作用的基礎(chǔ)上,建立了具有分解和整合功能的視知覺(jué)學(xué)習(xí)模型.在代表整體知覺(jué)模式的初始條件下,使用不同樣本集對(duì)模型進(jìn)行訓(xùn)練,權(quán)重均發(fā)生了分布狀態(tài)的改變,即由隨機(jī)分布向塊狀分布轉(zhuǎn)變,權(quán)重分布方式的轉(zhuǎn)變代表了整體知覺(jué)模式向局部知覺(jué)模式的轉(zhuǎn)變,從模擬的角度實(shí)現(xiàn)了學(xué)習(xí)者對(duì)漢字知覺(jué)模式的轉(zhuǎn)變.使用相同結(jié)構(gòu)的漢字訓(xùn)練模型,模型還能夠抽取漢字的局部特征——偏旁部首.在神經(jīng)元受損的情況下,模型的結(jié)果與梟猴軀體感覺(jué)皮層損傷時(shí)發(fā)生的結(jié)果一致.

輸入層到中間層權(quán)重分布模式的轉(zhuǎn)變過(guò)程是自組織過(guò)程.模型中雖然只設(shè)定了局部的權(quán)重調(diào)整規(guī)則,卻能夠在整體上實(shí)現(xiàn)權(quán)重的有序塊狀分布,從而實(shí)現(xiàn)了對(duì)輸入局部到整體的知覺(jué),有著明顯的自組織特性.神經(jīng)元之間的側(cè)向相互作用是自組織過(guò)程發(fā)生的核心機(jī)制,由此可以猜想,側(cè)向相互作用可能是大腦皮層可塑性的重要機(jī)制,是神經(jīng)細(xì)胞產(chǎn)生特異性選擇的重要原因之一.

[1] 江新,趙果.初級(jí)階段外國(guó)留學(xué)生漢字學(xué)習(xí)策略的調(diào)查研究[J].語(yǔ)言教學(xué)與研究,2001(4):10-17.

[2] 馮麗萍,盧華巖,徐彩華.部件位置信息在留學(xué)生漢字加工中的作用[J].語(yǔ)言教學(xué)與研究,2005(3):66-72.

[3] CHEN Jiawei,LIU Yan,CHEN Qinghua,et al.A neural network model for Chinese character perception [C]//Proceedings of the 5th International Conference on Natural Computation(ICNC'09),2009,319-323.

[4] KOHONEN T.The Self-Organizing Map[M].2nd ed. Berlin,Heidelberg:Springer-Verlag,1997.

[5] ERWIN E,OBERMAYER K,SCHULTEN K.Models of orientation and ocular dominance columns in the visual cortex:a critical comparison[J].Neural Computation,1995(7):425-468.

[6] XING Hongbin,SHU Hua,LI Ping.The acquisition of Chinese characters:Corpus analyses and connectionist simulations[J].Journal of Cognitive Science,2004,5: 1-49.

[7] EDELMAN S,INT RA TOR N,JACOBSON J S.Unsupervised learning of visualstructure[C]//Proceedings of the 2nd International Workshop Onbiologically Motivated Computer Vision,2002(2525):629-643.

[8] M ERZENICH M M,NELSON R J,ST RYKER M P, et al.Somatosensory cortical map changes following digitamputation in adult monkeys[J].Journal of Comparative Neurology,1984(224):591-605.