基于均值/方差分類的三維SOM初始化模式庫算法

?

基于均值/方差分類的三維SOM初始化模式庫算法

引文格式： 程福林，黎洪松.基于均值/方差分類的三維SOM初始化模式庫算法[J].桂林電子科技大學學報，2016,36(1)：35-38.

程福林，黎洪松

(桂林電子科技大學 信息與通信學院，廣西 桂林541004)

摘要：針對傳統的初始化模式庫算法存在模式矢量利用率低、與信源匹配程度不高的不足，提出一種基于均值/方差分類三維SOM初始化模式庫算法。根據均值分類，將訓練矢量集按照方差排序，以相同間隔抽取矢量組成初始化模式庫。將算法運用到基于三維SOM算法的圖像編碼，結果表明，均值/方差分類初始化模式庫算法無效模式矢量數量少、與信源匹配程度高，能有效地提高三維SOM算法的性能。

關鍵詞：三維SOM；初始化模式庫算法；圖像模式識別；圖像編碼

自組織特征映射(self-organizing feature maps，簡稱SOM)算法[1]是Kohonen受人腦神經元的組織原理啟發而提出的一種具有自組織特性的人工神經網絡算法。該算法模擬了人腦神經系統對某一圖形或某一頻率特定興奮特征，同時，考慮了人工實現的條件，在數據挖掘和圖像模式識別等領域得到了深入的研究和應用[2-9]，是一種高效的數據聚類方法。SOM算法的核心是模式庫設計，SOM網絡通過感知大量的數據，對初始化模式庫進行調整，進而得到最佳匹配的模式庫。

基于模式識別的圖像編碼是近年來出現的一種新的圖像編碼方法。Li Hongsong等[10]提出了一種基于模式識別的圖像編碼方案，該方案利用SOM算法訓練圖像模式識別模式庫，初始模式庫采用隨機法，實驗表明，該編碼方案的性能優于JPEG2000。初始化模式庫算法是三維SOM算法的重要組成部分，文獻[11]提出了一種基于最小距離的初始化模式庫算法，該算法優于隨機抽取法；張可可等[12]提出了一種基于方差分類的初始化模式庫算法，并應用到基于三維鄰域SOM算法的圖像編碼中；黎洪松等[13]在分析隨機抽取法優缺點的基礎上提出了分離平均法，是一種對隨機抽取法的改進算法，在一定程度上提高了初始化模式庫算法的性能。因此，提出一種基于均值/方差分類的三維SOM初始化模式庫算法，并應用到基于模式識別的圖像編碼中。實驗結果表明，該算法提升了三維SOM算法初始化模式庫的性能。

1三維SOM算法

1.1三維SOM算法原理

SOM網絡采用輸入層和映射層的雙層網絡結構，輸入層用于感知輸入模式，每個輸入神經元通過權值與每個映射層神經元連接。映射層的神經元互相連接，用于輸出結果。傳統SOM網絡采用一維輸入層和二維映射層，能有效處理一維和二維信號，但不能直接處理三維圖像、三維信號。三維SOM算法能將二維輸入映射為三維輸出，實現了三維信號的非線性映射，較好地解決了上述問題。三維SOM算法的網絡結構如圖1所示，將映射層神經元排列成三維立體結構，三維立體結構的行數、列數和層數可取不同的值，不同排列的三維結構在一定程度上影響算法的性能。三維鄰域形狀有不同的選擇，通常選取球形鄰域、正方形鄰域或正交十字鄰域。選取不同的三維鄰域形狀時，算法的性能也有差異。SOM網絡與普通的競爭網絡一樣，對于每個輸入模式，在映射層都有相應的獲勝節點，獲勝節點代表最相似的模式，該節點及其三維鄰域范圍內的所有節點均按一定規則調整自身的權值。與鄰域為二維平面結構相比，鄰域為三維立體結構時，在相等鄰域半徑內的節點數量增多，節點被調整的機會增加，更有利于得到最佳匹配的模式庫。

圖1　三維SOM算法的網絡結構Fig.1　The network structure of 3D SOM algorithm

1.2三維SOM算法模式庫訓練步驟

初始化模式庫采用均值/方差分類法時，模式庫訓練步驟如下：

1)設定SOM網絡大小為(N,M)，其中N、M分別為模式庫的大小、模式庫中模式矢量的大小。

3)將初始化鄰域設定為Nj(0),j=0,1,…,N-1。

4)向SOM網絡輸入一個新的步驟2)中獲得的訓練矢量X=(x1,x2,…,xM)T。

5)將失真準則設定為均方誤差準則，均方誤差dj(t)=‖X(t)-Wj(t)‖2，分別計算該訓練矢量與模式庫中各模式矢量的失真dj，并選擇獲勝模式矢量j*為具有最小失真的模式矢量。

6)按式(1)調整獲勝模式矢量j*及其三維鄰域Nj*(t)范圍內的模式矢量，

(1)

其中：Nj*(t)為鄰域函數，通常選用單調遞減函數Nj*(t)=A0+A1e-t/T1，A0、A1分別為獲勝模式矢量j*的最小鄰域和最大鄰域，T1為鄰域衰減常數，在訓練的初始階段，鄰域半徑較大，隨著訓練矢量的增大，網絡逐漸趨于穩定，只需對獲勝節點進行較細微的權值調整，因而鄰域半徑不斷縮小；α(t)為學習速度函數，它反映了模式矢量調整的幅度大小，一般選用單調遞減函數α(t)=A2e-t/T2，A2為訓練開始時的最大學習速度，T2為學習衰減常數。

7)返回步驟4)，直到訓練完所有的訓練矢量。

2傳統的初始化模式庫算法

三維SOM算法初始化模式庫對最佳匹配模式庫的設計影響很大，常用的三維SOM初始化模式庫算法為隨機抽取法和分離平均法。

2.1隨機抽取法

隨機抽取法是從訓練矢量中隨機選取矢量組成初始化模式庫，通常訓練矢量的數量遠大于初始模式的數量。隨機抽取法的優點是計算簡單，復雜度低，缺點是模式矢量的選擇沒有針對性，模式矢量利用率低。

2.2分離平均法

分離平均法[13]的基本思想：將訓練矢量集分成N段，每段長度為p=L/N，L為訓練矢量數，N為模式庫大小，在每段上取平均，得到的p個模式矢量即為初始化模式庫：

其中j=0,1,…,N-1。分離平均法是隨機抽取法的一種改進算法，其初始化模式庫性能優于隨機抽取法，但性能提高有限。

3均值/方差分類的初始模式庫算法

設計三維SOM算法初始化模式庫的基本思想是將相似的模式放在一起，均值相近的訓練矢量有可能構成相似的模式。在均值相差不大的情況下，方差小的訓練矢量中元素的值變化小，方差大的訓練矢量中元素的值變化大，這時，方差大小相近的訓練矢量也有可能構成相似的模式。本研究提出了一種基于均值/方差分類的初始化模式庫算法，其基本思想為：根據訓練矢量的均值大小將訓練矢量分類，然后在每一類中根據方差大小排序，再從中抽取模式矢量。具體步驟如下：

1)計算訓練矢量集{X(t),t=0,1,…,L-1}中各矢量的均值。

2)將得到的均值按從小到大的順序排序，根據均值的順序相應地調整訓練矢量集中各矢量的排列位置，并將調整后的訓練矢量集平均分為4個部分，即得到均值依次增加的4類：{X1(t)}、{X2(t)}、{X3(t)}、{X4(t)}，其中t=0,1,…，(L-1)/4。

利用基于均值/方差分類的方法選取模式矢量與其他方法相比，具有很強的針對性，與信源的匹配程度更高，從而能減少無效模式矢量的數目，提高模式庫的性能。

4實驗結果

實驗圖像選擇分辨率為512×512×8bit的標準亮度測試圖像Lena，用于模式庫訓練和圖像編碼。重建圖像品質的客觀評價采用峰值信噪比

其中EMS為原始圖像與重建圖像之間的均方誤差。圖像壓縮比

CR=MBO/BC。

其中：M為模式矢量的維數；BO為原始圖像的每像素比特數；BC為模式矢量地址比特數。實驗得到的所有數據是在不斷調整最小鄰域、最大鄰域、學習衰減常數、鄰域衰減常數和三維網絡結構等實驗參數后獲得的。

實驗分別用基于訓練矢量集隨機抽取法、分離平均法和均值/方差分類法初始化模式庫的三維SOM算法設計圖像模式識別模式庫，并通過編碼后重建圖像的質量來比較這幾種初始化模式庫算法的性能，其中訓練矢量數為40 960。表1為模式庫取不同大小時，3種初始化模式庫算法重建圖像的PSNR對比。從表1可看出，當模式庫較小時，基于均值/方差分類的三維SOM算法性能提高不明顯，但當模式庫較大時，基于均值/方差分類的三維SOM算法性能明顯提高。模式庫大小為1024(壓縮比CR=(64×8)/10=51.2)時，基于均值/方差分類的三維SOM算法重建圖像的PSNR比隨機抽取法和分離平均法分別提高了0.26dB和0.21dB。模式庫大小為2048(壓縮比CR=(64×8)/11=46.5)時，分別提高了0.51dB和0.55dB。

表1　重建圖像的PSNR

圖2　3種初始化模式庫算法的重建圖像Fig.2　The reconstructed images of three initial pattern library algorithms

圖2為模式庫大小為2048時，3種不同的初始化模式庫算法得到的重建圖像與原始圖像的對比。從圖2可看出，基于均值/方差分類的初始化模式庫獲得的重建圖像優于其他2種初始化模式庫獲得的重建圖像主觀品質。

5結束語

從一個新的角度提出一種基于均值/方差分類的三維SOM初始化模式庫算法，該算法具有模式矢量利用率高和模式庫性能好的優點。下一步工作是將該算法應用于基于圖像模式識別的三維立體視頻編碼等領域，進一步優化獲得更好的性能。

參考文獻:

[1]KOHONENT.Anintroductiontoneuralcomputing[J].NeuralNetworks,1988,1(1):3-16.

[2]ORTIZA,GORRIZJM,RAMIREZJ,etal.ImprovingMRbrainimagesegmentationusingself-organisingmapsandentropy-gradientclustering[J].InformationSciences,2014,262:117-136.

[3]LIANYuanfen,WUFalin.Three-dimensionalprobabilisticneuralnetworkusingforMRimagesegmentation[C]//2011 10thInternationalConferenceonIEEEElectronicMeasurementandInstruments,2011,3:127-131.

[4]PARISIGI,WERMTERS.HierarchicalSOM-baseddetectionofnovelbehaviorfor3Dhumantracking[C]//The2013InternationalJointConferenceonIEEENeuralNetworks,2013:1-8.

[5]KOHONENT.Essentialsoftheself-organizingmap[J].NeuralNetworks,2013,37:52-65.

[6]WIJAYASEKARAD,LINDAO,MANICM.CAVE-SOM:immersivevisualdataminingusing3Dself-organizingmaps[C]//The2011InternationalJointConferenceonIEEENeuralNetworks,2011:2471-2478.

[7]SCHMIDTA,HANSONC,KATHILANKALJ,etal.ClassificationandassessmentofturbulentfluxesaboveecosystemsinNorth-Americawithself-organizingfeaturemapnetworks[J].AgriculturalandForestMeteorology,2011,151(4):508-520.

[8]WIRTHH,L?FFLERM,VONBERGENM,etal.Expressioncartographyofhumantissuesusingselforganizingmaps[J].BMCbioinformatics,2011,12(1):306.

[9]黎洪松，王艷華.一種高效處理三維信號的自組織映射算法[J].桂林電子科技大學學報，2014,34(2):120-125.

[10]LIHongsong,LIDa.Anewimagecodingschemebaseduponimagepatternrecognition[C]//2010IEEEInternationalConferenceonIntelligentComputingandIntelligentSystems,2010:172-174.

[11]LIHongsong,XUBaohua.Anewinitialcodebookalgorithmforlearningvectorquantization[C]//2007InternationalConferenceonIEEECommunications,2007: 2610-2613.

[12]張可可,趙志文,徐崇斌,等.基于方差分類初始化碼書的三維鄰域SOM算法[J].北京師范大學學報(自然科學版),2011,47(4):378-381.

[13]黎洪松，劉洪偉.新的學習矢量量化初始碼書算法[J].北京郵電大學學報,2006,29(4):33-35.

編輯：梁王歡

An initial pattern library algorithm based on mean/variance

classification for 3D SOM

CHENG Fulin, LI Hongsong

(School of Information and Communication Engineering, Guilin University of Electronic Technology, Guilin 541004, China)

Abstract：The pattern vector utilization and source matching degree is low for the traditional initial pattern library algorithm, so a new initial pattern library algorithm based on mean/variance classification for 3D SOM is proposed. The training vectors are sorted by mean value, then the training vectors in each part are sorted by variance and initial pattern library is chosen in pattern vectors at the same intervals. Experimental results show that the initial pattern library algorithm based on mean/variance classification has less invalid pattern vectors and high source matching degree. It is an effective way to improve the performance of 3D SOM algorithm.

Key words：three-dimensional self-organizing feature maps; initial pattern library algorithm; image pattern recognition; image coding

中圖分類號：TP183

文獻標志碼：A

文章編號：1673-808X(2016)01-0035-04

通信作者：黎洪松(1963-)，男，湖北監利人，教授，博士，研究方向為智能信息檢測、處理和控制。E-mail:hongsongli@guet.edu.cn

基金項目：國家自然科學基金(61261035)；桂林電子科技大學研究生教育創新計劃(GDYCSZ201451)

收稿日期：2015-06-25