基于核估計的超定混合共軛盲信號分離方法

李煒，楊慧中

1.江南大學(xué)教育部輕工過程先進控制重點實驗室，江蘇無錫 214122

2.安徽工程大學(xué)安徽省電氣傳動與控制重點實驗室，安徽蕪湖 241000

基于核估計的超定混合共軛盲信號分離方法

李煒1，2，楊慧中1

1.江南大學(xué)教育部輕工過程先進控制重點實驗室，江蘇無錫 214122

2.安徽工程大學(xué)安徽省電氣傳動與控制重點實驗室，安徽蕪湖 241000

1 引言

作為一種功能強大的信號處理方法，盲源分離（Blind Source Separation，BSS）近年來已成為無線通信、雷達、圖像和生物醫(yī)學(xué)信號分析等諸多領(lǐng)域的研究熱點[1-3]。自從盲源分離問題被提出，至今已有二十余年。這期間誕生了諸多高效實用的算法用于求解不同類型的BSS問題[4-6]。其中，最具影響力的要屬由法國學(xué)者Comon[7]首先提出的獨立分量分析（Independent Component Analysis，ICA）方法，甚至在某些文獻中對BSS和ICA并不加以區(qū)分。Comon給出了ICA在數(shù)學(xué)上明確的定義以及求解ICA問題的理論框架，從而將BSS問題轉(zhuǎn)化為代價函數(shù)的構(gòu)建和優(yōu)化問題。以ICA為基礎(chǔ)，Bell等人提出了一種基于隨機梯度算法（Stochastic Gradient Algorithm）的最大化輸出信息熵的BSS方法[8-9]。該算法可成功地實現(xiàn)超高斯信號的盲分離。但在實際應(yīng)用中，由于隨機梯度算法自身的限制，在運行過程中容易陷入局部極大值而導(dǎo)致算法的失敗；并且，此算法中包含逆矩陣的計算，使得算法不穩(wěn)定的同時還引入了很大的計算量；另外，該算法中還含有一個非線性激活函數(shù)僅僅憑經(jīng)驗選取的問題，對于不同類型的信號，非線性函數(shù)的選取也有所不同。

針對這些問題，Amari[10-12]提出了更加穩(wěn)定和高效的自然梯度算法（Natural Gradient Algorithm）。與常規(guī)梯度算法相比，自然梯度算法具有更快的收斂速度，同時由于避免了矩陣逆的計算，使得算法的穩(wěn)定性更強，但非線性函數(shù)只能憑經(jīng)驗選取的問題依舊存在。這也是目前許多BSS方法中普遍存在的問題，使得這些方法都只能分離單一統(tǒng)計特性的源信號[9，11]。當(dāng)源信號中同時混有超高斯信號和亞高斯信號時此類分離算法將失效。

上述算法都是在假設(shè)源信號和混合信號數(shù)目相等的情況下提出的。而現(xiàn)實中往往源信號的個數(shù)是未知的，甚至可能是變化的，因此并不能始終保證盲分離模型中混合矩陣是可逆的方陣。本文針對超定混合矩陣的情形提出了一種快速、高效的BSS方法。該方法首先推導(dǎo)了基于最小化互信息準(zhǔn)則的超定BSS代價函數(shù)，采用共軛梯度優(yōu)化算法對改代價函數(shù)進行尋優(yōu)得到分離矩陣的更新公式，并利用核密度估計方法對分離信號的概率密度函數(shù)及其導(dǎo)數(shù)進行在線估計，從而直接估計出各個信號分量的評價函數(shù)，而非經(jīng)驗性地去挑選非線性激活函數(shù)。仿真結(jié)果表明，與傳統(tǒng)梯度方法和自然梯度方法相比，所提算法具有更快的收斂速度并且能同時分離出超高斯和亞高斯信號，因此具有更加廣泛的應(yīng)用范圍。

2 超定盲分離問題描述

其中，A為m×n維的未知線性超定混合矩陣，且m＞n，即混合信號維數(shù)多于源信號維數(shù)，n(t)=[n1(t),n2(t),…,nm(t)]T為m維加性噪聲信號，且噪聲與信號之間相互獨立，如圖1所示。盲分離的目標(biāo)是在未知混合矩陣的先驗信息的情況下，求得一個n×m維分離矩陣B，使得通過對觀測信號x(t)進行變換：

圖1 線性超定盲源分離模型結(jié)構(gòu)框圖

而得到的信號y(t)=[y1(t),y2(t),…,yn(t)]T是源信號s(t)的估計，即y(t)和s(t)之間滿足關(guān)系：y(t)=PDs(t)，其中P為任意排列矩陣，D為對角矩陣。

3 基于互信息的超定盲分離算法

本章首先給出基于互信息準(zhǔn)則的超定盲分離代價函數(shù)，然后推導(dǎo)出相應(yīng)的隨機梯度算法和自然梯度算法。

3.1 超定盲分離的代價函數(shù)

由于假設(shè)源信號s(t)的各個分量之間是彼此統(tǒng)計獨立的，所以可以通過合適的分離變換使得分離信號y(t)亦統(tǒng)計獨立，從而恢復(fù)出源信號。信號之間的相互獨立程度可以用互信息來度量，而互信息常用如下Kullback-Leibler散度來近似：

其中，p(y)為分離信號y的聯(lián)合概率密度函數(shù)，pi(yi)為y各個分量的邊緣概率密度函數(shù)。式（3）也可表達為如下微分熵的形式。

其中，H(y)=-E{lnp(y)}=-∫p(y)lnp(y)dy定義為y的聯(lián)合微分熵，而H(yi)定義為各個分量的邊緣微分熵。

由第2章描述可知，分離矩陣B是一個維數(shù)為n×m的矩陣，因而可對其進行奇異值分解：

其中，V為n×n維的正交矩陣，U為m×m維的正交矩陣，Σ為n×n維對角矩陣，其對角線元素為B的奇異值，0為n×(m-n)維零矩陣。將U分塊為，并結(jié)合式（2）得到：

其中，矩陣乘積VΣ亦為一n×n維矩陣，因此y的聯(lián)合概率密度函數(shù)p(y)可表示為：

其中，|·|表示標(biāo)量的絕對值，det(·)表示矩陣的行列式。由微分熵定義，有

3.2 超定盲分離算法

為求得最優(yōu)分離矩陣，需要求解下列無約束最優(yōu)化問題：

下面推導(dǎo)最小化互信息代價函數(shù)式（11）的隨機梯度算法和自然梯度算法。首先計算I(B)的梯度?BI(B)。式（11）中等號右邊第1項關(guān)于分離矩陣第i-j個元素bij的梯度為：

其中，μ(k)為算法的學(xué)習(xí)率。由于隨機梯度算法內(nèi)在的一些缺點：局部極值、收斂速度慢以及逆矩陣的計算等；又因為優(yōu)化問題（12）的解為矩陣，因此其解空間為黎曼空間而非歐幾里德空間，而在黎曼空間中最速下降方向為自然梯度方向，因此可以將上述隨機梯度算法推廣為自然梯度算法。代價函數(shù)I(B)式關(guān)于B的自然梯度為：

其中，I為單位矩陣。自然梯度算法（20）具有以下優(yōu)點：當(dāng)分離矩陣的初始值設(shè)定為行滿秩時，最終得到的分離矩陣必為行滿秩矩陣；無需進行矩陣逆的計算。

4 計算評價函數(shù)

由于信號的概率密度是未知的，因而現(xiàn)有的盲源分離算法普遍采用非線性函數(shù)代替信號的評價函數(shù)。而對于超高斯信號和亞高斯信號，需要選取不同的非線性函數(shù)。例如：對于超高斯信號，可以選取?sup(x)=αx+ tanh(βx),α≥0,β≥2；對于亞高斯信號，可以選取?sub(x)=當(dāng)源信號中同時存在超高斯信號和亞高斯信號時，此類算法將無法實現(xiàn)信號的盲分離。針對該問題，通常的做法是在算法每步迭代過后都計算一次分離信號各個分量的峭度，依據(jù)該峭度值選取相應(yīng)的非線性函數(shù)來充當(dāng)該信號分量的評價函數(shù)。但此類算法會重復(fù)的估計信號高階統(tǒng)計量，從而魯棒性較差。

本文采用核密度估計法估計分離信號各個分量的概率密度函數(shù)，進而可以直接近似計算出對應(yīng)的評價函數(shù)。該方法具體細節(jié)如下：假設(shè)有T組輸出信號的觀測樣本y(1),y(2),…,y(T)?？梢砸罁?jù)核概率密度估計法[13-14]，按照下式估計信號的概率密度函數(shù)：

5 基于共軛梯度的超定盲分離優(yōu)化算法

共軛梯度算法的優(yōu)越性能已經(jīng)在神經(jīng)學(xué)習(xí)領(lǐng)域得到了證明[16]。本章將共軛梯度的思想引入到分離矩陣的計算中。概括說，在每步迭代更新分離矩陣時，主要包含兩部分的計算：首先在當(dāng)前迭代點位置尋找到與當(dāng)前搜索方向共軛的方向；然后沿著新的搜索方向計算新的迭代點。

首先，隨機選擇初始分離矩陣B(0)，并由式（19）計算在當(dāng)前位置的自然梯度以確定下一步的搜索方向，然后依據(jù)式（20）直接計算出新的迭代解B(1)。從B(2)開始將使用共軛梯度算法來尋找其位置。

當(dāng)求得迭代點B(k)(k≥1)以后，從點B(k-1)到點B(k)的搜索軌跡在B(k)位置的切向量可由下式計算：

其中，TB(k-1)表示算法在B(k-1)位置的搜索方向。再計算出當(dāng)前位置的自然梯度I(B(k))，從而新的搜索方向TB(k)將由自然梯度和B(k)位置的切向量方向共同確定：

通過合理地選擇參數(shù)a(k)可以實現(xiàn)新搜索方向與之前搜索方向之間共軛。通?？梢赃x擇：

其中，H(·)為海塞矩陣。實際計算中可以用有限差分近似方法來計算海塞矩陣，從而

在計算得到新的搜索方向TB(k)之后，需要沿著新的搜索路徑計算出下一個最優(yōu)迭代點B(k+1)?？梢酝ㄟ^二次插值方法求解如下一維優(yōu)化問題來計算B(k+1)：

其中，I(B(k,ξ))即為互信息代價函數(shù)式（11），而B(k,ξ)表示新的搜索軌跡，具有如下數(shù)學(xué)描述：

其中，參數(shù)ξ在區(qū)間[0,1]上取值，當(dāng)ξ=0時，B(k,ξ)即為起始點B(k)。

具體的算法步驟如下：

（1）初始化：令迭代序數(shù)k=0，最大迭代次數(shù)為觀測信號的樣本數(shù)T，隨機生成初始分離矩陣B(0)，選擇度量算法性能的評價指標(biāo)，如式（30）中的PI，并給其設(shè)定一個合適的閾值。

（2）依據(jù)式（2）計算對應(yīng)的分離信號y(0)，利用第4章中給出的核概率密度方法估計其各個分量的概率密度函數(shù)pi,τ(yi(0)),i=1,2,…,n，進而計算出評價函數(shù)向量φ(y(0))。以自然梯度方向為搜索方向，即直接由算法（20）計算第一個迭代解B(1)，進而計算分離信號y(1)。

（3）令k=k+1，依據(jù)式（24）計算從點B(k-1)到點B(k)的搜索軌跡在B(k)位置的切向量T′B(k)。

（4）計算評價函數(shù)φ(y(k))，并計算自然梯度

（5）由式（27）計算參數(shù)a(k)。

（6）由式（25）計算出新的搜索方向TB(k)。

（7）沿著新的搜索路徑B(k,ξ)求解優(yōu)化問題（28）以求得新的迭代解B(k+1)，并計算新的分離信號y(k+1)。

（8）計算當(dāng)前的盲分離算法性能評價指標(biāo)的數(shù)值。

（9）判斷算法是否滿足結(jié)束條件。當(dāng)滿足如下兩種情況中的任意一種時，則繼續(xù)步驟（10），否則跳轉(zhuǎn)至步驟（3）再次循環(huán)執(zhí)行上述過程：①迭代序數(shù)已達到最大迭代次數(shù)，即k=T；②算法的性能已達到設(shè)定的評價指標(biāo)的閾值。

（10）終止算法并輸出分離信號y(k+1)作為源信號的估計。

6 仿真實驗

本章采用若干計算機仿真算例來驗證所提線性超定盲源分離算法的有效性，所涉及的算法程序均由Matlab語言編寫。首先通過分離同時包含有超高斯和亞高斯信號的混合信號來觀察算法實施的效果；然后通過與隨機梯度算法和自然梯度算法相比較體現(xiàn)所提算法的優(yōu)越性能。

采用如圖2所示的5個信號作為源信號，其中s1和s2為聲音信號，因此都是超高斯的；而s3，s4和s5則為合成的亞高斯信號。為了驗證算法在超定情況下的效果，在這里混合矩陣采用一個7×5維的隨機矩陣，其內(nèi)各元素取值服從區(qū)間[0,1]的均勻分布。依據(jù)式（1）可得到混合信號如圖3所示。

圖23 個亞高斯信號和2個超高斯信號構(gòu)成的源信號

圖3 超定混合模型下生成的混合信號

對圖3中所示的混合信號應(yīng)用本文所提出的基于共軛梯度和評價函數(shù)估計的超定盲分離算法。其中初始分離矩陣選擇為隨機生成的5×7維矩陣。分離得到的信號波形如圖4所示。對比圖4和圖2，能夠直觀地看出所提算法可以在線性超定混合模型，并且同時包含有超高斯信號和亞高斯信號的情況下成功地恢復(fù)出各個源信號的波形。

為了體現(xiàn)出基于共軛梯度的盲源分離算法的優(yōu)越性，下面分別執(zhí)行共軛梯度算法和在第3.2小節(jié)中導(dǎo)出的隨機梯度盲分離算法（18）和自然梯度盲分離算法（20），并對于每種算法的分離結(jié)果計算其盲分離性能指標(biāo)PI值。PI定義如下：

圖4 文中所提超定盲分離算法計算得到的分離信號

其中，cij為全局矩陣C=BA中的第i行第j列元素，n為源信號的個數(shù)。當(dāng)矩陣C的每行和每列都只有一個元素占優(yōu)而其余元素近似為零時，PI取值就小。而PI的值越小，則表明盲分離算法的分離效果越好。

為了簡便起見，做如下標(biāo)記：共軛梯度算法：CGA；隨機梯度算法：SGA；自然梯度算法：NGA。獨立重復(fù)的運行上述三種算法各100次，并計算出各算法的平均性能指標(biāo)。三種盲分離算法的平均PI學(xué)習(xí)曲線如圖5所示。從圖中可以觀察到，較之另外兩種算法，CGA算法的收斂速度和分離精確度都得到了提高。而在歐幾里德空間中運行的隨機梯度算法的性能是三者中最差的。

圖5 三種盲源分離算法的比較：平均PI的學(xué)習(xí)曲線

需要指出的是，SGA算法中包含有矩陣逆的計算過程，當(dāng)矩陣接近奇異時算法會因不能收斂到最優(yōu)點而失效。因此，圖5中SGA算法的平均PI值是剔除掉那些失敗的試驗后計算得到的結(jié)果。為了說明這個問題，再次執(zhí)行上述三種盲分離算法。每種算法獨立執(zhí)行15次，并計算出每次的PI，將其繪于圖6中。

從圖6可以看出，SGA算法在第2次和第6次試驗時發(fā)生了發(fā)散的情況，使得PI出現(xiàn)了很大數(shù)值，而另外兩種算法則沒有發(fā)生此種情況。此外，再次觀察到CGA算法的分離精確度總體上要優(yōu)于其他兩種算法。

除了利用式（30）作為指標(biāo)來度量算法的性能以外，下面從其他幾個方面來全面分析以上各種算法的表現(xiàn)。首先，定義分離信號的歸一化信號干擾比SIR：

圖615 次獨立重復(fù)實驗中三種算法不同的表現(xiàn)（黑色圓圈圈出的點表示SGA算法運行失?。?/p>

其中，n為源信號的個數(shù)，yi為重新排列后與第i個源信號si對應(yīng)的分離信號。然后給PI設(shè)定一個閾值0.5，當(dāng)算法達到該閾值時，分別計算和記錄下各個算法的信號干擾比，所迭代的步數(shù)以及運行Matlab程序所消耗的時間。再次獨立重復(fù)地運行上述三種算法各100次，計算得到各項指標(biāo)的平均值，如表1所示。

表1 三種算法各項性能的比較

從表1可以看出算法CGA除了在收斂時間上略高與NGA以外，其他各項指標(biāo)都要優(yōu)于另外兩種算法。

7 結(jié)束語

本文研究了線性超定混合情況下的盲源分離問題。在混合信號多于源信號的條件下，首先以互信息原理作為分離信號獨立性的度量，通過對分離矩陣進行奇異值分解操作化簡得到了超定盲源分離問題的代價函數(shù)。然后用共軛梯度優(yōu)化算法對該代價函數(shù)進行優(yōu)化推導(dǎo)出了分離矩陣的學(xué)習(xí)公式。在訓(xùn)練過程中，每當(dāng)新的迭代點被計算出以后，都要計算該點在黎曼空間中的自然梯度值用來確定算法的搜索方向。另外，算法中的評價函數(shù)項則直接利用核密度估計方法估計得到。數(shù)值仿真驗證了所提超定盲分離算法的可行性，并且在源信號中同時含有超高斯信號和亞高斯信號時依舊有效。通過與隨機梯度算法和自然梯度算法的對比可以看出，本文所提算法具有更好的分離性能。

[1]肖正安.改進FOA算法在語音信號盲分離中的應(yīng)用[J].計算機工程與應(yīng)用，2013，49（16）：201-204.

[2]趙文紅，王巍.盲源分離技術(shù)在AIS中的應(yīng)用[J].計算機科學(xué)，2013，40（6）：217-219.

[3]曹軍宏，韋灼彬，劉樹勇.改進型盲源分離在結(jié)構(gòu)模態(tài)識別中的應(yīng)用[J].振動、測試與診斷，2013，33（4）：689-693.

[4]蔣照菁，辜方林，張杭.一種基于NPCA的自適應(yīng)變步長盲源分離算法[J].計算機工程與應(yīng)用，2013，49（8）：206-208.

[5]王放，何選森.蟻群聚類的欠定盲源分離方法[J].計算機工程與應(yīng)用，2013，49（13）：211-215.

[6]郭靖，曾孝平.基于Hough變換的時頻盲源分離算法[J].計算機工程與應(yīng)用，2012，48（21）：26-30.

[7]Comon P，Jutten C.Handbook of blind source separation：independent component analysis and applications[M].United States：Academic Press，2010.

[8]Bell A J，Sejnowski T J.An information maximization approach to blind separation and blind deconvolution[J]. Neural Computation，1995，7：1129-1159.

[9]Liu D，Liu X.Informax algorithm based on linear ICA neural network for BSS problems[C]//Proceedings of the 4th World Congress on Intelligent Control and Automation，2002：1949-1952.

[10]Amari S.Natural gradient works efficiently in learning[J]. Neural Computation，1998，10：251-276.

[11]Choi S，Cichocki A，Zhang L L，et al.Approximate maximum likelihood source separation using the natural gradient[J].IEICE Transactions on Fundamentals of Electronics Communications and Computer Sciences，2003，E86-A（1）：198-205.

[12]Choi S，Amari S，Cichocki A.Natural gradient learning for spatio-temporal decorrelation：recurrent network[J].IEICE Transactions on Fundamentals of Electronics CommunicationsandComputerSciences，2000，E83-A（12）：2175-2722.

[13]Mittal A，Paragios N.Motion-based background subtraction using adaptive kernel density estimation[C]//Proceedings of the 2004 IEEE Computer Society Conference on Computer Vision and Pattern Recognition，2004：302-309.

[14]Jones M C，Sheather S J.A brief survey of bandwith selection for density estimation[J].Journal of the American Statistical Association，1996，91（433）：401-407.

[15]Karvanen J，Koivunen V.Blind separation methods based on Pearson system and its extensions[J].Signal Processing，2002，82（4）：663-673.

[16]Nishimori Y，Akaho S，Plumbley M D.Natural conjugate gradient on complex flag manifolds for complex independent subspace[C]//Proceedings of the 18th International Conference on Artificial Neural Networks，Lecture Notes in Computer Science，2008：165-174.

LI Wei1，2,YANG Huizhong1

1.Key Laboratory of Advanced Process Control for Light Industry of Ministry of Education,Jiangnan University,Wuxi, Jiangsu 214122,China
2.Anhui Key Laboratory of Electric Drive and Control,Anhui Polytechnic University,Wuhu,Jiangsu 241000,China

If there are more mixtures than source signals,the mixing matrix in the Blind Source Separation（BSS）problem is described as an over-determined matrix.As a result,the separation task can be realized through estimate the inverse of the mixing matrix directly.This paper presents a conjugate gradient based BSS method for such over-determined mixing case.The over-determined BSS cost function is first obtained based on the minimum mutual information principle combined with the singular value decomposition of the de-mixing matrix with full row rank.The conjugate gradient optimization algorithm is then exploited to deduce the training equations for the de-mixing matrix.In each of iterations,the score functions of the separation signals are estimated by a kernel probability density estimation method,avoiding the problem of many traditional BSS algorithm where the score functions should be replaced by specific nonlinear functions.The efficiency of the proposed over-determined BSS algorithm is validated by several simulations.

conjugate gradient;score functions;mutual information;over-determined mixtures

當(dāng)混合信號的個數(shù)多于源信號時，盲源分離模型中的混合矩陣被描述為一個超定矩陣，因此不能直接通過估計逆矩陣的方法來得到分離矩陣。針對該線性超定混合情況提出了一種基于共軛梯度的盲源分離方法。該方法基于最小互信息準(zhǔn)則，通過對行滿秩分離矩陣的奇異值分解而引入了超定盲源分離的代價函數(shù)。利用共軛梯度優(yōu)化算法推導(dǎo)出了迭代計算分離矩陣的更新公式。在每次迭代計算中，利用隨機變量概率密度估計的核函數(shù)法在線估計分離信號的評價函數(shù)。避免了諸多傳統(tǒng)盲分離算法中只能憑經(jīng)驗選取特定的非線性函數(shù)來代替評價函數(shù)的問題。仿真結(jié)果驗證了所提算法的有效性。

共軛梯度；評價函數(shù)；互信息；超定混合信號

A

TN911.7

10.3778/j.issn.1002-8331.1403-0357

LI，Wei,YANG Huizhong.Blind separation of over-determined mixtures with conjugate gradient and kernel estimation.Computer Engineering and Applications,2014,50（22）：22-27.

國家自然科學(xué)基金（No.61273070）；高等學(xué)校學(xué)科創(chuàng)新引智計劃資助（No.B12018）；江南大學(xué)博士研究生科學(xué)研究基金（No.1252050205135130）；江蘇省普通高校研究生科研創(chuàng)新計劃項目（No.CXZZ13_0739）。

李煒（1985—），男，博士研究生，研究領(lǐng)域為盲信號處理，獨立分量分析；楊慧中（1955—），女，教授，博士生導(dǎo)師，研究領(lǐng)域為軟測量，復(fù)雜工業(yè)過程的檢測、建模與優(yōu)化控制。E-mail：liweilwlcw@sina.com

2014-03-24

2014-06-06

1002-8331（2014）22-0022-06

CNKI網(wǎng)絡(luò)優(yōu)先出版：2014-06-26,http://www.cnki.net/kcms/doi/10.3778/j.issn.1002-8331.1403-0357.html