牛頓迭代在盲信號(hào)處理中的應(yīng)用

摘 要 本文對(duì)盲信號(hào)處理中的ICA算法作了簡(jiǎn)要介紹，并主要關(guān)注了其中能實(shí)現(xiàn)快速收斂的FastICA算法，而該算法的核心其實(shí)就是利用了反演理論中的牛頓迭代法，指出了算法的優(yōu)點(diǎn)。最后進(jìn)行了仿真以驗(yàn)證算法的實(shí)際效果。

關(guān)鍵詞 反演理論 盲分離 FastICA

中圖分類號(hào)：TP301.6 文獻(xiàn)標(biāo)識(shí)碼：A

0 引言

盲源分離（BSS：Blind source separation）一直信號(hào)處理中的熱點(diǎn)問(wèn)題。BSS指在僅了解觀測(cè)信號(hào)的情況下，利用一些算法恢復(fù)經(jīng)混合系統(tǒng)混合的源信號(hào)的過(guò)程。所謂的“盲”，指我們只知道觀測(cè)值，沒(méi)有其他先驗(yàn)信息。也就是說(shuō)，除了觀測(cè)的結(jié)果外，沒(méi)有其他信息幫助我們?nèi)ふ以嫉男盘?hào)。這種情況下，想把原始信號(hào)準(zhǔn)確地找到，顯然是需要信號(hào)的一些其它特征的。

獨(dú)立分量分析（ICA）是盲分離問(wèn)題中的代表性方法。它假設(shè)原始信號(hào)之間是獨(dú)立的，然后利用一些算法從混合信號(hào)中恢復(fù)原始信號(hào)。也就是說(shuō)，ICA的前提是在任何時(shí)刻，源信號(hào)的各分量之間獨(dú)立。這就說(shuō)明了盲信號(hào)的分離就是使分離的各信號(hào)滿足獨(dú)立性。通常來(lái)說(shuō)，ICA問(wèn)題通過(guò)目標(biāo)函數(shù)尋優(yōu)實(shí)現(xiàn)。所謂的目標(biāo)函數(shù)是指，為了將問(wèn)題數(shù)值化，我們需要用函數(shù)來(lái)表現(xiàn)問(wèn)題所需要達(dá)到的目標(biāo)。比如，我們?cè)诮?jīng)濟(jì)問(wèn)題中，為了弄清楚最大利潤(rùn)問(wèn)題，可以去設(shè)定一個(gè)表示利潤(rùn)的函數(shù)，通過(guò)尋找該函數(shù)的駐點(diǎn)來(lái)找到讓利潤(rùn)最大的條件，該函數(shù)就是一個(gè)目標(biāo)函數(shù)。目標(biāo)函數(shù)尋優(yōu)與讓問(wèn)題得以解決是等價(jià)的。簡(jiǎn)而言之，就是用函數(shù)的尋優(yōu)來(lái)數(shù)值化實(shí)際問(wèn)題的目標(biāo)。不過(guò)，想直接用函數(shù)的形式來(lái)表現(xiàn)信號(hào)的獨(dú)立，從而產(chǎn)生目標(biāo)函數(shù)是得不償失的。因?yàn)?，在?shù)學(xué)上表現(xiàn)信號(hào)的獨(dú)立，不可避免地需要使用信號(hào)的密度函數(shù)。由于先驗(yàn)信息的缺失，我們是不知道各信號(hào)的密度函數(shù)的。有些可以估計(jì)信號(hào)密度函數(shù)的方法，但這些方法普遍過(guò)于復(fù)雜，會(huì)使得問(wèn)題的表述十分繁瑣，不便求解。所以直接構(gòu)造表現(xiàn)信號(hào)獨(dú)立性的目標(biāo)函數(shù)是不可行的，因此，一些等價(jià)于表現(xiàn)信號(hào)獨(dú)立性，且計(jì)算方便可行的目標(biāo)函數(shù)就顯得尤為必要了。比如，我們可以通過(guò)互信息函數(shù)來(lái)等價(jià)地表現(xiàn)信號(hào)的獨(dú)立。所謂的互信息，是指信號(hào)之間相互包含的信息，顧名思義，信號(hào)的獨(dú)立性越強(qiáng)，互信息應(yīng)該是越少的。所以我們可以通過(guò)對(duì)互信息函數(shù)尋優(yōu)（即尋找互信息的最小值點(diǎn)），來(lái)表現(xiàn)信號(hào)之間的獨(dú)立性。另外，我們還可以通過(guò)信息傳輸最大化來(lái)表現(xiàn)信號(hào)的獨(dú)立性。

1 FastICA的原理

實(shí)際上FastICA是基于信息論的。根據(jù)目標(biāo)函數(shù)的不同和尋優(yōu)的算法特點(diǎn)可以構(gòu)成各種類型ICA算法。ICA方法可歸結(jié)為如下構(gòu)成：ICA過(guò)程=目標(biāo)函數(shù)+尋優(yōu)算法。

1.1 數(shù)據(jù)的預(yù)處理

在實(shí)際問(wèn)題中，獲取的觀測(cè)數(shù)據(jù)之間都具備相關(guān)性，因此一般都要求對(duì)觀測(cè)數(shù)據(jù)進(jìn)行白化或球化處理，因?yàn)榘谆幚砜上^測(cè)信號(hào)之間的相關(guān)性，因此簡(jiǎn)化了后面獨(dú)立分量的提取。從實(shí)際效果上說(shuō)，對(duì)信號(hào)進(jìn)行白化處理與不對(duì)信號(hào)進(jìn)行白化處理相比，恢復(fù)算法的收斂性更好。如果零均值的隨機(jī)向量 = 滿足{} = ，且為單位矩陣，稱這個(gè)向量為白化（球化）向量。白化的意義在于去除對(duì)象之間的相關(guān)性。

白化作為ICA過(guò)程中的預(yù)處理模塊可以極大地降低問(wèn)題的復(fù)雜度，并且實(shí)現(xiàn)數(shù)據(jù)的白化比較簡(jiǎn)單，用一般的主成分分析就可實(shí)現(xiàn)。

1.2 FastICA算法

FastICA算法，是一種能很快找到最優(yōu)點(diǎn)的基于迭代思想的算法。由于它利用了固定點(diǎn)迭代的思想，使得收斂更加快速、穩(wěn)健。

FastICA算法將負(fù)熵最大化作為尋優(yōu)目標(biāo)。對(duì)于一些獨(dú)立的隨機(jī)變量的線性組合，它們的任意線性組合較它們本身更接近高斯分布。換句話說(shuō)，原始信號(hào)比混合信號(hào)表現(xiàn)出的非高斯性會(huì)更強(qiáng)。綜上所述，在信號(hào)分離過(guò)程中，可通過(guò)對(duì)信號(hào)分離結(jié)果的非高斯性度量來(lái)表示恢復(fù)信號(hào)間的相互獨(dú)立性，當(dāng)非高斯性度量達(dá)到最大值時(shí)，表示各獨(dú)立分量的分離已經(jīng)實(shí)現(xiàn)。

如果要估計(jì)個(gè)獨(dú)立分量，可以按以下流程完成：

（1）對(duì)觀測(cè)數(shù)據(jù)進(jìn)行零均值化，即使觀（下轉(zhuǎn)第201頁(yè)）（上接第194頁(yè)）測(cè)值的均值為0；

（2）對(duì)觀測(cè)數(shù)據(jù)進(jìn)行白化過(guò)程，記白化后的結(jié)果為；

（3）記錄獨(dú)立分量的個(gè)數(shù)和迭代次數(shù)，且初始化 = 1；

（4）隨機(jī)選取一個(gè)初始權(quán)向量，記為，作為獨(dú)立分量的初始值；

（5）令 = {（）}{（）}，其中為待定的非線性函數(shù)，關(guān)于的選取見[2]；

（6） = （）；

（7）令 = / ||||；

（8）若不收斂的話，返回（5）；

（9）令迭代次數(shù) = + 1，若≤，返回（4）。

FastICA算法與其他的恢復(fù)信號(hào)算法相比，有這些優(yōu)點(diǎn)：

（1）算法收斂速度相對(duì)于其他算法更快，初始值選取得當(dāng)?shù)脑挘?到5步迭代往往就能收斂，且運(yùn)行時(shí)間很短。

（2）和一些需要選擇步長(zhǎng)參數(shù)的梯度算法不同，與步長(zhǎng)參數(shù)無(wú)關(guān)，無(wú)需調(diào)整這些參數(shù)，從而使得算法便于實(shí)現(xiàn)。

（3）非線性函數(shù)的選擇可以多樣化，不影響分離非高斯性的獨(dú)立分量的效果。相對(duì)于其他算法而言，概率密度函數(shù)的估計(jì)可以省略，大大降低復(fù)雜度。

（4）算法結(jié)合神經(jīng)算法的特點(diǎn)，是各分量并行的、分布式的算法，對(duì)機(jī)器內(nèi)存要求很低。

2 針對(duì)FastICA算法的仿真

產(chǎn)生三個(gè)人工源信號(hào)（），（），（），分別服從均勻分布，拉普拉斯分布以及高斯分布。先對(duì)三個(gè)源信號(hào)采取線性混合，其中以隨機(jī)生成的三階高斯矩陣為混合矩陣?；旌虾?，采取FastICA進(jìn)行迭代，為使得結(jié)果的準(zhǔn)確性，對(duì)源信號(hào)采樣1000個(gè)點(diǎn)，迭代也進(jìn)行1000次。分離結(jié)果表明，盡管振幅，順序與源信號(hào)不同，但波形得到了較好的恢復(fù)，我們也可以清晰地辨認(rèn)分離信號(hào)與源信號(hào)之間的對(duì)應(yīng)關(guān)系。而振幅，順序的不同正是FastICA算法的特征。當(dāng)然，如果想要更精確地知道分離效果，我們可以通過(guò)一些評(píng)價(jià)指標(biāo)來(lái)評(píng)價(jià)分離效果，比如相似系數(shù)矩陣。相似系數(shù)矩陣中各行不同列的那個(gè)絕對(duì)值最接近1的元素衡量了恢復(fù)信號(hào)與源信號(hào)的相似程度，在本例中我們計(jì)算三組信號(hào)的相似系數(shù)矩陣后得到，在三階的相似系數(shù)矩陣中，位于三行且不同列的絕對(duì)值最接近1的三個(gè)元素分別是-0.9912，0.9994，-0.9967。這說(shuō)明分離效果已經(jīng)相當(dāng)好了。當(dāng)然，用來(lái)衡量分離效果的指標(biāo)還有一些，比如我們也可以采用性能矩陣來(lái)表示分離效果。

牛頓迭代在此算法中最重要的作用是讓計(jì)算變得簡(jiǎn)單，收斂非常快。通常情況下，只要初值向量選擇合適，只需3到4次迭代就可達(dá)到收斂的效果。所以牛頓迭代極大地發(fā)展了ICA問(wèn)題，使之向前邁進(jìn)了一大步。我們可以將這種方法與其他恢復(fù)信號(hào)的算法比較。比如我們用被廣泛認(rèn)可的Infomax算法去恢復(fù)原始信號(hào)，實(shí)驗(yàn)表明，針對(duì)同樣的原始信號(hào)，Infomax算法需要迭代到1000多步，其結(jié)果才趨于收斂。這種差別使得牛頓迭代法的優(yōu)勢(shì)在原始信號(hào)較多時(shí)體現(xiàn)得更為明顯。

這種快速收斂的算法的應(yīng)用前景非常廣闊。接收器可視為一個(gè)混合系統(tǒng)，接收器收到的信號(hào)可視為觀測(cè)信號(hào)，這也是我們能用來(lái)分析的唯一數(shù)據(jù)。地質(zhì)工作者需要從接收器接收的信號(hào)中，去將各個(gè)地層或地質(zhì)結(jié)構(gòu)對(duì)應(yīng)的反射信號(hào)分離出來(lái)，這樣就可以讓我們?cè)诓簧钊氲乇硪韵碌那闆r下，僅由分離結(jié)果來(lái)判斷地表以下的各地層是怎樣的，各個(gè)地層的地質(zhì)結(jié)構(gòu)具有怎樣的特征。而這種分離過(guò)程，實(shí)際上就是我們前面所說(shuō)的盲分離問(wèn)題了。鑒于地震信號(hào)的多樣性，復(fù)雜性，快速穩(wěn)健的分離算法就顯得尤為重要了。牛頓迭代正是滿足這一要求的優(yōu)良算法。