流形學(xué)習(xí)中非線性維數(shù)約簡(jiǎn)方法概述

摘要：較為詳細(xì)地回顧了流形學(xué)習(xí)中非線性維數(shù)約簡(jiǎn)方法，分析了它們各自的優(yōu)勢(shì)和不足。與傳統(tǒng)的線性維數(shù)約簡(jiǎn)方法相比較，可以發(fā)現(xiàn)非線性高維數(shù)據(jù)的本質(zhì)維數(shù)，有利于進(jìn)行維數(shù)約簡(jiǎn)和數(shù)據(jù)分析。最后展望了流形學(xué)習(xí)中非線性維數(shù)方法的未來(lái)研究方向，期望進(jìn)一步拓展流形學(xué)習(xí)的應(yīng)用領(lǐng)域。

關(guān)鍵詞：維數(shù)約簡(jiǎn)； 流形學(xué)習(xí)； 多維尺度； 等距映射； 拉普拉斯特征映射； 局部線性嵌入； 局部切空間排列

中圖分類(lèi)號(hào)：TP391文獻(xiàn)標(biāo)志碼：A

文章編號(hào)：1001-3695(2007)11-0019-07

維數(shù)約簡(jiǎn)方法的基本原理是將樣本從輸入空間通過(guò)線性或非線性映射到一個(gè)低維空間，從而獲得一個(gè)關(guān)于原數(shù)據(jù)集緊致的低維表示。傳統(tǒng)的線性維數(shù)約簡(jiǎn)方法具有簡(jiǎn)單、易解釋和可延展等優(yōu)點(diǎn)，使其在高維數(shù)據(jù)處理中成為一個(gè)主要研究方向。已有的線性維數(shù)約簡(jiǎn)方法主要包括主成分分析（principal component analysis，PCA）[1]、獨(dú)立成分分析（independent component analysis，ICA）[2]、Fisher判別分析（Fisher discriminant ana￣lysis，F(xiàn)DA）[3]、主曲線（principal curves）[4]、投影尋蹤（projection pursuit，PP）[5]、局部線性投影（local linear projection，LLP）[6]以及基于神經(jīng)網(wǎng)絡(luò)的自組織映射

（self－organizing map，SOM）[7]等。這些方法實(shí)際是在不同優(yōu)化準(zhǔn)則之下，尋求最佳線性模型的方法，這也是線性維數(shù)約簡(jiǎn)方法的共性。

然而，隨著信息時(shí)代的到來(lái)，不可避免地出現(xiàn)大量的高維非線性數(shù)據(jù)。傳統(tǒng)的線性維數(shù)約簡(jiǎn)方法難以直接用于分析來(lái)源于真實(shí)世界的高維和非線性數(shù)據(jù)。其主要原因有膨脹的維數(shù)導(dǎo)致計(jì)算量迅速上升；高維導(dǎo)致樣本數(shù)相對(duì)較少，使得某些統(tǒng)計(jì)上的漸近性質(zhì)受到破壞；傳統(tǒng)方法在處理高維數(shù)據(jù)時(shí)不滿(mǎn)足穩(wěn)健性要求等。因此，研究高維非線性數(shù)據(jù)面臨諸多困難[8]。這主要是高維帶來(lái)了數(shù)據(jù)的稀疏和維數(shù)災(zāi)難，而非線性使得現(xiàn)有的快速成熟的線性模型不再適用。目前主要存在兩類(lèi)非線性維數(shù)約簡(jiǎn)方法，即基于核的方法和基于流形的方法。前者利用Mercer核及其對(duì)應(yīng)的再生核希爾伯特空間（reproduction kernel Hilbert space，RKHS），不用創(chuàng)建復(fù)雜的假設(shè)空間，通過(guò)定義Mercer核隱式地定義特征空間。因此大部分線性維數(shù)約簡(jiǎn)方法都有其對(duì)應(yīng)的基于核的非線性維數(shù)約簡(jiǎn)方法，如KPCA[9]、KICA[10]、KFDA[11]、KSOM [12]、核特征映射[13]等。然而，基于核的方法其難點(diǎn)在于如何選擇一個(gè)合適的核函數(shù)。一個(gè)好的核函數(shù)可以使數(shù)據(jù)在特征空間上線性可分或者近似線性可分，但并不是每個(gè)核函數(shù)對(duì)于每一種數(shù)據(jù)集都適用。核函數(shù)的選擇反映了人們對(duì)問(wèn)題的先驗(yàn)，在實(shí)際的應(yīng)用中往往是憑經(jīng)驗(yàn)選擇某種核函數(shù)，如徑向基函數(shù)(radial basis function，RBF)。同時(shí)，在使用核函數(shù)時(shí)不必知道具體的特征空間，使得核函數(shù)方法缺乏物理直觀，這也是核函數(shù)方法的一個(gè)缺點(diǎn)。后者就是近年發(fā)展起來(lái)的基于流形學(xué)習(xí)的非線性維數(shù)約簡(jiǎn)方法，主要包括多維尺度方法[14]、等距映射方法[15]、局部線性嵌入方法[16] 、拉普拉斯特征映射法[17]、局部切空間排列方法[18]等。

流形學(xué)習(xí)中非線性維數(shù)約簡(jiǎn)方法與線性維數(shù)約簡(jiǎn)方法相比的一個(gè)顯著特點(diǎn)是分析中的局部性。對(duì)數(shù)據(jù)集的內(nèi)蘊(yùn)結(jié)構(gòu)而言有如下特性：由泰勒定理，任何可微函數(shù)在一點(diǎn)的充分小的鄰域內(nèi)滿(mǎn)足線性條件，形象地說(shuō)，認(rèn)為曲面流形由大小不一的局部線性塊拼接而成；數(shù)據(jù)流形經(jīng)常是由許多可分割的子流形所組成；數(shù)據(jù)流形的本征維數(shù)沿著流形不斷地發(fā)生變化，只有局部性才能抓住其根本特性。

1流形定義和流形學(xué)習(xí)

流形是現(xiàn)代數(shù)學(xué)的概念，可以將流形簡(jiǎn)單地理解為由f(x)=0，x∈Rd確定的RN(d<

Belkin等人提出了Laplacian eigenmaps[17]，并成功地將其應(yīng)用于半監(jiān)督的Riemannian流形學(xué)習(xí)[27]、流形規(guī)則化[28]和部分標(biāo)記分類(lèi)[29]等方面。Zhu等人將半監(jiān)督思想與Gaussian random field結(jié)合[30]，顯示了半監(jiān)督流形學(xué)習(xí)的巨大發(fā)展前景。Roweis等人意識(shí)到以isomap、LEE、Laplacian eigenmaps為代表的維數(shù)約簡(jiǎn)方法只是對(duì)訓(xùn)練集中的樣本給出嵌套空間中的位置，缺少?gòu)母呔S空間到低維空間的映射，并且依賴(lài)于點(diǎn)集之間的關(guān)系，對(duì)噪聲非常敏感，特征值分解又加劇了這種不穩(wěn)定性。因此，提出了在局部空間學(xué)習(xí)一個(gè)線性映射，并使用EM算法解決優(yōu)化問(wèn)題[31]。Brand[32]繼續(xù)發(fā)展了這一思想，對(duì)流形上的鄰域用Gaussian分布建模，并給出了閉合解的形式，避免了效率低下的爬山方法。這一領(lǐng)域的巨大發(fā)展不僅引起了計(jì)算機(jī)科學(xué)研究人員的注意，同時(shí)也引起了數(shù)學(xué)家和物理學(xué)家的興趣。普林斯頓大學(xué)的Chigirev等人將數(shù)據(jù)的維數(shù)約簡(jiǎn)看做為數(shù)據(jù)壓縮的過(guò)程，應(yīng)用率失真定理將信息理論引入流形學(xué)習(xí)框架，提出了對(duì)流形的最優(yōu)描述，不僅完成了維數(shù)約簡(jiǎn)過(guò)程，同時(shí)揭示了流形的內(nèi)部結(jié)構(gòu)[33]。由于已有的流形學(xué)習(xí)方法對(duì)噪聲和參數(shù)都比較敏感，詹德川等人[34]針對(duì)isomap方法，通過(guò)引入集成學(xué)習(xí)技術(shù)擴(kuò)大了可以產(chǎn)生有效可視化結(jié)果的輸入?yún)?shù)范圍，并且降低了對(duì)噪聲的敏感性。另外，趙連偉等人[35]完善了isomap的理論基礎(chǔ)，給出了連續(xù)流形與其低維參數(shù)空間等距映射的存在性證明，并區(qū)分了嵌入空間維數(shù)、高維數(shù)據(jù)的固有維數(shù)與流形維數(shù)這些容易混淆的概念；證明如果高維數(shù)據(jù)空間存在環(huán)狀流形，流形維數(shù)要小于嵌入空間維數(shù)；同時(shí)，還給出了一種有效的環(huán)狀流形發(fā)現(xiàn)方法，以得到正確的低維參數(shù)空間。何力等人[36]提出了一種從方法因子和延伸方向兩方面顯示出觀測(cè)空間的高維數(shù)據(jù)與維數(shù)約簡(jiǎn)后的低維數(shù)據(jù)之間的聯(lián)系方法，并且比較了isomap和LLE方法的性能。Zhang等人提出了一種局部切空間排列方法[18]，通過(guò)逼近每一樣本點(diǎn)的切空間來(lái)構(gòu)建低維流形的局部幾何，然后利用局部切空間排列求出整體低維嵌入坐標(biāo)。由于用于特征值分解的矩陣階數(shù)等于樣本數(shù)，樣本集較大時(shí)將無(wú)法處理；此外，該方法不能有效處理新來(lái)的樣本點(diǎn)。一種基于劃分的局部切空間排列方法[37]被提出以改善這些缺點(diǎn)。它建立在向量量化主成分分析算法和LTSA方法的基礎(chǔ)上，解決了向量量化主成分分析算法不能求出整體低維坐標(biāo)和LTSA中大規(guī)模矩陣的特征值分解問(wèn)題，且實(shí)驗(yàn)證明能夠有效處理新來(lái)的樣本點(diǎn)。

2流形學(xué)習(xí)中非線性維數(shù)約簡(jiǎn)方法

在流形學(xué)習(xí)中，許多非線性維數(shù)約簡(jiǎn)方法屬于譜方法（spectral method）。譜方法主要利用流形的二階特征來(lái)描述流形的內(nèi)在結(jié)構(gòu)，主要包括MDS、isomap、LLE、Hessian LLE、Laplacian eigenmaps、LSTA等。譜方法將流形結(jié)構(gòu)信息存放在一個(gè)鄰接矩陣中，并通過(guò)對(duì)矩陣的譜分解得到高維數(shù)據(jù)的低維嵌入。譜方法的缺點(diǎn)在于通過(guò)已知數(shù)據(jù)集推廣到未知數(shù)據(jù)（out－of－sample）非常困難。另外，這一類(lèi)方法大多需要手動(dòng)選擇鄰域大小和內(nèi)在維數(shù)，這兩個(gè)參數(shù)往往關(guān)系到流形結(jié)構(gòu)是否能被真實(shí)恢復(fù)。

2．1MDS

MDS[14]是一種傳統(tǒng)的尋求保持?jǐn)?shù)據(jù)點(diǎn)之間差異性（或相似性）的維數(shù)約簡(jiǎn)方法，它使得在原數(shù)據(jù)集中點(diǎn)經(jīng)過(guò)變換后，仍舊保留數(shù)據(jù)點(diǎn)之間的距離。通過(guò)適當(dāng)定義準(zhǔn)則函數(shù)來(lái)體現(xiàn)在低維空間中對(duì)高維距離的重建誤差，對(duì)準(zhǔn)則函數(shù)用梯度下降法求解，對(duì)于某些特殊的距離可以推導(dǎo)出解析解法。

經(jīng)典MDS方法的主要步驟如下：

4最新進(jìn)展和發(fā)展方向

4．1非線性維數(shù)約簡(jiǎn)新方法

1)局部判別嵌入方法

Isomap方法與LLE方法仍有其限制之處，其主要通過(guò)維數(shù)約簡(jiǎn)對(duì)數(shù)據(jù)集的可視化進(jìn)行處理，著重于訓(xùn)練數(shù)據(jù)集的表示而不是分類(lèi)，且有樣本外問(wèn)題，即當(dāng)有新的樣本數(shù)據(jù)時(shí)，需要重新學(xué)習(xí)。Chen 等人[63]提出一種監(jiān)督式的局部判別嵌入（local discriminant embedding，LDE）方法，主要針對(duì)有標(biāo)記的數(shù)據(jù)集，以分類(lèi)為目標(biāo)的最優(yōu)處理。LDE的特點(diǎn)是構(gòu)建兩個(gè)數(shù)據(jù)樣本鄰近關(guān)系圖，分別用于記錄樣本間的類(lèi)別關(guān)系以及與鄰近幾何關(guān)系，并可將最優(yōu)問(wèn)題變成特征值求解問(wèn)題。因此最佳維數(shù)約簡(jiǎn)空間可用簡(jiǎn)單的特征值和特征向量的計(jì)算獲得。此外，LDE沒(méi)有樣本外問(wèn)題，可直接處理新的測(cè)試樣本。

2）局部規(guī)則嵌入

目前的非線性維數(shù)約簡(jiǎn)方法都是基于數(shù)據(jù)集中點(diǎn)與點(diǎn)之間的局部關(guān)聯(lián)。由于在維數(shù)約簡(jiǎn)過(guò)程中沒(méi)有考慮非同性數(shù)據(jù)集合所具有的自然的類(lèi)結(jié)構(gòu)，使得對(duì)非同性數(shù)據(jù)集效果不佳，即在恢復(fù)數(shù)據(jù)流形的同時(shí)，不能很好地進(jìn)行數(shù)據(jù)分類(lèi)。譚璐等人[64]引入拓?fù)溧徲颉⑼負(fù)浣Y(jié)構(gòu)以及規(guī)則的概念，構(gòu)造了相應(yīng)的結(jié)構(gòu)規(guī)則性度量，提出了一種局部規(guī)則嵌入方法（locally regular embedding，LRE）。該方法由于較好地保留了數(shù)據(jù)集拓?fù)浣Y(jié)構(gòu)，使得維數(shù)約簡(jiǎn)后能較好地保留數(shù)據(jù)集的類(lèi)特性，更好地揭示了數(shù)據(jù)集的本征結(jié)構(gòu)。

3）局部不變投影

結(jié)合近年來(lái)提出的LLE方法和Laplacian eigenmap，譚璐等人[65]提出了局部不變投影方法。該方法在高維數(shù)據(jù)的維數(shù)約簡(jiǎn)處理中具有保持?jǐn)?shù)據(jù)集幾何結(jié)構(gòu)和拓?fù)浣Y(jié)構(gòu)不變的性質(zhì)，而且繼承了線性方法計(jì)算方便、快捷的優(yōu)點(diǎn)。通過(guò)分析可以看出，非線性和線性維數(shù)約簡(jiǎn)方法，兩者并不矛盾，而是相互關(guān)聯(lián)的，它們之間存在結(jié)合的可能性，并且通過(guò)兩者的綜合可將非線性方法的特性有效地移植到線性方法中。He等人[66]也提出了一種Laplacian eigenmap的線性化版本的局部不變投影（local preserving projection，LPP）方法。LPP可以看做一種子空間方法與流形學(xué)習(xí)的結(jié)合。

4）其他方法

Kouropteva 等人[60]和Ridder等人[67]提出的監(jiān)督局部線性嵌入方法（supervised locally linear embedding，SLLE）以及Pang等人[68]提出的鄰域保留投影方法（neighborhood preserving projections，NPP）等非線性維數(shù)約簡(jiǎn)方法。

4．2穩(wěn)健性研究 

LLE方法在求解模型過(guò)程中可能出現(xiàn)矩陣病態(tài)，導(dǎo)致求解過(guò)程對(duì)于數(shù)據(jù)點(diǎn)噪聲十分敏感，使結(jié)果受噪聲影響較大。針對(duì)LLE方法的不足，從分析噪聲對(duì)數(shù)據(jù)集局部特性的影響入手，提出了穩(wěn)健局部線性嵌入方法[69]，不僅較好地解決了噪聲對(duì)數(shù)據(jù)集的影響，而且對(duì)鄰域的選擇也有較好的適應(yīng)性，可更好地挖掘數(shù)據(jù)的本征特性，具有更強(qiáng)的數(shù)據(jù)可視化能力。

現(xiàn)有的非線性維數(shù)約簡(jiǎn)方法很大部分是基于譜分解的。由于譜分解固有的穩(wěn)定性問(wèn)題，使得已有的方法對(duì)噪聲和參數(shù)都比較敏感，噪聲的存在使得輸入?yún)?shù)更加難以選擇，參數(shù)較小的變化會(huì)導(dǎo)致差異顯著的學(xué)習(xí)結(jié)果。因此，提高非線性維數(shù)約簡(jiǎn)方法的抗噪性成為亟待解決的問(wèn)題。通過(guò)將非線性維數(shù)約簡(jiǎn)方法與已有的成熟機(jī)器學(xué)習(xí)方法（如核技術(shù)[70]）相結(jié)合，研究各種噪聲模型對(duì)非線性維數(shù)約簡(jiǎn)方法的影響方式和影響度。楊建宏等人[56]也認(rèn)為，帶噪的時(shí)間序列在高維的相空間中其本質(zhì)特征隱含在一個(gè)低維的主流形中，利用LTSA方法提取其主流形，再根據(jù)主流形對(duì)時(shí)間序列進(jìn)行重構(gòu)，就可以達(dá)到去除噪聲的目的。與現(xiàn)有的非線性時(shí)間序列噪聲去除方法不同，基于流形的方法更強(qiáng)調(diào)時(shí)間序列的整體結(jié)構(gòu)。

4．3核技術(shù)應(yīng)用

主流的流形學(xué)習(xí)方法都可以看做是在數(shù)據(jù)相關(guān)的核函數(shù)下的KPCA。其核函數(shù)從數(shù)據(jù)中學(xué)習(xí)獲得，而不是事先給定。因此，很多研究者希望將流形學(xué)習(xí)的方法統(tǒng)一到對(duì)核函數(shù)的研究框架下來(lái)。Choi等人[70]針對(duì)isomap提出了核isomap方法。Yan等人[71]提出了graph embedding框架，子空間與流形學(xué)習(xí)都被統(tǒng)一到此框架下。Weinberger等人[72]給出了KPCA和流形方法之間的聯(lián)系，即采用半定規(guī)劃，可以獲得一個(gè)具有最大的跡（如特征空間變量等）的半正定核矩陣Ψ。其中：Ψ滿(mǎn)足約束條件|Ψ(xi)-Ψ(xj)|2=|xi-xj|2；xi，xj為鄰域。Ham等人[73]對(duì)核技術(shù)用于流形學(xué)習(xí)中的維數(shù)約簡(jiǎn)方法進(jìn)行了綜述。

4．4可視化度量研究

非線性維數(shù)約簡(jiǎn)方法作為一種可視化手段，自然需要某種可視化效果的度量，如坐標(biāo)相關(guān)性[34]。坐標(biāo)相關(guān)性不僅關(guān)注投影后樣本間的距離信息，同時(shí)考慮了樣本投影后的位置信息。但它的作用對(duì)象一般集中在本真結(jié)構(gòu)已知的數(shù)據(jù)集，研究開(kāi)發(fā)更廣泛意義上的度量可視化效果的方法也可以成為一個(gè)努力的方向。

4．5約簡(jiǎn)效果度量研究

N維高維空間的樣本數(shù)據(jù)，一般不可能彌漫于整個(gè)RN空間，否則就不會(huì)有什么信息。數(shù)據(jù)實(shí)際上處于一個(gè)高維空間的低維流形上，即一個(gè)維數(shù)約簡(jiǎn)后的曲面上。該流形的維數(shù)即為數(shù)據(jù)的本征維數(shù)（intrinsic dimensionality），而N只是數(shù)據(jù)的表象維數(shù)。

因此，可以考慮形成一整套的非線性維數(shù)約簡(jiǎn)機(jī)制。對(duì)給定的非線性高維數(shù)據(jù)集，首先有效判斷其是否存在流形；然后估計(jì)固有維數(shù)和潛在空間維數(shù)，確定約簡(jiǎn)后的維數(shù)提供有效的參數(shù)，避免為了得到殘差與維數(shù)的關(guān)系進(jìn)行多次實(shí)驗(yàn)造成不必要的開(kāi)銷(xiāo)以及綜合判斷時(shí)的主觀誤差。在流形學(xué)習(xí)的主要處理完成后，制訂指標(biāo)衡量觀測(cè)空間的高維數(shù)據(jù)與維數(shù)約簡(jiǎn)后低維數(shù)據(jù)間的定量關(guān)系。這樣有利于對(duì)數(shù)據(jù)規(guī)律的深入探索，可直觀比較不同流形方法的維數(shù)約簡(jiǎn)效果。何力等人[36]提出的放大因子和延伸方向已被證明是兩個(gè)有效的指標(biāo)。

4．6交叉流形問(wèn)題

Souvenir等人[51]提出了流形學(xué)習(xí)應(yīng)用范圍擴(kuò)展的新問(wèn)題，即多個(gè)交叉流形分類(lèi)和參數(shù)化。當(dāng)流形出現(xiàn)重疊現(xiàn)象時(shí)，先前的非線性維數(shù)約簡(jiǎn)方法會(huì)失效。針對(duì)這一問(wèn)題，提出了兩種解決方案，即節(jié)點(diǎn)加權(quán)的MDS和對(duì)低階矩陣近似的快速方法，并且通過(guò)一個(gè)混合拓?fù)浣Y(jié)構(gòu)和維數(shù)的交叉流形以及人體運(yùn)動(dòng)捕捉數(shù)據(jù)的實(shí)例展示了該方法的應(yīng)用。

4．7互逆問(wèn)題

能否在得到同胚映射的前提下進(jìn)行流形學(xué)習(xí)的互逆過(guò)程[75]，在本真維數(shù)空間生成有效數(shù)據(jù)后，向高維空間投影合成新的訓(xùn)練數(shù)據(jù)，或者利用同胚映射關(guān)系判斷高維空間合成數(shù)據(jù)的有效性和完備性，解決訓(xùn)練樣本稀疏的問(wèn)題。另外，對(duì)已經(jīng)獲得本真維數(shù)的數(shù)據(jù)集，如何確定各個(gè)獨(dú)立自由度的具體意義，便于對(duì)應(yīng)用的實(shí)踐指導(dǎo)，同樣需要思考。

4．8其他問(wèn)題

現(xiàn)有的非線性維數(shù)約簡(jiǎn)方法多數(shù)是無(wú)監(jiān)督的，如何將其推廣到半監(jiān)督[27，76]以及有監(jiān)督[48]的情況下，著眼提高方法的泛化能力，也是一個(gè)有價(jià)值的研究課題。

現(xiàn)有非線性維數(shù)約簡(jiǎn)方法大多基于小的鄰域?qū)W習(xí)，期望通過(guò)在小鄰域上的學(xué)習(xí)得到一個(gè)全局的坐標(biāo)，這往往是不現(xiàn)實(shí)的。如何將全局與局部數(shù)據(jù)學(xué)習(xí)結(jié)合起來(lái)[77]是一個(gè)非常有意義的話(huà)題。

此外，非線性維數(shù)約簡(jiǎn)方法在空時(shí)擴(kuò)展[78]、快速算法[79]、局部線性光滑性問(wèn)題[80]等方面也值得關(guān)注。

5結(jié)束語(yǔ)

盡管非線性維數(shù)約簡(jiǎn)方法及其應(yīng)用在過(guò)去幾年中已經(jīng)取得了豐碩的成果，但由于其數(shù)學(xué)理論基礎(chǔ)較為復(fù)雜，以及多學(xué)科間的交叉、融合，對(duì)高維數(shù)據(jù)中有意義的低維結(jié)構(gòu)的研究依然有很多值得進(jìn)一步探討的問(wèn)題。本文比較系統(tǒng)地回顧了流形學(xué)習(xí)中非線性維數(shù)約簡(jiǎn)方法的基本原理、算法流程、應(yīng)用及發(fā)展方向等問(wèn)題，尤其對(duì)國(guó)內(nèi)研究者在這一領(lǐng)域的研究、發(fā)展和應(yīng)用等工作用了很大篇幅進(jìn)行闡述分析。目前非線性維數(shù)約簡(jiǎn)方法還有很多問(wèn)題處于研究中，如現(xiàn)有的方法能在多大程度上逼近流形的內(nèi)在結(jié)構(gòu)、流形學(xué)習(xí)與核函數(shù)關(guān)系、流形學(xué)習(xí)的泛化能力等。這些問(wèn)題也是機(jī)器學(xué)習(xí)領(lǐng)域中非常基礎(chǔ)且非常具有挑戰(zhàn)性的問(wèn)題，一旦在理論上取得突破性的進(jìn)展，有可能會(huì)引發(fā)整個(gè)機(jī)器學(xué)習(xí)領(lǐng)域的一次革命。

參考文獻(xiàn)：

［1］JOLLIFFE I T. Principal component analysis［M］. New York: Springer－Verlag， 1986.

［2］HYVARINEN A， OJA E， KARHUNEN J. Independent component analysis［M］. New York: Wiley， 2001.

［3］GORDON A D. Classification: methods for the exploratory analysis of multivariate data［M］. New York: Wiley， 1977.

［4］ KGL B， KRZYZAK A， LINDER T， et al. Learning and design of principal curves［J］. IEEE Transactions on Pattern Analysis and Machine Intelligence， 2000，22(3):281-297.

［5］HUBER P J. Projection pursuit［J］. Annals of Statistics， 1985，13(2):435-475.

［6］HUO Xiao－ming， CHEN Ji－h(huán)ong. Local linear projection (LLP)［C］//Proc of the Workshop on Genomic Signal Processing and Statistics.2002:1183－1186.

［7］KOHNONE T. Self－organizing maps［M］. 3rd ed. Berlin: Springer－Verlag， 2001.

［8］HASTIE T， TIBSHIRANI R， FRIEDMAN J. The element of statistical learning: data mining， inference， and predication［M］. New York: Springer， 2001.

［9］SCHLKOPF B， SMOLA A J， MLLER K R. Nonlinear component analysis as a kernel eigenvalue problem［J］. Neural Computation， 1998，10(5):1299－1319.

［10］BACH F R， JORDAN M I. Kernel independent component analysis［J］.Journal of Machine Learning Research，2002，3:1-48.

［11］MIKA S， RATSCH G， WESTON J， et al. Fisher discriminant analysis with kernels[C]//Proc of Neural Networks for Signal Processing Workshop.Madison:[s.n.]， 1999:41-48.

［12］MacDONALD D， FYFE C. The kernel self－organising map［EB/OL］. [2006－12－16].http://cis.paisley.ac.uk/fyfe－ci0/ kernelkmeans.ps.

［13］BRAND M. Continuous nonlinear dimensionality reduction by kernel eigenmaps［C］//CHAPELLE O， SCHLKOPF B， ZIEN A. Semi－supervised learning. Acapulco: MIT Press，2006:547-554.

［14］BORG I， GROENEN P. Modern multidimensional scaling: theory and application［M］. New York: Springer－Verlag，1997.

［15］TENEBAUM J B， SILVAM V D， LANGFORD J C. A global geome￣tric framework for nonlinear dimensionality reduction［J］. Science， 2000，290(12):2319-2323.

［16］ROWEIS S T， SAUL L K. Nonlinear dimensionality reduction by locally linear embedding［J］. Science， 2000，290(5500):2323-2326.

［17］BELKIN M， NIYOGI P. Laplacian eigenmaps for dimensionality reduction and data representation［J］. Neural Computations， 2003，15(6):1373－1396.

［18］ZHANG Zhen－ye， ZHA Hong－yuan. Principal manifolds and nonli￣near dimension reduction via local tangent space alignment［J］.SIAM Journal of Scientific Computing， 2004，26(1):313-338.

［19］BALASUBRAMANIAN M， SCHWARTZ E L， TENENBAUM J B. The isomap algorithm and topological stability［J］. Science，2002，295(5552):7.

［20］NAYAR S K， NENE S A， MURASE H. Subspace methods for robot vision［J］.IEEE Transactions on Robotics and Automation，1996，12(5):750-758.

［21］SEBASTIAN H S， LEE D D. The manifold ways of perception［J］.Science，2000，290(12):2268-2269.

［22］DONOHO D L， GRIMES C. Hessian eigenmaps: new locally linear embedding techniques for high－dimensional data［J］. Proceedings of the National Academy of Sciences of the United States of American，2003，100(10):5591-5596.

［23］ZHANG Chang－shui， WANG Jun， ZHAO Nan－yuan， et al. Reconstruction and analysis of multi－pose face images based on nonlinear dimensionality reduction［J］. Pattern Recognition，2004，37(1):325-336.

［24］WEINBERGER K Q， PACKER B， SAUL L K. Nonlinear dimensio￣nality reduction by semidefinite programming and kernel matrix facto￣rization［C］//COWELL R G，GHAHRAMANI Z.Proc of the 10th International Workshop on Artificial Intelligence and Statistics. Barbados: Society for Artificial Intelligence and Statistics，2005:381-388.

［25］WEINBERGER K Q， SAUL L K. Unsupervised learning of image manifolds by semidefinite programming[C]//Proc of the IEEE Conference on Computer Vision and Pattern Recognition.2004:988-995.

［26］WEINBERGER K Q， SAUL L K. An introduction to nonlinear dimensionality reduction by maximum variance unfolding［EB/OL］. [2006－12－16].http://www.seas.upenn.edu /~kilianw/publications/PDFs/AAAI0620WeinbergerK.pdf.

［27］BELKIN M， NIYOGI P. Semi－supervised learning on riemannian manifolds［J］. Machine Learning， 2004，56(1):209-239.

［28］BELKIN M， NIYOGI P， SINDHWANI V. On manifold regularization[C]//Proc of the 10th International Workshop on Artificial Intelligence and Statistics.2005:17-24.

［29］BELKIN M， NIYOGI P. Using manifold structure for partially labelled classification[C]//Proc of Advances in Neural Information Processing Systems.2003:929-936.

［30］ZHU Xiao－jin， GHAHRAMANI Z， LAFFERTY J. Semi－supervised learning using gaussian fields and harmonic functions[C]//Proc of the 20th International Conference on Machine Learning.Washington，DC:[s.n.]，2003:58-65.

［31］ROWEIS S， SAUL L， HINTON G. Global coordination of local linear models[C]//Proc of Advances in Neural Information Processing Systems.2002:889-896.

［32］BRAND M. Minimax embeddings[C]//Proc of Advances in Neural Information Processing Systems.Cambridge:MIT Press， 2004:505-512.

［33］CHIGIREV D， BIALEK W. Optimal manifold representation of data: an information theoretic approach［EB/OL］. [2006－12－16].http://books.nips.cc/papers/files /nips16/NIPS2003_AA21.ps.gz.

［34］詹德川，周志華.基于集成的流形學(xué)習(xí)可視化［J］.計(jì)算機(jī)研究與發(fā)展，2005，42(9):1533－1537.

［35］趙連偉，羅四維，趙艷敞.高維數(shù)據(jù)的低維嵌入及嵌入維數(shù)研究［J］.軟件學(xué)報(bào)，2005，16(8):1423－1430.

［36］何力，張軍平，周志平.基于放大因子和延伸方向研究流形學(xué)習(xí)算法［J］.計(jì)算機(jī)學(xué)報(bào)，2005，28(12):2000-2009.

［37］楊劍，李伏欣，王玨.一種改進(jìn)的局部切空排列算法［J］.軟件學(xué)報(bào)，2005，16(9):1584－1589.

［38］MIN Wan－li， LU Ke， HE Xiao－fei. Locality pursuit embedding［J］.Pattern Recognition，2004，37(4):781-788.

［39］NILSSON J. Nonlinear dimensionality reduction of gene expression data[D]. Lund， Sweden: Lund University， 2006.

［40］徐志節(jié)，楊杰，王猛. 利用非線性降維方法預(yù)測(cè)膜蛋白類(lèi)型［J］. 上海交通大學(xué)學(xué)報(bào)， 2005，39(2):279-293.

［41］翁時(shí)鋒，張長(zhǎng)水，張學(xué)工.非線性降維在高維醫(yī)學(xué)數(shù)據(jù)處理中的應(yīng)用［J］.清華大學(xué)學(xué)報(bào):自然科學(xué)版， 2004，44(4):485-488.

［42］SHEN Xi－lin， MEYER F G. Nonlinear dimension reduction and activation detection for fMRI dataset[C]//Proc of Computer Vision and Pattern Recognition Workshop.2006:144－151.

［43］DAWSON K， RODRIGUEZ， MALYJ W. Sample phenotype clusters in high－density oligonucleotide microarray data sets are revealed using isomap， a nonlinear algorithm［J］. BMC Bioinformatics， 2005，6(1):195.

［44］KHURD P， VERMA R， DAVATZIKOS C. On characterizing and ana￣lyzing diffusion tensor images by learning their underlying manifold structure[C]//Proc of Computer Vision and Pattern Recognition Workshop.2006:61-68.

［45］LASKARIS N A， IOANNIDES A A. Semantic geodesic maps: a uni￣fying geometrical approach for studying the structure and dynamics of single trial evoked responses［J］. Clinical Neurophysiology， 2002，113(8):1209－1226.

［46］HI C， CHANG Y， FERIS R， et al. Manifold based analysis of facial expression［J］. Image and Vision Computing，2006，24(6):605-614.

［47］SAUL L， ROWEIS S. Think globally， fit locally: unsupervised lear￣ning of nonlinear manifolds[J]. Journal of Machine Learning Research， 2003，4:119－155.

［48］GENG Xin， ZHAN De－chuan， ZHOU Zhi－h(huán)ua. Supervised nonlinear dimensio￣nality reduction for visualization and classification［J］. IEEE Transactions on Systems， Man， and Cybernetics: Part B，2005，35(6):1098－1107.

［49］LIU C B， LIN R S， NARENDRA A， et al. Dynamic textures synthesis as nonlinear manifold learning and traversing[C]//Proc of the 17th British Machine Vision Conference.2006:859-868.

［50］CHANG H， YEUNG D Y. Locally linear metric adaptation with application to semi－supervised clustering and image retrieval［J］. Pattern Recognition，2006，39(7):1253－1264.

［51］SOUVENIR R， PLESS R. Manifold clustering[C]//Proc of IEEE International Conference on Computer Vision.Beijing:[s.n.]，2005:648-653.

［52］MORARIU V I， OCTAVIA I O I. Modeling correspondences for multi－camera tracking using nonlinear manifold learning and target dynamics[C]//Proc of the IEEE Conference on Computer Vision and Pattern Recognition.2006:545－ 552.

［53］BACHMANN C M， AINSWORTH T L， FUSINA R A. Exploiting manifold geometry in hyperspectral imagery［J］.IEEE Transactions Geoscience Remote Sensing， 2005，43(3):441-454.

［54］SEWARD A E， BODENHEIMER B. Using nonlinear dimensionality reduction in 3D figure animation[C]//Proc of the 43th ACM SE Regional Conference.2005:388-392.

［55］NISKANEN M， SILVN O. Comparison of dimensionality reduction methods for wood surface inspection[C]//Proc of the 6th Internatio￣nal Conference on Quality Control by Artificial Vision.Gatlinburg:[s.n.]，2003:178－188.

［56］楊建宏，徐金梧，楊德斌，等. 基于相重構(gòu)和主流形識(shí)別的非線性時(shí)間序列降噪方法［J］. 北京科技大學(xué)學(xué)報(bào)，2005，27(5):631-634.

［57］JAIN V， SAUL L K.Exploratory analysis and visualization of speech and music by locally linear embedding[C]//Proc of the International Conference of Speech， Acoustics， and Signal Processing.2004:984-987.

［58］HE Xiao－fei， CAI Deng， LIU Hai－feng， et al. Locality preserving indexing for document representation[C]//Proc of the 27th Annual ACM SIGIR Conference.Shelfield:[s.n.]，2004:96－103.

［59］BELKIN M， NIYOGI P. Laplacian eigenmaps and spectral techniques for embedding and clustering[C]//Proc of Neural Information Processing Systems. Cambridge:[s.n.]，2003:1373－1396.

［60］KOUROPTEVA O， OKUN O， PIETIKINEN M. Classification of handwritten digits using supervised locally linear embedding algorithm and support vector machine[C]//Proc of the 11th European Symposium on Artificial Neural Networks.Belgium:[s.n.]，2003:229-234.

［61］許馨， 吳福朝，胡占義，等. 一種基于非線性降維求正常星系紅移的新方法［J］.光譜學(xué)與光譜分析，2006，26(1):182－186.

［62］LIOU C Y， KUO Y T. Economic states on neuronic maps[C]//Proc of the 9th International Conference on Neural Information Processing.2002:787-791.

［63］CHEN H T， CHANG Huang－wei， LIU T L. Local discriminant embedding and its variants[C]//Proc of Conference on Computer Vision and Pattern Recognition.San Diego:IEEE Computer Society，2005:846-853.

［64］譚璐，吳翊. 局部規(guī)則嵌入［J］. 計(jì)算機(jī)應(yīng)用， 2005，25(4):817-819.

［65］譚璐，易東云，馮國(guó)柱，等. 局部不變投影［J］. 自然科學(xué)進(jìn)展，2004，14(3):282-287.

［66］HE Xiao－fei， NIYOGI P. Locality preserving projections［C］//Proc of Advances in Neural Information Processing Systems.Cambridge:MIT Press，2004:153－160.

［67］De RIDDER D， KOUROPTEVA O， OKUN O， et al. Supervised locally linear embedding［C］//Lecture Notes in Computer Science.[S.l.]:Springer，2003:333-341.

［68］PANG Yan－wei，ZHANG Lei， LIU Zheng－kai. Neighborhood preserving projections (NPP): a novel linear dimension reduction method［C］//Lecture Notes in Computer Science.2005:117－125.

［69］CHOI H， CHOI S. Kernel isomap on noisy manifold[C]//Proc ofIEEE International Conference on Development and Learning.2005:208-213.

［70］CHOI H， CHOI S. Kernel isomap［J］. Electronics Letters，2004，40(25):1612－1613.

［71］YAN Shui－cheng， XU Dong， ZHANG Hong－jiang， et al. Graph embedding: a general framework for dimensionality reduction[C]//Proc of Conference on Computer Vision and Pattern Recognition.2005:830-837.

［72］WEINBERGER K Q， SHA F， SAUL L K. Learning a kernel matrix for nonlinear dimensionality reduction[C]//Proc of the 21st International Conference on Machine Learning.Banff:[s.n.]，2004:839-846.

［73］HAM J， LEE D D， MIKA S， et al. A kernel view of the dimensiona￣lity reduction of manifolds[C]//Proc of the 21st International Conference on Machine Learning.Banff:[s.n.]，2004:369-376.

［74］譚璐，吳翊，易東云. 穩(wěn)健局部線性嵌入方法［J］. 國(guó)防科技大學(xué)學(xué)報(bào)，2004，26(4):91-95.

［75］ 譚璐.高維數(shù)據(jù)的降維理論及應(yīng)用［D］.長(zhǎng)沙：國(guó)防科學(xué)技術(shù)大學(xué)，2005.

［76］YANG Xin， FU Hao－ying， ZHA Hong－yuan， et al. Semi－supervised nonlinear dimensionality reduction[C]//Proc of the 23th Internatio￣nal Conference on Machine Learning.2006:1065－1072.

［77］BENGIO Y， MONPERRUS M. Non－local manifold tangent learning［J］.Advances in Neural Information Processing Systems，2005，17:129－136.

［78］JENKINS O， MATARIC M. A spatio－temporal extension to isomap nonlinear dimension reduction[C]//Proc of the 21st International Conference on Machine Learning.2004:56-64.

［79］ZHANG Zhen－yue，ZHA Hong－yuan.A domain decomposition method for fast manifold learning[C]//Advances in Neural Information Processing Systems.2006:1625－1632.

［80］ZHANG Zhen－yue， ZHA Hong－yuan. Local linear smoothing for nonlinear manifold learning， CSE-03-003[R]. Pennsylvania: Penn State University，2003.

“本文中所涉及到的圖表、注解、公式等內(nèi)容請(qǐng)以PDF格式閱讀原文”