數據降維的常用方法分析

趙玉娟

摘 ? 要：數據降維一直是科學研究和工程應用的一個重要課題，降維方法主要有特征選擇和特征變換兩類，而特征變換又分為線性降維和非線性降維兩類。線性降維算法實現起來較為簡單快速，在現今的科學研究和工程實踐中仍有應用。本文主要分析了線性降維方法中的主成分分析和線性判別分析，對它們的算法原理進行了較為詳細的分析，并比較了它們在數據降維方面的異同。

關鍵詞：數據降維 ?主成分分析 ?線性判別分析

中圖分類號：TP311.1 ? ? ? ? ? ? ? ? ? ? ? ? ? ? ? 文獻標識碼：A ? ? ? ? ? ? ? ? ? ? ? ?文章編號：1674-098X（2019）11（b）-0118-02

1 ?降維方法概述

隨著科學技術的進步，特別是物聯網和大數據的快速發展，當今社會對數據處理能力的要求越來越高，隨著數據維數的增大，高維數據通常存在較大的相干性和冗余度，并且數據本身的信息量增長往往比數據維度的增長要慢，從而信號維度越高，數據冗余度就會越大，如視頻圖像比單幅靜止圖像的可壓縮性要大得多。研究如何充分利用高維數據間的稀疏性和冗余性進行數據降維，是對高維數據進行有效采集、處理和重構的重要前提。

降維方法主要分為特征選擇和特征變換兩種，特征選擇是從給定的特征中選擇提取若干重要特征，典型的特征提取算法有窮舉法，啟發式，隨機方法和智能優化等。特征變換是通過某種變換將原始的輸入空間數據映射到一個新的空間中。特征變換通過移除原特征集中的相關性與冗余性，可以減輕維數災難，增強模型的泛化能力。特征變換主要有線性降維和非線性降維兩類，其中線性降維方法有主成分分析，線性判別分析，非負矩陣分解，因子分析，奇異值分解和獨立成分分析等;非線性降維方法有局部線性嵌入法，拉普拉斯本征映射，等距映射和核主成分分析等;本文主要討論了線性降維中的主成分分析（Principal Component Analysis，PCA）和線性判別分析（Linear Discriminant Analysis，LDA）。

2 ?主成分分析和線性判別分析

2.1 主成分分析

主成分分析（PCA）[1]源于K-L變換（Karhunen-Loeve Transform），是將高維空間中的數據投影到低維仿射子空間的一種線性降維方法。設數據集，存在RD的一個仿射子空間Sd（d

其中，U為D×d維矩陣，它的列向量為子空間S的一組基，為在子空間S中的對應坐標。

設，它的奇異值分解（Singular Value Decomposition，SVD）為

其中X的奇異值矩陣ΣX的元素按從大到小排列，則由ΣX的每一個元素σi及其對應的左右奇異值向量和就構成了矩陣X的每一個主成分，這些主成分之間相互正交，通過截斷后面對表征矩陣X貢獻較小的主成分，可以達到降維的目的。

PCA是無監督的線性降維方式，它對異常值（outlier）非常敏感，觀測數據中的元素一旦受到破壞，PCA的精確性會受到很大打擊。但現實中數據常常會不可避免的受到污染，比如傳感器失效，數據被惡意修改等等，當異常值存在時計算主成分的算法稱為魯棒主成分分析（Robust Principal Component Analysis，RPCA）[2]。

2.2 線性判別分析

線性判別分析（Linear Discriminant Analysis，LDA）[3]是另一種常用的線性降維方法，也稱為費舍爾（Fisher）線性判別，是模式識別的經典算法。LDA把較高維度的樣本投影到最佳鑒別向量空間，從而達到能夠抽取分類信息和壓縮樣本特征空間維數的目的。設原始數據中含有兩個不同類的樣本A和B，它們各自的均值分別為

PCA和LDA是線性降維中兩種經典的算法，但兩者的關注重點不同，PCA是將樣本空間作為一個整體，期望對數據降維后還能夠最大化保持原始數據集的內在信息;而LDA不僅可以進行數據的降維，還能夠對原始數據進行分類，使得原始的數據集在降維后能將不同類的數據區分開。從機器學習的角度來看，PCA是無監督的降維方法（降維過程中對原始數據沒有使用標簽），而LDA是有監督的降維（在求類內散度和類間散度時應用了原始數據的標簽）。

3 ?結語

現實中的數據符合線性要求的只有很少的一部分，大部分數據都是非線性的，對這些非線性的數據運用線性降維手段的話，效果并不理想。由之，研究非線性的降維方法是非常有必要的，現有的非線性降維算法主要有核PCA，局部線性嵌入（Locally Linear Embedding，LLE），等距特征映射（Isometric Feature Mapping，ISOMP），多維尺度法（Multidimensional Scaling，MDS）等等。但當數據并不是存在于單一子空間或子流形時，比如同時存在于多個低維結構中時[4]，非線性降維方法也將失效，研究復雜情況下的數據降維問題一直是科研和工程應用的一個重要領域。

參考文獻

[1] Candès E J， Li X D， Ma Y， et al. Robust principal component analysis？ [J]. Journal of the ACM. 2011， 58（3）： 37.

[2] Qiu C L， Vaswani N， Lois B， et al. Recursive robust PCA or recursive sparse recovery in large but structured noise[J]. IEEE Transaction on Information Theory. 2014， 60（8）： 5007–5039.

[3] S.B. Kotsiantis. Supervised Machine Learning： A Review of Classification Technique [M]. Artificial Intelligence Applications in Computer Engineering， 2007.

[4] René Vidal， Yi Ma， S. Shankar Sastry. Generalized Principal Component Analysis [M]. Interdisciplinary Applied Mathematics， 2016.