主成分分析在模式識別領(lǐng)域中的研究進(jìn)展

王文杰，石競琛，姜念祖，林帥男，趙 瑞

（吉林師范大學(xué)數(shù)學(xué)與計算機(jī)學(xué)院，吉林 四平 136000）

0 引言

隨著信息技術(shù)的不斷發(fā)展，數(shù)據(jù)生成的速度和規(guī)模都呈現(xiàn)出指數(shù)增長態(tài)勢，這使得數(shù)據(jù)的類型趨于多樣化，數(shù)據(jù)結(jié)構(gòu)趨于復(fù)雜化，這種現(xiàn)象被稱為維數(shù)災(zāi)難，并且這種現(xiàn)象已經(jīng)影響到了諸多領(lǐng)域，如人臉識別、圖像壓縮、圖像去噪等.如何通過數(shù)據(jù)降維來減輕維數(shù)災(zāi)難、減少高維空間中其他不相關(guān)的屬性已成為學(xué)者們主要的研究方向.

維數(shù)災(zāi)難［1-3］帶來的問題主要表現(xiàn)在以下幾個方面：一是隨著數(shù)據(jù)維數(shù)的增加，高維空間樣本點(diǎn)的分布將會更加稀疏，從而導(dǎo)致過擬合的問題；二是維數(shù)增多使樣本遠(yuǎn)離中心點(diǎn)，導(dǎo)致邊緣樣本密集過高，無法擬合；三是隨著維數(shù)的升高，在高維度空間中距離度量逐漸失去了度量差異性的能力；四是高維數(shù)據(jù)影響問題處理的效率和準(zhǔn)確性，增加數(shù)據(jù)預(yù)處理的難度；五是高維數(shù)據(jù)的運(yùn)算與存儲對計算機(jī)的要求較高，目前計算機(jī)仍不能完全滿足其要求；六是對高維數(shù)據(jù)處理的方法較少，處理難度較大，增加了計算難度.

上述問題給高維數(shù)據(jù)分析與處理帶來了較大的困難，嚴(yán)重制約了數(shù)據(jù)挖掘算法的高效性，而維數(shù)約簡技術(shù)是解決這一難題的有力工具，它主要包括特征選擇技術(shù)和特征提取技術(shù)兩大類.特征選擇是從數(shù)據(jù)集中去除不相關(guān)和冗余的信息以獲得最優(yōu)的特征子集［4］.由于特征選擇通常會采用搜索算法，所以特征選擇中最優(yōu)特征子集的搜索速度和精度存在一定的問題.而特征提取是利用現(xiàn)有的特征參數(shù)組成一個低維的特征空間，將原始特征包含的有用信息映射成少量的特征，忽略冗余和不相關(guān)的信息［5］.所以特征提取可以很好地避免信息冗余、數(shù)據(jù)維數(shù)過高等問題.目前，研究者們已經(jīng)提出了多種有關(guān)特征提取的降維方法，基于線性的特征提取方法有主成分分析和線性判別分析（LDA），而基于非線性特征提取方法主要包括局部線性嵌入（LLE）、等距離映射（Lsomap）、擴(kuò)散映射（Diffusion Map）、多維尺度變換（MDS）、局部切空間排列（LTSA）、核主成分分析（KPCA）等.多種特征提取技術(shù)中最常用的算法無疑是PCA，由于其具有降維精度高、信息損失量小、應(yīng)用范圍廣等特點(diǎn)而得到廣泛應(yīng)用.本文綜述了近五年主成分分析算法在人臉識別、圖像壓縮和圖像去噪等模式識別領(lǐng)域中的最新研究進(jìn)展，分析了其技術(shù)特色和應(yīng)用范圍.

1 主成分分析

主成分分析［6-9］是20 世紀(jì)初引入用于探索多元數(shù)據(jù)分析中最流行的方法之一，并隨著時間的推移逐漸走向成熟，它的主要思想是將n維特征映射到k維上（k＜n），而這k維特征是在原有的基礎(chǔ)上重新構(gòu)造出來的，我們也稱這k維特征為主成分.

1.1 主成分分析方法的求解步驟

PCA 具體的求解步驟如圖1所示.PCA 降維的過程是通過計算樣本集的協(xié)方差矩陣，得到協(xié)方差矩陣的特征值和特征向量，選擇其中特征值最大的k個特征所對應(yīng)的特征向量組成特征向量矩陣，將原有的樣本數(shù)據(jù)轉(zhuǎn)化到新的空間中，從而實(shí)現(xiàn)對數(shù)據(jù)特征的降維.它的目標(biāo)是通過某種線性投影，將高維的數(shù)據(jù)映射到低維的空間中，并期望在所投影的維度上數(shù)據(jù)的方差最大，以便使用較少的數(shù)據(jù)維度，同時保留住較多的原數(shù)據(jù)點(diǎn)的特性.

圖1 PCA算法求解步驟

1.2 主成分分析方法的特點(diǎn)

PCA 算法的主要優(yōu)點(diǎn)表現(xiàn)在：PCA 是無監(jiān)督學(xué)習(xí)，完全沒有參數(shù)的限制，在計算過程中不需要人為地設(shè)定參數(shù)；PCA 技術(shù)可以對數(shù)據(jù)進(jìn)行降維，從而達(dá)到簡化模型的效果，同時最大程度地保持了原有數(shù)據(jù)的信息；PCA 降維后的主成分之間相互正交，可抵消原始數(shù)據(jù)成分間的相互影響；PCA 算法計算方法簡單，在計算機(jī)上便于實(shí)現(xiàn).

PCA算法的主要缺點(diǎn)表現(xiàn)在：雖然用戶掌握了一些關(guān)于觀測對象的數(shù)據(jù)的特征，但卻無法通過參數(shù)化等方法對處理過程進(jìn)行干預(yù)，使用PCA 算法可能得不到預(yù)期的效果，效率也不高；貢獻(xiàn)率小的主成分可能含有對樣本有重大影響的重要信息，但在使用PCA 算法時往往會忽略貢獻(xiàn)率小的主成分；特征值矩陣的正交向量空間是否唯一有待討論.

2 主成分分析在模式識別中的應(yīng)用

模式是對客觀事物的一種抽象化的概括和定理化的描述，而模式識別則是在某些觀測基礎(chǔ)上把待識別模式劃分到各自的模式中.模式識別可以和很多人工智能技術(shù)和算法相結(jié)合，其中主成分分析在模式識別領(lǐng)域中主要應(yīng)用于人臉識別、圖像壓縮和圖像去噪等方面.

2.1 人臉識別

2.1.1 人臉識別簡介

人臉識別［10-12］的研究起始于20 世紀(jì)60 年代，在過去的幾十年內(nèi)，人臉識別一直是一個十分活躍的研究領(lǐng)域.近幾年，人臉識別技術(shù)的研究更是取得了巨大的進(jìn)展，獲得了計算機(jī)視覺、機(jī)器學(xué)習(xí)和人工智能等多個領(lǐng)域的研究關(guān)注.目前，人臉識別技術(shù)已經(jīng)在社會上得到了廣泛的應(yīng)用，具體來說，人機(jī)交互、身份驗(yàn)證、安全監(jiān)測、刑事案件偵破和金融行業(yè)等都應(yīng)用到了人臉識別技術(shù).廣義的人臉識別包括人臉檢測、身份識別和圖像預(yù)處理等.目前，PCA在人臉識別中的應(yīng)用已經(jīng)逐漸成熟，具體流程如圖2所示.

圖2 PCA在人臉識別中應(yīng)用流程

2.1.2 PCA在人臉識別中的應(yīng)用

在將PCA應(yīng)用于人臉識別的過程中，一般都是直接應(yīng)用PCA技術(shù)對人臉圖像進(jìn)行降維［13-17］.具體方法就是先將數(shù)據(jù)集中的每一個人臉圖像轉(zhuǎn)化為一個向量V，以此對訓(xùn)練集T進(jìn)行更新，得到T={V1，V2，V3，…，VN}，之后再計算平均臉向量，用原始的人臉圖像向量減去平均臉向量后計算出協(xié)方差矩陣，得到降維后的面部特征向量，最終獲得降維后的人臉圖像數(shù)據(jù).

與直接應(yīng)用PCA 技術(shù)不同，一些研究者對PCA 算法進(jìn)行了改進(jìn).2018 年，Seghouane 等［18］提出的新方法是在進(jìn)行PCA 降維時用單位矩陣代替一維協(xié)方差矩陣，這樣完美地解決了行作為潛在的隨機(jī)向量的問題.他們在Yale-B data 數(shù)據(jù)集上的實(shí)驗(yàn)驗(yàn)證了新提出的方法的性能.2019年Rathika等［19］和2020年Zhang 等［20］在應(yīng)用PCA 時都首先對原始的圖像數(shù)據(jù)進(jìn)行均值歸一化，即從數(shù)據(jù)的每個值中減去平均維度值，每個維度的平均值為零.然后再求出平均臉向量，用原始的人臉圖像向量減去平均臉向量，計算出協(xié)方差矩陣，最后利用它們得到降維后的人臉圖像數(shù)據(jù).2019 年，Xue 等［21］提出了一種新的RPCA 模型，新模型用于補(bǔ)全原始PCA方法降維時主成分大量損壞或缺失的情況.相比于PCA，新提出的RPCA 考慮了邊的信息，即使存在缺失值也可以很好地完成人臉識別的任務(wù).2021年，Arora等［22］提出了一種可以區(qū)分人臉不同情緒的自動面部情緒識別方法.該方法利用PCA 技術(shù)將面部特征提取為一組特定的特征描述，稱為特征臉.該方法處理的過程是先將圖像的每個矩陣與對應(yīng)的圖像向量i進(jìn)行歸一化，在除去共同的面部特征后，用求出的矩陣的協(xié)方差來評估面部表情的特征向量，從而實(shí)現(xiàn)降維的目的.

另外，還有一些研究者將PCA 算法與已有的模型和算法相結(jié)合實(shí)現(xiàn)人臉識別.2020 年，Alahmadi等［23］提出了一種將神經(jīng)網(wǎng)絡(luò)和PCA 完美結(jié)合的人臉識別方法.其中，PCA 用于學(xué)習(xí)卷積層的濾波器組，通過無監(jiān)督學(xué)習(xí)的方式計算出人臉數(shù)據(jù)的L個特征映射的值，再將這些特征映射與L個濾波器進(jìn)行卷積，最終得到降維后的人臉圖像數(shù)據(jù).2022 年，Yadav 等［24］提出了一種新的PCA-SVM 模型.PCA-ANN［25］和PCA-SVM 是最近出現(xiàn)的兩種功能強(qiáng)大的人臉分析技術(shù)，相比于PCA-ANN，PCA-SVM 的優(yōu)點(diǎn)是在人臉檢測中需要的參數(shù)更少，識別精度更高.但PCA-SVM 在光線差、頭發(fā)長或物體遮擋面部的情況下，對人臉的檢測是無效和低效的.新提出的PCA-SVM 模型不僅保留了原模型的優(yōu)點(diǎn)，還解決了原模型存在的問題，增強(qiáng)了識別的精度.同年，Dutta 等［26］提出了一種將PCA、ICA 和神經(jīng)網(wǎng)絡(luò)相結(jié)合的用于3D 人臉識別的新方法.與文獻(xiàn)［23］不同，Dutta等使用PCA 和ICA 濾波器融合而成的新濾波器組，而新的濾波器是通過WPCA和WICA的數(shù)據(jù)級融合產(chǎn)生的.

2.1.3 2D-PCA在人臉識別中的應(yīng)用

2018 年，Gao 等［27］提出了一種高效的2D-PCA 人臉識別方法，該方法使用2D-PCANet，解決了PCA方法在PCANet中存在的不足.PCANet在使用PCA作為濾波器組時必須將二維矩陣變?yōu)橐痪S向量，這樣才能計算協(xié)方差矩陣，但2D-PCANet 在計算協(xié)方差矩陣時不需要進(jìn)行向量轉(zhuǎn)換，大大地提高了計算效率.2019年，Xu等［28］提出了一種新的動態(tài)雙向二維主成分分析D（2D）2PCA 方法，與傳統(tǒng)的2D-PCA 方法不同，該方法不僅考慮變量之間的相關(guān)性，還考慮變量之間的自相關(guān)性.D（2D）2PCA 方法構(gòu)造一種增廣時間序列矩陣來有效提取變量之間的動態(tài)關(guān)系，準(zhǔn)確描述水下物體的動態(tài)行為.2020年，Wang等［29］提出了一種基于Frobenius 范數(shù)的高效魯棒方法F-2D-QPCA.該方法的目標(biāo)是找到投影矩陣，使投影數(shù)據(jù)基于F 范數(shù)的方差最大，并且該方法比2D-PCA 方法和F-2D-PCA 方法具有更強(qiáng)的魯棒性和更高的識別精度.

2.2 圖像壓縮

2.2.1 圖像壓縮簡介

隨著計算機(jī)在現(xiàn)代社會中的應(yīng)用不斷增加，大量的圖片數(shù)據(jù)需要被持續(xù)傳輸，這使得將其存儲在有限的內(nèi)存中或通過有限的互聯(lián)網(wǎng)帶寬進(jìn)行傳輸變得越來越困難.因此，需要對圖像壓縮技術(shù)進(jìn)行更加深入的研究來應(yīng)對這些挑戰(zhàn).同時，這種研究也響應(yīng)了網(wǎng)絡(luò)上高速傳輸數(shù)據(jù)的要求［30-31］.圖像壓縮是指用盡可能少的數(shù)據(jù)量表示原數(shù)據(jù)量，其基本原理是去除其中冗余的數(shù)據(jù)［32］.在所有圖像壓縮技術(shù)中，基于PCA的特征降維方法已經(jīng)相對成熟，獲得了一定的成果，被廣泛應(yīng)用到各個領(lǐng)域.

2.2.2 PCA在圖像壓縮中的應(yīng)用

2018 年，Licciardi 等［33］提出了使用NLPCA 變換方法來降低高光譜圖像數(shù)據(jù)的光譜維數(shù).與PCA 相比，NLPCA 方法能夠在更低維的空間中以更少的特征表示相同的信息內(nèi)容.NLPCA 方法首先訓(xùn)練AANN 進(jìn)行身份映射，將獲得的主成分（NLPCs）作為輸入數(shù)據(jù)再重新輸入到解碼層，得到重構(gòu)的原始數(shù)據(jù).最后使用4 個數(shù)據(jù)集對新提出的NLPCA 方法進(jìn)行測試.同年6 月，Báscones 等［34］也提出了一種新的圖像壓縮方法用于高光譜圖像的壓縮.該方法首先使用矢量量化和主成分分析（PCA）對圖像進(jìn)行光譜分解，然后將JPEG2000應(yīng)用于利用空間相關(guān)性進(jìn)行壓縮的主成分.2020年，Thayammal等［35］同樣提出了一種新的高光譜圖像的壓縮方法，該方法利用PCA 方法時先將相似像素分組在一起，然后將原始數(shù)據(jù)中的每個向量投影到約簡空間中，并將約簡數(shù)據(jù)浸入到原始空間，這樣就得到PCA 方法降維后的圖像.2021 年，Xue 等［36］提出一種改進(jìn)的PCA 算法用于人臉圖像數(shù)據(jù)的壓縮.傳統(tǒng)的PCA方法在對人臉圖像進(jìn)行壓縮時，由于樣本數(shù)據(jù)量過小的問題，很難得到準(zhǔn)確的協(xié)方差矩陣，而改進(jìn)后的PCA 算法可以根據(jù)投影向量的協(xié)方差軌跡來描述投影樣本的離散程度，得到準(zhǔn)確的協(xié)方差矩陣，從而更好地實(shí)現(xiàn)對人臉圖像數(shù)據(jù)進(jìn)行壓縮.2022 年，Park 等［37］提出了一種將PCA 應(yīng)用于多分辨率特征圖像的壓縮方法.該方法主要是利用PCA 變換來消除多分辨率特征圖像映射通道中冗余的數(shù)據(jù).利用VCC 編碼器和DeepCABAC網(wǎng)絡(luò)對特征向量進(jìn)行壓縮，最后再經(jīng)過PCA逆變換重構(gòu)圖像.2023年，Doorsamy等［38］將PCA用在了醫(yī)學(xué)圖像壓縮方面，研究如何用PCA 進(jìn)行X 射線圖像分類、壓縮和預(yù)處理.該方法在利用PCA 前先將X射線圖像的顏色成分分成三個分量，然后再利用PCA方法對這些圖像進(jìn)行降維，用得到的方差稀釋比例PVE來決定整體圖像中每個主成分所包含的數(shù)據(jù)方差，從而實(shí)現(xiàn)對X 射線圖像的壓縮.

2.3 圖像去噪

2.3.1 圖像去噪簡介

圖像去噪［39-41］是指減少數(shù)字圖像中噪聲的過程，目前數(shù)字圖像采集設(shè)備已廣泛應(yīng)用于醫(yī)學(xué)、天文學(xué)、生物學(xué)、國防工業(yè)等諸多領(lǐng)域.在惡劣的天氣、光照等條件下采集的圖像日漸增多，再加上各種采集設(shè)備固有的物理限制，導(dǎo)致圖像在采集過程中容易出現(xiàn)一些隨機(jī)噪聲，給后續(xù)的文本檢測、圖像分割、圖像壓縮等圖像處理環(huán)節(jié)造成不可估計的影響.而所謂的噪聲可以理解為一種阻礙圖像觀測和信息提取過程的基本信號失真，抑制圖像噪聲是圖像分析和處理的基礎(chǔ)，因此，利用圖像去噪技術(shù)去除噪聲，從失真圖像中恢復(fù)原圖像是非常必要的.

2.3.2 PCA在圖像去噪中的應(yīng)用

Zhao 等［42］和Singh 等［43］提出基于漸進(jìn)式主成分分析的圖像去噪方法，其中文獻(xiàn)［42］于2018 年提出了基于聚類的漸進(jìn)主成分閾值分析，該方法使用漸進(jìn)式PCA 閾值分割技術(shù)對訓(xùn)練圖像的聚類矩陣進(jìn)行降噪，并用PCA 變換域進(jìn)一步去除低秩矩陣的剩余噪聲.不同于文獻(xiàn)［42］，文獻(xiàn)［43］于2022 年10 月提出了一種新的漸進(jìn)式PCA 方法.該方法主要分為兩個階段，在第一階段將給定的圖像劃分為大小相等或大小不等的分區(qū)，創(chuàng)建圖像的不重疊子分區(qū)，第二階段將PCA逐步應(yīng)用于第一階段生成的子集.

與文獻(xiàn)［42］和文獻(xiàn)［43］不同，一些研究者是將PCA 方法和其他方法相結(jié)合來進(jìn)行圖像降噪.2018年，天津電子實(shí)驗(yàn)室的Zhao 等［44］用PCA 方法對高噪聲圖像進(jìn)行降維處理，然后將降維后的圖像用于SGK 字典學(xué)習(xí).2019年，Routray 等［45］提出一種將PCA 算法和Patch Groups（PGs）相結(jié)合的圖像去噪算法.這種去噪方法主要包括三個階段，即分組階段、字典學(xué)習(xí)階段和基于PCA 的去噪階段.在去噪階段，該方法將學(xué)習(xí)到的PGs 轉(zhuǎn)換為PCA 域，去除噪聲成分時，只保留了最重要的主成分.2021 年，Berrimi 等［46］提出一種針對退化人臉圖像序列去噪算法.該方法利用PCA 變換實(shí)現(xiàn)自適應(yīng)空間濾波，根據(jù)利用PCA算法降維后的特征向量來保留噪聲的強(qiáng)度和計算閾值，并將經(jīng)過時間濾波的圖像分解為兩個子圖像，從而實(shí)現(xiàn)圖像去噪.同年，Jing 等［47］提出一種將LPG 和PCA 相結(jié)合的圖像去噪方法.這種方法首先將LPG-PCA方法的輸出用引導(dǎo)濾波器進(jìn)行濾波，然后用PCA方法對SAR（Synthetic Aperture Radar）圖像進(jìn)行降維.2022 年，Lu 等［48］提出一種將PCA 和殘差網(wǎng)絡(luò)的優(yōu)點(diǎn)相結(jié)合的光學(xué)圖像去噪方法.該方法利用PCA對圖像噪聲進(jìn)行分析，進(jìn)而建立估計噪聲水平與真實(shí)噪聲水平之間的精確映射.映射有助于選擇合適的殘差神經(jīng)網(wǎng)絡(luò)模型進(jìn)行圖像處理，最大限度地保留圖像信息，減少噪聲的影響.

還有研究者提出了將PCA應(yīng)用在高光譜圖像的去噪上.2018年，Cao等［49］就利用PCA方法對高光譜圖像進(jìn)行了去噪，并提出了一種新的RPCA 模型.該模型將噪聲建模和HSI 建模相結(jié)合，用于混合噪聲去除.最后再利用PCA 方法求出的協(xié)方差矩陣來恢復(fù)降噪后的圖像數(shù)據(jù).2022 年，Wu 等［50］提出一種新的基于PCA 的高光譜圖像去噪模型——PCA-Tensordecomp，該模型首先利用主成分分析對HSI 信號進(jìn)行降維處理，得到主復(fù)合成分，然后進(jìn)行低秩CP分解，對含有大量噪聲的第一主成分和其余次要成分進(jìn)行降噪.最后利用逆PCA對降噪后的HSI進(jìn)行恢復(fù)，達(dá)到綜合降噪的效果.

3 總結(jié)與展望

伴隨著大數(shù)據(jù)時代的來臨，數(shù)據(jù)處理和分析顯得日益重要，如何從高維數(shù)據(jù)中提取出有用的信息成為當(dāng)前研究的主要方向，原始的降維方法得到了新的應(yīng)用.PCA方法可以用于揭示變量和樣本之間的關(guān)系，它在模式識別領(lǐng)域主要應(yīng)用于人臉識別、圖像壓縮和圖像去噪.但PCA方法也存在一定的缺陷，PCA主要應(yīng)用于線性降維，使用PCA進(jìn)行線性降維后樣本間的非線性數(shù)據(jù)有可能會丟失.PCA方法降維后的主成分都是原始變量的線性組合，這就導(dǎo)致PCA 方法不能很好地估計降維后隱變量的數(shù)目.為了解決PCA方法潛在的問題，使其具有更強(qiáng)的可用性，一些新的PCA方法開始出現(xiàn).如：KPCA，SPCA，Dual-PCA，HSIC-PCA 等.在應(yīng)用方面，PCA 方法也逐漸開始與統(tǒng)計學(xué)方法和神經(jīng)網(wǎng)絡(luò)相結(jié)合應(yīng)用于醫(yī)學(xué)、生物學(xué)等，使得各個領(lǐng)域的研究都有了突破性的進(jìn)展.未來PCA 方法還會給研究者在處理各類問題上提供更多新的思路和方法，產(chǎn)生更多的研究成果.