紅外光譜特征提取及目標聚類方法

陳 博，孫鶴鵬，席劍輝，張鵬帆

(沈陽航空航天大學 自動化學院，沈陽 110136)

基于分子的振動和轉動理論，紅外光譜能夠反映分子的微觀結構和狀態，被廣泛應用于成分分析和結構測定等[1]。紅外光譜適用性較強，可以檢測固態、液態或氣態樣品，同時，對于無機、有機、高分子化合物均可檢測。因此紅外光譜在高聚物的定性定量分析[2]、農業、制藥、遙感、生物、醫學等領域都有廣泛的應用。紅外光譜分析可以迅速、無損、高精度地檢測物品，通過對已知目標紅外光譜吸收峰的位置、強度和形狀的分析，可以構建該目標特征，從而確定目標紅外光譜特征。隨著計算機技術的發展，紅外光譜分析技術得到了進一步發展和應用。

20世紀80年代以來，隨著紅外光譜采集技術和計算機處理技術的發展，紅外光譜在農業[3]和林業[4]中被廣泛應用，Sankaran等[5]使用逐步判別分析和逐步回歸分析的方法利用紅外光譜技術判別柑橘葉子是否病變。Lang等[6]利用近紅外光譜辨別植物不同發育階段,為植物多樣性高的地區開展各種生態研究提供了可能性。在遙感領域，Wei等[7]利用光譜遙感技術進行地物識別的應用與分類。光譜遙感數據被有效利用于遙感影像分割[8]與分類[9]中。在醫療領域紅外光譜也發揮了許多作用，Kobrina等[10]通過紅外光譜聚類分析區分完好和修復的關節軟骨。

紅外光譜數據的聚類問題是紅外光譜分析領域的重要問題，陳林杰等[11]提出了基于紅外光譜指紋圖譜研究鑒別不同品種的桑黃，利用多點基線校正等方法對原始光譜建立指紋圖譜共有模式，然后利用主成分分析和載荷因子分析鑒別不同產地的桑黃，發現各類產地桑黃有明顯的地域性聚集。Kobrina等[12]選取包含兔皮質骨主要吸收帶的光譜區域進行分析，分別測試了K均值(KM)、模糊C-均值(FCM)和層次聚類(HCA)3種聚類方法，研究發現其中FCM更適合生物組織樣本。王琰等[13]對頭孢呋辛鈉紅外光譜進行矢量歸一處理,采用歐氏距離進行標準聚類分析，探討了聚類分析與穩定性試驗的可替代性。吳江等[14]提出基于紅外光譜聚類分析鑒別斑花黃堇產地的方法，利用小波變換對原始紅外光譜數據去噪壓縮，再對其系統聚類，并將聚類結果同主成分分析結果進行對比，說明了系統聚類的有效性。在茶葉品種鑒別上，紅外光譜聚類也具有一定的適用性。傅海軍等[15]提出了傅里葉近紅外光譜和模糊極大熵聚類分析相結合的茶葉品種鑒別方法，采用線性判別分析對降維后的近紅外光譜數據進行特征提取，實驗顯示混合模糊極大熵聚類比傳統的模糊極大熵聚類具有更好的準確性。He等[16]提出了主成分分析和BP模型的近紅外光譜鑒別茶葉品種的方法，分析光譜反射率與茶葉品種的關系，利用前8個主成分對40個未知樣本進行聚類分析，實驗結果顯示模型較為可靠。

上述研究工作在紅外光譜的分析和紅外光譜聚類上取得了一定成效，但是只利用光譜數據的某種特征或使用單一聚類方法，不能充分利用紅外光譜在不同通道和不同波段的信息以及各種特征的一致性。有鑒于此，本文提出了基于多種特征提取方法的多視角目標聚類方法，既提取了紅外光譜的主元特征又保持了原始數據的分布一致性，利用多視角聚類學習數據互補性和一致性。利用PCA算法提取紅外數據的主元特征，利用去噪自編碼器提取數據的低維流形特征，對噪音具有一定的魯棒性，取得了較好的聚類效果。

1 紅外光譜特征提取

1.1 主成分分析

主成分分析(principal component analysis，PCA)是數據分析中被廣泛使用的降維方法，能夠從復雜數據中提取特征信息[17]。現實世界中的數據往往是高維的并且具有較多冗余，對于紅外光譜數據，多波段的采集點和不同通道往往會產生高維數據。高維數據的不同維度之間可能具有較強的關聯性，因此為數據的降維提供了可行性。主成分分析法通過尋找數據中的最大變化方向，把每個數據都投影到這些方向構成的坐標系中并表示出來，從而實現將原始數據n維特征映射到k維特征上，通常有基于特征值分解協方差矩陣的實現方法和基于SVD分解協方差矩陣的方法。主成分分析不僅能夠對數據進行降維和數據壓縮，同時也可以處理少量較大幅值噪聲。本文采用基于SVD分解實現的主成分分析法，對實驗數據進行主成分分析，獲取前3個主成分。

1.2 去噪自編碼器

隨著深度學習的迅速崛起和發展，近幾年基于深度學習的生成式模型也越來越被廣泛應用。Hinton等[18]提出了可以通過多層神經網絡把高維數據編碼成低維數據，進而重建高維數據，中間層神經元數量較少，將模型作為自動編碼器。自動編碼器(Auto-encoder)屬于分監督學習模型，不需要對樣本進行標記，通常包括編碼器和解碼器，編碼器用于學習輸入數據的隱含特征，這個過程稱為編碼(coding)，同時用學習到的新特征重構出原始輸入數據，即解碼(decoding)，單隱層的自動編碼器模型如圖1所示。

圖1 單隱層自動編碼器

圖1中X=[X1,X2,…,Xn]為原始n維數據，其中編碼器部分可以表示為h=σ(Wx+b)，σ為激活函數，W為神經網絡權重，b為偏置，解碼器部分表示為x′=σ(W′h+b′)，x′為重建的高維數據。編碼器輸出層的節點數與輸入層相等，以隨機初始化的方式對網絡參數進行初始化，訓練這個網絡以期望得到近似恒等函數，重構損失函數為{W,b,W′,b′}=argmin Loss(x,x′)=||x-x′||2。

本文使用去噪自編碼器(DenoisingAutoencoders，DAE)提取低維特征，由于上述損失函數可能導致學習到恒等函數，所以為了迫使隱藏層單元發現更多魯棒性好的特征，去噪自編碼器利用帶噪聲的輸入來訓練自編碼器重構參數[19]，對輸入加入噪聲損壞，其他部分和自編碼器一致。

1.3 線性判別分析

線性判別分析(Linear Discriminant Analysis,LDA)也是一種經典的降維方法，在模式識別領域中有非常廣泛的應用。不同于PCA方差最大化理論，LDA算法的思想是將數據投影到低維空間之后，使得同一類數據盡可能緊湊，不同類的數據盡可能分散。已知訓練樣本集{xi}ni=1，xi∈Rm，X=[x1,x2,…,xn]∈Rm×n表示所有樣本組成的數據矩陣，假設所有樣本的類別數為K，LDA的目標是最大化類間散度并最小化類內散度[20]。LDA的目標函數定義為

(1)

本文對紅外光譜亮度數據按照以上3種特征提取方法進行提取，將所提取到的特征向量作為多視角聚類算法輸入。其中主成分分析法LDA選擇的樣本點投影方向具有最大方差，使高維空間中分散的數據點在有限多的方向上得到新的表示，從而起到特征提取和數據降維的作用。去噪自編碼器則能夠從損壞的輸入中恢復出真正的原始數據，這樣的特征能更好表達輸入信號的原始分布。線性判別分析法為有監督學習，可以使用類別的先驗知識經驗，能夠在一定程度上提高特征可靠性。

主成分分析(PCA)和線性判別分析(LDA)都是線性降維方法，皆以投影的方式，以低維表示高維；PCA只是將整組數據整體映射到便于表示這組數據的坐標軸上，映射時沒有利用任何內部分類信息；LDA在基礎上增加了分類信息，使得降維后數據盡可能被區分開；另外PCA捕捉數據集中方差較大的特征，同時提取的新特征之間彼此不相關。去噪自編碼器(DAE)基于解碼器結構，將高維數據編碼到低維，解碼器接收低維數據并嘗試重建原始高維數據。綜合3種特征提取方法，融合不同形式的提取特征既能表示原始數據，又能提取特征降維數據對后期的聚類處理提供支持，還能降低噪聲等影響。

2 基于多特征的紅外光譜多視角聚類

2.1 多視角聚類

多視角聚類近幾年被廣泛應用于數據分析，由于其對多模態數據和多特征數據的充分利用，可以有效提高聚類效果。多視角聚類通常分為子空間聚類和譜聚類[22]，其中譜聚類為基于圖論的一種聚類算法，無論是基于圖融合的譜聚類[23]，還是基于低秩稀疏矩陣分解[24]的多視角譜聚類，都能夠有效挖掘各視角特征之間的一致性信息，從而提高聚類效果。本文利用多視角譜聚類實現紅外光譜數據的多特征聚類，多視角譜聚類過程如圖2所示。

圖2 多視角聚類過程

2.2 基于多特征的紅外光譜多視角聚類算法

采用主成分分析、去噪自編碼器和線性判別分析提取紅外光譜數據特征，將物種特征作為一種視角，不同物體在不同特征上表現出的相似性和差異性不盡相同，同一類別的高維數據在低維空間中往往具有一致性表達[25]，利用多種特征同時聚類能夠盡量保留各個視角的一致性，同時對噪聲具有一定的魯棒性。本文方法由兩部分組成，算法框架如圖3所示。第一部分對紅外數據進行預處理和校正，采取中值濾波法對原始紅外數據進行數據預處理。利用PCA提取特征f1，利用去噪自編碼器提取特征f2，利用線性判別分析提取特征f3，設樣本數為n，特征維度為k，則fi∈Rn×ki,i=1,2,3。將3種特征作為第二部分輸入，第二部分利用樣本特征向量構建相似度矩陣，根據譜聚類算法，所有樣本均表示圖上的頂點V=[v1,v2,v3,…,vn]，利用全連接法計算鄰接矩陣W，所有頂點之間的權重值都大于0，因此全部保留，W=[w11,w12,…,wnn]∈Rn×n，利用高斯核函數(RBF)計算相似度矩陣S，見式(2)

圖3 基于多特征的紅外光譜多視角聚類算法框架

(2)

(3)

利用交替方向乘子法(alternating direction method of multipliers，ADMM)[24]求解目標函數，得到低秩的轉移概率矩陣Z，最后對包含樣本一致性信息的低秩矩陣輸入K-means聚類算法中得到最終聚類結果。

3 實驗結果與分析

3.1 實驗數據

為驗證算法有效性，分別在3個紅外光譜數據集上進行實驗，分別是實驗采集的黑體數據集、鋼板數據集和公開數據集corn。其中，黑體數據集包含23個樣本，在不同溫度下的41組數據，每組采集141個點的輻射亮度數據，包括2個通道；鋼板數據包含41個樣本，在不同溫度下的12組數據；每組采集100個點的輻射亮度數據;corn數據集由3個不同的近紅外光譜儀測量的80個玉米樣品組成。波長范圍為1 100～2 498 nm，間隔2 nm(700通道)。每個樣品的水分、油、蛋白質和淀粉值也包括在內。在每臺儀器上也測量了一些NBS玻璃標準。

因為數據冗雜，在此列舉展示黑體和鋼板的部分原始數據，忽略公開數據集corn。黑體和鋼板的某一樣本如表1～2所示。黑體數據為在固定發射率時，41個溫度跨度下的紅外輻射亮度值，鋼板數據為固定材質12個溫度跨度下的紅外輻射亮度值。

表1 黑體樣本數據

3.2 評價指標

聚類任務的評價指標通常采用準確率(ACC)、查準率(Precision)、標準互信息(NMI)、查全率與查準率的加權調和系數(F-score)、調整蘭德系數(Adj-RI)。各評價指標意義如表3如示。

表3 各評價指標意義

表2 鋼板樣本數據

3.3 對比方法

本文將提出算法與以下幾種傳統基線方法進行對比，首先將利用PCA、去噪自編碼器和線性判別分析所獲得的3種特征分別作為獨立的輸入，并利用傳統K-means方法進行聚類，從而對比3種特征在本實驗中的表現。同時與本文所提算法的結果進行對比。

3.4 實驗結果

在以上3個數據集上分別對單一特征方法和多特征聚類方法進行測試，為了保證測試結果的穩定性,采用30次測試的平均值作為實驗結果，其中同一個數據集上指標的最大值用加粗表示。實驗結果如表4所示，表4里詳細給出了不同方法在3個數據集上的各種指標。可以看出，本文的算法在3個數據集上都取得了較好的聚類結果。在黑體數據集上，本文算法在指標ACC和Adj-RI上比PCA分別提高了15.80%和5.52%；在鋼板數據集上，本文算法在NMI和F-sorce指標上比DAE分別提高了14.48%和15.37%；在玉米數據集上，本文算法在指標NMI 和Precision上比最優單視角分別提高了10.32%和27.38%。此外，在黑體和鋼板數據上DAE+K-means的方法比其他兩種對比方法性能更好，主要原因是對于樣本分布信息較為一致的物體，通過去噪自編碼器能夠更好學習低維分布和空間特征。本文提出的基于多特征的多視角聚類方法在所有對比算法中取得了最佳效果，得益于充分利用了各種特征，并且在多視角聚類求解過程中解決了各個視角的噪聲影響，能夠更好捕捉樣本在低維空間中的一致性低秩表達。

表4 各算法在3個數據集上的不同性能結果對比

4 結論

本文提出了一種基于多特征提取的紅外光譜目標聚類算法，分別采用主成分分析、去噪自編碼器和線性判別分析法對紅外光譜數據進行特征提取，充分利用了紅外光譜數據的主元信息、自表達信息以及低維空間投影信息。本文算法將多視角聚類利用到紅外光譜數據分析中，充分利用了紅外光譜多波段、多通道數據多樣性的特點。在黑體、鋼板、玉米樣本數據集上進行了實驗驗證，實驗結果表明，在ACC、NMI、F-score以及Adj-RI4種系數上多視角聚類方法的結果明顯優于其他對比算法。另外，在玉米數據集上查準率(Precision)比DAE單視角聚類方法提高了27.39%，在鋼板數據集上本文算法的調整蘭德系數(Adj-RI)比最優的單視角聚類方法提高了4.1%。同時，本文算法參數較少，具有一定的魯棒性。