權重隨機正交化的極速非線性判別分析網絡

謝群輝，田 青

(1.南京航空航天大學 計算機科學與技術學院，江蘇 南京 211106；2.南京信息工程大學 計算機與軟件學院，江蘇 南京 210044)

1 概 述

極速學習機(Extreme Learning Machines，ELM)[1]以其訓練速度快，易實現，泛化性能好等優點受到廣泛關注。相關研究證明，ELM具有很好的萬能逼近能力(Universal Approximation Capability)[2]。相比SVM等機器學習分類方法，ELM具有更好的分類泛化性和學習快速性[3]，并在特征學習、分類、回歸和聚類等方面獲得了一系列拓展[4-6]。例如，極速非線性判別分析方法(Extreme Nonlinear Discriminant Analysis，ENDA)就是在ELM基礎上提出的，通過隨機初始化輸入權重取代了傳統的前饋神經網絡迭代訓練，提高了計算效率；利用LDA進行特征提取并能獲得全局最優，避免了神經網絡局部最小的問題；通過對線性不可分數據進行非線性化特征選擇，在高維空間中進行LDA降維和特征判別分析，并且獲得可視化效果，非常有利于后續的分類。

非線性化方法主要包含神經網絡方法和核方法兩大類，其中神經網絡非線性化方法又包含深度學習和淺層網絡(ELM)兩大類。文獻[6-7]表明，隨機初始化正交權重，可以改善其泛化性能。權重的正交化方法更適用于高維的圖像聚類或分類。在處理小樣本、高維度的數據時，權重正交化的設計可以去除特征以外的噪聲，提高模型的計算效率。通過初始化正交權重，避免傳統深度學習的反向迭代計算權重，達到優化非線性組合的目的。文獻[8-10]表明,正交性在深度網絡學習中至關重要，正交權重層通常被設計成濾波器組，實現更完備特征的提取，達到非常好的無監督特征分類學習效果，給高維大數據學習正交化提供理論依據。在MATLAB環境下實現卷積神經網絡(Convolutional Neural Networks)的深度集成化[11]，其中濾波器模塊利用權重正交化約束的設計。通過權重的隨機正交化可以過濾冗余信息，以達到快速訓練深度神經網絡權重的目的。這種權重正交層被稱為施蒂費爾(Stiefel Layer)，在很多BP網絡中被廣泛應用，它的作用是降維和特征提取。文獻[7]提出的傳統的深度學習，不僅學習速度緩慢，而且在計算資源上花費巨大。為解決這一問題，通過極速學習機自動編碼(ELM-AE)代替傳統的BP梯度下降算法，大大提高了計算速度，節省了計算成本。ELM-AE正是通過隨機正交初始化權重、偏置以及輸出權重達到子空間約束的目的。利用多層正交化ELM網絡組成多層神經網絡，在計算速度上要比傳統的深度學習快很多。考慮到深度學習計算的時效性問題，核方法顯然比深度的神經網絡方法要快，而有關核方法的權重正交設計方法[12-13]相繼被提出，這足以說明，在學習理論中正交概念是至關重要的。

在機器學習中，由于多層網絡訓練困難，核方法又受到核函數隱節點線性與樣本數的限制，當樣本數很大時，核方法計算花費大。而只有一層隱含層的淺層模型備受歡迎，作為機器學習的重要發展方向-極速化的淺層學習，ELM正是這種淺層學習代表。在此基礎上，文中提出了正交約束設計特征選擇方法(O-ENDA)。受ELM-AE的啟發，將原有淺層神經網絡ENDA改造成O-ENDA，不僅能過濾圖像的冗余信息，而且與前面提到的深度學習對比充分發揮了淺層神經網絡計算速度快的優勢，在保證分類性能的基礎上，O-ENDA比深度學習和核方法更容易實現極速化。在保證數據結構化多樣化特性的前提下，對輸入權重正交化強制約束，能夠提取結構特征效果，正交后輸入權重映射在保持多樣性的基礎上同樣可以提高計算效率。考慮到隱層的節點數與數據維度空間問題，從而實現降維(或者升維)作用，在保證數據原有多樣化特性的情況下，降低了數據的冗余信息，提取數據特征。

2 正交特征映射

2.1 極速學習機

極速學習機是由黃廣斌提出的快速求解單隱層神經網絡的快速學習算法。與傳統的Back-Propagation(BP)算法不同的是，利用權重的隨機初始化設置輸入權重和偏差，代替傳統的梯度下降的權重學習。假設網絡層輸入為x，目標輸出為T，估計輸出為y。

隨機初始化隱層節點，給定一個訓練集{(xi,ti)|xi∈n,ti∈m,i=1,2,…,N}，xi為特征輸入向量，ti為對應的輸出目標向量，L為隱節點個數。ELM代價函數最小的目的是最小化訓練誤差，最小化輸出權重：

(1)

其中，H為隱層輸出矩陣。

(2)

T為訓練數據目標矩陣。

(3)

ELM訓練算法流程如下：

步驟2：計算隱層輸出矩陣H。

步驟3：獲得輸出權重向量。

β?=H?T

(4)

當T=[t1,t2,…,tN]T∈N×m，H?為H的Moore-Penrose廣義逆矩陣。

考慮到ELM優化方法中更好的泛化性能，解得：

(5)

對應的ELM輸出函數表示為：

(6)

2.2 權重隨機初始化

回顧ENDA的訓練過程，其網絡結構為輸入層、隱層和輸出層三層網絡，共分為兩個步驟。第一步，隨機生成輸入層的連接權重和偏置，對輸入進行隨機特征映射；第二步，計算LDA層投影權重，將隱層輸出作為LDA輸入數據，同時輸出層可用于可視化，如圖1所示。由于第一層為隨機生成權重，所以只需計算第二層的投影權重，整個模型計算簡單、有效。

圖1 O-ENDA網絡結構

(7)

(8)

樣本總類內散度矩陣Sb和類間散度矩陣Sw分別定義為：

(9)

(10)

(11)

然后對其進行求解，最大化J(W)等價于求解如下廣義特征問題：

SbW=λSwW

(12)

2.3 正交特征選擇

正交特征選擇通過優化算法選擇出有利于分類的特征子集[6]，為避免“維數災難”，處理高維數據，提出權重正交試驗設計，從而選出數據中有代表的特征向量，在保留完備和均勻特征信息的條件下，減少了計算復雜度。假設樣本空間xi=[x1,x2,…,xN],xj∈n，對應的標簽T=[tj1,tj2,…,tjm]∈m,將樣本投影權重矩陣B到隱層，從而得到特征子空間H。

首先討論隱層節點參數L構建不同的或者相等的維度空間，L與樣本維度n的關系：當n=L時，屬于平等維度表示；當n>L時，屬于壓縮表示(降維)；當nL，這里需要對輸入層進行降維，隨機初始化正交權重進行改造。

(13)

其中，E為高斯擾動；g(·)為Sigmoid激勵函數。

正交化后必須保持子空間的基不變，等效優化效果。ATA=I的約束條件是A∈{RW}，R∈{RRT=RTR=IP}等效優化效果，A是正交的，通過計算經驗誤差度量學習效果。O-ENDA模型的經驗損失如下：

(14)

O-ENDA算法步驟如下：

步驟1：對數據進行預處理；

步驟3:計算O-ENDA的隱層輸出hi(通過式(13))；

步驟5:對輸出層結果進行分類。

3 實 驗

仿真環境如下：MATLAB R2015a，Intel(R) CoreTMi5-3470 CPU @3.20 GHz，16.0 GB內存，64位Win10專業版操作系統。采用UCI機器學習數據庫CNAE-9數據、手寫數字MNIST數據和CIFAR10數據分別進行實驗。實驗中完整的數據集被劃分為10部分，訓練和測試數據集使用了10重交叉驗證方法。對輸出層采用KNN算法進行分類，比較原ENDA和正交化改進后的O-ENDA的分類性能，三種數據如表1所示。分別為文本、手寫數字、圖片的數據，冗余信息較多，維度逐漸加大，對于了解正交化改進后的效果有一定代表性。

表1 數據集

3.1 UCI數據

CNAE-9數據集包含1 080個文檔的自由文本，共分為9個類。從原始文本進行預處理獲得當前數據集。每個文檔被表示為一個向量，每個詞的權重是它在文檔中出現的頻率。其中，高斯擾動參數設置均值μ為0，方差σ2為1。

調整隱節點參數獲得重復20次實驗平均值和方差，在CNAE-9數據集上的表現如圖2所示。實驗結果表明，在維度較大的情況下，ENDA和O-ENDA的分類效果都很明顯，O-ENDA分類的性能更穩定。

從O-ENDA和ENDA的誤差率來看，O-ENDA分類效果更好。討論了隱節點參數L與數據原有維度n的關系，當L>n時，都正交化需要調整權重矩陣，與L

圖2 CNAE-9數據集誤差率對比曲線

3.2 MNIST數據

該數據為手寫數字MNIST字體庫，包含70 000個樣本。要對0至9手寫數字圖像進行識別，每一個手寫數字樣本是一個28*28像素的圖像，因此對于每一個樣本，其輸入信息就是每一個像素對應的灰度，總共有784(28*28)個像素，也就是數據中包含784個特征，實驗前需對轉換成普通的圖像格式進行預處理。

手寫數字識別大多來源于郵政編碼以及銀行業務自動識別，由于字體變化大，識別要求高，在多數情況下通常采用多網絡的深度學習來提高識別率，主要利用神經網絡非線性化學習能力和快速并行來提高識別率。目的在于驗證淺層的O-ENDA可以通過正交過濾器消除冗余信息來解決此類問題。其中，高斯擾動參數設置均值μ為0，方差σ2為0.1。

從圖3可以看出，ENDA具有很好的分類精度，而且O-ENDA的誤差率平均值比ENDA還要小，這充分表明，在MNIST數據特征維度到隱層維度，實際上是進行了非線性化升維再進行判別分析。O-EDNA去除了更多冗余信息，更加易于分類，保留特征具有線性獨立的特點，因為正交的隨機權重分布更均勻，提取特征更加完備，無論是從分類精度還是標準差上，O-ENDA都要優于原來ENDA。

圖3 MNIST數據集誤差率對比曲線

3.3 CIFAR10數據

CIFAR10數據顯示的每一行存儲32×32的彩色圖像，共50 000個數據集，第1 024項包含紅色通道值，1 024綠色，最后1 024藍色。標簽范圍為0～9，10個類別每個類圖片5 000張。隨機采集10 000個樣本為10 000×3 072的矩陣進行實驗。

比較MNIST數據和UCI數據，CIFAR10維度更大，權重正交化效果更明顯。從誤差率比較ENDA和O-ENDA，結果如圖4所示。其中，高斯擾動參數設置均值μ為0，方差σ2為0.1。

從圖4(重復20次實驗)可以看出，當L=3 500時，O-ENDA權重正交化的誤差性能更加穩定。當隱節點參數在2 000～4 000范圍變化時，與數據維度3 072相比，分別進行了降維、等維和升維三種情況的表示。如圖5所示，可以得到CIFAR10數據集20次誤差率平均值和節點參數關系圖，從圖中可以看到，正交化O-ENDA使得物體更加線性獨立和易于分類。

圖4 隱節點參數3 500時的誤差率直方圖

圖5 CIFAR10數據集誤差率對比曲線

3.4 實驗結果分析

從三個數據集上的實驗結果表明，對較高維度的數據進行分類時，O-ENDA比ENDA分類效果更好，特別是在CIFAR10數據集作用更加明顯。由于圖像數據冗余信息越多，權重正交化取得分類效果就越明顯，O-ENDA算法分類性能越好，且隱層更能代表原樣本數據多樣性特征，充分驗證了正交作為神經網絡一種重要的特征提取方法的有效性，從而也開啟了淺層神經網絡對高維度正交提取完備特征，能有效防止“維數災難”。

4 結束語

在極速非線性化判別分析網絡基礎上提出正交約束。權重Gram-Schmidt正交化方法作為神經網絡一種重要的優化方法，與傳統神經網絡方法和核方法相比，具有速度和可伸縮性兩方面的優勢。權重正交的對象為高維度小樣本數據集，通過正交化局部保持投影的度量學習分析，正交的隨機權重分布使得特征之間均勻更加線性獨立，一方面降低了數據的冗余信息，利于后續分類；另一方面提取更為完備的特征，整體上提高了模型泛化性能。實驗表明正交優化能提高算法的性能。

集成學習能夠對模型比較獨立的樣本進行訓練，然后把結果整合起來進行整體的投票決策。對于隨機映射每個不同的基分類器集成[14]，這是一種非常有效的方法。計算機的并行化和批量擴展能力更加適合集成學習的未來發展，這也是下一步研究的方向。

[1] HUANG G B,ZHU Q Y,SIEW C K.Extreme learning machine:a new learning scheme of feedforward neural networks[C]//International joint conference on neural networks.[s.l.]:IEEE,2004:985-990.

[2] HUANG G B,CHEN L,SIEW C K.Universal approximation using incremental constructive feedforward networks with random hidden nodes[J].IEEE Transactions on Neural Networks,2006,17(4):879-892.

[3] HUANG G B,ZHOU H,DING X,et al.Extreme learning machine for regression and multiclass classification[J].IEEE Transactions on Systems,Man,and Cybernetics,Part B,2012,42(2):513-529.

[4] HUANG G B,BAI Z,KASUN L L C, et al. Local receptive fields based extreme learning machine[J].IEEE Computational Intelligence Magazine,2015,10(2):18-29.

[5] WIDROW B,GREENBLATT A,KIM Y,et al.The no-prop algorithm:a new learning algorithm for multilayer neural networks[J].Neural Networks,2013,37(1):182-188.

[6] ONETO L,BISIO F,CAMBRIA E,et al.Statistical learning theory and ELM for big social data analysis[J].IEEE Computational Intelligence Magazine,2016,11(3):45-55.

[7] KASUNL L C,ZHOU H,HUANG G B,et al.Representational learning with ELMs for big data[J].IEEE Intelligent Systems,2013,28(6):31-34.

[8] TURK M,PENTLAND A.Eigenfaces for recognition[J].Journal of Cognitive Neuroscience,1991,3(1):71-86.

[9] HYVARINEN A.Fast and robust fixed-point algorithms for independent component analysis[J].IEEE Transactions on Neural Networks,1999,10(3):626-634.

[10] CAI D,HE X,HAN J,et al.Orthogonal laplacianfaces for face recognition[J].IEEE Transactions on Image Processing,2006,15(11):3608-3614.

[11] VEDALDI A,LENC K.Matconvnet:convolutional neural networks for matlab[C]//Proceedings of the 23rd ACM international conference on multimedia.[s.l.]:ACM,2015:689-692.

[12] 黃金杰,常英麗.基于支持向量機和正交設計的特征選擇方法[J].計算機工程與應用,2008,44(17):135-137.

[13] 金 一,阮秋琦.基于核的正交局部保持投影的人臉識別[J].電子與信息學報,2009,31(2):283-287.

[14] YIN X C,HUANG K,YANG C,et al.Convex ensemble learning with sparsity and diversity[J].Information Fusion,2014,20:49-59.