基于判別信息的正則極端學習機在人臉識別中的應用

張海英+閆德勤+楚永賀

摘 要：極端學習機作為傳統單隱層前饋神經網絡（Single-Hidden Layer Feedforward Networks，SLFNs）的拓展在模式識別領域成為新的研究熱點之一，然而已有的極端學習機算法及其改進不能較好地利用數據蘊含的判別信息。針對該問題，提出一種基于判別信息的正則極端學習機（Discriminative Information Regularized Extreme Learning Machine，IELM）。對于模式識別問題，IELM引入同類離散度和異類離散度的概念，體現輸入空間數據的判別信息，通過最大化異類離散度和最小化同類離散度，優化極端學習機的輸出權值，從而在一定程度上提高ELM的分類性能和泛化能力。為了評價和驗證所提出方法的有效性，使用Yale、Yale B、ORL、UMIST人臉數據進行實驗。結果表明，該算法能夠顯著提高ELM的分類性能和泛化能力。

關鍵詞：極端學習機；單隱層前饋神經網絡；判別信息；同類離散度；異類離散度

DOIDOI：10.11907/rjdk.171232

中圖分類號：TP317.4

文獻標識碼：A 文章編號：1672-7800（2017）007-0187-04

0 引言

近來，極端學習機（Extreme Learning Machine， ELM）吸引了越來越多學者的關注，Huang等[1-2]基于單隱層前饋神經網絡（Single-Hidden Layer Feedforward Networks， SLFNs）結構提出了極端學習機。ELM不同于傳統的單隱層前饋神經網絡（SLFNs），而是在最小化訓練誤差的同時最小化輸出權值[3]。ELM隨機選擇輸入權值并分析確定SLFNs的輸出權值，避免了傳統SLFNs學習方法收斂速度慢及陷入局部極小解的可能。ELM具有更好的泛化能力和更快的學習速度，使其在在線和實時應用中具有較高效率。由于ELM高效及易于實施的特點，適用于分類和回歸等問題[4-5]。ELM現已成功運用到不平衡數據學習[6]、人臉識別[7]、噪音數據學習[8]、在線連續數據學習[9]等實際問題中。

然而，ELM在學習過程中并未充分考慮到數據樣本間的幾何特征和數據蘊含的判別信息，因而在一定程度上限制了ELM的分類性能和泛化能力。為了克服ELM的上述缺陷，Alexandros Iosifidis等[10]提出了最小類方差極端學習機（Minimum Class Variance Extreme Learning Machine， MCVELM）。MCVELM通過最小化類內方差正則化ELM，不僅繼承了ELM的優點，還在一定程度上克服了ELM學習過程中訓練不充分及小樣本問題，同時在學習過程中考慮到數據的類內分布特性及判別信息，體現出類間的判別信息。然而對于模式識別問題，不同類的數據樣本位于不同的流形結構中，導致運用MCVELM時，數據樣本出現信息重疊的現象，降低了ELM的分類性能和泛化能力。MCVELM在一定程度上未考慮到數據樣本間的差異判別信息，同時MCVELM是在激活函數所在空間求得數據樣本的離散度矩陣，而非數據樣本的原始輸入空間。文獻[11]通過分析提出，在數據樣本的原始輸入空間求得數據樣本的分布結構信息，使ELM獲得了良好的泛化能力。因此，針對MCVELM存在的上述問題，本文提出一種基于判別信息的正則極端學習機（IELM）。對于分類問題，IELM同時考慮到數據樣本的幾何特征和數據蘊含的判別信息，通過最大化異類離散度和最小化同類離散度，優化極端學習機的輸出權值，從而在一定程度上提高ELM的分類性能和泛化能力。

IELM方法的優勢在于：①繼承了ELM和MCVELM的優點，還在一定程度上避免了ELM學習不充分的問題；②在數據樣本的原始輸入空間求得異類離散度和同類離散度矩陣而非激活函數所在空間；③將異類離散度和同類離散度引入到ELM中，不僅充分利用了數據樣本的差異判別信息，還避免了運用MCVELM方法時出現數據樣本信息重疊的現象；④利用MMC[12]方法有效解決了最大化異類離散度和最小化同類離散度矩陣奇異問題。

為了評價和驗證所提出的方法，實驗使用Yale、Yale B、ORL、UMIST人臉數據，并將本文提出的方法與ELM、MCVELM[10]、RAF-ELM[13]、GELM[7]進行對比。實驗結果表明，本文提出的算法能夠顯著提高ELM的分類準確率和泛化能力，效果優于其它算法。

1 ELM

黃廣斌等基于單隱層前饋神經網絡提出了ELM，ELM良好的逼近能力和分類準確率已被證實，統一框架下的ELM為不同的神經網絡提供了一種統一形式。ELM隱層節點的輸入權值和節點偏置值是隨機產生的，只有連接隱層節點和輸出節點的權值是經過計算求出的。與傳統的單隱層前饋神經網絡相比，參數的計算量大大降低，從而使訓練速度大幅提升。N個不同的樣本（xi，ti）可表示為X=（x1，x2，…，xN）∈RD×N，其中ti=（ti1，ti2，…，tiD），期望輸出矩陣T=（t1，t2，…，tD）∈RD×N，網絡中含有L個隱層節點，激活函數為f（x）。

∑Li=1wif（ai·xj+bj）=tj（1）其中j=1，2，…，N，ai=（ai1，ai2，…，ain）為連接第i個隱層節點與輸入節點的輸入權值向量，wi=（wi1，wi2，…，win）為連接第i個隱層節點的輸出權值向量，bi為第i個隱層節點的偏置值，ai·xj表示ai和xj的內積。令隱層節點為L，上述方程（1）可寫成矩陣形式：HW=T，W是輸出權值矩陣，其中H是網絡隱層輸出矩陣：H=f（a1·x1+b1）…f（aN·x1+bN）f（a1·xN+b1）…f（aN·xN+bN）N×LW=w1wNL×M，T=t1tNN×M傳統的SLFNs希望能夠找到一些合適的ai，bi，β，i=1，2，…，N，使得：endprint

‖H（a1，…，aL，b1，…，bL）W-T‖=mina，b，W‖H（a1，…，aL，b1，…，bL）W-T‖（2）式（2）可利用梯度下降算法求解，huang等證明了輸入隱層的權值及偏置值不需要像傳統的SLFNs學習方法一樣不斷調整，當網絡的激活函數連續可微時，可隨機選取輸入權值ai和隱層的偏置值bi。由式（2）可知，SLFNs網絡的解可通過線性系統HW=T的最小二乘解得到。若隱層節點L等于訓練樣本數N，即L=N，此時矩陣H可直接求逆，但在大多數情況下L<

j=1，2，…，N（3）其中ε為訓練誤差，式（3）的優化模型可通過拉格朗日乘子法轉化為無條件最優化問題進行求解，進而求得W=（HHT+IC）HTT，其中I為單位矩陣，C為懲罰參數。給定訓練樣本X=（x1，x2，…，xN）和訓練樣本的期望輸出矩陣T=（t1，t2，…，tD）∈RD×N，激活函數為f（x），隱層結點數為L，ELM算法可總結步驟如下：①初始化訓練樣本集；②隨機指定網絡輸入權值ai和偏置值bi；③通過激活函數計算隱層節點輸出矩陣H；④計算輸出權值W=H+T，其中T=（t1，t2，…，tN）∈RN×M。

2 IELM

為了克服ELM學習過程中訓練不充分及MCVELM學習過程中出現數據樣本信息重疊的現象，提出一種基于判別信息的正則極端學習機（IELM）。

設SB為數據樣本的同類離散度矩陣，SW為數據樣本的異類離散度矩陣，SB和SW可表示為：

SW=∑Ci=1（ui-u）（ui-u）T（5）上述定義中C為數據樣本的類別個數，ui為數據樣本的類內樣本均值，u為數據樣本的總體均值，異類離散度矩陣和同類離散度矩陣分別體現了輸入數據樣本空間的分布特征和判別信息。同時，定義S=SB-（1-η）SW（0≤ε≤1），S稱為信息差距陣，η為大于零的常量。上述定義中，參數η起調節類內判別信息和類間判別信息的作用，當參數η增大時偏向于類內信息，反之加大懲罰類間差異信息。因此，在適當的η下，IELM較好地利用了數據蘊含的判別信息，增強了ELM模式的分類能力。綜上所述，IELM的優化問題可描述為：

3 實驗結果及分析

在本節中將IELM與ELM、MCVELM、RAFELM、GELM進行對比，IELM與ELM、MCVELM、RAFELM、GELM均采用Sigmoid函數作為激活函數，隱層節點個數設置為人臉圖像數據的維數。 為了實驗的公平性，本文中的懲罰參數C都是一樣的（本文嘗試選擇C的參數，這可以使所有實驗都有很好的結果）。在Yale、ORL實驗中隨機選取訓練集個數為L={4，5，6，7}，剩余部分為測試集，在Yale B試驗中隨機選取訓練集個數為L={25，30，35，40}，剩余部分為測試集，每個實驗分別重復10次以獲取一個更好的識別率。不同人臉圖像的訓練集如圖1所示，4個不同人臉數據庫在人臉識別實驗中的設置如表1所示。IELM與ELM、MCVELM、RAFELM、GELM的識別率如表2～4所示。

圖2～4給出了5種不同的ELM算法在Yale、Yale B、ORL數據上的識別率曲線。由圖可知，本文提出的方法IELM的識別率曲線顯著高于其它算法，主要是由于IELM考慮到數據樣本的幾何特征和數據蘊含的判別信息。IELM不僅考慮到同類數據樣本間的判別信息，而且考慮到了不同類數據樣本間的差異判別信息，避免了運用MCVELM方法時造成數據樣本信息重疊的現象，同時在數據樣本的原始輸入空間求得異類離散度和同類離散度矩陣，而非激活函數所在空間，優化了極端學習機的輸出權值，從而在一定程度上提高了ELM的分類性能和泛化能力；在圖2和圖4中發現當訓練集個數為6和7時，MCVELM出現了很大波動，主要是由于ELM算法自身的不穩定性，以及MCVELM造成數據樣本信息重疊的現象，降低了ELM的穩定性和泛化能力；圖3給出了5種不同算法在Yale B數據上的識別率曲線，當訓練集個數為25時，MCVELM算法的識別率曲線低于ELM的識別率曲線，而當訓練集個數增大時，MCVELM表現出較好的識別率。由此可以看出，當訓練集個數較少時，并不適合使用MCVELM算法；在圖2～4中，GELM算法的識別率曲線取得了良好效果，在圖3和圖4中GELM算法的識別率曲線還表現出了穩定的性質，這是由于GELM算法考慮到同類數據樣本在具有相似性的同時，將該相似性利用拉普拉斯特征映射結構進行表示，進而引入到ELM的優化模型；RAFELM算法的識別率曲線高于ELM的識別率曲線，然而明顯低于IELM、GELM、MCVELM的識別率曲線，這是由于RAFELM僅從激活函數的角度改進了ELM算法，而沒有考慮到數據樣本的幾何特征和數據蘊含的判別信息。表2～4給出了識別率曲線對應的識別率，從表中可以看出，IELM的識別率明顯高于其它算法。

4 結語

為了提高極端學習機在人臉圖像識別中的分類性能和泛化能力，本文提出了一種基于判別信息的正則極端學習機（IELM）。本文的創新之處是考慮到人臉圖像數據的聯系和差異信息。因此IELM引入了同類離散度和異類離散度的概念，體現出輸入空間數據的判別信息，通過最大化異類離散度和最小化同類離散度，優化極端學習機的輸出權值。通過與ELM、MVELM、RAF-ELM、GELM算法的對比實驗表明，本文提出的方法顯著提高了極端學習機的分類性能和泛化能力，性能優于其它算法。

參考文獻：

[1]WANG DIANHUI，HUANG GUANGBIN. Protein sequence classification using extreme learning machine[C]. Proceedings of International Joint Conference on Neural Networks，2005（3）：1406-1411.

[2]TANG J， DENG C， HUANG G B. Extreme learning machine for multilayer perceptron[J]. IEEE Transactions on Neural Networks & Learning Systems，2016，27（4）：809.

[3]HUANG G B， ZHOU H， DING X， et al. Extreme learning machine for regression and multiclass classification[J]. IEEE TransSyst Man Cybern B，2012，42（2）：513-529.

[4]HUANG G B， ZHU Q Y， SIEW C K. Extreme learning machine： a new learning scheme of feedforward neural networks[C].Proceedings of International Joint Conference on Neural Networks （IJCNN2004）， 2004： 985-990.

[5]MICHE Y， SORJAMAA A， BAS P， et al.OP-ELM： optimally pruned extreme learning machine[J]. IEEE Trans Neural Netw， 2010，21（1）：158-162.

[6]W W ZONG， G B HUANG， Y CHEN.Weighted extreme learning machine for imbalance learning[J]. Neurocomputing， 2013，101（3）：229-242.

[7]YONG PENG， BAOLIANG LU. Discriminative graph regularized extreme learning machine and its application to face recognition[J]. Neurocomputing，2015.

[8]Q YU， Y MICHE， E EIROLA， et al. Lendasse， regularized extreme learning machine for regression with missing data[J]. Neurocomputing ，2013，102（2）：45-51.

[9]J W ZHAO， Z H WANG， D S PARK. Online sequential extreme learning machine with forgetting mechanism[J]. Neurocomputing， 2012，87（15）：79-89.

[10]ALEXANDROS IOSIFIDIS， ANASTASIOS TEFAS.Minimum class variance extreme learning machine for human action recognition[J]. IEEE Transactions on Circuits and Systems for Video Technology，2013， 23（11）：1968-1979.

[11]GAO HUANG， SHIJI SONG.Semi-supervised and unsupervised extreme learning machines[J]. IEEE Transactions on Cybernetics，2014，44（12）：2405.

[12]LI H， JIANG T， ZHANG K. Efficient robust feature extraction by maximum margin criterion[C]. Advances in Neural Information Processing Systems， 2003.

[13]SHENGLAN LIU， LIN FENG， YAO XIAO. Robust activation function and its application： semi-supervised kernel extreme learning method[J]. Neurocomputing， 2014，144（1）：318-328.

[14]V N VAPNIK. Statistical learning theory[M]. Wiley， NY， 1998.endprint