基于改進在線序列學習機的危險源識別算法

佘雅莉，周 良

(南京航空航天大學 計算機科學與技術學院，江蘇 南京 210016)

0 引 言

近年來，人們生活水平日益提高，選擇飛機出行已越來越深入人心，這無疑也推動了民航事業的迅猛發展。但是，國際上屢見不鮮的飛行事故也引發了乘坐飛機的恐慌，對加強民航安全管理提出了更高的要求。對于民航空管來說，最重要的事情就是安全。這個安全不僅是保障客機的安全，更是要保障機上乘客的安全。如何在眾多狀態信息中準確地識別民航空管運行中的危險源，是整個安全管理的核心問題，也是首要環節。只有在這基礎上，才能有后續圍繞危險源采取的預防及處理措施。目前，危險源的識別主要依賴于人工分析，將領域相關標準和專家經驗相結合，通過標準的評價過程來對危險源進行分析[1-2]。這種方法不僅消耗大量的人力物力資源，且對參與識別的工作人員的專業性與敏銳性要求極高。設想如果可以通過計算機對過往數據進行學習，從而找到內部規則，并將其用于新到來的數據分類，就可以更快更高效地識別危險源。這也正是機器學習的應用之一。為此，文中提出了一種基于在線序列極限學習機的危險源識別算法，算法用在線序列學習機[3]在線學習危險源數據的深層特征，并結合自適應差分進化算法優化訓練網絡結構，使識別結果更具有準確性。

極限學習機[4-5]是采用隨機機制為單隱藏層神經網絡隱層設置和選取參數，從而大幅提高學習速度并保證泛化能力的一類算法。在危險源識別過程中，一般無法一次性獲得所有樣本，而標準的極限學習機采用的是批量學習[6-7]的模式，當有新的樣本時，需要重新學習所有樣本，這樣耗時較多，并且隨著數據量的增加，對內存空間的需求也會大幅增加。使用在線學習的方式，只需學習當前時刻新到的樣本，不需要學習全部樣本，而且在線學習算法對時間和空間的要求相對較低。

在線序列極限學習機(OS-ELM)正是針對普通極限學習機不能有效學習實時數據集，即在學習過程中不斷有新數據添加到網絡中，而提出的一類算法，其核心思想是將在線學習引入ELM算法中。影響OS-ELM性能的因素主要是網絡隱層節點個數、網絡連接權值和閾值，因此危險源識別時需要用適當方法來優化網絡連接權值和隱層偏置。

1 HI-OSELM算法總體思路

圖1是HI-OSELM算法的整體流程。HI-OSELM算法分為兩個部分，一個是用差分進化優化網絡結構的過程，一個是對危險源數據的在線學習。算法首先隨機生成多組訓練網絡的輸入權值與隱層偏置，對它們進行變異和交叉，選擇優化后的最佳參數，構建訓練網絡，對陸續到達的危險源數據，用輸出權值的鏈式更新法則實時更新當前輸出權值，并輸出識別結果。

圖1 HI-OSELM算法流程

下面分別從在線學習和優化網絡兩個方面給出算法的原理與步驟。

1.1 基于OS-ELM的在線學習

HI-OSELM算法首先選取一小部分數據作為初始樣本進行初始學習，獲得初始輸出矩陣和輸出權值，然后加入新的樣本，利用先前得到的初始輸出矩陣和輸出權值，按照一定計算規則更新輸出權值，并計算新樣本的輸出矩陣。此時可將這個時刻到達樣本看作初始樣本，這個時刻的輸出矩陣和輸出權值看作初始輸出矩陣和輸出權值，對于這個時刻的輸出權值按之前的更新方式繼續更新，以此類推，重復此操作，實現在線學習。每次只需學習新到達的樣本，對上一時刻的樣本不重復學習。

設初始訓練時危險源樣本數量為N0，xi=(xi1,xi2,…,xin)T∈Rn為危險源特征信息，yi=(yi1,yi2,…,yim)T∈Rm為理想識別結果，g(xi)為激活函數，L為網絡隱層節點個數，則網絡輸出可以表示為：

(1)

其中，連接輸入向量與隱層節點的輸入權值ai和偏置bi隨機選取，問題在于求解連接輸出向量與隱層節點的輸出權值β0，等價于求滿足min‖Hβ-Y‖的β。由文獻[8]知，β=H+Y(這里對推導過程不再贅述)，其中H+為H的廣義逆矩陣，H的表示形式如下：

H=

(2)

(3)

(4)

(5)

(6)

由此可見，在線學習階段可用式6實時更新網絡輸出權值。具體步驟如下：

算法1：基于OS-ELM的在線學習

輸入：危險源的狀態信息集，記作U={Um|m=1,2,…,k,Um={um1,um2,…,umk}Τ}，一般危險源構成要素表T，網絡隱層節點個數L，激活函數G(a,b,x)=exp(-‖x-a‖2/b)，初始訓練數據數量q，每次序列到達的新數據集的大小p

輸出：識別結果Z={Zm|m=1,2,…,k}

步驟1：輸入相關數據。

步驟2：初始學習。

(1)從U中隨機選取q個數據作為初始的樣本集N0；

(2)Fori=1 toq

對N0中每個樣本，查找危險源要素表T是否存在其狀態信息，存在則從(0.5,1]隨機生成輸入權值ai，否則，從數域(0,0.5]隨機生成輸入權值ai；隨機產生隱層節點閾值bi。

(3)根據激活函數計算網絡隱層初始輸出的矩陣H0。

步驟3：在線學習。

(1)Fori=q+1 toq+p

重復步驟2中的(2)。

(2)根據激活函數計算此時的輸出矩陣，記為H1。

(3)用式6計算輸出權值β1。

重復步驟3直至沒有新數據。

步驟4： 輸出識別結果。

1.2 自適應差分進化優化網絡模型

在上一階段，OS-ELM完成了危險源的初步識別，但是其泛化能力受自身網絡結構影響，由于其輸入權值與偏置選取的隨機性，無法保證參數是最優的，不合適的參數有可能會導致較差的識別結果，而危險源識別必須以精確度為最高前提。所以，為了提高在線極限學習機危險源識別的泛化能力，需要對訓練網絡進行優化。

差分進化(differential evolution，DE)[10]是一種簡單有效的基于群體差異的并行直接搜索算法，比其他的智能優化算法具有更好的全局尋優能力、更強的穩健性及更好的收斂速度。進化過程分為種群初始化和進化迭代兩個階段，在進化迭代階段對當前種群進行變異和交叉操作，產生一個新的種群，然后在這兩個種群中間進行一對一的選擇以產生最終進化的種群，不斷重復這個過程，直到獲得全局最優解為止。

在這個過程中，變異主要是對當前種群的每一個個體向量，通過一個特定的變異策略生成一個變異向量。一般的方法就是隨機選擇初始種群內兩個不同的個體進行矢量減法，把由此得到的差分矢量賦予一定權值后與第三個隨機選擇的個體進行矢量加法產生變異矢量。交叉的過程主要是將原個體向量與新生成的變異向量按一定規則混合，以增加擾動參數的多樣性，交叉后產生的向量稱作試驗向量。如果試驗向量的適應度函數比目標向量的適應度函數值低，則淘汰目標向量，否則保留原向量，這個過程就是選擇。循環“變異→交叉→選擇”，種群在一步步進化，因為總是函數值較低的即更優化的解被選擇成為下一代種群的成員，所以最終生成的種群的成員就是全局優化解。

在變異過程中生成變異向量的策略[11]有多種，比較常用的如表1所示。

表1 變異策略

為了獲得更好的優化性能，讓種群在進化過程中自更新地選擇合適的變異策略。用pl,G表示策略l在第G代被選擇的概率(l=1,2,3,4)，設學習周期為LP，讓pl,G按如下規則更新：

變異向量生成后，按式7對每一個變異向量vi產生一個試驗向量ui。

(7)

其中，CR為值在[0,1)的服從正態分布控制擾動參數的交叉因子；randj為(0,1)的隨機數；jrand為(1,G)的隨機正整數。

用這種自適應的差分進化方式來優化上節所述OS-ELM模型時，將最優解即目標位置定為使算法對危險源的判斷結果最接近理想輸出的參數值。這也是種群進化過程中選擇向量的衡量依據，可以用均方誤差來定量表述這一依據，即式8達到最小：

(8)

從而得到最終的危險源識別算法HI-OSELM，過程如下：

輸入：危險源的狀態信息集U={Um|m=1,2,…,k,Um={um1,um2,…,umk}Τ}，網絡隱層節點個數L,危險源激勵函數g(x)，初始訓練數據數量q，每次序列到達的新數據集的大小p，種群最大迭代次數M，種群維度NP

輸出：危險源識別結果

步驟1：隨機生成NP組OS-ELM訓練網絡的隱層節點參數，構成第一代種群的NP個個體向量：

其中，aj和bj(j=1,2,…,L)分別表示隨機生成的輸入權值和隱層節點偏置；G表示種群進化的代數，k=1,2,…,NP。

步驟2：ForG=1 toM

Fork=1 to NP

(1)選擇對應時刻表1中概率最大的變異策略生成變異向量vk,G。

(2)按式7生成交叉后的試驗向量uk,G。

(3)計算網絡的輸出權值β0并根據式8計算對應RMSE，比較試驗向量與原向量，選擇RMSE值較小的進入到G+1代種群。

End for

End for

步驟3：把步驟2得到的結果作為OS-ELM的輸入權值和隱層偏置，初始化模型，轉入算法1。

步驟4：輸出危險源識別結果。

2 實驗結果與分析

從準確性和訓練時間兩個方面對算法進行評估，并將HI-OSELM算法與一般分類算法(SVM、ELM、OS-ELM)進行對比，說明HI-OSELM算法的速度及泛化性能。

由于目前沒有公開的危險源數據庫，該實驗以某民航行政管理系統的數據庫作為實驗數據庫。從數據庫中危險源狀態信息表里獲取3 186條數據，其中2 000條作為訓練數據集，1 186條作為測試數據集。為了避免實驗的偶然性，對各算法運行20次，取平均時間和平均準確率作為實驗結果。用到的一般危險源影響要素如表2所示。

在單隱層神經網絡模型中，隱層節點個數是影響分類結果準確性及訓練時間的一個重要因素。當節點數過少時，訓練所需時間變少，但是結果準確性降低；當節點數過多時，雖然準確率有所提高，但訓練時間增加了，而且有可能出現“過擬合”現象。實驗1分別比較了ELM、OS-ELM、HI-OSELM算法的準確率隨網絡隱層節點個數的變化，結果如圖2所示。由實驗結果可知，OS-ELM和HI-OSELM隱層節點個數在200處有最好的識別準確度，ELM在100到210之間準確度隨隱層節點個數的增加而增長較快，在210之后變化緩慢，并在240之后趨于平衡，但是會增加時間消耗。故實驗中，ELM算法隱層節點個數設置為240，OS-ELM和HI-OSELM設置為200。

圖2 網絡隱層節點個數與準確率關系曲線

領域子領域狀態類別人員知識水平生理和心理因素意識和態度操作機組資源理論知識專業操作技能工作經驗和技術抗壓能力身體健康水平心理健康水平飛行時限工作強度等風險感知能力安全意識和態度安全目標認知非法操作飛行指令準確性移交問題突發問題處理能力機組搭配設備機場設施飛機設備故障率設備維護錯誤設備軟件工作不正常網絡安全飛機維護錯誤飛機日常使用飛機系統安全性警告系統安全性環境自然環境工作環境天氣因素(溫度/濕度/風力)天氣預報有效性鳥擊意外非法干擾升空物體特殊地理環電磁干擾工作環境滿意度管理規章機構制度不適用空域劃設不合理運維管理有效性交流信息真實度資源配置

除了網絡隱層節點個數外，初始樣本的大小對識別結果準確率的影響也尤為重要。為了獲得最佳的識別結果，實驗2分別比較了OS-ELM、HI-OSELM算法的準確率在不同初始訓練集大小下的變化，結果如圖3所示。由圖3可知，算法準確率一開始隨初始訓練樣本個數增長變化較快，在310處后逐漸趨于平穩，漲幅不大，故選310作為訓練數據集初始學習階段樣本個數。

根據文獻[12-14]關于差分進化優化問題的經驗及結論，將HI-OSELM算法中的種群大小NP定為20，最大種群迭代次數設為50。實驗3分別用4種算法對數據集各進行了20次實驗，得到的平均結果如表3所示。

圖3 初始樣本大小與準確率關系曲線

表3 不同算法訓練時間與準確率比較

可以看出，HI-OSELM算法相比SVM雖然準確性相差無幾，但是HI-OSELM訓練時間大大減少，尤其在數量大的情況下該時間優勢會更為明顯。與極限學習機的另兩種算法ELM、OS-ELM相比，由于增加了在線學習的部分和優化參數的迭代過程，時間上明顯比這兩種算法多一些，但是無論是訓練準確率還是測試準確率都提高顯著，可以說整體性能更好。

最后，實驗4分析了在線學習樣本加入模式對算法的影響，分別給出逐一增加，逐塊增加和變動增加情況下HI-OSELM的學習效果，如表4所示。

表4 不同新樣本數量大小下HI-OSELM的

由表4可知，數據不同增長模式下算法準確率沒有太大變化，彼此都很接近。從時間的角度看，增長數據集擴大，算法運行時間減少，1-by-1即逐個到達模式下所需時間最多。需要注意的是，不能據此將時間與新數據規模的關系單純地理解為線性關系，也不可能將這個數據集設為很大，一方面失去在線學習的意義，另一方面由于計算機內存和計算速度有限，運行時間也不可能降到極限值。此外還可以看出，從20-by-20到50-by-50，時間雖然減少了，但幅度并不大。

3 結束語

針對危險源識別算法中無法實現在線學習的問題，提出了一種基于在線序列極限學習機的危險源識別算法HI-OSELM。在建立訓練網絡模型時，由于算法隨機生成網絡輸入連接權值和隱層偏置，因而可能導致網絡模型結構設計不佳，進而導致識別結果準確度不夠高。為此，引入自適應差分進化的智能優化方法，將輸入權值和隱層偏置作為種群成員，經過種群變異、交叉、選擇，不斷進化，獲得最優參數。網絡完成初始學習后，進入在線學習階段，新數據可以一個接一個地到達，也可以幾十個、幾百個同時到達。仿真實驗表明，該算法對危險源具有很好的識別準確率，并且具有快速、自學習的特點，而且對以往數據不重新學習，只學習新數據，不浪費計算資源，緩解了內存壓力。在用差分進化優化參數時算法實現了變異策略的自適應更新，但是，一些參數如變異因子和交叉因子的選取是在參考許多文獻及同類型實驗后選取了最為合適的值直接設置在算法中的，今后將繼續考慮讓這些也能夠完成自適應進化，以期獲得更高的準確率。