基于卷積神經(jīng)網(wǎng)絡的機場助航燈故障診斷

姜 巍

(中國民航工程咨詢公司，北京 100621)

0 引言

機場助航燈光系統(tǒng)是機場視覺導航系統(tǒng)中重要構(gòu)成部分，對夜間與極端天氣條件下飛機的起飛、著陸和滑行起著至關重要的作用。根據(jù)國際民航組織文件附件第14條對導航設備平均光照強度的要求，如果平均光照強度不符合要求，需及時更換燈泡。但目前助航燈故障檢測主要采用人工目視檢測方法，該方法存在準確度低及受主觀影響較大等弊端。 因此本文提出一種基于卷積神經(jīng)網(wǎng)絡的助航燈故障診斷方法。

卷積神經(jīng)網(wǎng)絡是一種廣泛應用于多個領域的深度神經(jīng)網(wǎng)絡，主要用于模式識別和圖像分類。Ahmad等[1-2]將卷積神經(jīng)網(wǎng)絡應用于人臉識別;潘翔等[3]應用CNN 方法識別車牌字符，準確度為98.9%;鄧柳和汪子杰[4]在車牌字符識別中應用卷積神經(jīng)網(wǎng)絡，識別準確率達到97.8%以上;周明非等[5]應用卷積神經(jīng)網(wǎng)絡對高分辨衛(wèi)星圖像進行分類，準確率為99.5%;江璐等[6]將CNN用于指紋紋型分類，準確度達到94.2%;朱錫祥、張晴晴、鐘林等[7-9]將神經(jīng)網(wǎng)絡與深度CNN應用于語音識別。本文在助航燈故障診斷中引入卷積神經(jīng)網(wǎng)絡，以期實現(xiàn)對助航燈等光強圖的自動診斷和分類。該過程無需人為提取輸入圖像特征，可克服潛在的人為因素影響，提高故障診斷準確性。

1 卷積神經(jīng)網(wǎng)絡

YanLecun等[10]于20世紀90年代末提出了卷積神經(jīng)網(wǎng)絡算法，并基于卷積神經(jīng)網(wǎng)絡算法設計了一套用于識別支票數(shù)字的手寫數(shù)字識別系統(tǒng)。隨后卷積神經(jīng)網(wǎng)絡模型逐漸擴展至其它領域，如物體檢測、人體運動檢測。卷積神經(jīng)網(wǎng)絡具有共享權值、旋轉(zhuǎn)不變性等結(jié)構(gòu)特性，使其能夠從需要識別的圖片中提取足夠的圖片特征，適用于圖像識別與分類，但應用于復雜圖像分類的效果并不理想，主要原因是硬件設備性能較差，導致神經(jīng)網(wǎng)絡訓練異常緩慢，效率較低無法廣泛應用。近年來，隨著電子技術、電腦硬件水平的飛速發(fā)展，卷積網(wǎng)絡也得到長足發(fā)展，且卷積神經(jīng)網(wǎng)絡在預處理過程中無須人工提取特征，從而避免了潛在的人為誤差，提高了系統(tǒng)識別準確率。近年來，卷積神經(jīng)網(wǎng)絡被廣泛應用于人臉識別[11-13]、字符識別[14-16]、圖像分類[17-22]、語音識別[23-25]等領域。

1.1 卷積神經(jīng)網(wǎng)絡結(jié)構(gòu)

卷積神經(jīng)網(wǎng)絡是一種多層監(jiān)督學習神經(jīng)網(wǎng)絡，首層為輸入層，中間層由交替成對出現(xiàn)的卷積層和池化層組成，層間提取的特征圖像素值遞減，但所含特征圖遞增，從而可提取詳盡的圖片特征信息；卷積神經(jīng)網(wǎng)絡后端的幾層為傳統(tǒng)全連接層，其功能與多層前饋神經(jīng)網(wǎng)絡類似。由卷積層和池化樣層提取的特征圖輸入全連接層，并在多個非線性映射之后產(chǎn)生特征向量，最終送往輸出層的分類器進行分類。目前，根據(jù)任務的不同，輸出層分類器可以采用logistic回歸、softmax回歸,或是支持向量機等形式。圖1為卷積神經(jīng)網(wǎng)絡拓撲結(jié)構(gòu)。

圖1 卷積神經(jīng)網(wǎng)絡結(jié)構(gòu)

1.2 卷積神經(jīng)網(wǎng)絡訓練過程

卷積神經(jīng)網(wǎng)絡模型的訓練過程可分為以下兩個階段：

第一階段為前向傳播：①神經(jīng)網(wǎng)絡訓練前，初始化網(wǎng)絡參數(shù)，對網(wǎng)絡具體層數(shù)、卷積核大小、學習速率、迭代次數(shù)進行選擇，并選擇訓練樣本集和測試樣本集；②將樣本輸入網(wǎng)絡，對神經(jīng)網(wǎng)絡進行訓練，得到相應的輸出結(jié)果。

第二階段為反向傳播：①計算網(wǎng)絡實際輸出與理論輸出的均方誤差；②反向傳播過程中，不斷優(yōu)化網(wǎng)絡閾值參數(shù)，通過梯度下降法，調(diào)整權值矩陣，更新網(wǎng)絡各節(jié)點權值和偏置，不斷迭代直到達到預先設定的迭代次數(shù)。

1.3 卷積神經(jīng)網(wǎng)絡訓練算法

卷積網(wǎng)絡訓練中的具體算法如下:

l表示神經(jīng)網(wǎng)絡中任意層，則該層輸出為：

xl=f(il),il=klxl-1+bl

(1)

其中,il為l層(當前層)的輸入,kl為l層特征圖的權值,xl-1為上一層的輸出,bl為當前層的額外偏置(也稱基),f為神經(jīng)網(wǎng)絡激活函數(shù)，本文選用sigmoid函數(shù)作為網(wǎng)絡激活函數(shù)。

對上一層輸出的特征圖進行卷積，通過激活函數(shù)，得到相應特征圖。卷積層計算方式如式(2)所示。

(2)

在池化層中，對前一卷積層提取的特征圖進行池化操作，池化后輸出的特征圖數(shù)量不變，計算方法為：

(3)

其中，用n表示卷積層和池化層間窗口大小，一般大小為2×2。Mj表示選擇輸入特征圖的集合。

激活函數(shù)sigmoid的具體函數(shù)形式為：

(4)

將識別率的數(shù)值作為評價網(wǎng)絡優(yōu)良的標準，識別率計算公式為：

(5)

2 卷積神經(jīng)網(wǎng)絡模型結(jié)構(gòu)設計

本文基于LeNet-5模型進行改進優(yōu)化，具體改進方法包括：sigmoid函數(shù)較LeNet-5中雙曲正切函數(shù)網(wǎng)絡擬合更快，因此被采用為本文神經(jīng)網(wǎng)絡的激勵函數(shù)。將原網(wǎng)絡中的C5層刪去，并將S4層采集的特征圖直接輸入全連接層，各層網(wǎng)絡中神經(jīng)元個數(shù)也相應改變，最終網(wǎng)絡模型結(jié)構(gòu)見圖2。與原神經(jīng)網(wǎng)絡相比，改進后的網(wǎng)絡中隱含層為5層。網(wǎng)絡中神經(jīng)元個數(shù)減少，訓練參數(shù)大幅降低，從而網(wǎng)絡擬合所需時間也相應減少。但改進后的神經(jīng)網(wǎng)絡仍具備圖像位移、縮放不變性和良好魯棒性等優(yōu)點。

該網(wǎng)絡結(jié)構(gòu)中，輸入層的輸入為大小28×28的光強圖，其后為交替出現(xiàn)的卷積、池化層。圖中C1為卷積層，該層有6個大小為5×5的卷積核，對輸入圖像卷積后得到大小6張大小為24×24的特征圖。卷積得到的特征圖即為S2層(即池化層)的輸入，池化后特征圖個數(shù)不變，但輸出的特征圖大小為輸入的1/4。C3是第2個卷積層，S4是第2個池化層，最后與F5層以全連接的方式相連得到網(wǎng)絡輸出，輸出層中4個神經(jīng)元分別對應助航燈4種狀態(tài)。改進后的神經(jīng)網(wǎng)絡模型共有32 194個參數(shù)，在LeNet-5模型60 000個參數(shù)的基礎上減少了46%。

圖2 卷積網(wǎng)絡結(jié)構(gòu)

3 實驗結(jié)果及分析

3.1 實驗數(shù)據(jù)

本文選擇正常、老化、燈絲熔斷、損壞的助航燈等光強圖作為訓練和測試集樣本，樣本總數(shù)為7 000，圖像為RGB顏色模式。選取樣本集中20%的等光強圖作為測試樣本，其余作為訓練樣本。將樣本集中等光強圖隨機輸入神經(jīng)網(wǎng)絡中，對網(wǎng)絡進行訓練。助航燈等光強圖部分樣本如圖3所示。

圖3 等光強圖樣本示例

3.2 實驗結(jié)果分析

為保證實驗客觀性及嚴謹性，將實驗中采集的圖像打亂順序后隨機輸入神經(jīng)網(wǎng)絡中，對模型進行訓練和測試。網(wǎng)絡多次迭代后，得到神經(jīng)網(wǎng)絡的訓練、測試準確率及誤差損失函數(shù)loss值，作為評價神經(jīng)網(wǎng)絡模型優(yōu)劣的標準。

在對神經(jīng)網(wǎng)絡訓練前，將神經(jīng)網(wǎng)絡學習速率設置為0.01，總迭代次數(shù)設置為100。對采集的助航燈等光強圖集打亂順序，并選取其中的20%作為測試神經(jīng)網(wǎng)的圖片集。用識別準確的張數(shù)/測試集總張數(shù)計算卷積網(wǎng)絡的測試準確率。實驗結(jié)果如圖4和圖5所示。

圖4 神經(jīng)網(wǎng)絡識別準確率隨迭代次數(shù)變化趨勢

在上圖中紅色為訓練準確率變化曲線，藍色為測試準確定率變化曲線。如圖4所示，網(wǎng)絡的訓練準確率最大值為98.70%，測試準確率最大值為94.84%?？梢钥闯錾窠?jīng)網(wǎng)絡的訓練準確率和測試準確率隨著網(wǎng)絡迭代次數(shù)的增加逐漸升高，說明該神經(jīng)網(wǎng)絡結(jié)構(gòu)的選擇及設計合理，卷積核大小及移動步速、學習速率等參數(shù)正確。測試識別率最高為94.84%，說明網(wǎng)絡對圖像的特征提取較準確，基本能夠滿足機場助航燈故障診斷。

圖5 神經(jīng)網(wǎng)絡損失函數(shù)loss隨迭代次數(shù)變化趨勢

圖5中的紅線為訓練損失函數(shù)變化曲線，藍線為測試損失函數(shù)變化曲線，隨著迭代次數(shù)的增加，訓練損失函數(shù)和測試損失函數(shù)先逐漸減少，隨后訓練損失函數(shù)逐漸穩(wěn)定，而測試損失函數(shù)在測試準確率達到94.84%后開始波動。結(jié)合測試準確率圖像分析，測試準確率在卷積網(wǎng)絡迭代到第80次時達到峰值，為94.84%，而后準確率下降，說明此時神經(jīng)網(wǎng)絡訓練完成。

實驗結(jié)果表明：深度卷積神經(jīng)網(wǎng)絡在助航燈故障診斷方面具有一定的實用價值，可作為助航燈故障診斷技術參考。本次實驗只選取了一種網(wǎng)絡結(jié)構(gòu)進行實驗分析，未來可考慮增加隱含層數(shù)或改變卷積核大小等參數(shù)進行實驗，研究各參數(shù)變化對網(wǎng)絡識別準確率的影響。

4 結(jié)語

本文將深度卷積神經(jīng)網(wǎng)絡應用于助航燈故障診斷，將助航燈等光強圖片輸入到神經(jīng)網(wǎng)絡中對網(wǎng)絡進行訓練。該過程由卷積網(wǎng)絡自動提取特征，消除了人為提取特征時可能存在的誤差，訓練后的神經(jīng)網(wǎng)絡識別準確率達到94.84%，說明基于卷積神經(jīng)網(wǎng)絡的助航燈故障診斷方法具有一定實用性。

基于LeNet-5模型結(jié)構(gòu)對卷積網(wǎng)絡層數(shù)結(jié)構(gòu)等參數(shù)進行選擇，構(gòu)建用于助航燈故障診斷的卷積網(wǎng)絡結(jié)構(gòu)。實驗結(jié)果中的誤差可能是助航燈圖片數(shù)較少所致。因此，在下一步研究中會增加助航燈等光強圖的數(shù)量，以期獲得更好的識別診斷效果。