選煤廠工況環境下人臉識別方法研究

高宏杰， 叢昊然， 郭秀才

(1.甘肅靖遠煤業集團有限責任公司， 甘肅 白銀 730900；2.西安科技大學 電氣與控制工程學院， 陜西 西安 710054)

0 引言

選煤廠作為煤炭加工的重要一環，主要進行原煤篩分、洗選、分離、運輸、裝車等工序，其生產過程復雜，涉及多過程環節、多系統設備、多操作崗位等[1-2]。目前選煤廠人員識別主要采用人員定位考勤、指紋身份標志、門禁虹膜識別等方式，解決了定點位置人員監測、有限范圍內的人員定位跟蹤問題。由于選煤廠人員活動軌跡不易確定，有必要在門禁和各操作工位處設置視頻監控設備，通過人臉識別實現人員軌跡跟蹤。

人臉識別是目前熱門的智能識別技術。文獻[3]提出了一種基于小波變換的人臉識別方法，能夠濾除自然條件下的圖像噪聲，具有較好的魯棒性。文獻[4]將圖像特征向量送入卷積神經網絡進行訓練和識別，可有效減小不同光照強度的影響，提高識別率，但時間復雜度較高。文獻[5]提出了一種基于自適應閾值局部特征融合的人臉識別方法，可較為完整地提取到人臉特征。基于小波變換的人臉識別方法具有穩定和計算量較小的優點，通過非對稱區域局部Gabor梯度編碼(Asymmetric Region-Local Gabor Gradient Code,AR-LGC)編碼算法可取得較好的識別性能[6-7]。但上述研究主要針對自然條件下人臉圖像無污染的情況，在選煤廠環境下，人臉圖像信息易受煤灰污染、光照變化、安全頭盔姿態變化、人員面部角度變化等因素影響，識別難度相對較大。因此，本文在小波變換的基礎上，對AR-LGC編碼算法進行改進，用改進AR-LGC編碼算法對選煤廠人臉圖像進行編碼，對編碼后圖像進行特征融合，并通過殘差神經網絡(Residual Network，ResNet)[8]實現人臉識別。

1 選煤廠工況環境下人臉識別過程

選煤廠工況環境下人臉識別過程如圖1所示，包括圖像數據的采集、傳輸、處理、識別等。在門禁、各操作工位等場所安裝視頻監控設備，采集人員圖像信息。對采集的圖像進行傳輸和預處理，并提取圖像特征，根據圖像特征檢測采集的人臉與無污染人臉的相似度，完成人臉識別。

圖1 選煤廠工況環境下人臉識別過程

2 選煤廠工況環境下人臉識別方法

對臉部被煤灰污染的選煤廠人員圖像進行識別時，穩定地提取到所需的特征信息是關鍵，這也是本文的研究重點。

2.1 AR-LGC編碼算法改進

采用AR-LGC算子提取多噪聲影響的選煤廠人臉圖像特征時，不能很好反映圖像的局部紋理相關性。因此，對AR-LGC編碼算法進行改進。以5×5圖像為例，改進后的AR-LGC編碼算法如圖2所示。

圖2 改進AR-LGC編碼算法

改進AR-LGC編碼算法步驟：① 截取適當大小的子鄰域窗口，計算中心像素點與其周圍鄰域像素點的差值，即窗口相關度ci,i=1,2,…,n,n為鄰域像素點個數。② 計算ci的平均值，得到子鄰域窗口內像素平均相關度cavg[9]。③ 計算子鄰域內相關度標準差σ(式(1))，當|ci-cavg|<σ時，將窗口賦0,反之賦1。④ 用AR-LGC算子對子鄰域窗口編碼，求取2次編碼值PA，PB的均值P,將P作為更新后的中心像素值。

(1)

(2)

式中：s()為比較函數。

改進AR-LGC編碼算法通過對參數cavg的計算增強紋理相關度，解決了選煤廠人臉圖像紋理相關度不足的問題，在弱化干擾特征的同時，保留了選煤廠人臉圖像中更多重要特征，緩解了人員面部受煤灰污染的問題。

2.2 特征融合

由于特征圖譜編碼后數據量過大，需要對圖像進行有效降維。采用二維Gabor濾波器組將原始圖像分解為5個尺度、8個方向的特征圖譜，用改進AR-LGC編碼算法進行編碼，對編碼后同一尺度下不同方向的圖譜進行特征融合。設Id,v為不同尺度和方向的特征圖譜，d=0,1,…,7,v=0,1,…,4,對同一尺度、8個方向的圖譜進行排列，如圖3所示。

圖3 圖像融合編碼原理

計算8個方向對應像素點的均值Iavg,v：

Iavg,v=(I0,v+I1,v+…+I7,v)/8

(3)

以Iavg,v為閾值，對特征圖譜進行二值化處理，得到十進制編碼值Iv：

(4)

式中p為二值化參數。

特征融合精簡了同一尺度下的特征信息，通過遍歷計算，將原來的40幅特征圖譜壓縮為5幅融合圖譜。通過特征融合解決了對輸入圖像進行Gabor變換時產生的特征冗余問題，在減少特征數量的同時，保留了重要的特征信息。

2.3 特征識別

選煤廠復雜工況環境下提取的人臉特征，利用傳統人臉識別方法難以獲得較好的識別效果。傳統的卷積神經網絡存在梯度消失或梯度爆炸的問題，ResNet解決了隨著網絡層數增加而出現的過擬合問題，且具有較強的自適應能力。因此本文采用ResNet進行選煤廠工況環境下的人臉識別。

ResNet殘差學習單元結構如圖4所示。其中x為輸入，H(x)為輸出，若把x和H(x)分別稱為真實值和估計值，則F(x)為殘差。將多個殘差模塊進行組合，得到殘差網絡模型。

圖4 ResNet殘差學習單元結構

2.4 人臉識別模型

復雜環境下利用圖像融合方式提取出人臉特征后，可有效增強不同尺度方向的圖像特征信息和子鄰域內的紋理相關性，在弱化干擾特征的同時解決了選煤廠人臉的面部污染問題[10]。利用ResNet訓練特征時，良好的前饋修補機制可削弱人員安全頭盔姿態變化、人員面部角度變化和光照差異等因素對識別效果的影響。本文結合改進AR-LGC編碼算法和ResNet建立人臉識別模型，流程如圖5所示。對歸一化的選煤廠原始人臉圖像進行Gabor小波變換，得到8個方向、5個尺度下的特征圖譜；用改進AR-LGC編碼算法進行編碼，對編碼后圖像進行特征融合，得到融合特征圖；將融合特征圖劃分為多個子塊，統計分塊直方圖并加權級聯得到直方圖特征向量H；將H送入ResNet中訓練，實現對選煤廠人員的人臉識別。

圖5 人臉識別流程

根據文獻[11]，確定本文的最佳分塊數目為25(5×5)。考慮到不同子塊對人臉特征的貢獻程度不同，以不同子塊作為不同區域，采用定量描述信息量的信息熵方法計算權重[12]：計算區域k的信息熵EU，k和信息權重ωk，將區域k的特征值hk與信息權重相乘得到反映特征信息的人臉特征向量H：

(5)

ωk=EU,k/EU

(6)

(7)

式中qj,k為隨機事件的概率;EU為整個圖像的信息熵。

信息熵方法可根據選煤廠人臉圖像不同區域特征的重要性差異，更加精準地計算出人臉特征向量。ResNet網絡層數并不是越深越好，需要均衡性能與運算量，根據文獻[13]，選擇ResNet-34作為特征訓練網絡。

3 實驗結果及分析

在Windows10、Visual Studio 2017環境下，采用C++語言編程實現人臉識別。采集選煤廠不同工位的大量人臉樣本進行實驗，部分樣本如圖6所示，尺寸均為130×140。

圖6 選煤廠人員實驗樣本

特征提取及融合效果如圖7所示。采用二維Gabor濾波器得到5個尺度、8個方向的特征圖譜，用改進AR-LGC編碼算法對特征圖譜進行編碼，再對同一尺度、不同方向的圖譜進行特征融合，得到特征融合圖；將特征融合圖劃分為25個子塊，統計分塊直方圖，采用信息熵加權，得到灰度直方圖，最后進行直方圖級聯，獲取人臉特征向量。

圖7 特征提取及融合效果

不同條件下的人臉特征提取結果如圖8所示。對比圖8(a)和圖8(b)可知，當選煤廠人臉受到煤灰污染時，采用本文方法提取的特征保留了局部特征粗粒度，污染后的特征紋理圖與干凈人臉的特征紋理圖相似度達到95.5%，具有較好的抗噪性。

(a) 入廠前的特征提取結果

針對不同工位采集到的選煤廠人臉樣本，采用局部二值模式(Local Binary Patterns,LBP)算法、AR-LGC算法和改進AR-LGC編碼算法進行編碼，通過識別率、平均耗時[14]反映算法的識別性能，結果見表1。

表1 多種算法性能比較

由表1可知，與LBP算法相比，本文方法的識別率提高了5.5%，平均耗時增加了0.042 8 s；與AR-LGC算法相比，本文方法的識別率提高了3.3%，平均耗時增加了0.206 9 s。綜合考量識別率和時間復雜度，本文在犧牲部分時間性能的條件下提升了識別率，犧牲的時間性能在可接受范圍內。

4 結論

(1) 研究了一種選煤廠工況環境下的人臉識別方法，通過改進AR-LGC編碼算法增強紋理相關度，解決了選煤廠人臉圖像紋理相關度不足的問題，在弱化干擾特征的同時，保留了選煤廠人臉圖像中更多重要特征，緩解了人員面部受煤灰污染的問題。通過特征融合解決了對選煤廠人員輸入圖像進行Gabor變換時產生的特征冗余問題，在減少特征數量的同時，保留了重要的特征信息。

(2) 當選煤廠人臉受到煤灰污染時，采用本文方法提取的特征保留了局部特征粗粒度，污染后的特征紋理圖與干凈人臉的特征紋理圖相似度達到95.5%，具有較好的抗噪性。

(3) 本文方法的識別率為94.5%，平均耗時為0.9330 s。與LBP算法和AR-LGC算法相比，在犧牲部分時間性能的條件下提升了識別率，犧牲的時間性能在可接受范圍內。

(4) 為提高選煤廠復雜環境下的人臉識別性能，后續研究將在模型復雜度和運行時間方面進行進一步優化。