改進的LBP算法在管制員疲勞識別中應用

孫昕 楊昌其 陳連亮

摘 ?要： 為了更好地識別空中交通管制員疲勞狀態(tài)下的面部特征，針對由于局部二值化模式（LBP）算法識別率低和易受外部環(huán)境變化等影響，深入研究了LBP算子、直方圖特征提取對傳統(tǒng)LBP算法改進。并結合了LIOP編碼方法，進一步提出了增強局部量化模式（ELQP）算法。結果表明，改進后的LBP算法在管制員疲勞面部識別中具有更高的識別率和較強的魯棒性。

關鍵詞： 管制員疲勞; LBP算法; 特征提取; 人臉識別

中圖分類號：V328.1 ? ? ? ? ?文獻標識碼：A ? ? 文章編號：1006-8228（2021）08-67-04

Application of improved LBP algorithm in identifying controller fatigue

Sun Xin， Yang Changqi， Chen Lianliang

（Institute of Air Traffic Control，Civil Aviation Flight University of China， Guanghan， Sichuan 610000， China）

Abstract： In order to better identify the facial feature of air traffic controllers（ATC） in fatigue state， aiming at the low recognition rate and easy to be influenced by external environment changes of local binary pattern （LBP） algorithm， the improvements to traditional LBP algorithm caused by the LBP Operator and histogram feature extraction are deeply studied. Combining with the LIOP coding method， an enhanced local quantization pattern （ELQP） algorithm is proposed. The experiment results show that the improved LBP algorithm has higher recognition rate and stronger robustness in identifying ATC fatigue face.

Key words： controller fatigue; LBP algorithm; feature extraction; face recognition

0 引言

空中交通管制員[1]（管制員）職責是維護空中交通安全，避免航空器之間相撞，保障運行暢通。因此，管制員需要長時間的記憶力高度集中來感知、分析、處理大量空中交通管理信息，容易導致管制員注意力不集中、反應時間延長、警覺性降低、嗜睡等不良的工作狀況，這些情況會威脅空中安全。根據(jù)FAA航空局調(diào)查顯示，大約有14%工作差錯跟管制員疲勞掛鉤 [2]。因此對管制員疲勞狀態(tài)識別與監(jiān)測成為了當下民航安全研究的熱點問題之一。

本文目的是利用人臉特性檢測對疲憊狀況進行判定，使用計算機深度學習技術代替?zhèn)鹘y(tǒng)機器學習來對人臉狀態(tài)進行檢測。因此，對管制員疲勞狀態(tài)研究核心內(nèi)容是對面部特征識別算法研究。當下，人臉特征檢測算法中，主要涵蓋了以下幾種[3]：第一種是利用歐拉距離公式表示人臉幾何關系，例如Willer提出的的歐拉距離面部識別算法;第二種是對眼睛輪廓、嘴巴狀態(tài)進行模板識別，哈佛大學Kettlewell提出對人眼閉合比（PERCLOS）的研究。然而，因為管制員工種與其他工作有所不同，管制員的主要工作環(huán)境是長時間在一個密閉的環(huán)境中，且光線強弱變化，對視頻圖像識別加大了難度。目前，解決問題的第一步是提出新算法或在原有的算法基礎上改進，從而做到有效地識別管制員疲勞時面部特征狀態(tài)。

早期提出的人臉疲勞狀態(tài)研究是利用狀態(tài)分析法對人臉特征提取[4]，提出了特征臉方法，由于人臉關鍵點特征單位維度很高，導致識別力度弱，需要進行降維處理，因此，又有研究提出了線性回歸與特征相結合的方法，先應用主成分分析對人臉關鍵點向量進行降維處理，然后使用線性回歸識別方法來減小關鍵點之間差異，增大單一指標不同性。但線性回歸方法進行面部狀態(tài)識別，對表情變化、光照強度、是否佩戴眼鏡等情況的識別不穩(wěn)定，不利于實際應用。于是，本文提出了一種基于改進的局部二值模式（Local Binary Pattern，LBP）算法在管制員疲勞狀態(tài)識算法，逐漸成為該領域研究的主要熱點之一。

1 局部二值化模式算法改進

1.1 局部二值化理論

LBP算法[5]是一種利用管制員面部關鍵點特征狀態(tài)來進行疲勞識別算法。LBP算法工作原理：利用灰度值比較局部細節(jié)特征的方法。LBP對于邊界框、特征點，以及由于光線變化導致圖像明暗不一等情況具有良好的識別能力。對于任意的管制員視頻圖像來說，LBP通過比較圖像中心像素點和相鄰像素點的值對圖像進行重編碼，定義公式如下：

LBP（S）=∑_（i=0）^（n-1）〖φ（v_i-v_c ） 2^i，φ（X） 〗=1（x≥1）或0（x≤0） ⑴

其中，φ（x）是閾值激活函數(shù)，當x的值大于或等于0時為1，否則為0;n是相鄰像素點數(shù)，i是第i個鄰域點，c是中心像素點。

上面公式涉及LBP算法計算簡單，且存在缺陷，主要表現(xiàn)為：隨著相鄰點數(shù)n數(shù)目的增多，二值化數(shù)值會成指數(shù)式增加;再者，二值化編碼雖有一定的灰度和旋轉不變性，但就管制員工作環(huán)境來說，對姿態(tài)變化和光照敏感方面不具有魯棒性。

1.2 局部二值化算法的改進

為了改善以上述局部二值化算法存在的缺陷，提高在復雜環(huán)境下管制員疲勞狀態(tài)識別檢測，主要通過以下三種方法進行改進。

⑴ 圖像濾波上的改進

為了消除管制員在不同工作崗位，光照條件太或太強的情況下，需要對圖片預處理。具體方法是對收集到的管制員視頻圖像先使用濾波器進行預處理，得到圖像f（P），然后對二值化重新編碼，用來對視頻圖像進行細微部分處理。

⑵ 采樣上的改進

由于局部二值化只利用了相鄰點數(shù)與中心像素點之間的相互關系，沒有涉及兩兩之間的大小關系，因此，如何使用鄰域之間大小關系對圖片進行重新編碼，是重點解決的問題。相鄰點大小關系可以按照局部算法模式排序，將對算法采樣上不足進行改進。

⑶ 模式編碼上的改進

為了增強判別管制員疲勞時面部識別能力不得不使用較大的鄰域點數(shù)，然而LBP編碼模數(shù)與鄰域之間存在指數(shù)關系。針對如何降低主模數(shù)這個問題，HUSSAIN SU提出了LQP，即通過K均值距離建立樣本，并將二進制序列分成K個子類來編碼主模數(shù)。

1.3 面部特征提取

改進LBP算法后，需要進一步對面部直方圖特征提取，如圖⑴所示。

⑴ 直方圖特征度量

使用圖像分割的方法，將局部二值化提取的特征關鍵點，通過圖像分割得到空間特征點對管制員面部表情、姿態(tài)等不具備檢測性。為了更好的對特征圖進行疲勞識別，需要具體的衡量標準。對于所獲得圖片特征圖來說，傳統(tǒng)的歐式距離幾何法不再適用特征圖計算，應利用特征圖相交距離[6]來表示面部疲勞狀況，本文給出直方圖相交距離的表達式：

S（H_1，H_2）=∑_（i=0〖min（H_1 （i），H_2 （i））〗，i=0，1，2...，n ⑵

⑵ 直方圖權重分配方法

管制員在疲勞的時候，面部關鍵點表現(xiàn)出的特征具有很大差異性，導致不同的特征圖描述對應判別方式也不同，因此需要對特征圖進行權重度量，由于面部是一個整體結構，且每個特征圖是由特征區(qū)塊連接起來，為了能夠體現(xiàn)不同區(qū)塊在特征識別的重要性，需要分配權重。然而目前對該權重的配置沒有具體的實施要求。通常，靠人工經(jīng)驗的方法取權重值顯得過于隨意，為了提高本文對不同特征圖的判別能力，根據(jù)公式⑵得出特征圖相交公式⑶：

S（H_1，H_2）=∑_（i=0）?〖w（i）min（H_1 （i），H_2 （i））〗，i=0，1，2...，n ⑶

其中：w（i）表示第i塊直方圖對應的權重值。

⑶ 直方圖特征降維

當提取管制員面部疲勞特征直方圖時，直方圖的維數(shù)不宜過高，只要人臉特征顯著即可，因此有必要對直方圖進行降維處理。本文利用主成分分析特征降維方法[7]，該算法步驟為：①計算PCA構成矩陣S;②計算S特征值和特向量;③按特征值大小進行特征向量排列;④選擇其中較大特征向量，并將其作投影向量，構成投影矩陣W。

本文根據(jù)西南空管局一線管制員測試結果如圖2。

圖2是由管制員原始圖像得到直方圖特征提取的人臉圖像，可以看出，經(jīng)過PCA降維處理后的人臉特征圖像更能直觀的看出人眼閉合狀態(tài)，以及嘴部哈欠狀態(tài)，人臉的局部細節(jié)仍然保留，最后通過降維后局部特征矩陣轉化為樣本并用最小向量機來以此分類管制員是否處于疲勞狀態(tài)。

2 增強局部量化（ELQP）管制員疲勞人臉識別算法

2.1 概述

由于上述提到LBP鄰域編碼能力弱，會影響人臉疲勞識別結果，所以本文在改進LBP算法的基礎上深入研究，提出了增強局部量化模式（ELQP）的管制員面部疲勞識別算法。LIOP[8]主要作用是通過鄰域關系來代替鄰域編碼，對面部疲勞狀態(tài)具有更強的判別能力。而LQP是通過自查方式對特征點向量編碼，它不會增加計算冗長度且能夠進行最大化采樣編碼。本文結合LIOP和LQP的優(yōu)點，提出增強量化模式（ELQP）算法進行管制員疲勞時人臉識別。

2.2 LIOP主模數(shù)指數(shù)級增加的解決

由于LIOP的數(shù)量會呈現(xiàn)指數(shù)級增加，而本文提出的增強局部量化模式可以在一定程度上解決這一問題。局部二值化方式通過預先建立的疲勞狀態(tài)特征對特征向量進行分類編寫，其過程分為初始階段和編碼兩個階段，初始階段利用K均值聚類算法得到圖像鄰域特征向量。編碼階段通過計算機自查的方式將特征向量編碼，從而獲得LQP編碼圖。

2.3 LIOP和LQP融合特征提取

本文選用的增強局部量化模式方法將兩者特征融合。關鍵在于本文選用ELQP[9]的16個鄰域點計算離線碼本，本文將收集到的一線管制員圖像分成6*6的子集塊，降低計算機運算量，鄰域點的如圖3所示。

2.4 圖像降維方法

提取管制員疲勞時候面部特征向量，與正常狀態(tài)下圖像直接做相識度比較。由于考慮到管制員面部疲勞特征識別過程的是一個深層次運算過程，對特征圖使用直方圖相交度量進行識別。管制員疲勞前后面部特征直方圖的特征向量存在差異性，并計算直方圖相交距離。同時利用Fisher法[10]進行特征向量權重分配，對于降維處理本文使用WPCA降維[11]。

3 實驗分析

本文通過實驗比較各種通過面部疲勞特征識別算法。

3.1 識別率比較

使用直方圖相交度量結果如表1所示。

3.2 運算時間比較

在表1中可看出，本文提取的增強局部量化模式特征提取方法在面部遮擋，表情變化，壞境等因素的影響下優(yōu)于與之對比的PCA、LBP、Fisherface算法;從表2中可看出ELQP算法在高維度下提取面部特征時間較少，且效率高，這說明了本文的算法具有很強的實用性。

4 結論

實時的檢測管制員疲勞時面部關鍵點變化，是一個值得深入研究的方向。近年來由于航空安全得到民航局高度關注，管制員疲勞也引起了管制單位的注意，在借鑒識別面部疲勞特征檢測基礎上防止管制員疲勞方面也取得了重大研究突破。本文通過分析局部二值化模式（LBP）在管制員面部疲勞識別中存在的不足，在圖像濾波、模板采樣、模板編碼三個方面對局部二值化進行優(yōu)化，并對LBP編碼時鄰域特征向量關系進行深入研究，結合LIOP和LQP算法，提出增強局部量化模式（ELQP）算法，并通過實驗驗證本文改進后的算法與其他檢測方法相比，在時間和精度上具有一定的優(yōu)越性，并且根據(jù)增強后的局部量化算法能夠檢測出管制員當前實時狀態(tài)（圖2）。

參考文獻（References）：

[1] Aviation-Aviation Safety; Study Results from Peter Kearney et al Provide New Insights into Aviation Safety （The Analysis of Occurrences Associated with Air Traffic Volume and Air Traffic Controllers' Alertness for Fatigue Risk Management）[J]. Defense & Aerospace Week，2020.

[2] 孫瑞山，李康，李敬強.空中交通管制員疲勞狀態(tài)及影響因素分析[J].安全與環(huán)境學報，2018.18（6）：2241-2246

[3] 安高云.復雜條件人臉識別中若干關鍵問題的研究[D].北京交通大學，2009.

[4] 宋昱，孫文赟，陳昌盛.對數(shù)變換主成分分析的圖像識別[J/OL].西安交通大學學報：1-12[2020-12-21].http：//kns.cnki.net/kcms/detail/61.1069.t.20200914.1947.009.html.

[5] 任飛凱，邱曉暉.基于LBP和數(shù)據(jù)擴充的CNN人臉識別研究[J].計算機技術與發(fā)展，2020.30（3）：62-66

[6] 王建文，林劼.基于顏色直方圖金字塔的圖像自動標注方法[J].計算機工程，2016.42（6）：235-240

[7] 史蘊豪，許華，鄭萬澤，劉英輝.基于集成學習與特征降維的小樣本調(diào)制識別方法[J/OL].系統(tǒng)工程與電子技術：1-13[2020-12-21].http：//kns.cnki.net/kcms/detail/11.2422.TN.20201014.1326.028.html.

[8] 顏普，蘇亮亮，邵慧，吳東升.基于多支持區(qū)域局部亮度序的圖像偽造檢測[J].計算機應用，2019.39（9）：2707-2711

[9] 李茅.基于特征學習的人臉識別算法研究[D].湖南師范大學，2016.

[10] 張秀峰.基于Fisher臉的人臉識別技術研究[D].安徽理工大學，2018.

[11] 萬里紅.圖像表示的多級特征提取研究與應用[D].上海交通大學，2017.

收稿日期：2021-03-09

基金項目：民航局安全能力項目“空管安全人員資質(zhì)能力提升研究”

作者簡介：孫昕（1994-），男，江蘇淮安人，碩士研究生，主要研究方向：空管安全，管制員疲勞。

通訊作者：楊昌其（1974-），男，四川成都人，碩士，教授，主要研究方向：空管安全。