一種基于HSV和LBP特征融合的眼疲勞診斷方法

李　東　彭亦功

(華東理工大學信息科學與工程學院，上海　200237)

?

一種基于HSV和LBP特征融合的眼疲勞診斷方法

李東彭亦功

(華東理工大學信息科學與工程學院，上海200237)

針對色調飽和度亮度(HSV)顏色空間特征提取方法在低光照條件下人眼狀態識別率低、局部二值模式(LBP)特征提取方法在復雜光照下魯棒性不強的問題，根據人眼在不確定光照情況下的狀態識別需求，提出了基于HSV顏色特征和LBP紋理特征融合的眼疲勞診斷方法。仿真試驗表明，該方法可有效提高單獨使用HSV和LBP特征提取方法仿真時的人眼狀態識別率和眼疲勞診斷精度，具有很好的眼疲勞診斷效果，應用前景廣泛。

特征提取 HSVLBP魯棒性特征融合眼疲勞診斷狀態識別

0　引言

近年來，因用眼過度引起的健康問題越來越多，因眼疲勞引起的交通意外造成了諸多人員傷害和社會危害[1-2]。因此，人眼狀態識別和診斷方法的研究引起了眾多專家、學者的關注[3-4]。基于顏色空間(hue saturation value,HSV)和局部二值模式(local binary pattern,LBP)是人眼狀態識別和診斷常用的特征提取方法。HSV是將圖像從紅綠藍(red green blue，RGB)顏色空間轉換到HSV顏色空間提取特征的方法[5]，其在低光照條件下的識別率較低[6-8]；LBP是一種提取圖像局部紋理的算子，用于描述局部像素間的對比度[9]，但其在復雜光照下的魯棒性不強[10-12]。

本文在具體分析HSV和LBP特征提取方法基礎上，提出基于HSV和LBP特征融合的眼疲勞診斷方法，并對相關仿真試驗進行分析、對比。仿真結果表明：基于特征融合的方法彌補了單一特征提取方法的不足，其人眼狀態識別率和眼疲勞診斷精度較HSV和LBP有明顯提高。

1　常用特征提取方法

1.1HSV顏色空間特征提取方法

顏色特征主要有顏色直方圖、顏色矩、顏色相關圖等，而顏色直方圖是最簡單、有效的顏色特征，常用于構成HSV顏色空間。因此，HSV常作為一種用于圖像特征識別的特征提取方法。其中H、S、V分別表示色調(hue，H)、飽和度(saturation，S)和亮度(value，V)。HSV顏色直方圖特征提取方法具體如下[13]。

①顏色空間轉換。

根據式(1)，將圖像從RGB顏色空間轉換到HSV顏色空間，V、S、H分別為：

(1)

式中：R、G、B分別為RGB圖像中紅、綠、藍這三種顏色分量；θ為角度。

(2)

②HSV顏色空間與直方圖的轉換。

采用等量間距量化法，將HSV顏色空間均勻量化為256維直方圖。其中，H、S、V三者的顏色量分別均勻量化為16份、4份和4份，即三者的量化等級分別為16、4和4。

③直方圖編碼化。

采用Haar變換法，編碼上述256維直方圖特征，編碼后的直方圖特征即為所需的基于HSV顏色空間的特征。

1.2LBP局部二值模式特征提取方法

LBP主要通過比較圖像中任意像素點灰度值與以該像素點為中心的矩形鄰域內其他像素點灰度值的大小，來確定該像素點的LBP碼。基本LBP算子運算過程如圖1所示。在鄰域中，將8個鄰域像素點的灰度值與中心像素點的灰度值作閾值化處理。即當鄰域像素點的灰度值大于等于中心像素點的灰度值時，將該點置為1；反之，則置為0。然后，以順時針方向記錄，得到二進制序列。再根據權重規則將二進制序列轉化為十進制，所得十進制數值即代表中心像素點的LBP碼。

圖1　基本LBP算子運算過程示意圖Fig.1　Operational process of basic LBP operator

基于基本LBP算子，Ojala等人提出一種擴展的LBP算子，即圓形鄰域LBP算子[14]。該算子表示為：

(3)

式中：gc為中心像素點灰度值；gp為以gc為中心的圓形鄰域像素點灰度值；R為半徑；P為鄰域采樣點；s(x)為符號函數。

(4)

鑒于這種圓形鄰域LBP算子提取的特征維數過多，在此基礎上，Ojala等人又進一步提出統一化LBP算子。其表示為：

(5)

(6)

在由式(6)計算所得的二進制序列中，如包含從0～1或從1～0的、轉變次數不多于2次的模式，即稱為統一化局部二進制模式；反之，則稱為非統一化局部二進制模式。統一化局部二進制模式具有反映重要信息的特性，而非統一化局部二進制模式往往由噪聲引起過多的轉變，因而不具有良好的統計意義。因此，統一化局部二進制模式LBP算子可保留所描述圖像的絕大部分紋理信息，減少了圖像特征的數量，進而加快了數據處理的速度。

2　特征融合方法

特征融合方法常分為判決層融合和特征層融合兩種。判決層融合方法即分別建立子特征模型，通過融合權值來實現子模型的融合。這種融合方法，并未建立特征之間的聯系，融合權值的選擇也較為依賴子特征模型的判別結果，顯然在實際應用中可靠性不足。特征層融合方法即直接構建融合特征的模型，這種方法可關聯特征內在屬性，且其模型更具一般性，與判決層融合方法相比更具優勢。

本文采用特征層融合方法，對基于人眼圖像提取的HSV特征和LBP特征進行直接融合，其具體過程如圖2所示。首先，分別提取人眼圖像的HSV顏色直方圖特征和人眼圖像的LBP特征，采用[0，1]歸一化方法處理特征，并將歸一化后的特征向量化；然后，直接把向量化后的HSV顏色直方圖特征和LBP特征融合，形成HSV-LBP融合特征。

圖2　特征融合過程示意圖Fig.2　Schematic diagram of process of feature fusion

3　試驗

3.1試驗模型構建

①基于SVM的人眼狀態判別模型。

人眼狀態的判別屬于二分類問題，常用支持向量機(supportvectormachine，SVM)來解決。SVM以結構風險最小化為原則，尋找能夠成功分開兩類樣本且具有最大分類間隔的最優分類超平面。顯然，SVM具有良好的分類正確率和模型泛化能力，且在處理小樣本問題時具有較好表現。因此，采用SVM構建人眼狀態判別模型。

利用SVM建立模型，實際上是建立一組最優判別函數的過程。對于一組給定的訓練樣本{(x1,y1),…,(xi,yi),…,(xN,yN)}，xi和yi分別為第i個樣本的特征向量和類別標志，xi∈Rd，yi∈{-1,1}，N為訓練樣本數。對于線性可分和不可分兩種情況，SVM的最優判別函數分別如式(7)和式(8)所示：

(7)

(8)

在建立SVM模型時，核函數的選擇和參數優化對其分類性能起著至關重要的作用。常見的核函數類型主要有線性、多項式、徑向基(radialbasisfunction，RBF)、Sigmoid這四種。由于RBF核函數具有可將樣本映射到更高維空間以解決非線性問題、需要確定參數少的優點，故選擇其為SVM人眼狀態判別模型的核函數。其中，涉及懲罰因子C和核參數r兩參數的優化。優化C可實現分類間隔最大和誤分樣本最少之間的平衡。r主要會影響訓練樣本數據在高維特征空間中的分布復雜度，若選擇過高，會導致訓練數據不可分;反之，則對任意的訓練數據都將映射為線性可分，從而導致過擬合。因此，采用基于交叉驗證與網格搜索相結合的方法進行C和r的優化選擇。

②疲勞診斷標準。

依據構建的SVM模型判別人眼狀態，再根據疲勞診斷標準確定人眼疲勞狀態。常用眼疲勞診斷標準分為眨眼頻率、眼睛平均閉合速度及眼瞼閉合時間占特定時間百分比(percentage of eyelid closure over the pupil over time，PERCLOS)。與其他疲勞診斷標準相比，PERCLOS所反映的疲勞狀態更加精確[15]。PERCLOS的計算標準有三種，即P70、P80和眼睛度量(eye measure，EM)。其中，P70表示眼睛閉合至少70%所占的時間比例，P80表示眼睛閉合至少80%所占的時間比例，EM表示眼瞼閉合率的均方百分比。Dinges等研究發現：三種計算標準中，基于P80的疲勞診斷準確率最高，應用最廣泛[16]。PERCLOS原理如圖3所示。

圖3　PERCLOS原理圖Fig.3　Schematic diagram of PERCLOS

若將人眼開度為100%時的眼睛高度定義為眼高，在圖3中，t1為眼睛從張開最大即眼高到閉合至80%眼高所需的時間；(t2-t1)為眼睛從80%眼高閉合至20%眼高所需的時間；(t3-t2)為眼睛從20%眼高至完全閉合再到睜開20%眼高所需的時間；(t4-t3)為眼睛從20%眼高睜開至80%眼高所需的時間。根據P80，可得PERCLOS，記為P。則P為：

(9)

由式(9)可見,P值即為給定時間窗中的時間比，其也可通過計算規定時間內總閉眼數目Ec和在相同時間內總人眼數目Et的比值得到。P值計算公式為：

(10)

式(10)中，P值越大，則疲勞程度越高，反之亦然。通過式(10)，可以計算由SVM人眼狀態判別模型識別的總閉眼數目Ec1占總人眼數目Et的比例P計算，以及真實的總閉眼數目Ec2占總人眼數目Et的比例P實際。它們的計算公式分別為：

(11)

(12)

Ec1=TP+FN

(13)

Ec2=TP+FP

(14)

Et=TP+TN+FN+FP

(15)

式中：真陽性(truepositive,TP)為SVM人眼分類判別模型正確分類的閉眼數目；真陰性(truenegative，TN)為SVM人眼狀態判別模型正確分類的睜眼數目；假陽性(falsepositive，FP)為SVM人眼狀態判別模型錯誤分類的閉眼數目；假陰性(falsenegative，FN)為SVM人眼狀態判別模型錯誤分類的睜眼數目。

由此可見，通過P計算可判斷當前人眼是否處于疲勞狀態。為了更精確地判斷疲勞狀態，可按式(16)計算P的誤差值[17]：

P誤差=|P計算-P實際|

(16)

式中：P誤差越小，疲勞診斷的精度越高;反之，則越低。

在實際應用過程中，常常在確定疲勞狀態后，根據P值的大小范圍來判斷疲勞的程度，并予以分級警示。一般來說，基于P值的眼疲勞程度診斷標準可設置為[18]：當0≤P<10%時，不疲勞；當10%≤P<30%時，為輕度疲勞；當30%≤P<50%時，為中度疲勞；當P≥50%時，為嚴重疲勞。

3.2仿真試驗

(1)試驗條件。

仿真試驗軟件為Matlab，其版本為R2013a。仿真軟件運行環境為：聯想筆記本、Windows7旗艦版系統、雙核IntelCorei5CPU、2.3GHz頻率、4GB內存。

構建SVM人眼狀態判別模型所用的數據均來自于自建的人眼圖像庫，圖像庫中包含9組人眼圖像子庫，分別由3名測試人員在均勻正常光照、非均勻較弱光照和均勻正常光照戴眼鏡3種條件下采集得到。其中，均勻正常光照下所得的圖像庫編號為1、2、3；非均勻較弱光照下所得的圖像庫編號為4、5、6；均勻正常光照戴眼鏡下所得的圖像庫編號為7、8、9。9組圖像庫共包含睜眼圖像4 393幅，閉眼圖像3 810幅。

訓練SVM人眼狀態判別模型時，分別將1 200幅閉眼和1 200幅睜眼圖像作為訓練的正負樣本，樣本隨機、均勻地選自每個圖像子庫。剔除訓練樣本后，

將每個圖像子庫中剩余的人眼圖像作為測試樣本，測試樣本數如表1所示。

表1　測試樣本數Tab.1　The numbers of test samples

(2)試驗過程。

①模型訓練過程。

首先，將訓練正負樣本的大小統一為31×36像素，并分別提取每幅圖像的HSV、LBP和HSV-LBP特征；然后，將其中800幅閉眼和800幅睜眼圖像的3組特征分別作為模型訓練樣本，剩下各400幅閉眼和睜眼圖像的3組特征分別作為其訓練模型的測試樣本；最后，將訓練正負樣本輸入SVM進行訓練，并采用測試樣本進行模型性能的驗證。整個訓練和測試結束后，得到基于HSV、LBP和HSV-LBP特征的SVM人眼狀態判別模型。

②試驗結果。

利用上述3種模型，分別識別9組圖像庫中測試樣本的人眼狀態，可得不同特征提取方法識別的TN、FN、TP、FP值，結果如表2所示。

表2　不同特征提取方法成功識別人眼狀態的數目Tab.2　Success numbers of eye state recognition of different feature extraction methods

根據表2的識別結果，可利用式(17)～式(19),計算不同特征提取方法的睜眼識別率、閉眼識別率和總識別率[16]。

(17)

(18)

(19)

不同特征提取方法的人眼狀態識別率如表3所示。

表3　不同特征提取方法的人眼狀態識別率Tab.3　Eye state recognition rate of different feature extraction methods

從表3可以看出，基于HSV-LBP特征融合方法的人眼狀態識別率較HSV和LBP特征提取方法的人眼狀態識別率有了很大的提升。對比結果表明：基于HSV-LBP特征融合方法彌補了融合前單一特征提取方法在人眼狀態識別方面所存在的不足。究其原因，單一特征在不同環境下描述人眼狀態的能力不同，而融合特征在一定程度上增強了準確表達圖像信息的能力。

根據表2的數據，利用式(11)和式(12)，計算三種特征提取方法的和，并診斷疲勞程度，結果見表4。

表4　不同特征提取方法的眼疲勞診斷結果Tab.4　Results of eye fatigue diagnosis of different feature extraction methods

從表4可以看出，三種特征提取方法的眼疲勞程度診斷結果一致，但根據表4中P計算結果及式(16)可得三種特征提取方法的P誤差，其結果如圖4所示。

圖4中，對于每個圖像庫而言，利用三種特征提取方法所得到的P誤差不同。其中，基于LBP-HSV特征融合的眼疲勞診斷方法的P誤差基本均小于其他兩種方法的P誤差。對比結果表明，基于HSV-LBP特征提取融合的眼疲勞診斷方法精度較高，診斷效果好，可靠性更高。

圖4　P誤差對比圖Fig.4　Comparison of the Perror values

4　結束語

鑒于HSV和LBP特征提取方法的各自特點，提出了基于HSV和LBP特征融合的眼疲勞診斷方法。利用SVM構建基于融合特征的人眼狀態判別模型，并根據PERCLOS疲勞診斷標準進行眼疲勞診斷。仿真試驗表明，相比單一特征提取方法，基于HSV和LBP特征融合的眼疲勞診斷方法提升了人眼狀態識別準確率，且提高了眼疲勞診斷的可靠性，具有廣闊的使用前景。

[1]BENEDETTOS,CARBONEA,DRAI-ZERBIBV,etal.Effectsofluminanceandilluminanceonvisualfatigueandarousalduringdigitalreading[J].ComputersinHumanBehavior,2014,41:112-119.

[2]CYGANEKB,GRUSZCZYNSKIS.Hybridcomputervisionsystemfordrivers′eyerecognitionandfatiguemonitoring[J].Neurocomputing,2014,126(126):78-94.

[3]SHAOL,LIUL,LIX.Featurelearningforimageclassificationviamultiobjectivegeneticprogramming[J].IEEETransactionson.NeuralNetworksandLearningSystems, 2014,25(7): 1359-1371.

[4]THEPADES,DASR,GHOSHS.Anovelfeatureextractiontechniquewithbinarizationofsignificantbitinformation[J].InternationalJournalofImagingandRobotics,2015,15(3): 164-178.

[5]SOLEIMANIZADEHS,MOHMAND,SABAT,etal.Recognitionofpartiallyoccludedobjectsbasedonthethreedifferentcolorspaces(RGB,YCbCr,HSV)[J].3DResearch,2015,6(3): 1-10.

[6]ROYS,BANDYOPADHYAYSK.FacedetectionusingahybridapproachthatcombinesHSVandRGB[J].InternationalJournalofComputerScience&MobileComputing,2013,2(3):127-136.

[7]ALNABRISSHA,ABUHAIBAISI.Improvedimageretrievalwithcolorandanglerepresentation[J].InternationalJournalofInformationTechnology&ComputerScience,2014,6(6):68-81.

[8]TSAGARISA,MANITSARISS.Colourspacecomparisonforskindetectioninfingergesturerecognition[J].InternationalJournalofAdvancesinEngineering&Technology,2013,6(4): 1431.

[9]YANGB,CHEN.Acomparativestudyonlocalbinarypattern(LBP)basedfacerecognition:LBPhistogramversusLBPimage[J].Neurocomputing,2013,120(10):365-379.

[10]HONGX,ZHAOG,PIETIKAINENM,etal.CombiningLBPdifferenceandfeaturecorrelationfortexturedescription[J].IEEETransactionsonImageProcessingAPublicationoftheIEEESignalProcessingSociety,2014,23(6):2557-2568.

[11]TAFRESHIM,FOTOUHIAM.Afastandaccuratealgorithmtodistinguishbetweenopenandclosedeyebyefficientcombiningoftextureandappearancefeatures[C]//ElectricalEngineering(ICEE),2014 22ndIranianConferenceon.IEEE,2014: 1013-1017.

[12]ZHANGY,HUAC.Driverfatiguerecognitionbasedonfacialexpressionanalysisusinglocalbinarypatterns[J].Optik-InternationalJournalforLightandElectronOptics,2015,126(23):4501-4505.

[13]MANJUNATHBS,OHMJR,VASUDEVANVV,etal.Colorandtexturedescriptors[J].IEEETransactionsonCircuitsandSystemsforVideoTechnology,2001,11(6): 703-715.

[14]OJALAT,PietikainenM,MaenpaaT.Multiresolutiongray-scaleandrotationinvarianttextureclassificationwithlocalbinarypatterns[J].IEEETransactionsonPatternAnalysis&MachineIntelligence,2002,24(7):971 - 987.

[15]DINGESDF,MALLISMM,MAISLING,etal.Evaluationoftechniquesforocularmeasurementasanindexoffatigueandthebasisforalertnessmanagement[R].1998.

[16]DASGUPTAA,GEORGEA,HAPPYSL,etal.AVision-basedsystemformonitoringthelossofattentioninautomotivedrivers[J].IEEETransactionsonIntelligentTransportationSystems,2013,14(4):1825-1838.

[17]GONZALEZ-ORTEGAD,DIAZ-PERNASFJ,Antón-RodríguezM,etal.Real-timevision-basedeyestatedetectionfordriveralertnessmonitoring[J].FormalPatternAnalysis&Applications,2013,16(3):285-306.

[18]DAZAIG,BERGASALM,BRONTES,etal.FusionofoptimizedindicatorsfromAdvancedDriverAssistanceSystems(ADAS)fordriverdrowsinessdetection[J].Sensors,2014,14(1):1106-31.

Eye Fatigue Diagnosis Method Based on Feature Fusion by HSV and LBP

Under low light conditions,the color space feature extraction method of HSV (Hue Saturation Value) provides low recognition rate of eye state; while under complex lighting conditions,the feature extraction method of LBP (Local Binary Pattern) features low robustness,in accordance with the demands for recognizing eye state under uncertain illumination conditions,the eye fatigue diagnosis method based on HSV and LBP,that fusing color feature and texture feature is proposed.Simulation experiments show that the proposed method can effectively improve eye state recognition rate and eye fatigue diagnostic accuracy obtained by using HSV or LBP separately.Besides,it has a good effect on eye fatigue diagnosis and a wide prospect in application.

Feature extractionHSV LBPRobustnessFeature fusionEye fatigue diagnosisState recognition

李東(1990—)，男，現為華東理工大學控制科學與工程專業在讀碩士研究生；主要從事信息處理、模式識別、人工智能等方向的研究。

TP391.9；TH166

ADOI:10.16086/j.cnki.issn 1000-0380.201610022

上海市重點學科建設基金資助項目(編號：B504)。

修改稿收到日期：2016-05-02。