基于加權正交約束非負矩陣分解的車臉識別算法

王錦凱，賈 旭

（遼寧工業大學電子與信息工程學院，遼寧錦州121001）

（?通信作者電子郵箱wangjinkai@lnut.edu.cn）

0 引言

汽車數量的快速增長導致了套牌違法行為呈多發態勢，許多交通卡口已增加攝像頭對該違法行為加以監控，傳統人工查看視頻的方法因效率低下，已很難對違法行為作出及時處理，因此，提出一種有效的車臉識別算法，對套牌車輛進行自動檢測是具有重要意義的。

車輛識別技術主要經歷兩個關鍵的階段:1）傳統的人工特征提取與分類方式；2）基于深度學習的識別方法［1］。最初顏色作為一種顯著的車輛特征被廣泛研究與分析，如不同空間的顏色直方圖特征［2-3］；但由于車身顏色易受光照強度變化影響，研究人員將關注點轉移到了車輛的全局、局部紋理特征［4］與形狀特征［5］上，與此同時，一些經典的關鍵點特征也逐漸被應用在了車輛識別中，如尺度不變特征變換（Scale-Invariant Feature Transform，SIFT）特征［6］、可變形部件模型（Deformable Parts Model，DPM）特征［7］等；而后，Boukerche等［8］將多種人工特征進行了融合，形成了多粒度特征，進一步提高了識別效果；此外，考慮到二維圖像缺少深度信息，車輛的三維特征［9-10］也被更多的學者研究。近年來，深度學習因其可以自適應學習出有效的特征而被重視，研究人員也將多種深度學習模型應用到了車輛識別中［11-16］，當具有足夠規模的訓練樣本時，基于深度學習的算法可以取得較好的效果。然而，目前車臉圖像的數據集數量較少，限制了深度學習模型對于車臉圖像的識別效果；此外，光照變化、局部遮擋等不合作因素又使得顏色、特征點等人工特征的有效性降低，這些都會給識別帶來困難。

本文面對多類別且標注數量有限的車臉圖像數據，對非負矩陣分解（Nonnegative Matrix Factorization，NMF）模型加以權重、稀疏與正交約束，自適應地建立出描述圖像中若干關鍵區域的特征基，并通過特征基線性疊加對任意車臉圖像作出準確描述，進而實現車臉的準確識別。

1 初始特征提取

車臉圖像特征主要體現在車身顏色與局部區域形狀上，但受光照變化影響，同一輛車在不同時間段采集時會出現一定的顏色偏差，如圖1 所示，因此，基于顏色特征的識別算法的有效性將會降低，這里將更多關注圖像的局部區域形狀特征。

圖1 不同光強下采集的車臉圖像Fig.1 Vehicle face images acquired under different light intensities

在圖像中，區域是由邊緣圍繞形成的，而圖像邊緣主要體現在具有方向性的高頻信息上，如何準確描述這些具有方向性的高頻信息將成為初始特征提取的關鍵。方向梯度直方圖（Histogram of Oriented Gradients，HOG）特征是通過計算和統計圖像局部區域的梯度方向而得到的，對邊緣能夠進行很好的描述［17］，因此，將HOG 特征作為車臉圖像的初始特征是合理的。

首先，將基于YOLO（You Only Look Once）模型分割后的車臉圖像大小歸一化為N × N像素，如圖2所示。

圖2 歸一化車臉圖像Fig.2 Normalized vehicle face image

而后，對圖像進行分塊處理，每一塊子圖像大小為M × M像素，相鄰塊覆蓋T 個像素寬度，因此，圖像塊的個數k 可由式（1）得到:

在計算梯度方向直方圖時，選擇s 個角度區間，從而可以得到車臉圖像的初始特征Yi維度為n（n = k × s）。

2 特征降維與特征基的建立

對車臉圖像進行初始特征提取后，需對其進行降維處理，目的是獲得描述圖像中若干關鍵區域的特征基。常用的特征降維方法有主成分分析（Principal Component Analysis，PCA）法、線性判別分析（Linear Discriminant Analysis，LDA）法等。分解后矩陣元素可以是正的，也可以是負的，從數學的角度考慮，負值是可以接受的；但對于圖像處理問題，負值卻缺乏實際意義，如在人臉識別中，人臉圖像可以被認為是多幅特征基圖像加權疊加得到的，這里的特征基圖像像素值與權重值都不可能是負的。基于以上分析，本文將采用非負矩陣分解思想來實現特征降維與特征基建立［18］。即給定一個非負矩陣Y，可將其近似分解成兩個非負矩陣U 與V 的乘積，如式（2）所示:

其中:Y 的列向量表示訓練樣本初始特征；U 的列向量表示特征基向量；V 的列向量表示分解系數，即新的特征。進而可獲得目標函數，如式（3）所示:

非負矩陣分解可以較好地保證分解結果的物理特性，但并沒有考慮對于分類識別的幫助性。因此，對非負矩陣分解模型進行了以下改進:1）根據區域重要性差異，對模型加以特征基加權約束；2）根據少數關鍵區域即可決定車輛類別的思想，對模型加以稀疏約束；3）基于類間差異性原理，對模型加以正交性約束。具體改進方法如下:

1）特征基加權約束。

車臉圖像中，不同區域特征在識別時起的作用有所不同，如車輛標致與車臉柵格區域因其具有較好的獨特性，在識別時發揮更為重要的作用；而車頂與引擎蓋顏色區域變化較為平緩，特征的重要性有所降低。因此，在分解時，描述這些不同區域的基向量所占的權重也應不同，這里為不同的特征基分配不同的權重系數，目標函數可改進為式（4）:

其中:U為基向量矩陣；Z為權重矩陣；V為系數矩陣。

2）稀疏性約束。

車臉識別過程中，除了少量具有不同權重的特征外，通常有一些區域幾乎不對識別產生作用與影響，如車輛背景區域、車窗區域等，即車臉特征應該具有較好的稀疏性。因此，需對系數矩陣Z 與V 加以稀疏性約束，從而目標函數可改進為式（5）:

根據壓縮感知理論，求解矩陣的0 范數為NP 難問題［19］，可將其等價于求解V的2范數，目標函數可改進為式（6）:

3）特征基正交性約束。為實現車臉特征的有效降維，即降低車臉特征基間的相關性，減少特征間的冗余，除對NMF進行加權性與稀疏性約束外，還應盡可能提高特征基間的正交性。基于以上分析，目標函數可進一步改進為式（7）:

綜上，最優分解結果通過式（8）求得:

3 基于梯度下降的目標函數求解

經過變換，目標函數式（8）可以轉化為式（9）:

而后，分別求解目標函數式（9）對U、V 與Z 的偏導數，如式（10）～（12）所示:

而后，給定U，V 與Z 的初始值，并將按照式（14）～（16）規則迭代，直至滿足停止條件。

Step 3 如果d(Vi，Vj)＞g，兩幅車臉圖像表示同一類車；否則，兩幅車臉圖像表示不同類車。

4 收斂性證明

為證明求解最優參數過程中迭代的收斂性，需引入輔助函數。

定義1 如果式（17）成立，則定義G(h，h′)是F(h)的輔助函數。

引理1 如果G是輔助函數，則函數F在式（18）迭代更新規則是非增的。

的序列:

因此，通過定義輔助函數，可證明式（10）～（12）的收斂性。

對于目標函數式（7），假設U為獨立變量，可得:

其中:F(u)= J(u)，0 ＜i ≤n，0 ＜j ≤r。

引理2 假設U 為獨立變量時，可定義式（22）為輔助函數。

證明 容易得到G(u，u)= F(u)，只需證G(u，uij)≥F(uij)即可。

將式（7）進行泰勒級數展開，得到式（23）:

由于式（24）成立，

因此，引理2得證。

對于目標函數式（7），假設V為獨立的變量，可得:

其中:F(v)= J(v)，0 ＜i ≤r，0 ＜j ≤m。

引理3 假設V 為獨立變量時，可定義式（28）為輔助函數。

證明 容易得到G(v，v)= F(v)，只需證G(v，vij)≥F(vij)即可。

將目標函數（7）進行泰勒級數展開，得到式（29）:

由于式（30）～（31）成立，

因此，引理3得證。

對于目標函數式（7），假設Z為獨立的變量，可得:

其中:F(z)= J(z)，0 ＜i ≤r，0 ＜j ≤m。

引理4 假設Z 為獨立變量時，可定義式（34）為輔助函數。

證明 容易得到G(z，z)= F(z)，只需證G(z，zij)≥F(zij)即可。

將目標函數（7）進行泰勒級數展開，得到式（35）:

由于式（36）～（37）成立，

因此，引理4得證。

綜上，可得出迭代過程是收斂的。

5 實驗與結果分析

5.1 數據集

實驗采用了兩個數據集:1）某省22 個交通卡口處監控攝像頭采集的車輛圖像作為實驗數據集，共103 028 幅圖像，其中部分樣本如圖3（a）所示；2）BITVehicle 數據集，共9 852 幅圖像，部分樣本如圖3（b）所示。

圖3 數據集中部分樣本Fig.3 Some samples in datasets

5.2 算法參數設定

本文提出的NMF 模型參數一部分依據經驗設定，另一部分依據實驗所得。其中，依據經驗設定的參數如下:

1）初始特征參數設定。

車臉區域分割后，將其歸一化至256 × 256 像素；經過分塊后，每一塊子圖像大小為32 × 32 像素，相鄰塊重疊16 個像素寬度；在利用HOG 算子計算梯度方向直方圖時，角度區間數目設為8。

2）NMF模型參數設定。

選取500 個不同類別車輛的車臉圖像進行訓練，即在目標函數中，Y 的列數為500；求解U?、V?、Z?時的最大迭代次數nmax= 20 000。

設定經驗參數后，需依據實驗對其他參數進行優化。

1）NMF模型參數優化。

模型中共有3 個參數需進行優化，分別為降維后特征維數r，平衡因子α 與β。這里，令平衡因子α 與β 的取值分別為1、0.1、0.01；特征維數的取值分別為原特征維數的20%至70%。實驗過程中，采用最近鄰分類器對3 000對車臉圖像進行比對測試，并利用錯誤接受率（False Acceptance Rate，FAR）與錯誤拒絕率（False Reject Rate，FRR）作為衡量識別效果的標準。

當采用不同模型參數時，實驗結果如圖4 所示，從中可看出:當降維后特征維數r = 0.4n，平衡因子α = 0.1，β = 1 時，可獲得最優的識別性能。

圖4 不同參數下車臉識別性能比較Fig.4 Comparison of vehicle face recognition performance under different parameters

2）識別算法參數。

車臉識別時，僅涉及一個參數，即特征相似性閾值g。這里，通過不斷調整閾值，對3 000對車臉圖像進行測試，并利用真實接受率（Genuine Accept Rate，GAR）與FAR 作為衡量識別效果的標準，測試結果如圖5所示。

圖5 不同閾值條件下車臉識別性能變化Fig.5 Vehicle face recognition performance variation under different thresholds

根據式（38），獲取最優閾值g?= 0.85。

5.3 算法測試結果

確定了特征基向量與算法參數后，分別采用5 246對正樣本和5 000對負樣本對本文算法進行測試，其中測試樣本中包括光照變化、尺度變化等因素。首先，基于第3 章中的識別算法對圖像進行分解，獲得新的特征向量；而后，分別求取每一對測試樣本新特征間的相似性值，并與式（38）獲得的閾值g?進行比較，獲得識別結果，如表1所示。

表1 實驗結果統計Tab.1 Statistics of experimental results

表1中:TP（True Positives）為正例且被分類器劃分為正例的樣本對數；FP（False Positives）為負例但被分類器劃分為正例的樣本對數；FN（False Negatives）為負例但被分類器劃分為負例的樣本對數；TN（True Negatives）為正例且被分類器劃分為負例的樣本對數。部分識別結果如圖6所示。

圖6 部分車臉匹配結果Fig.6 Some vehicle face matching results

準確率計算如式（39）所示。由實驗結果可以看出，本文算法的準確率Acc可達97.56%。

5.4 算法比較與分析

分別將本文算法與傳統算法和深度學習算法進行比較。其中，傳統算法包括基于顏色特征［3］、SIFT 特征［6］、多粒度特征［8］的識別算法；而深度學習算法包括基于CNN模型［11］、受限玻爾茲曼機（Restricted Boltzmann Machine，RBM）模型［14］、遷移學習模型［16］的識別算法。實驗過程中，仍采用5.3 節中5 246 對正樣本和5 000 對負樣本對算法進行測試，實驗結果如圖7所示。

圖7 不同識別算法的實驗結果比較Fig.7 Experimental result comparison of different recognition algorithms

由圖7（a）可以看出，本文算法性能要優于其他傳統車輛識別算法，主要有以下原因:由于白天和黑夜的光照強度差異很大，導致同一顏色車輛在不同時段采集圖像中出現明顯的顏色差異，如圖1 所示，從而使基于顏色特征的識別算法有效性降低，而在本文算法中，雖然車臉圖像因光照變化會出現一定的顏色差異，但描述邊緣的高頻信息并不會因此而發生較大改變，從而降低了光照變化對于識別的影響，此外，邊緣高頻信息的方向性保證了車臉不同區域間的色差，這也間接描述了車臉圖像的顏色特征，可以較好地避免對不同顏色的同類車型的錯誤識別，如圖8（a）；而對于曝光較強的或顏色單一的車臉圖像，如圖8（b），可提取的SIFT 特征點數量有限，給識別帶來較少的依據，從而降低了識別的準確率；基于多粒度特征的識別算法提取了整體車輛多個區域的特征，而針對車臉圖像的特征相對較少，算法在整體車輛識別上可以取得較好的效果，但對于車臉區域的識別有效性降低。而由圖7（b）同樣可以看到本文算法的優勢，其主要原因在于整體車輛圖像的數據集較為豐富，可獲得大量訓練樣本，因此訓練后的模型可取得較高的正確識別率；而目前關于車臉圖像的數據集相對較少，自建的數據集訓練樣本數量有限，容易導致訓練后模型出現過擬合現象，從而降低模型的識別效果。

圖8 多種條件下采集的車臉圖像Fig.8 Vehicle face images acquired under various conditions

以上實驗是在PC 上運行的，其中處理器為Intel Core i5-4460 CPU 3.2 GHz，內 存16 GB，GPU 顯 卡 型 號 為NVIDIA Geforce 1080Ti。其中，傳統識別算法在Matlab 2017b 環境下運行的，而基于深度學習的識別算法是在Python 2.7 環境下運行，運行時間如表2所示。

表2 識別時間對比結果 單位：sTab.2 Comparison result of recognition time unit:s

通過不同運行環境下的實驗，可以看出本文算法的識別速度略優于基于顏色特征與RBM 的識別算法，明顯好于基于多粒度特征與遷移學習的識別算法，而與基于SIFT 特征與CNN 的識別算法基本一致，并且Python 環境下1.08 s 的識別時間基本能夠滿足識別的實時性要求。

6 結語

為提高套牌車輛檢測效率，本文提出了一種有效的車臉圖像識別算法，即對NMF 模型加以多權重、稀疏性、正交性約束，在對車臉特征實現降維的同時，使其更有利于車臉圖像的正確識別。通過實驗驗證，在對樣本進行少量標注的前提下，本文算法可以獲得較高的正確識別率，并對光照強度變化具有較好的魯棒性。在取得一定效果的同時，仍存在一些問題有待解決，如實驗的數據集還需進一步豐富，以驗證算法的普適性。