基于近紅外結構光與可見光的三維人臉識別算法

史秋陽　李浩　石鳳蕊　楊凱凡

摘 要：文章綜合傳統的人臉識別方法，提出新的人臉識別算法。首先，建立近紅外三維模型，采用傅里葉變換獲取人臉三維信息。同時，建立可見光三維模型，采用3DMM技術獲取三維人臉圖像，然后將兩種模型分別與參考系進行對比，最后進行融合，以此進行人臉識別。

關鍵詞：人臉識別；紅外結構光；可見光

隨著信息時代的發展，自人臉識別研究開始，很多都對此進行了一系列的探索。最開始提出的三維人臉識別，隨后又開始在可見光人臉識別中進行探索，但人臉識別技術到現在尚不成熟，存在的漏洞還很多[1-2]，目前的研究方向更傾向于指紋、虹膜、靜脈這種更具個人特性的生物識別技術，但相比于指紋、虹膜這種需要人主動配合加上專業器材才能辨析身份的識別方法，人臉具有其獨特的優勢—方便、直觀，它不需要人主動配合就能采集信息，然后進行辨認，人臉就是一項識別身份的天然特征，但存在兩大風險：一是不穩定性，二是人臉具有可復制性，如果不法分子用偽造的信息攻破系統，這會給數據安全帶來嚴峻挑戰。因此，有必要對人臉識別研究進行優化。

1 模型的原理及建立

我們知道周圍環境光照的變化對人臉識別性能以及可見光人臉成像有很大的影響，為了減弱或消去這種影響，采用直方圖[2]、對數變換[3]、gab變換[4]、拉普拉斯變換[4]等一系列方法對人臉圖像進行處理，并且發現了環境光照變化對于人臉熱紅外圖像的影響細小甚微。用可見光模型進行識別是人臉識別的常見方法，其最大好處在于取材方便且不受溫度影響。本文將紅外線與可見光相融合，優點互補，希望能使識別更準確。

1.1 紅外光建立三維模型

黑白CCD相機有接受近紅外的功能，采用近紅外光源，在相機上增加適合的近紅外濾光片來調節可見光圖像同紅外圖像的相對強度。Takeda和K.Muloh提出的三維傳感技術，簡稱FTP[5-7]，此技術是通過投影光束將羅琦光柵或正弦光柵投到待測物體上，這種變化會被CCD相機采集到，將得到的一幀或兩幀條紋圖形經過一系列程序，即傅里葉分析、濾波等，就可以得到相應的物體三維信息。

傅里葉變換法能有效地將拍攝下的條紋圖從空間域轉換到頻率域進行計算。其原理是：首先通過CCD相機采集到一張條紋圖，再對這張條紋圖進行傅里葉變換，得到一張帶有噪聲的相位譜圖，接著對這張帶有噪聲的相位譜圖加入合適的濾波進行處理，再對其進行傅里葉反變換可得到解包裹相位圖，最后利用相位與高度得到被測物體的三維點坐標。

1.2 可見光構建三維模型

為了更準確體現人臉特征以及后期模型的融合，本文選擇建立三維模型。首先尋找一個固定的參考系人臉，應用普通的CCD相機獲取幾張二維的可見光人臉圖像，接著利用3DMM技術獲取三維人臉的圖像[5]。3DMM技術最突出的特點是可以根據單張圖片或照片生成三維人臉重建。其思想是：將人臉空間看作一個線性空間，利用某個人臉庫建立該空間的基底，然后對于給定的人臉，求出這幅人臉關于這組基底的系數，就可以得到這幅人臉的三維模型。

形變過程如下：首先，利用人臉數據庫構建一個空間基底，這樣對于所得的圖像就有了一個標準，人臉三維模型上的每一個點都有了可以相互對應的點；其次，建立拍到的二維照片與標準三維模型間的代價方程式。利用平均臉與得到的二維照片之間的代價方程來得到三維人臉的基底的系數，代價方程由人臉的幾何信息與各標志點間的距離來建立。

1.3 將紅外光與可見光三維模型進行融合

建立好的紅外光三維模型與可見光三維模型因受人為因素或環境因素的影響，各有其優缺點，為了更準確地進行模型的識別，本文提出將紅外光三維模型與可見光三維模型取其更匹配參考系的部分相融合，這里使用了基于得分的融合算法[6]。在進行融合之前先得出兩種三維模型與其對應參考系的匹配得分，本文使用了特征臉算法來解決這個問題。

特征臉算法是通過主成分分析法求出的。主成分分析法是一種基于人臉全局特征的經典的子空間變換方法，它將所有學習訓練的圖像對應的協方差矩陣計算出來，實際上是將人臉看作一個向量，為了消除原有向量的各個分量之間的相關特性，根據圖像的統計特征進行正交變換，變換得到對應的特征值依次進行遞減的特征向量，得到的較大的特征值具有與人臉相似的形狀，即為特征臉。而進行匹配得分就是原始人臉圖像通過對應的特征向量的線性組合進行重構后，將該線性組合系數作為特征值進行下次重構，構成人臉子空間。

算法主要步驟如下所示：

（1）設有N個人臉模型參與訓練，人臉模型的模型大小為m×n，將每個人臉圖像轉換為一個D（D=m×n）維的列向量，去平均化后得到一個D×N的矩陣A：

（1）

（2）得到所有人臉樣本轉化來的列向量的方差矩陣C：

（3）計算矩陣C的本征值λi和特征向量Vi，按照從大到小的順序重新排列λi和特征向量Vi。根據特征值的大小，選擇前d個特征向量，非零特征值的個數有r個，δ一般大于等于0.85。具體公式如下所示：

（4）將人臉模型向量xi轉換到ω定義的子空間中，Ω在子空間中xi所對應的人臉圖像的特征向量為yi。這樣使得其從D維空間降到d維空間后的方差最小，且在變換后的低維空間具有很好的人臉表達能力。當得到相應的特征臉后，將特征臉與已知的多個人臉模型進行相似性匹配得分，得分越高，則能說明兩個圖像更相近。設圖像xi的特征向量為yi，xj的特征向量為yj，圖像匹配得分使用余弦距離計算，公式如下：

在普遍的生物特征識別系統中，數據的融合分為4步，分別為傳感器層或像素層融合、特征層融合、得分層融合和決策層融合。得分層融合就是將單個特征分別輸入分類器，得到各個特征的匹配得分，各個匹配得分進行綜合用融合算法，得到一個綜合的得分用于最終的判別。本文基于簡單組合策略，即使用加權求和的方法來進行融合。

本文在前文已經描述了得到可見光三維模型與紅外光三維模型的方法，根據模型我們可以得到相應的人臉子空間與特征向量。再分別與可見光參照系和紅外光參照系模板進行匹配，獲得匹配得分SVij和SNij。基于簡單組合策略，設SFij為融合后的得分：

其中α+β=1，α≥0，β≥0，α和β取值范圍為0.0～1.0 ，，，SVij和SNij采用最大值—最小值進行歸一化處理。通過SFij大小即可得到當SFij最大時所對應的SVij和SNij，且其所對應的可接受率為α和β，由此作出最后決策進行人臉識別。

2 結語

本文基于傅里葉變換的三維傳感技術利用CCD相機可接收近紅外結構光的特性，建立了紅外結構光的三維模型和可見光的三維模型，將得到的兩種三維模型所得到的特征向量與需要判斷的圖像進行匹配得分，最后得到對應的判斷圖像，以此進行人臉識別。利用三維圖更容易識別且不容易被復制，替換可見光識別不穩定性以及近紅外光對人臉遮蓋所產生的影響，將三者的優勢所融合在一起，進而使人臉識別更加完善。

[參考文獻]

[1]謝志華，伍世虔，方志軍.LBP與鑒別模式結合的熱紅外人臉識別[J].中國圖象圖形學報，2012（6）：707-711.

[2]曹林，李猛，張華.結合改進Surf特征的素描人臉識別[J].計算機工程與應用，2018（21）：66-68.

[3]周先春，孫文榮，張純偉.基于自適應對數變換和PCA算法的人臉識別研究[J].電子技術應用，2014（6）：126-129.

[4]孫海江，王延杰，劉偉寧.基于自適應平臺閾值和拉普拉斯變換的紅外圖像增強[J].中國光學，2011（5）：474-479.

[5]CHEN X，FLYNN P J，BOWYER K W.Visible-light and infrared face recognition[J].In Proceedings IEEE Workshop on Multimodal User Authentication，2003（12）：48-55.

[6]李杰.可見光/近紅外人臉識別方法研究與實現[D].北京：北京交通大學，2016.

[7]潘磊，尹義龍，李徐周.基于得分的近紅外線與可見光圖像融合算法[J].計算機工程，2013（4）：226-230.