基于隱馬爾可夫模型的人臉特征標注和識別

安曉寧 王智文 張燦龍 庚佳穎 李秋玲

摘要：傳統的基于隱馬爾可夫模型的人臉識別方法需要對原始人臉圖像進行光照補償、人臉旋轉等預處理，而且模型對人臉姿勢、表情、局部特征變化等非常敏感，為解決此問題，提出一種基于高斯隱馬爾可夫模型的人臉特征標注方法，該方法假定人臉圖像中人臉和人臉特征兩個區域的灰度值服從兩個不同的高斯分布，并將這兩個分布作為隱馬爾可夫模型的狀態集合，同時，將灰度人臉圖像轉換為一維的灰度值序列作為觀測序列，通過模型預測狀態序列以實現人臉特征的標注和定位，并基于該模型建立人臉數據庫，對未知人臉進行識別，在ORL人臉庫和自建人臉庫的測試中，均取得較高的標注準確率和識別準確率，

關鍵詞：高斯隱馬爾可夫模型;特征標注;人臉識別;ORL人臉庫;自建人臉庫

中圖分類號：TP391.4DOI：10.16375/j.cnki，cn45-1395/t，2020.02.017

0引言

人臉識別是人工智能和計算機視覺的重要應用領域之一，目前人臉識別技術己經被廣泛應用于公共交通、移動支付、智能監控、身份驗證等方面，人臉識別由人臉檢測和人臉識別兩個過程組成，其中人臉檢測是指檢測采集圖像中是否含有人臉并檢測人臉范圍;人臉識別是指在人臉檢測的基礎上根據提取到的人臉圖像，標記和提取人臉的面部特征，并與人臉庫中人臉數據進行匹配以認定身份;而人臉識別中較為關鍵的一步是人臉特征提取，近年來人臉特征提取的方法不斷被提出，主要有samaria等提出基于隱馬爾可夫模型的人臉識別方法，該方法能夠自動分割人臉圖像并提取人臉特征進行識別;Li等提出了基于主成分分析和線性判別分析的組合特征提取方法，主成分分析（PCA）用于特征提取和降維，線性判別分析（LDA）用于進一步改善子空間中樣本的可分離性并提取LDA特征;Rotation等提出局部二值模式（LBP）算法，該方法是一種衡量中心像素與周圍像素關系的紋理特征提取算法;還有基于中心對稱梯度幅值相位模式的單樣本人臉識別算法Gabor濾波、卷積神經網絡等，這些算法在人臉特征提取上都取得了較好的效果，但是這些算法也存在對光照、姿勢、表情等敏感、訓練時間長、識別速度慢等缺點，本文使用的基于圖像灰度值的高斯隱馬爾可夫模型對測試人臉圖像的姿勢、表情等不敏感，而且該模型訓練時間短、計算量小，不需要大量的訓練數據便可以達到較高的標注精度。

1隱馬爾可夫模型簡介

1.1隱馬爾可夫模型基本概念

隱馬爾可夫模型是關于時序的概率模型，描述由一個隱藏的馬爾可夫鏈隨機生成不可觀測的狀態序列，再由各個狀態生成一個可觀測隨機序列的過程，其中由馬爾可夫鏈隨機生成的狀態變量的序列稱為狀態序列，表示為I={i1.i2.i3.…};其中T為狀態序列長度，i1.i2.i3…，ir分別表示每一個時刻的狀態變量，由每個狀態生成的一個觀測變量所組成的序列稱為觀測序列，表示為O={o1.o2.o3…oT}，其中，T為觀測序列長度，o1.o2.o3…，oT分別表示每一個時刻的觀測變量，在隱馬爾可夫模型中，系統通常在多個狀態之間轉移，因此，狀態變量是離散型的，狀態集合表示為Q={q1.q2.q3…gN}，N表示可能狀態數;觀測變量可以是離散的，也可以是連續的，但本文所建立的高斯隱馬爾可夫模型的觀測變量是連續的。

隱馬爾可夫模型是一種典型的有向圖模型，其圖結構如圖1所示，其中箭頭表示變量間的依賴關系，根據齊次馬爾可夫性假定和觀測獨立性假定，觀測變量的取值只依賴于該時刻的狀態變量，即對于觀測序列中間某一時刻t的觀測變量ot由其對應時刻t的狀態序列的狀態變量it決定，與其他狀態變量和觀測變量無關;系統的下一時刻狀態僅由當前時刻狀態決定，即it僅依賴于it-1.

一個隱馬爾可夫模型由初始概率分布、狀態轉移概率分布和觀測概率分布這3個要素確定，狀態轉移概率矩陣與初始概率向量確定了隱藏的馬爾科夫鏈，生成不可觀測的狀態序列;觀測概率矩陣和狀態序列確定了可觀測的觀測序列。

A是狀態轉移概率矩陣，表示為：

3）解碼問題，即己知模型參數λ=（A，B，π）和觀測序列D={o1.o2.o3.…，oT}，求對給定觀測序列條件概率P（D λ）最大的狀態序列，該問題使用Viterbi算法解決，

2基于高斯隱馬爾可夫模型的人臉識別

2.1人臉特征標注算法

人臉特征提取是在己經通過人臉檢測獲取的人臉圖像上進行的，對于一張灰度人臉圖像，其不同部位的灰度值有很大的區別，如臉部的灰度值的均值一般大于眉毛、眼睛等部位的灰度值均值，而眼睛、鼻子、嘴巴等部位的灰度值均值相對來說更為接近，這樣就可以通過灰度值的差別將臉部特征從人臉圖像中分離出來;另一方面，對于一張簡單的正面人臉圖像，其特征分布在垂直方向固定，從上到下依次為眉毛、眼睛、鼻子、嘴巴由于人臉圖像為二維數據，需要將二維數據轉換為一維數據，作為模型的觀測序列，考慮到人臉特征分布的穩定性，可將一張圖像灰度值矩陣的每一行從上至下依次首位串聯起來，組成一維序列，如圖2所示，這種方法不會改變特征的分布，而且實現了數據降維。

人臉圖像可以分為兩個明顯區域，一個是人臉，另一個是人臉特征，包括眉毛、眼睛、鼻子、嘴巴等部位，在人臉灰度圖像中，兩個區域亮度存在明顯的差別，而且每個區域的灰度值會分別集中在某一個數附近，也就是該區域灰度值均值，因此，假定每個區域的灰度值服從某一個高斯分布，這兩個區域也即這兩個高斯分布為隱馬爾可夫模型中的兩個狀態，分別生成不同部位的灰度值。

基于這種思想，以人臉灰度圖像的灰度值序列作為觀測序列，以兩個高斯分布作為狀態集合構建一個高斯隱馬爾可夫模型，通過Viterbi算法推斷觀測序列的狀態序列，以狀態序列還原原始圖片，若某一像素點來自第一個狀態即第一個高斯分布，那么該像素點的灰度值設定為0.若某一像素點來自第二個狀態即第二個高斯分布，那么該像素點的灰度值設定為255.這樣就把狀態序列替換為0和255兩個數，根據狀態序列還原原始圖片，這兩個狀態即可以標記人臉和人臉面部特征，并可以通過0和255兩個值定位人臉面部特征在圖像中的位置，也可以通過狀態轉移確定特征的邊界。

在正常光照的情況下，每張人臉灰度圖像人臉和面部特征的灰度值都存在著較大的差距，因此，只使用一張人臉圖像作為訓練集來訓練模型，使用此模型去標記測試集的人臉圖像，為了排除圖片像素對模型的影響，使用同樣為92x 112像素的圖像作為模型的訓練集和測試集，具體算法流程如圖3所示，

2.2人臉識別算法

為了將人臉識別出來，必須提前建立人臉數據庫，即將每個人的一張或多張人臉圖像作為訓練數據訓練模型，并將模型參數λ=（A，B，π）保存，即形成人臉的統計模型，人臉圖像訓練完成意味著人臉庫已經建好，對于要識別的人臉圖像，如圖2所示，首先將像素矩陣轉換為一維數據作為觀測序列，然后通過前向算法或者后向算法分別計算在不同人臉模型下的條件概率P（O λi），取最大概率值所對應的人臉模型作為匹配人臉。

2.3實驗結果分析

傳統人臉識別算法會受到人臉表情、姿勢、位置、光照、遮擋物等因素影響，因此，實驗分別對正面人臉圖像、不同表情、不同姿勢等情景下的人臉圖像進行標注，驗證算法的有效性，部分標注結果如圖4所示，人臉識別系統基于Python編寫，在64位Windows10系統運行，算法使用ORL人臉數據庫進行驗證，ORL數據庫共有400張人臉圖像，包含40個人的不同角度、光照、表情，每個人對應10張圖像，每張圖像的大小為92×112.使用一張正面人臉圖像訓練模型，分別對不同人臉進行標注，其中模型訓練用時0.22s。

為了測試算法在均勻光照下的對正面人臉標注準確率，實驗從ORL人臉庫中選取40張光照均勻的正面人臉圖像，其中一張作為訓練數據訓練一個模型（見圖5），并保存模型參數，其他圖像作為測試數據，實驗結果顯示，在40個不同人的正面人臉圖像中，標注正確的圖像有35張，部分標注結果如圖6所示;錯誤標注或標注不清的圖像有5張（見圖7），算法測試的準確率為89.5%。

從ORL人臉庫中選取62張光照均勻的側臉圖像和不同表情的人臉圖像，以測試人臉姿勢對標注算法的影響，實驗結果顯示，在62張圖像中，標注正確的圖像有56張，部分標注結果如圖8所示;標注錯誤或標注不清圖像有6張（見圖9），算法測試的標注準確率為90.32%，相比于正面人臉圖像標注準確率來說，人臉的姿勢和表情并不會對標注算法產生很大的影響。

驗證人臉識別算法，需要建立人臉數據庫，人臉數據庫的建立就是使用不同的人臉圖像去訓練模型，建立不同的人臉統計模型，本實驗使用ORL人臉庫，首先，將每個人的前5張圖像作為訓練數據訓練模型，建立一個包含200個人臉模型的人臉庫，使用每個人的最后一張圖像組成一個包含40張圖像的測試數據進行人臉識別測試，然后，逐次增加訓練數據，即依次將每個人的前6張、7張、8張、9張圖像作為訓練數據分別建立人臉模型的人臉庫，將每個人的最后一張圖像作為測試數據，該測試集包含40個人臉圖像，其中每張圖像訓練平均用時0.3629s。

首先使用包含200個人臉模型的人臉庫進行測試，測試集40個人臉中，正確識別32張，錯誤識別8張，人臉識別算法的識別準確率為80%;當增加人臉庫中人臉模型，使用包含360個人臉模型的人臉庫進行測試時，40個人臉圖像中識別正確37張，識別錯誤3張，算法的識別準確率為92.5%（見表1），增加人臉庫使得算法的識別準確率有了顯著的提高。

2.4自建人臉庫測試

為了驗證算法在實際應用中的可行性，建立了包含10個人共計100張人臉圖像的人臉庫，采集其中每個人在光照均勻條件下的不同角度、不同姿勢的10張圖像，每張圖像是大小為112×112的灰度圖像，首先，使用一張人臉圖像訓練模型（見圖10），模型參數如圖11和表2所示，使用訓練好的模型并對自建人臉庫的部分人臉數據進行標注，測試標注算法實際應用中的效果，其標注結果如圖12所示，其次，實驗將每個人的前6張不同角度的、不同姿勢的人臉圖像作為訓練數據，后4張作為測試數據進行人臉識別，并依次增加訓練數據，測試不同訓練集規模下人臉識別的準確率（見表3），部分示例如表4所示。

2.5實驗對比

實驗使用自建人臉庫對比基于奇異值分解的隱馬爾可夫模型和高斯隱馬爾可夫模型在實際人臉識別中的應用效果，實驗結果顯示，若每個人的前9張作為訓練集，最后1張作為測試集時，兩個算法識別的準確率都為100%;但是，當訓練數據較少時，高斯隱馬爾可夫模型具有較高的識別準確率，故在同等條件下基于高斯隱馬爾科夫模型的識別效果優于基于奇異值的隱馬爾科夫模型，具體的實驗結果如表5所示。

3總結

本文利用高斯隱馬爾可夫模型對人臉進行特征標注和識別，并在ORL人臉庫測試中都取得了較好的效果，該模型不需要大量的訓練數據，便能夠有效地對人臉特征進行標注和提取，兼具訓練時間短、標注和識別速度快、準確率高等特性;同時該模型對人臉的姿勢、表情、局部特征變化有較強的魯棒性，在真實的自建人臉庫測試中，該模型能快速有效地對人臉圖像進行標注和識別;在同等條件下該模型的識別準確率比基于奇異值的隱馬爾可夫模型更高，總體來說，該模型符合工程應用的要求，可以應用于真實場景下的離線人臉識別。