不確定性估計結合主動外觀模型三維特征提取的人臉識別方法

卜宇 任曉芳 唐學軍 孫挺

摘要：對于人臉識別分類結果中的可信度問題，提出一種基于不確定性理論的人臉識別方法。首先，為了估計3D特征，使用主動外觀模型（AAM）和三角測量處理兩幅未知對象的2D圖像；然后，估計數據庫中每個對象的分數，通過不確定性進一步處理兩幅圖像；最后，決策過程根據估計的分數和估計的不確定性分類列表，其中分類列表中存儲了所有已識別對象及其對應的可信度此處為“可信度”，2.2節中為“置信度”？以哪個為準？是否需要統一？請明確。。實驗采用含兩個攝像頭的立體視覺系統采集各種姿態的人臉圖像。與類似的概率預測測量方法相比，所提方法的正確檢測率提高10%左右，漏檢率至少降低了9%因與3.2節的數據不太一致，此處的數據對嗎？請明確。。實驗結果表明，所提方法通過構建3D圖像特征的不確定性信息和采用合適的統計方法提高了分類結果的準確率。

關鍵詞：

人臉識別；可信度；不確定性；生物識別算法；分類器

中圖分類號： TP391.413 文獻標志碼：A

0引言

人臉識別[1]已廣泛應用于基于生物特征的人機交互中，如視頻監控和訪問控制等[2]。人臉識別方法眾多，比較具代表性的有主成分分析（Principal Component Analysis， PCA）[3]、線性成分分析（Linear Discriminant Analysis， LDA）[4]、獨立主成分分析（Independent Component Analysis， ICA）[5]等，這些方法在非限制條件下均能取得不錯的效果；但是，當出現光照、姿態、表情及場景等變化時，效果并不理想。

為了解決三維人臉識別中的問題，已有不少相關方法被提出。例如，文獻[6]基于二維主成分分析，保留人臉部的拓撲關系，采用非負矩陣進行局部特征識別；然而，二維人臉識別容易出現光照變化和姿態變化引起的問題。文獻[7]利用輸入數據的測量不確定性解決識別和分類問題。該方法以概率統計為基礎，系統輸出為可信度，且使用準確率、錯誤率和棄權率改善方法性能。每個類使用一種置信度（Confidence Level， CL）描述，以獲取每種類別的測量不確定性。文獻[8]使用計量特征和預測線性判別分析進行特征降維，通過相關性和信息強度來降低錯誤決策；然而，從用戶角度看，可操作性大為降低。文獻[9]針對人臉畸變、表情變化等不可控因素，在B樣條的多級模型自由形式形變（Free Form Deformation， FFD）基礎上，利用低分辨率FFD網格進行全局配準，全局配準后，分塊計算各子塊的相關性，相關系數小的子塊采用高分辨率FFD網格進行細配準，采用的凸集投影（Projections Onto Convex Sets， POCS）重建多幀圖像為高分辨率圖像；然而，重建和擬合過程的誤差較大，且POCS重建易產生邊緣模糊問題。文獻[10]提出了基于多特征3D人臉識別方法，使用三種方法從人臉圖像中提取特征，即最大曲率圖像、平均邊緣圖像、范圍圖像，利用權重線性組合構建融合特征；該方法可以取得不錯的識別效果，然而，需要使用3D掃描儀/照相機，這是一種價格非常昂貴的數據采集工具，且需要較長的處理時間。

一般人臉識別方法的主要問題包括：源不確定（例如立體像機是“攝像機”，還是“像機”？還有“相機”的描述？是否需要統一一下？請明確。的位置不確定，像機校準過程不確定）；在3D空間提取的特征具有不確定傳播特性（例如：訓練階段的影響，兩幅圖像不確定性）和比較階段的分數。本文方法能夠有效確定系統參數最優值（例如：像機位置、評價分數中每種特征的權重）。其主要工作如下：

1）本文將不確定性擴展為基于3D特征的人臉識別算法的不確定性，提出了用于匹配目標對象形狀的統計模型算法。

2）通過使用主動外觀模型（Active Appearance Model， AAM）算法處理一對立體圖像，從中獲取2D標記點，擴展了AMM的應用范圍。

1生物識別方法——AAM

本文分類算法流程如圖1所示。首先，為了估計3D特征，使用生物識別算法[11]（AAM）和三角測量處理兩幅未知對象的2D圖像；然后，估計數據庫中每個對象的分數，通過不確定性算法進一步處理兩幅圖像；最后，決策過程根據估計的分數和估計的不確定性計算分類列表，該分類列表中存儲了所有已經識別的對象和其對應的可信度。

1.1提取3D特征

本文使用一組立體像機采集人臉圖像，然后使用AAM軟件[12]自動檢測人臉圖像中一組標志的2D坐標，利用三角測量兩幅2D模板圖像以獲取一幅3D模板，如圖2所示，將該3D模板圖像與數據庫中每個3D模板作比較，完成人臉識別，該過程中會獲取每次比較的分數，詳細過程如下。

AAM算法用于自動檢測圖像人臉特征，提取人臉特征。其操作可以分為兩個階段：第一階段，創建形變模型，通過分析訓練圖像完成，即人臉特征集合先前已手動標記的圖像樣本；第二階段，在人臉圖像中，使用軟件自動檢測相同人臉特征的位置，這些人臉圖像不屬于訓練圖像。人工手動標記圖像過程在于追蹤不同標志，輪廓是不同人臉圖像最重要特征。本文使用58個標志將人臉劃分為75有7個區域，但是后面只寫了5個區域，是否寫錯了，請作相應調整。個區域：下巴、嘴巴、鼻子、眼睛和眉毛。

本文將人臉定義為2D點數據集，通過形狀模型描述目標的形狀，并將這些形狀與通用參考系統對齊，使用PCA將屬于同一類型圖像上的形狀軌跡提交給普氏分析[13]。PCA生成形狀變化主成分φ式（1）～（3）中，哪些是矢量、向量或矩陣？請明確。，定義如下：

對于外觀模型，該模型定義了部分對象的紋理，外觀模型在均值形狀上分配所有圖像的像素灰度值變化。通過創建該模型，將所有訓練圖像轉換為相同形狀和維數的圖像，為了避免光照變化對圖像的影響，需要歸一化紋理特征。接著，訓練圖像通過PCA生成外觀模型。與形狀模型相似，外觀模型取決于均值外觀的灰度層向量、變化主成分φg和一組灰度層參數bg，外觀模型表達式如下：

g=+φgbg（3）

每個人臉特征的3D坐標使用光學測量完成估計，該過程依賴于AAM檢測的兩幅立體圖像的人臉特征。

在整個估計與決策過程中，3D特征估計非常重要，主要表現在兩方面：一是3D特征估計關聯3D人臉模板，進而影響與數據庫模板的匹配問題；另一方面是不確定性取決于人臉特征2D坐標的不確定性，而2D坐標也與3D特征估計有關系，因此，3D特征估計都直接或間接影響最終的識別結果。

1.2數據庫

本文使用117個志愿者的立體圖像創建數據庫，控制系統允許自動捕獲用戶定義的時間間隔人臉圖像序列，設置為5s，本文在相同位置獲取同一人的多幅圖像，且允許合理范圍內的變化。對每個志愿者，數據庫包含5對立體圖像。第一個樣本用于訓練AAM，其他4個樣本用于識別。

1.3分數估計

識別判斷基于分數，分數表示用于識別的3D模板坐標與數據庫中每個模板坐標的差平方和，為了將一個模板的坐標系剛體變化到其他模板坐標系，計算可旋轉度?？尚D度允許補償圖像采集立體系統相關的位置和方向偏差，使用旋轉度后，獲取的分數不依賴于人臉的位置和方向，僅依賴于模板形狀，這是因為對所有人臉區域，特征定位的可信性不是不變的，所以根據估計可重復性給不同點分配不同權重。

給定一幅將用于識別的3D模板和一組權重Wk（k=1，2，…，n），其中n為模板中點的總數量，對數據庫中第i個模板，其分數Si定義如下：

Si=[∑nk=1（Wk（Vk，i-Vk，ref）2）]/n（4）

其中：Vk，i為第i個個體的第k個點坐標；Wk為模板第k個點的權重。

為了估計58個標志中每個標志的權重，對數據庫中117個人，重復采集每個人5張人臉用于計算人臉間的標準差，將估計的標準差作為權重。由于連續采集的人臉圖像可能存在少量旋轉，因此在計算均值位置和相對方差前，必須將人臉與其他人臉圖像對齊，以便獲取每個個體人臉圖像上點的方差。

表1所示為數據庫中所有117個人權重均值，權重沒有涉及每個單幅標志，而涉及了人臉的每個區域。一般情況下，眼睛穩定性比較好，嘴巴形狀變化比較大，下巴輪廓的可變性最高。由于這些區域采用標志點的形式表現，區域的權重即是組成該區域標志點的權重。為了確保采集的圖像不存在陰影、光反色或運動模糊，需要控制環境條件（特征存在光照變化），此外正向位置采集人臉且焦距最佳。為了利用不確定性控制條件中的參數，圖像光照、焦距和運動模糊需要量化估計，接下來將會介紹。

2不確定性估計與決策

2.1不確定性

分數us的不確定性主要依賴于人臉特征2D坐標的不確定性，人臉特征依賴于處理圖像的特性。主要影響量與亮度、角度和運動模糊有關。根據文獻[14]，為了量化這種不確定性，對us，本文使用一種簡單模型測量每種影響因素的影響度，使用ui表示第i個影響量對分數的貢獻值：

ui=fi（Δi）（5）

其中Δi為第i個影響量的值。

由于所有影響量與其他影響量無關系，分數上不確定性為：

us=∑Ni=1u2i（6）

其中N表示影響量的數量。

通過操作參考圖像（即包含在數據庫中圖像），使用人工標定圖像估計不確定性，利用已有期望值產生新的特性圖像，過程如下。

對數據庫中每個對象、每種影響量和影響量的級別，在控制仿真環境中，首先通過對參考圖像使用合適的數字濾波產生兩幅新圖像，然后，在該修改的圖像上，使用AAM算法和三角測量估計3D特征。估計與目標對象相關記錄的數據分數；最后，對所有目標對象，在分數上獲取統計分析模型，其不確定性估計如下：

（us）i=（u2s）i/3+（σ2s）i（7）

其中（u2s）i和（σ2s）i分別表示第i個影響量的測量分數均值和標準差。

2.1.1光照

考慮到最佳亮度，對參考圖像原始圖像的灰度級修改為±5，±10，±15，±20，±30，±50（使用8比特位進行編碼）。不同光照下的us如圖3所示，從圖3中可以看出，對每種光照變化條件，不確定性幾乎為常數，且該常數可以考慮為兩幅圖像的修改量，本文設置us為0.08。

2.1.2散焦

評價光照影響的相同過程用于評價鏡頭散焦的影響。同時在這種情況下，考慮3種測試條件：兩幅圖像、僅1個像機缺乏焦距、2個像機缺乏焦距，像機具有不同散焦級，如圖4所示。使用高斯線性濾波器處理源圖像，以獲取處理后的圖像。

本文獲取的實驗結果如圖4所示，兩幅圖像缺乏焦距時的不確定性高于僅一幅圖像缺乏焦距時的不確定性。此外，無論如何修改圖像，實驗結果幾乎相同，因此，可以考慮使用兩個模型：一個模型用于兩幅圖像均缺乏焦距；另一個模型用于僅一幅圖像缺乏焦距。在這兩種情況下，一種二階多項式模型能很好擬合觀察數據。

2.2決策過程

圖5所示為決策過程的主要步驟如下：1）概率Pj估計輸入對象為數據庫中第j個對象的概率；2）根據獲取的概率，創建挑選可能對象的分類列表；3）計算列表中每個對象（類）的可信度摘要為可信度。

1）Pj表示未知對象為數據庫中第j個對象的概率（即第j個類）。考慮分數為隨機變量，Pj表示在給定測量值Sj時，第j個類的分數。通過概率密度函數計算概率：

Pj=P（Sj=0|j）=1，j≤th∫∞jp（s-th）ds，j>th （8）在變量的說明中，應說明它倆的含義。

其中：th表示一個給定閾值，j表示條件概率的另一個條件值。

該函數可以估計數據庫中所有類的概率，根據每個對象正確分類的分數，對影響量的每個值，比較觀察分布和期望分布（如指數分布和正態分布等）。

2）分類列表由概率值大于第2個閾值的所有類組成。一般地，該閾值影響本文方法的敏感性和選擇性；較高的閾值增加了選擇性但使敏感性增大，反之亦然，因此，必須合理權衡。

3）類列表中的所有類的概率用于計算歸一化因子K，定義如下：

K=∑jPj；對所有Pj>TH（9）

屬于列表的每種類的置信度定義為概率Pj與K的比值：

CLj=Pj/K（10）

3實驗結果

3.1硬件設置

立體視覺系統框架由兩個AVT Pike F145B（索尼2/3″ 1388×1038 CCD逐行掃描傳感器）像機組成，像機垂直對齊且位于人臉前面，像機間角度為45°，如圖6所示。圖像采集系統也安裝有第三個像機（像機0，如圖6所示），該像機能采集正臉圖像，本文中僅使用像機1（Cam 1）和像機2（Cam 2）。

像機安裝有焦距為25mm的鏡頭且通過火線IEEE1394連接計算機和像機。采集系統允許獲取近似300×400mm的視野范圍，足夠獲取距離采集系統1000mm距離的人臉圖像。對250張人臉進行了實驗。校對時提出一個問題，即“對多少張人臉進行的實驗”？請明確。

3.2實驗結果與分析

為了評價本文方法性能，將本文方法與其他方法進行比較，us的觀察均值曲線如圖7所示，從圖7可以看出，隨著圖像不確定因素的增加，曲線逐漸下降，且對于比較高的不確定性，曲線接近于0，因此很難定義一個合理的區分閾值。接下來，論證獲取的閾值性能最佳。

當us=0，閾值等于觀察曲線最小值（閾值TH=0.25），獲取的數據集由117×45對圖像組成（9種不同強度的運動模糊，24級散焦，12勒克斯光照強度）。表2所示為不確定性分布和在整個數據庫上估計的us的相對頻率直方圖，該分布說明了本文方法很好地覆蓋了期望的幅度和頻率。

對于閾值TH，一種合理的實驗方法是權衡敏感性和選擇性，本文已經分析了實際接受率（True Acceptance Rate， TAR）和錯誤接受率（False Acceptance Rate， FAR）對TH的趨勢和受試者的特征曲線。

3個評估標準[15]說明如下。

正確分類分類列表包含CL等于1的正確類，或分類列表有更多的對象，這些對象存在最高分數值，即如果正確類存在最小分數且值低于閾值（0.25）。

誤檢對象位于訓練數據庫但是分類列表為空，沒有類的分數值低于閾值。

錯誤分類分類中存在許多類沒有正確分類，或如果正確類沒有最高CL值，錯誤類存在最小分數且值小于閾值（0.25）。

表3給出了3種方法的實驗比較結果，值得一提，這里只比較類似的人臉識別方法，即文獻[7]和文獻[8]方法，它們均是不確定性的相關方法。實驗結果表明本文方法可以使帶有較高CL值的正確類位于分類列表頂端，能恢復幾乎誤檢的類別，準確分類率超過97%，不確定性達到0.1；對于其他方法，甚至存在不確定性為0.01時，正確率低于80%此處是否應該為“低于”？請明確。，當存在高不確定性時，文獻[7]和文獻[8]的準確率低于25%。整個數據庫表明本文算法性能優越，

從表3很容易看到：本文方法識別率

此處是“識別率”，而后面比較的是“正確率”，不太一致，正確率是否應該為正確檢測率，也請明確。另外，這些正確率從表3中如何看出的？

回復：其實識別率是用1-漏檢率，跟正確檢測率不是一個關系，為了不引起歧義，我將其改為：

從表3很容易看到：本文方法的正確檢測率為93%，漏檢率為6%。文獻[7]方法正確檢測率和漏檢率分別為81%和15%。文獻[8]正確檢測率和漏檢率分別為84%和15%。因此，本文方法正確檢測率提高了10%左右，漏檢率提高了9%。

關于編輯的另外一個問題，這些數值怎么看出來的?？梢詮谋?的最后一列看出。正確檢測率是正確分類的數量與總數量的比例。漏檢率是棄權數量與總數量的比例。而本文方法的正確分類數量是本文方法欄中的第一行和第二行。再看最后一列就是86+7.

為94%，誤檢率6%；文獻[7]方法正確率和誤檢率分別為80%和20%；文獻[8]方法正確率和誤檢率分別為85%和15%，因此，本文方法正確檢測率提高了10%左右，誤檢率至少降低了9%。

從表3很容易看到：本文方法的正確檢測率為93%，漏檢率為6%。文獻[7]方法正確檢測率和漏檢率分別為81%和15%。文獻[8]正確檢測率和漏檢率分別為84%和15%。因此，本文方法正確檢測率提高了10%左右，漏檢率提高了9%。

4結語

本文提出了一種基于不確定性的3D人臉識別方法，其中，測量過程中的不確定性用于估計輸出結果的可信度，將分類系統的輸出與每個輸入對象的可信度相關聯。實驗結果表明，提出的方法在正確率、錯誤決策率和漏檢率此處的提法，與前面的表述不太一致？是否需要統一？請明確。另外，描述方法的優勢存在表達問題，即“正確率”應該是越大越好，而“錯誤決策率和漏檢率”應該越小越好吧？不應該越大吧？即不應該高于類似算法吧？請明確。方面明顯高于類似方法。

提出的方法正確檢測率明顯高于類似方法，且漏檢率更低。

從用戶角度看，不確定性的極限值可以作為提高識別決策準確性的改進方向，這也是未來研究的重點。

參考文獻：

[1]

RAJU A S， UDAYASHANKARA V. Biometric person authentication： a review [C]// Proceedings of the 2014 International Conference on Contemporary Computing and Informatics. Piscataway， NJ： IEEE， 2014： 575-580.

[2]

鄧劍勛，熊忠陽，曾代敏.基于EMD的融合特征快速多示例人臉識別算法[J].四川大學學報（工程科學版），2012，44（2）：99-104.（DENG J X， XIONG Z Y， ZENG D M. Face recognition based on improved fast EMDMIL framework and information fusion [J]. Journal of Sichuan University （Engineering Science Edition）， 2012， 44（2）： 99-104.）

[3]

張祥德，張大為，唐青松，等.仿生算法與主成分分析相融合的人臉識別方法[J].東北大學學報：自然科學版，2009，30（7）：972-975.（ZHANG X D， ZHANG D W， TANG Q S， et al. Face recognition algorithm integrating bionic algorithm with principal component analysis [J]. Journal of Northeastern University （Natural Science）， 2009， 30（7）： 972-975.）

[4]

曹潔，吳迪，李偉.基于鑒別能力分析和LDALPP算法的人臉識別[J].吉林大學學報（工學版），2012，42（6）：1527-1531.（CAO J， WU D， LI W. Face recognition based on discrimination power analysis and LDALPP algorithm[J]. Journal of Jilin University （Engineering and Technology Edition）， 2012， 42（6）： 1527-1531.）

[5]

柴智，劉正光.應用復小波和獨立成分分析的人臉識別[J].計算機應用，2010，30（7）：1863-1866.（CHAI Z， LIU Z G. Face recognition using complex wavelet and independent component analysis [J]. Journal of Computer Applications， 2010， 30（7）： 1863-1866.）

[6]

嚴慧，金忠，楊靜宇.非負二維主成分分析及在人臉識別中的應用[J].模式識別與人工智能，2009，22（6）：809-814.（YAN H， JIN Z， YANG J Y. Nonnegative twodimensional principal component analysis and its application to face recognition [J]. Pattern Recognition and Artificial Intelligence， 2009， 22（6）： 809-814.）

[7]

ZHANG D， WANG Q G， YU L， et al. Fuzzymodelbased fault detection for a class of nonlinear systems with networked measurements [J]. IEEE Transactions on Instrumentation & Measurement， 2013， 62（12）： 3148-3159.

[8]

BETTA G， CAPRIGLIONE D， CORVINO M， et al. Face based recognition algorithms： a first step toward a metrological characterization [J]. IEEE Transactions on Instrumentation & Measurement， 2013， 62（5）： 1008-1016.

[9]

孔英會，張少明.多級FFD配準視頻人臉超分辨率重建[J].光電工程，2012，39（10）：46-53.（KONG Y H， ZHANG S M. Video Face superresolution reconstruction based on multilevel FFD registration [J]. OptoElectronic Engineering， 2012， 39（10）： 46-53.）

[10]

WIJAYA I G P S， UCHIMURA K， KOUTAKI G. Multipose face recognition using fusion of scale invariant features [C]// Proceedings of the 2011 2nd International Congress on Computer Applications and Computational Science. Berlin： Springer， 2012： 207-213.

[11]

張淑軍，王高峰，石峰.基于AAM提取幾何特征的人臉識別算法[J].系統仿真學報，2013，25（10）：126-131.（ZHANG S J， WANG G F， SHI F. Face recognition algorithm based on geometric characteristics extracted by AAM [J]. Journal of System Simulation， 2013， 25（10）： 126-131.）

[12]

ZHOU Y H， ZHENG D W， LIAO X H. Wavelet analysis of interannual LOD， AAM， and ENSO： 1997—98 El Nio and 1998—99 La Nia signals [J]. Journal of Geodesy， 2001， 75（2/3）： 164-168.

[13]

李姍姍.基于PCA的實時人臉識別系統的設計與實現[D].北京：北京郵電大學，2012.（LI S S. Design and implementation of real time face recognition system based on PCA [D]. Beijing： Beijing University of Posts and Telecommunications， 2012.）

[14]

JESPER K. The Guide to expression of uncertainty in measurement approach for estimating uncertainty： an appraisal [J]. Clinical Chemistry， 2003， 49（11）： 1822-1829.

[15]

EMAMBAKHSH M， GAO J， EVANS A. Noise modelling for denoising and threedimensional face recognition algorithms performance evaluation [J]. IET Computer Vision， 2015， 9（5）： 741-749.