人臉檢測技術的研究進展

摘要:近年來由于人臉檢測技術在身份驗證、視頻監控等領域日益廣泛的應用，對于人臉檢測的研究越來越受到人們的重視。該文對各發展階段的方法進行介紹比較，指出其優劣性。

關鍵詞:人臉檢測;統計理論;不變特征;模板匹配

中圖分類號:TP18文獻標識碼:A文章編號:1009-3044(2009)25-7211-03

Research on Human Face Detection

WANG Chao， LI dong， LEI Zhen

(Department of Information Engineering， Armored Force Engineering Institute， Beijing 100072， China)

Abstract: Recent years face detection technology is widely used in areas such as personal identification and video surveillance， thus people more and more emphasis on the research of face detection. In this paper， advantages and disadvantages of these methods were both pointed out by comparing with each other.

Key words: face detection; Feature Invariant Approaches; Invariant feature ;Template Matching Methods

人臉檢測(face detection) [1]是指對于任意一幅給定的圖像，采用一定的策略對其進行搜索以確定其中是否含有人臉，如果是則返回人臉的位置、大小和姿態。

人臉是一個極為復雜的、多維的、典型的非剛體模型，它是一個復雜的具有挑戰性的模式檢測問題，其主要的技術難點體現在以下幾個方面:1)人臉具有相當復雜的細節變化，不同的外貌如臉形、膚色等，不同的表情如眼、嘴的開 與閉，年齡變化，發型變化，化妝的濃淡程度等。2)人臉的互遮擋，人臉可能被圖像中的一些其他裝飾物如墨鏡、圍巾或口罩等遮擋。3)成像條件的變化，光照條件的不同(光譜、光源分布、光密度)和攝像設備的焦距、成像距離的不同對最終的圖像會產生很大的影響。4) 由于成像角度的不同造成人臉的多姿態，如平面內旋轉、深度旋轉以及上下旋轉，人臉大小的不固定，在同一圖像內會出現大小不同的人臉圖像。

1 人臉檢測常用算法

人臉檢測常用的基本算法大致可以分為以下四種:基于統計理論的人臉檢測算法、基于知識的人臉檢測算法、基于不變特征的人臉檢測算法和基于模板匹配的人臉檢測算法。

本文按照此分類方法進行介紹并比較其優缺點。

1.1 基于統計理論的方法

基于統計的方法將人臉檢測問題轉化為模式識別的二分類問題，即利用統計分析與機器學習的方法來尋找出人臉樣本與非人臉樣本各自的統計特征，繼而構建分類器，使用分類器完成人臉檢測。主要包括:子空間方法、神經網絡方法、支持向量機方法、隱馬爾可夫模型方法以及Boosting方法。

1.1.1 神經網絡方法

使用人工神經網絡的方法進行人臉檢測的優點是可以簡便的構造出神經網絡系統作為分類器，使用人臉和非人臉樣本對該系統進行訓練。Rowley等人在1996年提出了針對正面垂直人臉檢測的神經網絡人臉檢測方法[2]，該方法將檢測分為兩個階段。第一個階段為基于神經網絡的分類器，該分類器的輸入是規定尺寸的檢測區域，輸出為1到-1的數，由此來判斷檢測區域是否為人臉。第二個階段是合并重復區域并且檢測判別。由于訓練樣本以及分類器等因素，圖像中的一定區域會產生重復檢測。此階段使用單層的神經網絡對重復檢測進行合并，并使用一個多層的神經網絡對檢測結果進行判決。隨后Rowley又提出了改進算法[3]，使得該系統可以檢測圖像中按任意角度旋轉的人臉。改進算法首先檢測輸入圖像的偏轉角度，輸出是一個角度值。接著按照這個角度值對輸入圖像進行反轉，把圖像調整為正面的垂直人臉圖像，然后利用針對正面垂直人臉檢測的神經網絡檢測方法進行檢測。在2004年Bakry等人提出了一種利用對稱形式來提高神經網絡人臉檢測速度的快速神經網絡檢測方法。該方法將檢測數據進行上下左右的對稱翻轉后構成一個新的檢測圖像。利用新圖像在頻率域內的互相關特性，可以在減少訓練樣本及隱層神經元數目的情況下，達到與傳統神經網絡相當的檢測結果。因此，達到了提高速度的目的。

1.1.2 支持向量機方法

支持向量機可被看作是多項式函數，神經網絡，徑向基函數等分類器的新發展，它最早是由Vapnki等提出的基于結構風險最小化原理的統計學習理論基礎上發展而來的。支持向量機分類器是一個基于超平面的分類器，它的分離超平面能減小未知的測試數據的期望誤差。通過訓練得到的最佳超平面最終由訓練向量中的一小部分子集加權組成，叫支持向量。最先將支持向量機應用于人臉檢測的是osuna等人。按照其文獻結論，他們采用這個方法的檢測效果和Sung[4]等人的方法相似，然而速度卻提高了30倍。

Heiselet等人采用兩級SVM的方法來檢測人臉。根據一些預定義的特征點，從訓練集中提取人臉和非人臉圖像最有區別的多個局部區域。檢測時，根據多個簡單的線性SVM分別檢測各個人臉特征區域。并用一個簡單的線性SVM檢測各個可能的人臉部分的幾何組合是否符合人臉結構。相比于將整個人臉作為特征，該方法獲得了更高的檢測率。

1.1.3 隱馬爾可夫模型方法

隱馬爾可夫模型(HiddenMarkovModel，HMM)前提假設是模型可被定義為一個參數化的進程。該進程的參數可通過精確的方法估計出來。首先決定隱態并形成一個HMM模型，然后通過學習來自樣本集的各個狀態間的轉移概率來訓練HMM，每個樣例由一系列觀測值表征。HMM訓練之后，觀測值的輸出概率就決定了它屬于哪一類。Nefian等將人臉從上到下劃分為五個互有重疊的區域(頭發、額頭、眼、鼻、嘴)。根據這個劃分構造了一個包含五個狀態的一維連續HMM用以表示人臉。接著對各塊進行KL變換，取每塊若干最大的特征向量作為觀測值對HMM進行訓練。此后，Nefian等還提出基于嵌入式HMM的人臉檢測方法。該方法同時考慮到人臉由左到右各個特征的自然順序，使用二維HMM，并采用二維DCT變換的系數作為觀察向量。

1.1.4 Boosting方法

Boosting是一種分類器融合算法，AdaBoost學習算法原本是用來提高某種簡單分類算法的性能，例如，可以用來提高簡單的感知器的性能，它通過對一些弱分類器的組合來形成一個強的分類器。在AdaBoost算法中，簡單的分類算法被稱為弱學習算法，AdaBoost算法通過一個迭代的訓練過程來得到一個強的分類器。在第一次訓練出一個弱分類器后，訓練樣本的權重得到調整，從而使沒有被第一次訓練出的弱分類器正確分類的樣本的權重增加，如此迭代下去，最終得到的分類器是對每次訓練得到的弱分類器的一個線性組合。viola和Jones[5]提出了一種基于AdaBoost和快速特征提取的正面實時人臉檢測算法，他們的算法在個人計算機上達到了15幀/秒的速度，在Mrr和CMU的測試集上有很好的表現。在上面各種方法中，基于知識的方法可以直觀的尋找到簡單的判定準則，適合簡單背景下的正面單人臉檢測。因為針對人臉面部器官制定一系列精確恰當的判定準則非常困難，而且該方法在復雜背景下的檢測效果不很理想，所以在實際系統中應用并不廣泛。其中基于模板方法的優點在于構造簡單，但是面對人臉的多樣性，很難設計出精確匹配的標準模板，此外對應于人臉配準上的變形模板，模板初始位置必須要在待檢人臉四周一定的范圍內，否則不能收斂。

基于統計模型的方法優點如下:1) 不依賴于人臉的先驗知識和參數模型，可以避免不精確或不完整的知識造成的錯誤;2) 采用了事例學習的方法獲取模型的參數，統計意義上更為可靠;3)通過增加學習的事例可以擴充檢測模式的范圍，提高檢測系統的魯棒性。因此，基于統計模型的方法適用于復雜背景圖像中的人臉檢測。但是該方法需要大量時間進行訓練，計算量大，因此檢測速度比較慢?；谀w色模型的人臉檢測方法應用廣泛，并且具有易于實現，易于應用，對人臉姿態不敏感，在背景單調的環境下檢測率高的優點。此外，對于色度空間的選擇非常重要，很大程度上影響整個算法的效果。

1.2 基于知識的方法

基于知識的方法是一種基于規則的人臉檢測方法，規則來源于研究者關于人臉的先驗知識。一般比較容易提出簡單的規則來描述人臉特征和它們的相互關系。如在一幅圖像中出現的人臉，通常具有互相對稱的兩只眼睛、一個鼻子和一張嘴。特征之間的相互關系可以通過它們的相對距離和位置來描述。在輸入圖像中首先提取面部特征，確定基于編碼規則的人臉候選區域。

這種方法存在的問題是很難將人類知識轉換為明確定義的規則。如果規則是詳細的(嚴格的)，由于不能通過所有的規則檢測可能失敗;如果規則太概括(通用)，可能會有較高的錯誤接收率。此外，很難將這種方法擴展到在不同的位姿下檢測人臉，因為列舉所有的情況是一項很困難的工作。

MIT的Sung[4] 等提出的基于樣本學習的方法。他們采用k-均值聚類方法在特征空 間中建立6個“人臉”類和包圍“人臉”類的6個“非人臉”類，以使“人臉”與 “非人臉”模式的邊界更為清晰。然后設置兩組距離矩陣來度量待測數據與這十二個樣本類的距離，最后訓練一個多層感知器作為分類器來進行人臉檢測?；诮y計學習的人臉檢測方法主要依賴統計分析和機器學習來尋找人臉圖像和非人臉圖像的相關特征，對得到的特征進行學習，從而形成用于人臉檢測的分布模型或者判別函數。許多方法都可理解為一個概率模型。

Yang和Huang使用分層的基于知識的人臉檢測方法，他們的系統由三級規則組成。在最高級，通過掃描輸入圖像的窗口和應用每個位置的規則集找到所有可能的人臉候選區。較高級的規則通常描述人臉看起來像什么，而較低級的規則依賴于面部特征的細節。在人臉的上層周圍部分具有相同的灰度。人臉的中心部分和上層周圍的灰度不同。將最低分辨率的圖像用于搜索人臉的候選區并在后面較精細的分辨率下作進一步處理。在精度稍高的圖像中完成人臉候選區的局部直方圖均衡化，并進行邊緣檢測。繼續存在的候選區在精度最高的圖像中用其他的人臉特征，如眼睛、嘴等對應的規則進行檢查。這種方法的特點是用從粗到細的策略來減少所需要的計算，雖然它沒有很高的檢測率，但采用多分辨率分層的思想和指導搜索的規則已經用到后面的人臉檢測工作中。

1.3 基于不變特征的人臉檢測算法

1.3.1 基于膚色特征的方法

膚色是人臉的重要信息，不依賴于面部的細節特征，對于旋轉。表情等變化情況都能適用，具有相對的穩定性并且和大多數背景物體的顏色相區別。因此膚色特征在人臉檢測中是最常用的一種特征。

膚色特征主要由膚色模型描述。常用的膚色模型有高斯模型、混合高斯模型和直方圖模型。Jones[6]等研究了RGB空間中“膚色”與“非膚色”象素的分布，根據標定出膚色區域的近二萬幅圖片(包含約二十億個象素)建立了三維直方圖，在此基礎上比較了直方圖模型和混合高斯模型，發現前者的性能略好于后者。

Yoo等用膚色像素的連通性分割出區域，使用橢圓擬合各個區域，根據橢圓長短軸的比率判斷其是否為人臉。對于較為復雜的情況，則需要考慮兩方面的問題:1)由于光照和臉部器官的影響，人臉可能被割裂為若干互不連通的膚色區域:2)人臉區域可能與其它類膚色區域連接在一起。聚類一歸并一驗證策略是較常用的解決方法:首先將膚色象素按照較為嚴格的顏色一致性和幾何約束條件聚類為區域，然后按照一定規則進行歸并，歸并后或歸并過程中利用其它特征進行驗證。Yang[7]等跟據色度的一致性和空間距離將膚色像素聚類成區域，然后逐步歸并直到得到符合一定先驗知識的橢圓區域為止，最后檢查區域中由眼睛、嘴巴等特征形成的暗區或空洞，以確定是否為人臉。

1.3.2 基于人臉局部特征的方法

這類方法首先用各種數字圖像的處理辦法對輸入圖像進行處理，根據處理結果提取出來的某些特征與人臉的某些共性特征進行比較，借此來判斷某一區域是否為人臉。舉例來說，我們可以用數字圖像處理中常用的提取邊緣的方法在輸入圖像中尋找邊界，然后利用顏色分布曲線求出正面人臉的左邊線、右邊線和發髻線那樣構成人臉輪廓，還可以利用從圖像中提取出來的色彩和紋理信息與人臉的色彩和紋理模型進行比較，得出可能的人臉區域。當然各種人臉局部特征的綜合運用對于提高檢測算法的性能會有很大幫助。這種基于特征的算法的主要問題是人臉的這些特征很有可能被明暗度，噪聲，和遮擋所破壞。對于人臉來說，特征的邊界可能被弱化，因為陰影能導致許多明顯的邊界，從而使得基于感知的分類算法毫無作用。

1.4 基于模板匹配的人臉檢測算法

基于模板匹配的人臉檢測算法，該方法可以分為兩種方法:固定模板和變形模板。固定模板的方法是首先設計得到一個或幾個參考模板，然后計算測試樣本與參考模板之間的某種度量(比如距離)，通過確定是否大于某一閉值來判斷測試樣本是否人臉。這種方法比較簡單，在早期的系統中采用得比較多。但由于人臉特征的變化很大，很難得到有效的模板來表示人臉的共性，這種方法目前已不多見，有的系統將其作為粗檢測或預處理的手段。變形模板方法在原理上與固定模板相同，但其中包含一些非固定的元素。一種方法是手工構造參數化的曲線和曲面以表征人臉中的某些非固定特征，如眼睛、鼻子和嘴唇等。另一種方法是系統自動產生自適應的曲線和曲面，以構成變形人臉模板。檢測方法是:將模板與測試圖像進行彈性匹配，并加入“懲罰”機制，利用某種能量函數表示匹配程度。自從基于模板的人臉檢測方法提出。

2 人臉檢測算法性能評價

由于人臉檢測問題本身的復雜性，不同的人臉檢測算法又有其不同的針對性，不同的方法不可能進行準確的優劣之分，只能對其總體性能進行評價。人臉檢測的評價標準主要有:檢測率，漏檢率，誤檢率，檢測速度，魯棒性等幾個衡量指標。各個參數的具體含義如下:1) 檢測率:被正確檢測到的人臉數與原圖像內包含的人臉數的比值;2) 漏檢率:圖像中沒有被檢測到的人臉數與圖像中包含的人臉總數的比值。根據定義，若檢測率為d，則誤檢率為1-d;3) 誤檢率:又稱為虛警率或誤報率。被檢測為人臉的非人臉窗口數目同圖像中被檢測的所有子窗口數目的比值;4) 檢測速度:單位時間內處理的圖片數量或者處理一張圖片所需要的時間。5) 魯棒性:在各種條件下，檢測系統的適應能力。即系統對檢測環境的限制條件越少魯棒性越好。對于不同方法的性能評價要在同一個測試集下進行，目前比較公認的是CMU測試集。表1[8]對近年來一些主要算法的相關參數進行比較。

3 結論和展望

綜上所述，高魯棒性、高檢測率、低漏檢率和低誤檢率的快速人臉檢測系統是人臉檢測領域追求的目標。但實際上這些參數往往難以同時達到最優。速度的提高常常是以犧牲其他幾個參數為代價的，而其他幾個參數的改善又往往會增加系統的復雜性，從而降低了檢測速度。另外，檢測率的提高往往會導致誤檢率的增加，而誤檢率的減少又會致使檢測率隨之降低。因為要保證人臉不被漏檢，勢必要降低檢測系統的限制條件，就會使很多的非人臉窗口因為和人臉具有一定的相似性，而被誤檢為人臉，反之，如果檢測系統對于被測窗口的限制過于苛刻，誤檢率的確會降低，同時大量人臉窗口也會被漏檢。所以無論哪種檢測算法都力求在這些參數間取得折衷的效果。在一定程度上說，由于檢測方法應用背景的不同，有時很難比較各個檢測算法的優劣。

參考文獻:

[1] Yang M H， Kriegman D， Ahuja N. Detecting faces in images: A survey[J].IEEE Trans Pattern Analysis and Machine Intelligence，2002，24(1):34-58.

[2] Rowley H A. Neural Network-Based Face Detection[D].PhD thesis， Carnegie Mellon University，1999.

[3] Rowley H， Baluja S， Kanade T. Rotation Invariant Neural Network-Based Face Detection[C].Proc. IEEE Conf. Computer Vision and Pattern Recognition，1998:38-44.

[4] Sung K.Poggio T. Example-based learning for view based human face detection[J].IEEE Trans Pattern Analysis and Machine Intelligence，1998，20(1):39-51.

[5] Viola P， Jones M. Robust real time object detection Technical Report[R].CRL 2001/01， CompaqCambridge Research Laboratory，2001.

[6] Jones M J. Rehg J M. Statistical color models with application to skin detection[R].Technical report， Cambridge Res. Lab.， Compaq Computer Corp.，1998.

[7] Yang M H， Roth D， Ahuja N. A SNoW-Based Face Detector[C]. Advances in Neural Information Processing Systems 12， 2000:855-861.

[8] 李月敏.快速人臉檢測技術綜述[C].第16屆計算機科學與技術應用學術會議征文，2004.