人臉及特征點檢測方法綜述

胡 健，左艷超

（北方工業大學，北京 100144）

人臉及特征點檢測方法綜述

胡 健，左艷超

（北方工業大學，北京 100144）

人臉及特征點檢測計算機視覺領域有著非同尋常的地位，同時還在人工智能交互、視頻會議、鑒別身份、汽車安全行駛等方面有著非常廣闊的研究價值。由于在計算機視覺下，動態圖像中存在人臉的大小不確定、面部表情變化多樣、背景復雜、光照多變等影響因素，人臉特征點檢測的準確性變得至關重要。文章介紹了幾種人臉及特征點常用方法。

人臉檢測；特征點檢測；計算機視覺

1 人臉檢測

通過一個人的人臉可以獲取該人的種族、性別、年齡等豐富信息，在人與人之間的視覺交流方面有著不可忽視的作用。除此之外，由于計算機技術日新月異，計算機安全技術在安檢、門禁、公安、保險、軍事等各個領域都發揮著不可替代的作用，人臉及特征點檢測也日趨成為最熱門的生物特征身份識別技術之一[1]。但是，對于如何處理不同人的面部差異達到識別檢測目的，仍然是可視化分析和目標識別中最具有挑戰性的關鍵課題之一[2]。

1.1 人臉檢測現狀

人臉檢測最早是由人臉識別衍變而來，早在20世紀六七十年代，人臉識別技術就已誕生，但是由于當時計算機技術的滯后，并未取得應有的成果，這種狀況一直持續到20世紀90年代后期，超大規模集成電路的誕生，極大地提升了計算機的運算速度，人臉檢測研究也取得了較多可喜的成果。

Yang和Huang[3]提出了一種人臉檢測方法，該方法基于知識分級檢測，也就是通常所說的馬賽克圖像法（Mosaic Image）。此外，Sung和Poggio等[4]提出了基于人臉訓練集的檢測思想，將人臉檢測問題歸為從已訓練好的樣本中識別出人臉區域的研究思想。在此基礎上，Powley等[5]創造性地提出了一種使用多個神經網絡檢測圖像中具有不同偏移角度的人臉檢測改進方法，該方法可以直接作用在原圖像，與Sung中將待檢測圖像與人臉訓練集對比匹配有著明顯的區別，能夠直接判斷待檢測窗口中是否包含人臉，更簡單便捷。

2001年，Viola.P基于Adaboost的人臉檢測算法[6]是人臉檢測方向的轉折點，該算法不僅提高了檢測的準確率，并且使人臉檢測開始正式走進實際的應用領域中，是人臉檢測研究的一次跳躍性發展。人臉檢測所具有的潛在應用前景和經濟價值激發了一代又一代研究人員的探索探索興趣。

1.2 人臉特征點定位研究現狀

人臉特征點檢測是指在待測圖像中檢測出人臉位置信息，然后進一步檢測出能夠反映人臉主要特征的信息來進行人臉驗證、表情識別等，是目前計算機視覺領域的研究熱點之一。在人臉特征點的研究方面，國外的研究起步比國內早很多，到目前為止，劍橋大學、曼徹斯特大學等[7-8]國外知名大學在人臉特征點檢測方面取得了一定的成果。國內對于人臉特征點的檢測可以追溯到19世紀80年代，經過研究人員的努力，在人臉特征檢測方面也取得了顯著的成果[9-10]。伴隨著國內外研究人員不斷地研究深入，人臉特征點定位技術也是日臻完善。

2 人臉檢測方面幾種主流方法

2.1 基于馬賽克圖像法的人臉檢測

Yang等[11]提出的一種方法是利用馬賽克子塊不同區域的作用關系檢測人臉。對4×4和8×8個馬賽克區域塊，利用特定規則進行驗證，然后用邊緣特征來進一步檢驗。這種方法對人臉的檢測結果并不是特別準確，盧春雨等[12]針對該方法的一些不足進行了改進，將人臉區域根據特征分布分為3×3個馬賽克區域塊。如圖1（a）和圖1（b）為人臉馬賽克三分圖模型。子塊0與子塊2分別對應于左眼區域（含眼眉）和右眼區域（含眼眉），子塊4與子塊7分別對應于鼻子與嘴巴區域，子塊（3，6，5，8）對應于兩側區域。我們假定子塊（0，3，6）與子塊（2，5，8）寬度大致一樣，所有的塊高度大致相同。在塊形狀自適應后，之前的分割會出現些變化，但保持同一行和同一列的高度和寬度相同。這種方法對于一些圓圓的臉型具有一定的適用性。

2.2 基于人臉訓練集的人臉檢測

該方法的核心思想是收集大量的人臉圖片利用神經網絡等方法[13]訓練一個分類器來檢測人臉。該方法不需要對目標圖像進行復雜處理，只需要將待測圖像與訓練集中的人臉圖像進行匹配對比，從而對待測圖像的人臉部分進行檢測。訓練的樣本數越多，檢測的精度越大，但是相應的會對運算速度產生一定影響。

2.3 基于Haar小波的Adaboost算法的人臉檢測

Freund和Schapire[14-16]提出的基于Adaboost算法和層級分類器的人臉檢測算法可以使誤差函數的上界盡可能變小，它是一種迭代算法，核心思想是針對同一個訓練集訓練多個弱分類器，然后把這些弱分類器整合起來構造一個強分類器。在人臉檢測過程中，先使用最簡單的分類器，如果待檢測圖像在某一組分類器中就被認定為非人臉圖像，那么后面的分類器就無需對該圖像再進行檢測，將可能存在人臉的待測圖像送到下一級分類器進行檢測，以此類推，盡可能早的排除非人臉子窗口，提升了檢測精準度，降低運算的復雜度。圖2為級聯分類器的結構。

圖2 級聯分類器的結構

該算法目前已經成功應用到了圖像識別和目標檢測上面，作為現階段最流行且實用的方法，下面簡單介紹其思路。

設輸入樣本數據為I=[(x1,y1)，(x2,y2)，…，(xn,yn)]，這里xi是特征向量，即訓練樣本；yi∈{-1，1}是樣本的類別。該方法的要點在于通過增加錯分樣本的權重，使得弱分類器加強對錯分樣本的分類能力。設Dk(i)是訓練樣本I在第k輪訓練時的權重，k=0初識時的權重都是1/N，其中N為樣本數。那么訓練誤差εk可 表示如下：

整個訓練過程如下：

（1）給定輸入樣本：I=[(x1,y1)，(x2,y2)，…，(xn,yn)]；yi∈{-1，1}

設Dk(i)=1/N，N是樣本數

（2）對每個k=1，···k其中k為訓練次數

①用Dk訓練分類器hk

②計算分類器hk對訓練樣本的誤差，εk=PrD[hk(xi≠yi)]

④更新Dk+1(i)=Dk(i)exp(-αkyihk(xi))

（3）最終分類器為H(x)=sign(∑kk=1αkhk(x))

研究學者已證明分類器對訓練樣本誤差的上界為

從上可知，如果弱分類器的錯誤率小于1/2，那么分類器的訓練錯誤將隨訓練次數呈指數形式下降，可以確保錯誤在有限次數的迭代后下降到給定值，訓練誤差將會越來越低。

3 人臉特征點的幾種主流方法

3.1 基于先驗規則的方法

基于先驗規則的方法對人臉的面部特征進行了一般性歸納。人臉的面部特征各不相同，但是其大體位置存在一定的規律，經過研究人員對人臉特征點的分布規律進行的實驗分析，得出人臉上一些明顯的基本特征，如人的眼睛、鼻子、嘴巴等部位亮度一般比周圍區域要低[17]，雙眼與雙耳的位置相對面部中線對稱，而嘴巴、鼻子則位于面部中線上，也就是人們常說的“三庭五眼”規律，為人臉檢測和識別提供了很大幫助。如圖3所示，三庭指臉的長度比例，把臉的長度分為3個等分，分別為：上庭：發際線至眉線，中庭：眉線至鼻底線，下庭：鼻底線至頦底線。五眼則是指臉的寬度比例，以眼睛的長度為單位，把臉的橫向以左外耳孔至左眼外角距離、左眼長度、左右眼內角的距離、右眼長度、右眼外角至右外耳孔距離五等分。臉寬則是瞳孔水平線上臉的寬度，也就是五眼的寬度。學者利用人眼虹膜的似圓形結構、上下眼瞼對稱結構檢測人眼等。

該方法簡單易懂，便于理解，無需對人臉進行復雜操作就可檢測，但是過于依賴預先設定的人臉特征分布規則，對于一些面部信息復雜的人臉檢測存在局限性，只能實現對人臉特征的粗略檢測，并不適合對人臉特征更精細的檢測。

圖3 三庭五眼示意

3.2 基于幾何形狀的方法

該方法以一條帶有幾個控制點的閉合曲線和一個匹配驗證的能量函數作為評判準則，經過多次迭代使能量函數最小化時就可以定位到人臉特征點[18-20]。該方法根據人臉特征構造帶有幾何參數模型，模型的不同參數對應著人臉的相應特征點，這些參數信息會與圖像的灰度分布特征進行相互交叉驗證。該方法在檢測過程中容易受面部表情變化、光照明暗等因素影響，魯棒性低，運算量較大。

3.3 基于灰度信息的方法

該方法是利用的人臉的面部膚色與背景有著明顯區別，在水平與垂直方向進行灰度投影，先統計出各個方向上的灰度值的和，依據和的不同找出特定的變化點，進而借助投影灰度值基于統計的思想將不同方向上的變化點位置結合判斷，確定人臉特征點的位置[21]。這種方法計算量較低，但是不適用于變化速度過快等復雜情況。另外還有一種谷分析法[22]，圖像灰度曲線較深的波谷之間一般對應人的面部區域，可以根據水平積分投影來確定人臉的邊界值，通過水平和垂直方向灰度亮度對比的方法，就可以確定人臉的主要特征如眼睛、鼻子、嘴巴等位置。這種方法精準度會被外部光照條件影響，但是該方法的計算量較低，所以在特征點定位方面還是很常用的。

4 人臉及特征點檢測過程中的難點

歷經一代代研究人員的不懈鉆研后，人臉及特征點的檢測方法不斷完善，一步步走向成熟，但仍然存在一些難以解決的問題。

4.1 外界因素干擾

到目前為止，大部分的人臉及特征點檢測都或多或少存在外部因素干擾情況，背景較暗或者光照太強都會引起實驗結果的誤差。只是通過圖像去噪增強等一系列圖像處理并不能完全消除該因素造成的影響，改善這部分難點可以有效地提高實驗數據的準確性。

4.2 實時性

在實際的應用中，特別是檢測跟蹤方面，人們對人臉及特征點的實時性檢測提出較高的要求，對此，在設計算法方面，提高算法的檢測速度相應地就要減少待測目標的數量和復雜度，但是勢必會降低檢測目標的準確性，想要檢測速度和檢測準確性同時兼顧，是個非常難以解決的問題。

4.3 快速圖像處理

圖像處理是個非常重要的過程，但是想要達到實時性，對于動態圖像處理速度方面則需要很高的要求。在處理過程中，動態捕獲的圖像會受到多方面影響，比如不同的人臉大小，表情變化，姿態角度改變等等都會對采集到的目標圖像造成非常大的影響，另外，人臉上的眼睛、帽子等飾品也會一定程度上影響實驗結果的準確性。

5 結語

本文對人臉及特征點的發展現狀以及一些常見的檢測方法進行了綜述研究，分析了常見檢測方法的發展現狀以及核心思想，希望能夠對研究人員接下來繼續探索人臉及特征點檢測提供一些微弱的幫助。

[1]李文輝，崔曉青.基于AdaBoost算法的人臉檢測系統的研究與實現[D].吉林：吉林大學，2006.

[2]李月敏，陳杰，高義，等.快速人臉檢測技術綜述[C].全國16屆計算機科學與技術應用學術會議論文集，2004：771-774.

[3]HUANG T S，YANG D.Human face detection[J].Pattern Recognition，1994（1）：53-63.

[4]SUNG K K, POGGIO T. Example-based learning for view-based human face detection[J]. IEEE Transactions on Pattern Analysis and Machine Intelligence, 1998（1）：39-51.

[5]ROWLEY H, KANADE T, BALUJA S. Rotation invariant neural network-based face detection[C]. California：In Proceedings of the IEEE Computer Society Conference on Computer Vision and Pattern Recognition, 1998：963-969.

[6]VIOLA P. Rapidobjectdetection using a boosted cascade of simple features[C].IEEE Conference on Computer Vision and Pattern Recognition, 2001：511-518.

[7]SAMAL A, IYENGAR A, WING-HONG L. Automatic recognition and analysis of human expression[J]. Pattern Recognition, 1992（1）：65-77.

[8]WISKOTT L. Face recognition by elastic bunch graph matching[J]. IEEE Transactions on Pattern Analysis and Machine Intelligence, 1997（7）：775-779.

[9]趙武峰.人臉識別中特征提取方法的研究[D].杭州：浙江大學，2009．[10]馮歌.基于局部保留投影的人臉特征提取研究[D].哈爾濱：哈爾濱工業大學，2008．

[11]YANG G Z, HUANG T S. Human face detection in a complex background[J].Pattern Recegnition, 1994（1）：53-63.

[12]盧春雨，張長水，聞方，等.基于區域特征的快速人臉檢測法[J].清華大學學報（自然科學版），1999（1）：101-105.

[13]ROWLEY H, KANADE T, BALUJA S. Rotation invariant neural network-based face detection[C]. California: In Proceedings of the IEEE Computer Society Conference on Computer Vision and Pattern Recognition, 1998：963-969.

[14]SCHAPIRE R E.The strength of weak learnability[J].Machine Learning，1990（2）：197-227.

[15]FREUND Y, SCHAPIRE R E. A decision-theoretic generalization of on-line learning and application to Boosting[J].Computer and System Sciences, 1998（1）：118-140.

[16]FREUND Y, SCHAPIRE R E.Experiments with a new Boosting algorithm[C].San Francisco：Proceeding of the 13th conference on machine learning, 1996：148-156.

[17]吳證.人臉特征點定位研究及應用研究[D].上海：交通大學，2009.

[18]KASS M. Active Contour Models[J].Internation Journal of Computer Vision, 1988（1）：331-331.

[19]韓玉峰，施銅興，王小林．臉部特征點定位方法綜述[J].計算機工程與應用，2012（1）：180-184.

[20]COOTES T F, HILL A，TAYLOR C J, et al. Use of active shape models for locating structures in medical images[J].Image and Vision Computer, 1994（6）：355-366.

[21]BRUNELLI R, POGGIO T. Face recognition: Features versus templates[J].IEEE Transactions on Pattern Analysis and Machine Intelligence, 1993（10）：1042-1052.

[22]FENG G C, YUEN P C. Variance projection function and its application to eye detection for human face recognition[J].Pattern Recognition Letters, 1998（9）：899-906.

Overview on the test method of face and feature points extraction

Hu Jian, Zuo Yanchao
（North China University of Technology, Beijing 100144, China）

Face and feature points detection has an unusual position in the field of computer vision .And at the same time, it also have a very broad research value at artificial intelligence interaction, video conference, identification, vehicle safety driving and so on. In computer vision, influence of dynamic image such as the size of face, facial expression varied, complex background, changeable light is directly related to the accuracy of the facial feature points detection.This paper introduces several methods of face and feature points.

face detection; feature points detection; computer vision

胡健（1967— ），男，安徽歙縣，碩士，副教授，教師；研究方向：人工智能，計算機網絡技術，分布式數據庫。