基于膚色信息和模板匹配的人臉檢測與提取

邵 虹，耿 昊

(沈陽工業大學 信息科學與工程學院，遼寧 沈陽 110870)

基于膚色信息和模板匹配的人臉檢測與提取

邵 虹，耿 昊

(沈陽工業大學 信息科學與工程學院，遼寧 沈陽 110870)

隨著人機交互的日益發展，人臉識別中的重要環節人臉檢測得到了越來越多的重視。人臉檢測的關鍵在于準確率和效率。針對膚色信息進行人臉檢測速度快、易于實現，但準確率不高的特點，將膚色信息與模板匹配的方法結合起來進行人臉檢測。利用在YCbCr色彩空間中的膚色高斯模型，進行膚色區域的分割，經過膨脹腐蝕、長寬比與歐拉數等規則的處理，完成人臉區域的粗檢測。然后通過模板匹配的方法進行人臉的細檢測，將檢測出的人臉區域圈起來并進行提取，形成一系列的人臉圖像。實驗結果表明，兩種方法結合后檢測準確率有所提高，速度較快。

色彩空間；膚色高斯模型；膚色信息；模板匹配；人臉檢測

0 引 言

在人臉識別的研究中首先衍生出人臉檢測問題，從而使人臉檢測成為人臉識別系統中的一個關鍵步驟。人臉檢測指的是利用一些方法對給定的圖像進行搜索，從而確定圖像中是否存在人臉，如果是，則定位與標記人臉的位置[1]。隨著互聯網與智能應用的快速發展，諸多的安全問題隨之而來，各種場合的身份驗證已成為必然，人臉識別是一種有效的人物身份驗證的方法，現實的環境要求人臉識別系統可以實現對大多數圖像識別的功能，這使得人臉檢測逐漸受到學者們的重視，從而延伸為一個獨立的研究方向?，F在，人臉檢測的應用領域已經逐漸超出人臉識別的范疇，人臉檢測技術最熱門的應用領域有三個：身份認證與安全防護、媒體與娛樂、圖像搜索。

膚色是人臉最為顯著的特征之一，利用膚色信息可以分離開人臉區域和大部分其他區域，從而實現檢測人臉的目標[2-3]。利用膚色進行人臉檢測具有實現簡單、速度快的特點，但準確率較低[4]。模板匹配的方法是建立一個能夠反映人臉普遍特征的人臉模板，然后通過計算待檢測圖像中某一區域與人臉模板的相似度來判斷這一區域是否為人臉。具體的算法流程如圖1所示。

圖1 算法流程

1 基于膚色信息的人臉粗定位

目前，可以將基于膚色信息的方法應用到人臉檢測的三個環節中：

(1)單純地利用膚色信息來檢測人臉。通過區域分割的方式找到圖像中的膚色區域，然后經過處理將膚色區域作為人臉。這種應用方式易于實現、速度快，但準確率較低。

(2)利用膚色信息衡量前期人臉檢測方法的效果。將膚色信息作為檢測效果的驗證，可以有效提高人臉檢測算法的準確率[5]。

(3)將膚色檢測作為人臉檢測的粗略檢測。雖然不能認為膚色區域一定是人臉區域，但相比于其他人臉檢測方法，判斷是否為膚色區域的過程具有速度快的特點，可以縮小搜索范圍，提高檢測效率。文中將膚色應用到此步驟中，進行人臉的粗定位，方便之后的精確定位與檢測。

1.1 色彩空間的選取

不同膚色的人臉區域，其亮度差別較大，而色度差別較小。RGB色彩空間在圖像處理的研究中常被使用，但是RGB色彩空間受光線強度的影響較大，而膚色在YCbCr色彩空間中的聚類性較好，人臉膚色和非膚色的分布范圍在YCbCr中交叉重疊的區域較小，而且膚色部分在YCbCr中能夠用一種較好的模型來表達[6-7]。YCbCr是由YUV派生而來，Y表示色彩的亮度，Cb、Cr表示色彩的色度。YCbCr色彩空間可以由RGB色彩空間進行轉換得到，公式如下：

(1)

1.2 建立膚色高斯模型

膚色模型，是利用數學的方法來反映所給圖像中的屬于膚色的像素點。在膚色高斯模型中表示膚色信息，是利用膚色高斯模型計算出所有像素點是否為膚色的概率值，膚色似然圖就是由這些概率值得到的。文獻[5]通過手工裁剪人臉膚色樣本，將給定圖像的像素通過式(1)在YCbCr色彩空間中表示出來，從而得到對應的每個像素在該色彩空間下的色度值，即(Cb，Cr)值。統計色度值為(Cb，Cr)的像素點的數目，由膚色樣本點的分布情況得到其在YCbCr色彩空間中的分布圖，如圖2(a)所示。

由分布圖可見，膚色樣本點的統計分布近似于高斯正態分布，那么可以得到膚色高斯模型N(m,C)。其中，m是均值，C是協方差，利用所選擇的樣本計算得到，公式如下：

m=E{x}

x=(Cb,Cr)T

C=E{(x-m)(x-m)T}

(2)

膚色高斯模型如圖2(b)所示。

1.3 膚色區域的分割

利用上述所得的膚色高斯模型，可以計算得出所給圖像中所有的像素點與膚色相似的程度，即膚色似然度，進而可得出膚色似然圖[8]。再對膚色似然圖進行二值化處理，便可達到將膚色區域分割出來的目的。具體方法如下：

(1)通過上述方法計算待檢測圖像的Cb、Cr值，通過式(3)計算膚色似然度。

P(Cb,Cr)=exp{-0.5(x-m)C-1(x-m)T}

(3)

其中，x=(Cb,Cr)T。

同時可得到待檢測圖像的最大膚色似然度，兩者的比值即為膚色概率值，由此得到膚色似然圖，如圖3所示。

圖2 膚色分布圖和高斯模型

圖3 膚色似然圖

(2)使用動態獲取閾值的方法將膚色似然圖二值化，從而將圖像中的膚色區域分割出來。將圖像中所有像素點分為目標對象和背景兩類。利用一定的經驗值，事先定義一個閾值范圍，當閾值發生變化時，以0.1的幅度進行賦值運算，在變化的過程中選擇一個最適合分類的閾值[9]。當獲取到最佳閾值后，就可以對膚色似然圖進行二值化完成膚色區域的分割，效果如圖4所示。

圖4 膚色分割圖

1.4 候選區域的篩選

由上面的膚色分割圖可以看出，膚色區域已經大部分提取出來，同時還存在一些細小條紋類的噪聲，這時就需要進行形態學的噪聲處理[10]。腐蝕膨脹是最常用且有效的去除噪聲的方法。腐蝕能夠使物體沿其周邊縮小一個像素大小的面積，從而達到消除所有邊界點的目的。膨脹能使物體的面積增大，從而將物體周邊的所有點填充到該物體中。針對膚色分割圖中的噪聲，使用形態學的開運算進行噪聲去除[11]。對一個圖像進行先腐蝕后膨脹的操作過程稱為開運算，它對于細小的邊緣輪廓、連接與突出部分的噪聲去除具有較好效果。噪聲處理效果如圖5所示。

圖5 噪聲處理后的效果圖

經噪聲處理后，圖像中可能還存在一些非膚色區域，所以要進行最后的區域篩選。根據對人臉的先驗知識以及特征分析圖像，確定膚色區域。人臉可以使用如下特征進行篩選。

(1)歐拉檢測。

由于人臉存在像眼睛和嘴巴這樣的非膚色區域，使得人臉圖像經上述處理后會產生多個孔洞，排除那些沒有孔洞的區域，可以獲得更準確的人臉區域。通過計算區域中的孔洞數來判斷是否為人臉區域，孔洞數可以通過歐拉數計算得到[12]。歐拉數等于連通成分數減去孔洞數，即E=C-H。

利用歐拉數的方法進行篩選存在一些局限性。例如，一些待檢測圖像中人的眼睛較小或沒有睜開，會導致經膚色分割后人臉區域不存在孔洞，在歐拉檢測時會把這個區域給排除掉，影響了最后的檢測率。圖6顯示了歐拉檢測效果較好和效果較差的實驗結果。

圖6 歐拉檢測

(2)長寬比檢測。

統計區域邊界的所有點的坐標值，記錄并令x和y等于x軸和y軸上最大最小的坐標值，r=x/y就是所求的區域長寬比。根據專家機構大量的統計分析，人臉長寬比約為1.3[13]。選取候選區域長寬比在1～2范圍內的區域，不在此范圍內的區域將其排除掉。

2 基于模板匹配的人臉精確檢測與提取

2.1 人臉模板

在進行模板匹配之前，要制作一個人臉模板，通過以下步驟可以制作一個人臉模板[14]。

(1)選取一些彩色人臉照片，并且計算得到灰度圖像。

(2)手動截取人臉區域，根據人臉先驗知識，設定模板尺寸。

(3)對人臉模板的灰度分布進行標準化。

為了防止人臉邊緣(例如毛發)對匹配產生影響，最后要對模板進行掩膜處理。得到的人臉模板如圖7所示。

圖7 人臉模板

2.2 模板匹配

在制作完人臉模板之后，就要進行經膚色檢測篩選過后的圖像與人臉模板的匹配。

(1)輸入待匹配圖像，設待匹配圖像為X={xi,j}，均值為μx，方差為σx。

(2)調用人臉模板，設尺度大小為W*H的人臉模板為T={ti,j}，均值為μt，方差為σt。

(3)通過計算得到相關系數，從而得到匹配的相似度，模板與待匹配圖像之間的相關系數r(T,X)為：

(4)利用上一步得到的結果，與閾值相比較，當r>0.6時，判定該區域為人臉區域，反之則判是為非人臉區域。

利用上述模板匹配的方法可以準確檢測出人臉區域，并圈出來。為了對人臉區域進行進一步的分析與處理，例如人臉表情的識別，實驗將檢測到的人臉區域進行提取，最終形成了一個只包含人臉區域的人臉圖像序列。

3 實驗結果與分析

使用MATLAB進行大量的實驗，實驗數據為個人的照片和網上下載的圖片。實驗結果如圖8、表1和表2所示。

圖8 實驗結果

人數樣本人臉數檢測正確數檢測率/%單人75751002人74741003人7572963人以上767092.1總計30029197

由上可知，膚色信息和模板匹配相結合的方法的檢測率較單獨利用膚色信息方法的檢測率有所提高。同時，在實驗過程中，還存在一些問題影響到最后的檢測率，其中有主觀因素和客觀因素。例如，待檢測圖像中人的眼睛較小，會在歐拉檢測過程中被排除掉，從而影響檢測率，如圖6(b)所示；有些圖片中人的姿勢不規則，也會導致最后的檢測率下降。

表2 實驗數據與對比

4 結束語

文中給出了一種結合膚色信息和模板匹配的人臉檢測方法。實驗結果表明，此方法較傳統方法檢測率有所提高。但檢測率還有待于進一步提升，候選區域篩選方法需要做出進一步改進。

[1] 陳兆華,徐汀榮,韓志遠.基于運動信息的快速局部遮擋人臉檢測[J].計算機應用與軟件,2013,30(1):63-66.

[2]JonesMJ，RchgJM.Statisticalcolormodelswithapplicationtoskindetection[J].InternationalJournalofComputerVision,2002,46(1):81-96.

[3]TofighiA，MonadjemiSA.FacedetectionandrecognitionusingskincolorandAdaBoostalgorithmcombinedwithGaborfeaturesandSVMclassifier[C]//Internationalconferenceonmultimedia&signalprocessing.[s.l.]:[s.n.],2011:141-145.

[4] 王 蓉,李麗華,楊曉剛.膚色信息在人臉檢測中的應用研究[J].中國人民公安大學學報:自然科學版,2012,18(3):75-77.

[5] 劉喜榮.基于膚色模型和模板匹配的人臉檢測研究[D].太原:太原科技大學,2010.

[6] 陳冠潼.人臉檢測與識別算法的研究與應用[D].大連:大連理工大學,2013.

[7]GhazaliKHB,MaJ,XiaoR.AninnovativefacedetectionbasedonYCgCrcolorspace[J].PhysicsProcedia,2012,25:2116-2124.

[8]ParkJH,ChoiHC,KimSD.Bayesianfacedetectioninanimagesequenceusingfaceprobabilitygradientascent[C]//IEEEinternationalconferenceonimageprocessing.[s.l.]:IEEE,2005.

[9] 郭 佳，劉曉玉，吳 冰,等.一種光照不均勻圖像的二值化方法[J].計算機應用與軟件,2014,31(3):183-186.

[10] 武 瑛.形態學圖像處理的應用[J].計算機與現代化，2013(5):90-94.

[11] 李鳳慧.基于數學形態學的圖像噪聲處理[J].信息技術,2006,30(6):45-46.

[12] 王 驊.彩色圖像中人臉檢測與跟蹤研究[D].南京:南京理工大學,2009.

[13] 盧緒軍,趙勛杰.一種基于膚色和模板匹配的人臉檢測方法[J].計算機應用與軟件,2011,28(7):112-114.

[14]KasturiS，VanjareA，OmkarSN.AutomatichumanfacerecognitionusingmultivariateGaussianmodelandfisherlineardiscriminativeanalysis[J].ICTACTJournalonImageandVideoProcessing,2014,5(1):899-902.

Face Detection and Extraction Based on Skin-color Information and Template Matching

SHAO Hong,GENG Hao

(School of Information Science and Engineering,Shenyang University of Technology, Shenyang 110870,China)

With the development of human-computer interaction,face detection,an important part of face recognition,has got more and more attention.The key of face detection is accuracy and efficiency.The speed of face detection by skin-color information is fast and it is easy to be implemented,but the accuracy is not high.A method combined skin-color information and template matching is put forward for face detection.First of all,the skin-color Gaussian model in YCbCr color space to segment the area of skin is used.After the processing of expansion corrosion,aspect rating,Euler number and other rules,the rough face detection is completed.Then fine face detection by template matching is accomplished.Face region is circled and extracted to form series of face image.Experiments show that the accuracy of the combined method is higher and the speed is faster.

color space;skin-color Gaussian model;skin-color information;template matching;face detection

2016-01-19

2016-05-12

時間：2016-10-24

遼寧省高等學校優秀人才支持計劃(LJQ2013013)

邵 虹(1974-)，女，博士，教授，CCF會員，研究方向為圖像處理與模式識別；耿 昊(1991-)，男，碩士研究生，研究方向為圖像處理與模式識別。

http://www.cnki.net/kcms/detail/61.1450.TP.20161024.1113.030.html

TP391

A

1673-629X(2016)11-0049-05

10.3969/j.issn.1673-629X.2016.11.011