基于巡邏小車的人臉遮擋異常事件實(shí)時(shí)檢測①

張偉峰,朱 明

(中國科學(xué)技術(shù)大學(xué) 信息科學(xué)技術(shù)學(xué)院,合肥 230026)

基于巡邏小車的人臉遮擋異常事件實(shí)時(shí)檢測①

張偉峰,朱 明

(中國科學(xué)技術(shù)大學(xué) 信息科學(xué)技術(shù)學(xué)院,合肥 230026)

近年來,隨著城市化進(jìn)程的加快,銀行、政府、學(xué)校等場所的安全越來越成為人們關(guān)心的問題,智能監(jiān)控已成為目前的一個(gè)研究熱點(diǎn)問題. 本文主要研究室內(nèi)巡邏小車監(jiān)控下,面部異常遮擋問題. 本文首先對監(jiān)控視頻進(jìn)行前景提取; 接著,基于提取的前景,進(jìn)行肩部定位、頭部區(qū)域橢圓擬合; 然后通過膚色檢測判斷人臉區(qū)域; 最后,通過Haar檢測器檢測人臉區(qū)域的眼睛和嘴巴,以此來判斷是否存在異常遮擋行為. 實(shí)驗(yàn)結(jié)果表明,本文提出的算法能夠?qū)崟r(shí)、有效的檢測出面部異常遮擋問題.

人臉遮擋; codebook 模型; 橢圓擬合; 膚色檢測; Haar檢測器

近年來,智能視頻監(jiān)控系統(tǒng)已經(jīng)成為一個(gè)非常活躍的研究領(lǐng)域,并且產(chǎn)生了很多實(shí)用的應(yīng)用,如人臉識別,行為識別,異常事件檢測等. 這些都極大的減少了人工檢查和驗(yàn)證的工作量,并能及時(shí)有效的給出提示. 人臉面部遮擋檢測是智能視頻監(jiān)控系統(tǒng)的基本組成部分,隨著銀行、政府等部門等敏感區(qū)對安全的迫切需求,人臉面部遮擋檢測已經(jīng)成為一個(gè)非常熱門的研究領(lǐng)域.

1 概述

監(jiān)控視頻中面部遮擋檢測分為兩個(gè)步驟: 面部檢測和異常檢測.

當(dāng)前已經(jīng)有很多比較成熟的面部檢測方法,主要分為五個(gè)類別: 基于知識的方法[1,2]、基于特征的方法[3,4]、模板匹配、基于模板匹配的方法[5]、基于外觀的方法[6]. 每種方法都有各自的優(yōu)缺點(diǎn): 基于知識的方法計(jì)算成本較低但檢測的準(zhǔn)確率低; 基于特征的方法(如皮膚顏色、面部特征等)很容易實(shí)現(xiàn)良好的性能,但不能適用于復(fù)雜的場景; 基于模板匹配的方法,當(dāng)模板數(shù)量很大時(shí)非常耗時(shí),達(dá)不到實(shí)時(shí)檢測的需求; 基于外觀的方法比較準(zhǔn)確,但外觀條件比較復(fù)雜. 以上方法在面部檢測方面都有各自的優(yōu)點(diǎn),但這些方法對有遮擋面部的檢測效果都不是很好.

面部異常主要是面部遮擋,面部遮擋可分為上遮擋和下遮擋. 上遮擋即遮擋鼻子以上區(qū)域,主要戴墨鏡遮擋眼睛; 下遮擋即遮擋鼻子及以下區(qū)域,主要是使用口罩遮擋嘴巴及附近區(qū)域. 面部異常檢測方法也有很多,主要分為三種: 基于膚色的方法[7,8]、基于學(xué)習(xí)的方法[9,10]、基于組件的方法[11,12]. 基于膚色的方法,如果對整幀圖片進(jìn)行膚色檢測,如果有類皮膚顏色的地板或物品,就很容易出現(xiàn)較大的誤檢,本文采用固定區(qū)域的膚色檢測,可以最大程度的減少誤檢的概率; 基于學(xué)習(xí)的方法比較復(fù)雜,并且需要較多的訓(xùn)練樣本,監(jiān)控?cái)z像頭下遮擋人臉的樣本采集比較困難; 基于組件的方法,通過檢測眼睛、鼻子、嘴巴等面部組件,來實(shí)驗(yàn)面部遮擋的檢測. 本文就是通過檢測眼睛來判斷是否存在上遮擋,通過檢測嘴巴來判斷是否存在下遮擋.

2 算法設(shè)計(jì)與實(shí)現(xiàn)

本文的基本思路是: 首先,提取每一幀視頻圖像的運(yùn)動(dòng)前景,然后根據(jù)提取的運(yùn)動(dòng)前景進(jìn)行人頭區(qū)域定位,人頭區(qū)域定位分為肩部定位和橢圓擬合兩個(gè)步驟,接著對定位的人頭區(qū)域進(jìn)行膚色檢測以確定是否是人的正臉區(qū)域,最后對正臉區(qū)域進(jìn)行眼睛和嘴巴檢測來判斷是否有異常遮擋行為,具體過程如下.

2.1 前景提取

前景提取是檢測人臉遮擋異常的第一步,通過前景提取步驟可以把監(jiān)控視頻序列幀中的前景提取出來.前景提取方法有很多,主要分為以下三類: 幀差法、光流法、背景減除法.

幀差法是最為常用的運(yùn)動(dòng)目標(biāo)檢測和分割方法之一,基本原理就是在圖像序列相鄰兩幀或三幀間采用基于像素的時(shí)間差分通過閉值化來提取出圖像中的運(yùn)動(dòng)區(qū)域. 由于相鄰兩幀間的時(shí)間間隔非常短,用前一幀圖像作為當(dāng)前幀的背景模型具有較好的實(shí)時(shí)性,其背景不積累,且更新速度快、算法簡單、計(jì)算量小. 算法的不足在于對環(huán)境噪聲較為敏感,閩值的選擇相當(dāng)關(guān)鍵,選擇過低不足以抑制圖像中的噪聲,過高則忽略了圖像中有用的變化. 對于比較大的、顏色一致的運(yùn)動(dòng)目標(biāo),有可能在目標(biāo)內(nèi)部產(chǎn)生空洞,無法完整地提取運(yùn)動(dòng)目標(biāo).

光流法的主要任務(wù)就是計(jì)算光流場,即在適當(dāng)?shù)钠交约s束條件下,根據(jù)圖像序列的時(shí)空梯度估算運(yùn)動(dòng)場,通過分析運(yùn)動(dòng)場的變化對運(yùn)動(dòng)目標(biāo)和場景進(jìn)行檢測與分割. 通常有基于全局光流場和特征點(diǎn)光流場兩種方法. 最經(jīng)典的全局光流場計(jì)算方法是L-K(Lueas&Kanada)法和 H-S(Hom&Schunck)法,特征點(diǎn)光流法通過特征匹配求特征點(diǎn)處的流速,具有計(jì)算量小、快速靈活的特點(diǎn),但稀疏的光流場很難精確地提取運(yùn)動(dòng)目標(biāo)的形狀. 總的來說,光流法不需要預(yù)先知道場景的任何信息,就能夠檢測到運(yùn)動(dòng)對象,可處理背景運(yùn)動(dòng)的情況,但噪聲、多光源、陰影和遮擋等因素會(huì)對光流場分布的計(jì)算結(jié)果造成嚴(yán)重影響; 而且光流法計(jì)算復(fù)雜,很難實(shí)現(xiàn)實(shí)時(shí)處理. 本文要實(shí)現(xiàn)實(shí)時(shí)檢測異常人臉遮擋,因此光流法也不能滿足要求.

背景減除法是一種有效的運(yùn)動(dòng)對象檢測算法,基本思想是利用背景的參數(shù)模型來近似背景圖像的像素值,將當(dāng)前幀與背景圖像進(jìn)行差分比較實(shí)現(xiàn)對運(yùn)動(dòng)區(qū)域的檢測,其中區(qū)別較大的像素區(qū)域被認(rèn)為是運(yùn)動(dòng)區(qū)域,而區(qū)別較小的像素區(qū)域被認(rèn)為是背景區(qū)域. 研究人員已提出了許多背景建模算法,如codebook模型[13]、VIBE算法[14]、高斯混合模型[15]等.

codebook模型為每個(gè)像素建立一個(gè)包含一個(gè)或多個(gè)碼字. 檢測過程包含在顏色和亮度兩方面檢查當(dāng)前圖像與背景模型的差異. 如果一個(gè)新像素在某個(gè)碼字的色彩失真量小于檢測閾值,或者新像素的亮度在該碼字的亮度區(qū)間內(nèi),該像素被歸為背景. 反之,此新像素被歸為前景.

codebook模型可以更準(zhǔn)確地檢測前景,并能有效地處理包含移動(dòng)背景的場景或照明變化,本實(shí)驗(yàn)是以室內(nèi)巡邏機(jī)器人為平臺(tái),codebook模型特別適合本實(shí)驗(yàn).

2.2 人頭區(qū)域定位

在準(zhǔn)確進(jìn)行前景區(qū)域提取以后,我們基于提取的前景區(qū)域來進(jìn)行頭部區(qū)域的定位.

頭部區(qū)域定位主要分為兩個(gè)步驟: 肩部定位和肩部以上區(qū)域的橢圓擬合.

圖1是頭部和肩部的示意圖,其中頭部區(qū)域是近似對稱的橢圓形. 如圖中橫線所示,肩部存在一個(gè)長度急劇變化的區(qū)域,我們就可以根據(jù)這個(gè)長度急劇變化的特征來定位肩部,并對肩部以上區(qū)域進(jìn)行橢圓擬合,進(jìn)而精確定位出頭部區(qū)域.

圖1 人頭肩部示意圖

2.2.1 肩部定位

根據(jù)上面所說的基本原理,我們做出如下定義:fleft和fright分別代表視頻幀前景區(qū)域的最左邊和最右邊,sbottom和stop分別表示頭肩部區(qū)域的底部和上部,height表示頭肩部進(jìn)行統(tǒng)計(jì)的單位區(qū)域行高,gap表示當(dāng)前行與上一行的差值,m_gap表示最大的差值.

式(1)表示頭肩部單位行高前景像素個(gè)數(shù)的和.

算法1. 肩部定位輸入: 運(yùn)動(dòng)前景圖輸出: 肩部位置1. 根據(jù)提取的運(yùn)動(dòng)前景進(jìn)行初始化、、、、、、、 .2. 計(jì)算底部小區(qū)域的值 .3.,如果,轉(zhuǎn)到6. 4. 計(jì)算從底部小區(qū)域往上的小區(qū)域 值.5. 相鄰兩小區(qū)域差:,賦值為:. 如果,則;最大差值位置,最大差值處單位行高值:. 轉(zhuǎn)到3; 6. 如果,定位出肩部的位置即為的最后取值,否則就說明不是肩部位置.

2.2.2 橢圓擬合

根據(jù)上節(jié)我們定位出了肩部的位置,可以得到頭部的大致位置,即為肩部以上的區(qū)域. 由于頭部是近似對稱的橢圓形,因此我們可以近似用矩形框框出頭部區(qū)域. 下面我們對框出的區(qū)域進(jìn)行橢圓擬合.

平面上任意位置的橢圓方程可以表示為:

使式(3)達(dá)到最小值,可求出五個(gè)參數(shù)的值,進(jìn)而球出了擬合的橢圓.

2.3 人臉區(qū)域判斷

通過上述步驟,我們定位出了人頭的區(qū)域,但定位出的人頭區(qū)域有可能是人頭的后腦部分,如果不加區(qū)分,很顯然我們無法進(jìn)行下面的人臉遮擋判斷. 因此我們需要通過膚色檢測技術(shù)辨別出定位的區(qū)域是否是人臉區(qū)域.

膚色檢測的原理是根據(jù)皮膚的固有顏色,在圖像中選取相對應(yīng)的顏色范圍作為皮膚顏色. 膚色作為人的體表顯著特征之一,盡管人的膚色因?yàn)槿朔N的不同有差異,呈現(xiàn)出不同的顏色,但是在排除了亮度和視覺環(huán)境等對膚色的影響后,皮膚的色調(diào)基本一致,這就為利用顏色信息來做膚色分割提供了理論卜的依據(jù).

在膚色識別中,常用的顏色空間為YCbCr顏色空間. 在 YcbCr顏色空間中,Y 代表亮度,Cb 和 Cr分別代表藍(lán)色分量和紅色分量,兩者合稱為色彩分量. YcbCr顏色空間具有將色度與亮度分離的特點(diǎn),在YcbCr色彩空間中,膚色的聚類特性比較好,而且是兩維獨(dú)立分布,能夠比較好地限制膚色的分布區(qū)域,并且受人種的影響不大. 對比RGB顏色空間和YcbCr顏色空間,當(dāng)光強(qiáng)發(fā)生變化時(shí),RGB 顏色空間中 (R,G,B)會(huì)同時(shí)發(fā)生變化,而YcbCr顏色空間中受光強(qiáng)相對獨(dú)立,色彩分量受光強(qiáng)度影響不大,綜上所述,YcbCr顏色空間更適合用于膚色識別. 因此,膚色檢測的第一步就是把圖像從RGB顏色空間轉(zhuǎn)到Y(jié)cbCr顏色空間.

由于膚色在YcbCr空間受亮度信息的影響較小,因此直接考慮YcbCr空間的CbCr分量,映射為兩維獨(dú)立分布的CbCr空間. 在CbCr空間下,滿足式(5)即為膚色區(qū)域,否則即為非膚色區(qū)域,由此形成二值圖像.

通過對2.2節(jié)定位出的人頭區(qū)域做膚色檢測,得到的膚色區(qū)域大于整個(gè)人頭區(qū)域的1/4即可判斷2.2節(jié)的區(qū)域?yàn)槿四槄^(qū)域.

2.4 異常人臉遮擋判斷

經(jīng)過研究,室內(nèi)人臉異常遮擋主要行為有戴墨鏡、戴口罩、壓低帽檐等,這幾種遮擋人臉的行為也就是遮擋了眼睛或嘴巴. 因此,我們可以根據(jù)這個(gè)規(guī)律,對2.3節(jié)判斷的人臉區(qū)域進(jìn)行眼睛和嘴巴的檢測,由于本文實(shí)驗(yàn)平臺(tái)是室內(nèi)巡邏小車,因此可以較近距離的拍到行人,這樣我們定位的人頭區(qū)域就可以達(dá)到識別眼睛和嘴巴的大小.

根據(jù)上面分析,人臉遮擋主要分為上遮擋和下遮擋,上遮擋即通過墨鏡等遮住眼睛,下遮擋主要通過口罩等遮住嘴巴,因此我們可以通過Haar檢測器檢測2.3節(jié)定位的人臉區(qū)域的嘴巴和眼睛,只有嘴巴和眼睛都檢測到說明人臉沒有遮擋,否則人臉存在異常遮擋.

若要用Haar檢測器檢測嘴巴和眼睛,首要就是要提取Haar特征,Haar特征分為: 邊緣特征、線性特征、中心特征和對角線特征. 這些特征組合成特征模板,特征模板內(nèi)有白色和黑色兩種矩形,并定義該模板的特征值為白色矩形像素和減去黑色矩形像素和.Haar特征值反映了圖像的灰度變化情況. 臉部的一些特征可以通過矩形特征簡單的描述,如: 眼睛要比臉頰顏色要深,鼻梁兩側(cè)比鼻梁顏色要深,嘴巴比周圍顏色要深等. 但矩形特征只對一些簡單的圖形結(jié)構(gòu),如邊緣、線段較敏感,所以只能描述特定走向(水平、垂直、對角)的結(jié)構(gòu). 在提取出Haar特征以后,我們利用積分圖來進(jìn)行計(jì)算,并把計(jì)算結(jié)果通過AdaBoost算法來訓(xùn)練,進(jìn)而實(shí)現(xiàn)一個(gè)Haar檢測器.

本文由于在固定人臉區(qū)域內(nèi)進(jìn)行眼睛和嘴巴的識別,我們利用OpenCV自帶的眼睛和嘴巴檢測器就可以達(dá)到需要的檢測效果.

OpenCV的訓(xùn)練文件在源碼目錄的data文件夾下,里面包含 haarcascades、hogcascades、lbpcascades,在haarcascades文件下包含大量的針對不同目標(biāo)的訓(xùn)練文件,如圖2所示.

通過載入haarcascade_mcs_mouth.xml來識別嘴巴,通過載入 haarcascade_eye_tree_eyeglasses.xml來識別眼睛. 正常的無遮擋人臉應(yīng)該都可以在檢測到眼睛和嘴巴,但是在實(shí)際小車巡邏場景中,由于小車的動(dòng)態(tài)移動(dòng),必然會(huì)導(dǎo)致拍到的視頻可能存在模糊,進(jìn)而出現(xiàn)誤檢現(xiàn)象. 因此,我們規(guī)定連續(xù)出現(xiàn)3幀檢測不到嘴巴,或者連續(xù)3幀檢測不到眼睛,就說明出現(xiàn)了異常人臉遮擋行為.

圖2 OpenCV 器官識別文件示意圖

3 實(shí)驗(yàn)與分析

本實(shí)驗(yàn)的硬件平臺(tái)為搭載攝像頭的室內(nèi)巡邏小車和處理實(shí)時(shí)視頻流的 PC(Intel i5 3.3GHz + 6G 內(nèi)存),軟件平臺(tái)為VS2013+OpenCV.

3.1 人臉遮擋異常檢測實(shí)驗(yàn)

根據(jù)我們上述提出的算法流程,我們在實(shí)驗(yàn)平臺(tái)上對每一步流程分別進(jìn)行實(shí)驗(yàn),并驗(yàn)證算法的有效性.

圖3 自制室內(nèi)巡邏小車

3.1.1 前景提取

根據(jù)我們的巡邏小車的視頻提取出前景,效果如圖4.

圖4 前景提取效果圖

3.1.2 人頭區(qū)域定位

根據(jù)我們的算法,我們先定位肩部,即途中藍(lán)線;然后根據(jù)肩部框出頭部區(qū)域,即圖5中矩形框; 然后進(jìn)行橢圓擬合得到臉部區(qū)域,即圖5中橢圓區(qū)域.

圖5 人頭區(qū)域確定

3.1.3 人臉區(qū)域判斷

在圖6中進(jìn)行膚色檢測,并把檢測到為膚色的區(qū)域值除整個(gè)橢圓區(qū)域值,如果大于閾值說明是正面人臉. 如圖6檢測結(jié)果都為正面人臉.

3.1.4 人臉異常遮擋

對上述區(qū)域進(jìn)行Haar檢測. 在本實(shí)驗(yàn)中,如果被墨鏡遮,則檢測不到眼睛,就會(huì)發(fā)出面部遮擋的報(bào)警;如果口罩遮擋住嘴巴,也會(huì)同樣發(fā)出面部遮擋的報(bào)警.

圖6 膚色檢測

3.2 實(shí)驗(yàn)結(jié)果與分析

本實(shí)驗(yàn)數(shù)據(jù)為兩段自錄視頻. 一段是口罩遮擋住人臉,并把口罩取下的對比視頻,總共 750 幀,其中有遮擋的幀數(shù)100幀,正常檢測出93幀; 另一段是墨鏡遮擋住眼鏡,并把眼鏡取下的對比視頻,總共1036幀,其中有遮擋的幀數(shù)224幀,正常檢測出210幀. 實(shí)驗(yàn)達(dá)到了很高的準(zhǔn)確率,

4 結(jié)語

本文提出的面部異常遮擋檢測方法,能夠較為準(zhǔn)確地定位臉部區(qū)域,并能實(shí)時(shí)檢測出是否有面部異常遮擋行為. 實(shí)驗(yàn)結(jié)果表明,本文提出的算法不僅滿足了實(shí)時(shí)檢測(每幀毫秒級),在準(zhǔn)確率上也達(dá)到了傳統(tǒng)經(jīng)典算法的水平. 但是本文對多人場合無法很好的完成檢測.

下一步的工作,將側(cè)重算法的改進(jìn),提出能夠檢測出人群異常面部遮擋行為,并搜集數(shù)據(jù)訓(xùn)練異常遮擋模型,達(dá)到精確檢測效果.

1Yang GZ,Huang TS. Human face detection in a complex background. Pattern Recognition,1994,27(1): 53–63. [doi:10.1016/0031-3203(94)90017-5]

2Kotropoulos C,Pitas I. Rule-based face detection in frontal views. Proc. of 1997 IEEE International Conference on Acoustics,Speech,and Signal Processing. Munich,Germany. 1997. 2537–2540.

3Yang L,Waibel A. A real-time face tracker. Proc. of the 3rd IEEE Workshop on Applications of Computer Vision.Sarasota,FL,USA. 1996. 142–147.

4Yow KC,Cipolla R. Feature-based human face detection.Image and Vision Computing,1997,15(9): 713–735. [doi:10.1016/S0262-8856(97)00003-6]

5Craw I,Tock D,Bennett A. Finding face features. Proc. of the 2nd European Conference on Computer Vision. London,UK. 1992. 92–96.

6Sung KK,Poggio T. Example-based learning for view-based human face detection. IEEE Trans. on Pattern Analysis and Machine Intelligence,1998,20(1): 39–51. [doi: 10.1109/34.655648]

7Lin DT,Liu MJ. Face occlusion detection for automated teller machine surveillance. Proc. of the First Pacific Rim Conference on Advances in Image and Video Technology.Hsinchu,Taiwan,China. 2006. 641–651.

8Kim G,Suhr JK,Jung HG,et al. Face occlusion detection by using b-spline active contour and skin color information.Proc. of 2010 the 11th International Conference on Control Automation Robotics & Vision. Singapore. 2010. 627–632.

9Priya GN,Banu RSDW. Detection of occluded face image using mean based weight matrix and support vector machine.Journal of Computer Science,2012,8(7): 1184–1190. [doi:10.3844/jcssp.2012.1184.1190]

10Kim J,Sung Y,Yoon SM,et al. A new video surveillance system employing occluded face detection. Proc. of the 18th International Conference on Innovations in Applied Artificial Intelligence. Bari,Italy. 2005. 65–68.

11Suhr JK,Eum S,Jung HG,et al. Recognizability assessment of facial images for automated teller machine applications.Pattern Recognition,2012,45(5): 1899–1914. [doi: 10.1016/j.patcog.2011.11.014]

12Eum S,Suhr JK,Kim J. Face recognizability evaluation for atm applications with exceptional occlusion handling. Proc.of IEEE Computer Society Conference on Computer Vision and Pattern Recognition Workshops. Colorado Springs,CO,USA. 2011. 82–89.

13Kim K,Chalidabhongse TH,Harwood D,et al. Real-time foreground-background segmentation using codebook model.Real-Time Imaging,2005,11(3): 172–185. [doi: 10.1016/j.rti.2004.12.004]

14Barnich O,Van Droogenbroeck M. ViBe: A universal background subtraction algorithm for video sequences. IEEE Trans. on Image Processing,2011,20(6): 1709–1724. [doi:10.1109/TIP.2010.2101613]

15Zivkovic Z. Improved adaptive Gaussian mixture model for background subtraction. Proc. of the 17th International Conference on Pattern Recognition. Cambridge,UK. 2004.28–31.

Real-Time Detection of Face Abnormal Occlusion Based on the Indoor Patrol Car

ZHANG Wei-Feng,ZHU Ming

(School of Information Science and Technology,University of Science and Technology of China,Hefei 230026,China)

In recent years,with the acceleration of urbanization process,people become more concerned about security in public places like banks,official buidings and schools etc. Therefore,intelligent monitoring has become a hot topic in current research. This paper mainly studies the face abnormal occlusion events based on the indoor patrol car. Firstly,we extract the foreground of surveillance video. Then,we locate shoulders and use an ellipse to fit the area of head based on the foreground. And then,we determine the face area through the skin color rate. Lastly,we detect the eyes and mouth of the area through Haar detector to determine whether there are abnormal occlusion events. The experimental results show that the algorithm proposed can detect abnormal occlusion events effectively.

face occlusion; codebook model; ellipse fitting; skin color detect; Haar detector

張偉峰,朱明.基于巡邏小車的人臉遮擋異常事件實(shí)時(shí)檢測.計(jì)算機(jī)系統(tǒng)應(yīng)用,2017,26(12):175–180. http://www.c-s-a.org.cn/1003-3254/6122.html

中科院先導(dǎo)項(xiàng)目(XDA06011203)

2017-03-17; 修改時(shí)間: 2017-04-10; 采用時(shí)間: 2017-04-17