基于關(guān)鍵標(biāo)記點(diǎn)高頻分析的模糊人臉圖像鑒別

李月龍,劉延昌,肖志濤,耿 磊,張 芳,吳 駿,張欣鵬

1(天津工業(yè)大學(xué) 計算機(jī)科學(xué)與軟件學(xué)院,天津 300387) 2(天津工業(yè)大學(xué) 電子與信息工程學(xué)院,天津 300387) 3(天津市光電檢測技術(shù)與系統(tǒng)重點(diǎn)實驗室,天津 300387)

1 引 言

近年來,人臉識別技術(shù)越來越多的受到國內(nèi)外研究者的關(guān)注,并取得了較大的研究進(jìn)展.但這些研究工作一般是在圖像質(zhì)量較高的人臉數(shù)據(jù)集上進(jìn)行的,實際應(yīng)用中人臉圖像往往會因為光照變化、姿態(tài)變化、遮擋、模糊等因素造成質(zhì)量的降低,圖像質(zhì)量的降低往往會導(dǎo)致人臉識別精度下降[1].圖像模糊產(chǎn)生于圖像的獲取、傳輸和壓縮等各種過程之中,是最常見的一種圖像失真類型,由圖像模糊造成的人臉圖像質(zhì)量降低對人臉識別的影響非常明顯,同一張人臉的模糊圖像和清晰圖像可能得到不同的識別結(jié)果[2，3].可以對模糊人臉圖像進(jìn)行鑒別,結(jié)合鑒別結(jié)果決定是否重新采集或者在后期的圖像處理過程中加入針對圖像模糊的一些處理方法,進(jìn)而保證了待識別人臉圖像的質(zhì)量,最終達(dá)到提高人臉識別精度的目的[4].

以往有一些專門對一般性的模糊圖像進(jìn)行鑒別的研究.Su等人用圖像奇異值分析來鑒別圖像的模糊,該方法認(rèn)為圖像奇異值的大小與其包含的細(xì)節(jié)信息多少有關(guān),存在較大奇異值的圖像被判斷為模糊[5].Marziliano等人先用Sobel算子提取圖像邊緣,然后以圖像邊緣平均寬度的大小為標(biāo)準(zhǔn)來鑒別模糊圖像[6].

專門對模糊人臉圖像進(jìn)行鑒別的研究較少.Sang等人提出了專門針對模糊人臉圖像進(jìn)行鑒別的方法,該方法先將圖像轉(zhuǎn)到頻率域,然后按照一定的閾值保留低頻信息,將低頻信息轉(zhuǎn)成圖像,比較其與原圖像的歐氏距離,來判斷原圖是否模糊[7].

另外,多數(shù)對模糊人臉圖像進(jìn)行鑒別的研究只考慮了圖像的特征,沒有結(jié)合人臉的一些特性來設(shè)計鑒別方法.李月龍等人結(jié)合人臉的特性,提出眼睛、眉毛、鼻子、嘴這幾個面部組件決定人臉是否模糊.并根據(jù)所有組件的模糊情況鑒別人臉圖像是否模糊[8].直接提取一個大的組件會混入很多干擾信息,對鑒別結(jié)果造成了影響.

如何排除干擾信息,對圖像模糊進(jìn)行精細(xì)分析成為了一個很關(guān)鍵的問題.近年來,涌現(xiàn)出了大量的人臉標(biāo)記點(diǎn)提取方法,人臉標(biāo)記點(diǎn)提取精度越來越高,使得基于人臉標(biāo)記點(diǎn)提取對圖像模糊進(jìn)行精細(xì)分析成為可能.另外,模糊圖像包含的高頻信息比清晰圖像存在一定程度的缺失,兩者的離散余弦變換系數(shù)矩陣也因此表現(xiàn)出不同的數(shù)據(jù)特征,很好地提取并利用這種差異可以進(jìn)行模糊圖像與清晰圖像的區(qū)分.

圖1 本文方法流程圖Fig.1 Flow chart of our method

鑒于以往對模糊人臉圖像進(jìn)行鑒別的研究比較少,現(xiàn)有的一些研究方法只考慮了圖像的特征,沒有很好地結(jié)合人臉的一些特性,因而鑒別的結(jié)果并不是很精確,本文提出了一種基于關(guān)鍵標(biāo)記點(diǎn)高頻分析的模糊人臉圖像鑒別方法.該方法的總體流程如圖1所示.考慮到圖像模糊最直接地反應(yīng)在圖像細(xì)節(jié)信息上的特點(diǎn),本文方法從人臉上最能體現(xiàn)細(xì)節(jié)信息的標(biāo)記點(diǎn)入手.對人臉圖像提取關(guān)鍵標(biāo)記點(diǎn),以各關(guān)鍵標(biāo)記點(diǎn)為中心提取一系列特征區(qū)域,事實上這些特征區(qū)域的模糊情況可以決定整幅圖像的模糊情況.對每個特征區(qū)域進(jìn)行高頻信息分析,提取能很好的代表特征區(qū)域是模糊還是清晰的特征,并引入分類器判斷各特征區(qū)域是否模糊;最后,依據(jù)每個特征區(qū)域的判斷結(jié)果,采用投票方式?jīng)Q定整幅人臉圖像是否模糊,使得鑒別結(jié)果更加客觀合理.文中根據(jù)該方法,設(shè)計了8種具體的鑒別策略,實驗結(jié)果證明了該方法的有效性.

2 人臉圖像關(guān)鍵標(biāo)記點(diǎn)高頻分析

2.1 人臉標(biāo)記點(diǎn)提取

人臉標(biāo)記點(diǎn)提取即用一定的方法,提取一系列有序的點(diǎn)來標(biāo)記人臉輪廓,是描述人臉輪廓的主要形式[9].圖2給出了對三張人臉圖像提取標(biāo)記點(diǎn)后的示例[10].眼睛、眉毛、鼻子、嘴的標(biāo)記點(diǎn)是人臉標(biāo)記點(diǎn)的核心部分,本文稱為人臉關(guān)鍵標(biāo)記點(diǎn).

圖2 提取標(biāo)記點(diǎn)的人臉圖像Fig.2 Faces with extracted landmarks

近年來,涌現(xiàn)出了大量的人臉標(biāo)記點(diǎn)提取方法,標(biāo)記點(diǎn)提取精度越來越高.Dollar等人于2010年首次提出級聯(lián)形狀回歸模型來預(yù)測物體的形狀,在人臉數(shù)據(jù)集上達(dá)到了很好的效果[11];Zhu等人提出的由粗到精的形狀搜索方法,通過不斷縮小搜索空間來匹配到最佳的人臉形狀[12];Sun等人將卷積神經(jīng)網(wǎng)絡(luò)應(yīng)用到人臉標(biāo)記點(diǎn)的提取上,用一個三層的深度卷積神經(jīng)網(wǎng)絡(luò)來匹配人臉的標(biāo)記點(diǎn)[13].

Cristinacce等人提出的約束局部模型通過在每個標(biāo)記點(diǎn)周圍構(gòu)建局部模型來確定每個標(biāo)記點(diǎn)的響應(yīng)曲面,然后再結(jié)合形狀模型對當(dāng)前形狀進(jìn)行擬合,并更新形狀模型參數(shù),反復(fù)迭代直至每個標(biāo)記點(diǎn)都匹配到合適的位置[14].隨后,Baltrusaitis等人又提出了適合各種頭部姿態(tài)的三維約束局部模型[15，16],使得標(biāo)記精度更準(zhǔn)確.

本文用三維約束局部模型對人臉標(biāo)記點(diǎn)進(jìn)行提取.最理想的方法是對每一幅人臉圖像提取標(biāo)記點(diǎn),為節(jié)省運(yùn)算量,文中用平均臉的標(biāo)記點(diǎn)來代替每一幅人臉圖像的標(biāo)記點(diǎn).

2.2 圖像高頻分析

2.2.1 離散余弦變換(Discrete Cosine Transform,DCT)

圖像有空間域和頻率域兩種表示方式.一些在空間域里不明顯的特征,轉(zhuǎn)換到頻率域卻能很明顯的表現(xiàn)出來,使得圖像更容易被處理.

離散余弦變換是一種常用的空間域與頻率域變換方式.變換過程速度快且能完整地保留圖像信息,而且變換得到的系數(shù)矩陣中頻帶信息表現(xiàn)出非常好的分布規(guī)律[17].N×N的圖像塊函數(shù)t(i,j)的二維DCT[18]如公式(1)所示.

(1)

圖3 DCT頻帶信息分布示意圖Fig.3 Distribution of DCT frequency band

圖像經(jīng)過DCT后,T(0,0)常被稱為直流系數(shù),其他為交流系數(shù),交流系數(shù)分低頻、中頻和高頻.DCT系數(shù)矩陣的能量主要集中在其左上角,為圖像的低頻信息;而圖像的高頻信息則主要集中在右下角[19].高頻信息相對于中低頻信息,DCT系數(shù)絕對值較小.DCT系數(shù)矩陣頻帶信息分布示意圖如圖3所示.

2.2.2 圖像高頻分析

從空間域變換到頻率域,圖像內(nèi)部比較平滑的區(qū)域,對應(yīng)的是低頻信息;圖像灰度變化比較快的區(qū)域,例如圖像邊緣,對應(yīng)的是高頻信息.模糊圖像整體比較平滑,因而高頻信息有一定程度的缺失;清晰圖像細(xì)節(jié)較明顯,有很多灰度變化較快的區(qū)域,因而高頻信息較豐富.

本文考慮利用高頻信息來鑒別圖像是否模糊.由于高頻信息主要分布在DCT系數(shù)矩陣的右下角加之高頻信息與中低頻信息沒有明顯的界限,可以按照一定的保留比例從右下到左上按之字形取DCT系數(shù)矩陣中的數(shù)據(jù).這個保留比例在下文中稱為高頻DCT系數(shù),保留下來的DCT系數(shù)矩陣的數(shù)據(jù)稱為高頻DCT特征.例如,當(dāng)高頻DCT系數(shù)為0.5時,高頻DCT特征為系數(shù)矩陣的右下部分的數(shù)據(jù).

模糊圖像的高頻DCT特征與清晰圖像相比,由于存在一定程度的缺失因此在數(shù)值的取值范圍上存在一定的差異,可以依據(jù)這種差異來訓(xùn)練分類器進(jìn)行分類.探索一個合適的高頻DCT系數(shù),使得取到的模糊圖像與清晰圖像的高頻DCT特征區(qū)分度最大,決定分類效果的好壞.

將圖像的高頻DCT特征進(jìn)行主成分分析(Principal Component Analysis,PCA),利用PCA良好的主要特征提取能力進(jìn)行數(shù)據(jù)降維,得到圖像高頻DCT特征對應(yīng)的PCA特征,取前兩個主軸上的系數(shù)為X軸坐標(biāo)與Y軸坐標(biāo)繪制代表圖像的一個點(diǎn).取模糊和清晰圖像各100幅,繪制出一系列的點(diǎn),如圖4所示.

由圖4能看出,模糊圖像與清晰圖像對應(yīng)點(diǎn)的分布呈現(xiàn)出明顯不同:模糊圖像對應(yīng)的點(diǎn)多集中在一個很小的區(qū)域里,而清晰圖像對應(yīng)的點(diǎn)則分布的比較分散.進(jìn)一步說明了模糊圖像與清晰圖像高頻DCT特征的可區(qū)分性.

2.3 人臉圖像關(guān)鍵標(biāo)記點(diǎn)高頻分析

對模糊人臉圖像進(jìn)行鑒別可以結(jié)合人臉的一些特性,關(guān)鍵標(biāo)記點(diǎn)能夠很好地刻畫人臉圖像的細(xì)節(jié)信息,因此可以從關(guān)鍵標(biāo)記點(diǎn)入手對圖像進(jìn)行精細(xì)分析.

以每個關(guān)鍵標(biāo)記點(diǎn)為中心取特征區(qū)域,如果這些特征區(qū)域是模糊的,整幅人臉圖像必然是模糊不清的;如果這些特征區(qū)域是清晰的,人臉的輪廓就清晰可見,整幅人臉圖像也是清晰的.因此,以關(guān)鍵標(biāo)記點(diǎn)為中心的特征區(qū)域的模糊情況可以代表整張人臉的模糊情況.

圖4 PCA特征前兩個主軸系數(shù)行成的點(diǎn)Fig.4 Points formed by the first two PCA axis coefficients

對特征區(qū)域進(jìn)行高頻分析,以模糊圖像與清晰圖像的高頻DCT特征差異為分類依據(jù),訓(xùn)練對應(yīng)每個特征區(qū)域的分類器判斷該特征區(qū)域是否模糊.最后根據(jù)每個特征區(qū)域的判斷結(jié)果,以投票方式?jīng)Q定整幅人臉圖像是否模糊是一種可行的方法.

基于關(guān)鍵標(biāo)記點(diǎn)高頻分析的模糊人臉圖像鑒別方法算法描述如下.其中設(shè)定訓(xùn)練集中的人臉圖像總數(shù)為M;關(guān)鍵標(biāo)記點(diǎn)的個數(shù)為N并記為1號到N號;每幅人臉圖像中取到的特征區(qū)域個數(shù)為N并記為1號到N號;計數(shù)變量i初值為1.

1.訓(xùn)練階段

Step1.對訓(xùn)練集中的全部人臉圖像,以各自的i號關(guān)鍵標(biāo)記點(diǎn)為中心取各自的i號特征區(qū)域,記為Aj,j=1,2,…,M.

Step2.對每個特征區(qū)域Aj,用離散余弦變換將其轉(zhuǎn)換得到其DCT系數(shù)矩陣,即Dj=dct(Aj),j=1,2,…,M.

Step3.對每個特征區(qū)域的DCT系數(shù)矩陣Dj,按照同樣的比例提取高頻DCT特征,即HDj=highdct(Dj),j=1,2,…,M.根據(jù)所屬的人臉圖像是模糊的還是清晰的,對各高頻DCT特征HDj加標(biāo)簽.清晰記為“0”,模糊記為“1”.

Step4.以所有i號特征區(qū)域的帶標(biāo)簽的高頻DCT特征為輸入,訓(xùn)練對應(yīng)i號特征區(qū)域的分類器Ci.

Step5.計數(shù)變量i加1,若i小于特征區(qū)域個數(shù)N,返回Step1,直到訓(xùn)練出對應(yīng)每一號特征區(qū)域的N個分類器.

2.測試階段

Step1.讀入一幅待測人臉圖像.

Step2.根據(jù)關(guān)鍵標(biāo)記點(diǎn)的位置取以每個關(guān)鍵標(biāo)記點(diǎn)為中心的特征區(qū)域,記為Aj,j=1,2,…,N.

Step3.對每個特征區(qū)域Aj,用離散余弦變換將其轉(zhuǎn)換得到其DCT系數(shù)矩陣,即Dj=dct(Aj),j=1,2,…,N.

Step4.對每個特征區(qū)域的DCT系數(shù)矩陣Dj,按照同樣的比例提取高頻DCT特征,即HDj=highdct(Dj),j=1,2,…,N.

Step5.用訓(xùn)練的對應(yīng)每個特征區(qū)域的分類器對各個HDj進(jìn)行分類,即Rj=classify(HDj)∈﹛0,1﹜,j=1,2,…,N.“0”代表清晰,“1”代表模糊.

Step6.統(tǒng)計分類結(jié)果,即R=∑Rj.取R與設(shè)定好的閾值T進(jìn)行比較,若R大于閾值T則將圖像判斷為模糊,否則為清晰.

文中用總體鑒別率和模糊圖像誤判率來衡量鑒別結(jié)果的準(zhǔn)確性,此處給出這兩個評價標(biāo)準(zhǔn)的定義.

1.總體鑒別率(Identification Rate of Total Images,IRTI):用來衡量被測的模糊圖像與清晰圖像總體的鑒別結(jié)果.記被正確鑒別的模糊和清晰圖像數(shù)量為TIIs(Ture Identification Images),被測圖像總數(shù)為TIs(Total Images),總體鑒別率的計算方法如公式(2)所示.

(2)

2.模糊圖像誤判率(Rate of False Clear Images,RFCI):由于模糊圖像鑒別過程更為關(guān)注模糊圖像被誤判斷為清晰圖像的情況,所以文中以模糊圖像被誤判為清晰圖像的比例來衡量模糊圖像的鑒別結(jié)果.記判斷為清晰的模糊圖像數(shù)量為FCIs(False Clear Images),被測模糊圖像總數(shù)為BIs(Blurring Images),模糊圖像誤判率的計算方法如公式(3)所示.

(3)

3 實驗及結(jié)果分析

實驗中用到的人臉圖像來自公開的FRGC(Face Recognition Grand Challenge)數(shù)據(jù)集[20],該數(shù)據(jù)集的采集環(huán)境與實際應(yīng)用中人臉圖像的采集環(huán)境類似,因而存在大量的因模糊產(chǎn)生的低質(zhì)量圖像.前期通過主觀評價方法,在保證樣本多樣性的前提下選取模糊和清晰圖像各1000幅組成子集,在子集上進(jìn)行訓(xùn)練、測試.從子集中選出模糊和清晰圖像各選100幅組成訓(xùn)練集,其余為測試集.為了更簡捷地實現(xiàn)本文制定的鑒別策略,實驗前對人臉圖像進(jìn)行人臉檢測并去除了背景,處理完的圖像均是128×128像素.用到的模糊和清晰圖像示例如圖5所示,其中第一行為模糊圖像,第二行為清晰圖像.

圖5 模糊和清晰圖像示例Fig.5 Samples of blurring and clear images

3.1 驗證總體鑒別率

為驗證總體鑒別率,本文設(shè)計了八種具體的鑒別策略進(jìn)行試驗并比較.

R_RF_V(Region_Random Forests_Voting):以單個特征區(qū)域的高頻DCT特征為輸入,選擇隨機(jī)森林分類器進(jìn)行分類鑒別,最終鑒別結(jié)果由所有特征區(qū)域的分類結(jié)果投票產(chǎn)生;

RCPCA_RF(Region Combination Principal Component Analysis_Random Forests):對單個特征區(qū)域的高頻DCT特征的組合進(jìn)行處理得到的PCA特征,選擇隨機(jī)森林分類器進(jìn)行分類鑒別;

IPCA_RF(Image Principal Component Analysis_Random Forests):對整幅圖像的高頻DCT特征進(jìn)行處理后得到的PCA特征,選擇隨機(jī)森林分類器進(jìn)行分類鑒別;

R_SVM_V(Region_ Support Vector Machine _Voting):以單個特征區(qū)域的高頻DCT特征為輸入,選擇支持向量機(jī)分類器進(jìn)行分類鑒別,最終鑒別結(jié)果由所有特征區(qū)域的分類結(jié)果投票產(chǎn)生;

RCPCA_SVM(Region Combination Principal Component Analysis_ Support Vector Machine):對單個特征區(qū)域的高頻DCT特征的組合進(jìn)行處理得到的PCA特征,選擇支持向量機(jī)分類器進(jìn)行分類鑒別;

IPCA_SVM(Image Principal Component Analysis_ Support Vector Machine):對整幅圖像的高頻DCT特征進(jìn)行處理得到的PCA特征,選擇支持向量機(jī)分類器進(jìn)行分類鑒別;

I_CR(Image_Center Radius):由圖4可以看出,模糊圖像對應(yīng)的點(diǎn)比較集中,而清晰圖像對應(yīng)的點(diǎn)則較分散.以模糊圖像對應(yīng)點(diǎn)的中心為圓心,最遠(yuǎn)的模糊圖像對應(yīng)的點(diǎn)到上述中心的距離為半徑作圓.認(rèn)為落在圓內(nèi)的點(diǎn)對應(yīng)的圖像是模糊的,落在圓外的點(diǎn)對應(yīng)的圖像是清晰的.對整幅圖像的高頻DCT特征進(jìn)行處理后得到的PCA特征使用上述策略進(jìn)行鑒別;

RC_CR(Region Combination_Center Radius):對單個特征區(qū)域的高頻DCT特征的組合進(jìn)行處理得到的PCA特征進(jìn)行與I_CR類似的鑒別策略.

其中R_RF_V、R_SVM_V是嚴(yán)格按照關(guān)鍵標(biāo)記點(diǎn)高頻分析的方法進(jìn)行分類鑒別;RCPCA_RF、RCPCA_SVM、RC_CR利用了人臉標(biāo)記點(diǎn)提取與圖像高頻分析進(jìn)行分類鑒別;IPCA_RF、IPCA_SVM、I_CR只利用了圖像高頻分析進(jìn)行分類鑒別.

實驗時以關(guān)鍵標(biāo)記點(diǎn)為中心取11×11像素大小的特征區(qū)域.對各鑒別策略分別求出從0.1到1的10個高頻DCT系數(shù)的總體鑒別率.為避免偶然性,每個高頻DCT系數(shù)下進(jìn)行10次實驗,對10次實驗得到的總體鑒別率求均值作為最終的總體鑒別率.實驗結(jié)果如表1所示.

實驗結(jié)果顯示:

1)使用隨機(jī)森林分類器的三種鑒別策略的總體鑒別率最高,各高頻DCT系數(shù)下的總體鑒別率幾乎都在90%以上;I_CR和RC_CR這兩種鑒別策略的總體鑒別率也較高,各高頻DCT系數(shù)下的總體鑒別率幾乎都在85%以上;使用SVM分類器的三種鑒別策略總體鑒別率較低,最低的總體鑒別率降至了34%.

2) RCPCA_RF、RCPCA_SVM、RC_CR這三種利用了人臉標(biāo)記點(diǎn)提取與圖像高頻分析的鑒別策略比對應(yīng)的只利用圖像高頻分析的IPCA_RF、IPCA_SVM、I_CR 的總體鑒別率高.嚴(yán)格按照關(guān)鍵標(biāo)記點(diǎn)高頻分析的方法制定的兩種鑒別策略中,R_RF_V比對應(yīng)的利用了人臉標(biāo)記點(diǎn)提取與圖像高頻分析的鑒別策略RCPCA_RF 的總體鑒別率高,R_SVM_V卻比對應(yīng)的利用了人臉標(biāo)記點(diǎn)提取與圖像高頻分析的鑒別策略RCPCA_SVM 的總體鑒別率低,比對應(yīng)的只利用圖像高頻分析的IPCA_SVM的總體鑒別率也低.

3)在高頻DCT系數(shù)相同時,與其它7種鑒別策略相比,R_RF_V總體鑒別率最高;當(dāng)高頻DCT系數(shù)為0.9時,R_RF_V的總體鑒別率為98.11%,達(dá)到最高.

4)隨著高頻DCT系數(shù)的增加,各種鑒別策略下總體鑒別率幾乎都有先升后降的趨勢.

實驗結(jié)果分析:

1)實驗證明模糊圖像和清晰圖像的高頻DCT特征確實存在差異,并且可以用來對模糊圖像進(jìn)行鑒別,并且能達(dá)到很高的鑒別精度.

2)分類器能夠充分提取到樣本之間的差異,因而使用分類器的策略比未使用分類器的策略鑒別精度高.嚴(yán)格按照關(guān)鍵標(biāo)記點(diǎn)高頻分析的方法制定的鑒別策略有最高的鑒別精度,但不同的分類器對鑒別結(jié)果有很大影響,本實驗中支持向量機(jī)分類器的分類效果明顯不如隨機(jī)森林分類器,尤其是在鑒別策略R_SVM_V中,由于支持向量機(jī)分類器對各特征區(qū)域高頻DCT特征的分類效果很差,導(dǎo)致了R_SVM_V的總體鑒別率非常低.

3)利用了人臉標(biāo)記點(diǎn)提取與圖像高頻分析的鑒別策略比對應(yīng)的只利用圖像高頻分析的鑒別策略的總體鑒別率高,是因為前者對人臉圖像上高頻信息集中地位置進(jìn)行了更有針對性的提取,避免了一些干擾信息的混入,提取到的特征對模糊圖像和清晰圖像更具區(qū)分性.

表1 各高頻DCT系數(shù)下各鑒別策略的總體鑒別率(%)
Table 1 IRTI of all strategies and all DCT coefficients (%)

系數(shù)鑒別策略R＿RF＿VRCPCA＿RFIPCA＿RFR＿SVM＿VRCPCA＿SVMIPCA＿SVMI＿CRRC＿CR197．8687．1687．1482．5173．3971．6950．0049．850．998．1195．6496．9278．8785．5789．0495．9794．450．897．4595．7095．1866．8791．3883．1493．8795．220．796．8595．0393．8949．2490．3975．2091．8993．580．696．1494．1492．8739．4388．9970．7791．8393．710．595．0993．7292．6834．2786．4168．4589．6891．540．494．2593．3292．4334．8885．2965．8290．0892．350．393．3292．4991．6936．4182．0866．5488．5990．320．292．3191．6891．2646．2674．8463．7388．5190．790．191．8791．3590．4467．5364．4163．5187．8290．02

表2 各高頻DCT系數(shù)下各鑒別策略的模糊圖像誤判率(%)
Table 2 RFCI of all strategies and all DCT coefficients (%)

系數(shù)鑒別策略R＿RF＿VRCPCA＿RFIPCA＿RFR＿SVM＿VRCPCA＿SVMIPCA＿SVMI＿CRRC＿CR10．339．318．3820．7124．9827．440．040．620．90．303．592．1822．5926．3613．661．471．460．80．193．322．7938．1312．2415．542．093．590．70．144．173．3757．7210．1114．201．362．920．60．134．203．0364．318．4432．631．983．790．50．113．562．5880．1013．0035．811．122．390．40．093．762．0778．8414．8940．041．093．090．30．192．931．8880．2418．4735．530．721．710．20．392．601．5169．6332．6341．360．502．010．10．662．181．2751．1146．6353．040．361．11

4)隨著高頻DCT系數(shù)的增加,模糊圖像與清晰圖像的高頻DCT特征的區(qū)別越來越明顯,所以總體鑒別率越來越高;但當(dāng)高頻DCT系數(shù)過大時,由于中低頻信息的混入,使得模糊圖像與清晰圖像的高頻DCT特征的區(qū)別受到干擾,所以總體鑒別率會下降.

3.2 驗證模糊圖像誤判率

對于模糊圖像的誤判情況(模糊圖像被判斷為清晰圖像),在驗證總體鑒別率的實驗中,對模糊圖像誤判率進(jìn)行了統(tǒng)計.實驗結(jié)果如表2所示.

實驗結(jié)果顯示:

1)R_RF_V的模糊圖像誤判率最低,各高頻DCT系數(shù)下的模糊圖像誤判率都在1%以下.其次是I_CR和RC_CR這兩種鑒別策略,各高頻DCT系數(shù)下的模糊圖像誤判率都在4%以下.接下來是其他兩種基于隨機(jī)森林分類器的鑒別策略,各高頻DCT系數(shù)下的模糊圖像誤判率幾乎在5%以下.基于SVM的三種鑒別策略較差,甚至達(dá)到了80%.

2)IPCA_RF、I_CR 這兩種只利用了圖像高頻分析的鑒別策略比對應(yīng)的利用了人臉標(biāo)記點(diǎn)提取與圖像高頻分析的RCPCA_RF、RC_CR的模糊圖像誤判率低.而對于支持向量機(jī)分類器,RCPCA_SVM這種利用了人臉標(biāo)記點(diǎn)提取與圖像高頻分析的鑒別策略比對應(yīng)的只利用圖像高頻分析的IPCA_SVM的模糊圖像誤判率低.

3)嚴(yán)格按照關(guān)鍵標(biāo)記點(diǎn)高頻分析的方法制定的兩種鑒別策略中,R_RF_V是所有鑒別策略中模糊圖像誤判率最低的,R_SVM_V是所有鑒別策略中模糊圖像誤判率最高的.

4)I_CR鑒別策略下,高頻DCT系數(shù)為1時模糊圖像誤判率異常的低.

5)在高頻DCT系數(shù)相同時,與其它7種鑒別策略相比,R_RF_V的模糊圖像誤判率幾乎都是最低的;當(dāng)高頻DCT系數(shù)為0.4時,R_RF_V的模糊圖像誤判率為0.09%,達(dá)到最低(這里不考慮(4)中描述的特例,這個特例是一個偽最低值,將在實驗分析中具體說明).

6)除了基于支持向量機(jī)的三種鑒別結(jié)果較差的鑒別策略之外,其他鑒別策略的模糊圖像誤判率較穩(wěn)定,隨著高頻DCT系數(shù)的增大模糊圖像誤判率沒有大幅度變動.

實驗結(jié)果分析:

1)實驗證明利用圖像高頻分析的方法對模糊圖像進(jìn)行鑒別是有效的,嚴(yán)格按照關(guān)鍵標(biāo)記點(diǎn)高頻分析的方法制定的鑒別策略有更準(zhǔn)確的鑒別結(jié)果.然而,最終的鑒別結(jié)果都受到所選擇的分類器的影響,例如本實驗中隨機(jī)森林分類器的分類效果較好,而支持向量機(jī)分類器的分類效果就很不理想.

2)相對于清晰圖像,模糊圖像的高頻DCT特征表現(xiàn)出很強(qiáng)的數(shù)值穩(wěn)定性.因而I_CR和RC_CR這兩種基于中心半徑來分類模糊圖像與清晰圖像的鑒別策略表現(xiàn)出很強(qiáng)的優(yōu)越性,甚至達(dá)到了高于簡單地使用隨機(jī)森林分類器的IPCA_RF和RCPCA_RF這兩種鑒別策略的鑒別精度.然而I_CR和RC_CR的鑒別結(jié)果還是不如R_RF_V這種對圖像模糊進(jìn)行精細(xì)分析的鑒別策略.

3)利用了人臉標(biāo)記點(diǎn)提取與圖像高頻分析的鑒別策略的模糊圖像誤判率不如只利用了圖像高頻分析的鑒別策略,然而在驗證總體鑒別率時卻好于后者,可見該類策略對清晰圖像有更好的鑒別結(jié)果.同時也說明了相對于嚴(yán)格按照關(guān)鍵標(biāo)記點(diǎn)高頻分析的方法制定的鑒別策略,該類策略的不穩(wěn)定性.

4)相對于清晰圖像,模糊圖像的高頻DCT特征表現(xiàn)出一定的數(shù)值穩(wěn)定性,所以一些鑒別結(jié)果較好的鑒別策略下,高頻DCT系數(shù)的變動對模糊圖像誤判率的影響不是很大.

5)I_CR鑒別策略高頻DCT系數(shù)為1時,由于直流系數(shù)及一些低頻信息的引入使得鑒別方法失效,所有圖像被判斷為模糊的,故模糊圖像誤判率很低.

6)總體鑒別率受到模糊圖像鑒別情況與清晰圖像鑒別情況兩個方面的影響,結(jié)合表1的數(shù)據(jù)分析發(fā)現(xiàn),基于關(guān)鍵點(diǎn)高頻分析的方法對模糊圖像比清晰圖像有更精確的鑒別結(jié)果.

綜合3.1節(jié)與3.2節(jié)的實驗發(fā)現(xiàn),基于關(guān)鍵標(biāo)記點(diǎn)高頻分析的方法提取出了模糊圖像與清晰圖像的差異,制定合理的鑒別策略可以用來進(jìn)行很好地分類,尤其是對模糊圖像有更準(zhǔn)確穩(wěn)定的分類效果.同時,實驗證明了最合理的高頻DCT系數(shù)為0.9,此時模糊圖像與清晰圖像的高頻DCT特征區(qū)分度最好,總體鑒別率最高,模糊圖像的鑒別結(jié)果也較精確.

3.3 對特征區(qū)域大小的探索

考慮到特征區(qū)域的大小與高頻DCT特征的獲得也有關(guān)系,進(jìn)而對最終的鑒別結(jié)果產(chǎn)生影響,實驗中對特征區(qū)域的最佳大小進(jìn)行了探索.受到標(biāo)記點(diǎn)與圖像邊界距離的限制,能取到的特征區(qū)域大小(以像素為單位)有7種,分別為:3×3、5×5、7×7、9×9、11×11、13×13、15×15.

對7種大小的特征區(qū)域分別用鑒別策略R_RF_V求出從0.1到1的10個高頻DCT系數(shù)的總體鑒別率.為避免偶然性,每個高頻DCT系數(shù)下進(jìn)行10次實驗,對10次實驗得到的總體鑒別率求均值作為最終的總體鑒別率.

將上述實驗結(jié)果,繪制成折線圖后,比較發(fā)現(xiàn)5×5、7×7、9×9這三種特征區(qū)域的總體鑒別率折線圖變化規(guī)律相差較小;11×11、13×13、15×15這三種特征區(qū)域的總體鑒別率折線圖變化規(guī)律相差較小,圖6給出3×3、5×5、11×11這三類具有代表性的特征區(qū)域的總體鑒別率折線圖.

圖6 三種代表性特征區(qū)域總體鑒別率折線圖Fig.6 IRTI line graph of three representative feature regions

觀察發(fā)現(xiàn),11×11的特征區(qū)域總體鑒別率折線圖增長率較穩(wěn)定,當(dāng)11×11的特征區(qū)域的高頻DCT系數(shù)為0.9時,總體鑒別率達(dá)到最高.就特征區(qū)域的大小對模糊圖像誤判率的影響也做了探索,綜合兩方面的性能,特征區(qū)域的大小選擇11×11是較合理的.

3.4 與其他方法進(jìn)行比較

為進(jìn)一步證明本文提出方法的有效性,用本文方法的鑒別策略R_RF_V與文獻(xiàn)[5]、文獻(xiàn)[6]、文獻(xiàn)[7]和文獻(xiàn)[8]提出的鑒別方法在同等實驗條件下做了比較實驗.表3列出了對總體鑒別率和模糊圖像誤判率的比較數(shù)據(jù).

表3 模糊圖像鑒別結(jié)果對比(%)
Table 3 Comparison of blurring image identification (%)

標(biāo)準(zhǔn)鑒別方法本文方法文獻(xiàn)[5]文獻(xiàn)[6]文獻(xiàn)[7]文獻(xiàn)[8]IRTI98．1181．2074．6171．1493．76RFCI0．32．824．584．980．94

比較發(fā)現(xiàn),本文方法在總體鑒別率和模糊圖像誤判率上均明顯好于文獻(xiàn)[5]、文獻(xiàn)[6]和文獻(xiàn)[7].相對于文獻(xiàn)[8],總體鑒別率提升了4%,模糊圖像誤判率也有所下降.總體而言,本文方法是相對較好的,證明了基于關(guān)鍵標(biāo)記點(diǎn)高頻分析方法的有效性.

4 總 結(jié)

人臉圖像的模糊對人臉識別具有負(fù)面影響,對模糊人臉圖像進(jìn)行鑒別能夠指導(dǎo)圖像的采集以及后期的處理識別,進(jìn)而降低圖像模糊對人臉識別的影響.以往對模糊人臉圖像進(jìn)行鑒別的研究比較少,現(xiàn)有的一些研究方法只考慮了圖像的特征,沒有很好地結(jié)合人臉的一些特性,因而鑒別的結(jié)果并不是很精確,本文提出了一種基于關(guān)鍵標(biāo)記點(diǎn)高頻分析的模糊人臉圖像鑒別方法.文中通過對根據(jù)該方法設(shè)計的8種具體鑒別策略的實驗結(jié)果的比較分析,結(jié)合與他人提出的鑒別方法的鑒別結(jié)果進(jìn)行比較,證明了該方法的合理性及有效性.對模糊人臉圖像模糊程度的量化是后續(xù)進(jìn)行研究和改進(jìn)的重點(diǎn).

[1] Zou Guo-feng,Fu Gui-xia,Li Zhen-mei,et al.Face image quality evaluation method based on the fusion of two level evaluation indexes [J].Journal of Shandong University(Engineering Science),2016,46(2):6-13.

[2] Yin Miao-yuan.Face image illumination and sharpness noreference assessment and application [D].Chongqing:Chongqing University,2015.

[3] Wang Zhi-ming.Review of no-reference image quality assessment [J].Acta Automatica Sinica,2015,41(6):1062-1079.

[4] Gao Xiu-feng,Zhang Pei-ren,Li Zi-qing.Standardization of face image sample quality [J].Journal of Chinese Computer Systems,2009,30(1):95-99.

[5] Su B,Lu S,Tan C L,et al.Blurred image region detection and classification [C].International Conference on Multimedia,Scottsdale,Arizona,USA,2011:1397-1400.

[6] Marziliano P,Dufaux F,Winkler S,et al.A no-reference perceptual blur metric [C].International Conference on Image Processing,Rochester,New York,USA,2002:57-60.

[7] Sang J,Lei Z,Li S Z,et al.Face image quality eva-luation for ISO/IEC standards 19794-5 and 29794-5 [C].International Conference on Advances in Biometrics,Alghero,Italy,2009:229-238.

[8] Li Yue-long,Liao Sheng-cai,Yi Dong,et al.Independent components based blur face identification[J].Journal of Computer-Aided Design & Computer Graphics,2014,26(11):1997-2006.

[9] Li Yue-long,Jin Yan,Wang Jian-ming,et al.Face feature points extraction:a review [J].Chinese Journal of Computers,2016,39(7):1356-1374.

[10] Belhumeur P N,Jacobs D W,Kriegman D J,et al.Localizing parts of faces using a consensus of exemplars[C].IEEE Conference on Computer Vision and Pattern Recognition,Washington,District of Colombia,USA,2011:545-552.

[11] Dollar P,Welinder P,Perona P,et al.Cascaded pose regression [C].IEEE Conference on Computer Vision and Pattern Recognition,San Francisco,California,USA,2010:1078-1085.

[12] Zhu S,Li C,Loy C C,et al.Face alignment by coarse-to-fine shape searching [C].IEEE Conference on Computer Vision and Pattern Recognition,Boston,Massachusetts,USA,2015:4998-5006.

[13] Sun Y,Wang X,Tang X,et al.Deep convolutional network cascade for facial point detection [C].IEEE Conference on Computer Vision and Pattern Recognition,Portland,Oregon,USA,2013:3476-3483.

[14] Cristinacce D,Cootes T F.Automatic feature localisation with constrained local models [J].Pattern Recognition,2008,41(10):3054-3067.

[15] Baltrusaitis T,Robinson P,Morency L,et al.3D co-nstrained local model for rigid and nonrigid facial tracking [C].IEEE Conference on Computer Vision and Pattern Recognition,Providence,Rhode Island,USA,2012:2610-2617.

[16] Saragih J,Lucey S,Cohn J F,et al.Face alignment through subspace constrained meanshifts [C].International Conference on Computer Vision,Kyoto,Japan,2009:1034-1041.

[17] Chen Rui,Wang Jing,Huang Hua-jun,et al.Multifocus image fusion based on block DCT transform [J].Journal of Chinese Computer Systems,2016,37(2):321-326.

[18] Haghighat M B A,Aghagolzadeh A,Seyedarabi H.Multifocus image fusion for visual sensor networks in DCT domain [J].Computers & Electrical Engineering,2011,37(5):789-797.

[19] Chu Heng,Zhu Wei-le.Image fusion algorithms using discrete cosine transform [J].Optics and Precision Engineering,2006,14(2):266-273.

[20] Phillips P J,Flynn P J,Scruggs T E,et al.Overview of the face recognition grand challenge [C].IEEE Conference on Computer Vision and Pattern Recognition,San Diego,California,USA,2005:947-954.

附中文參考文獻(xiàn)：

[1] 鄒國鋒,傅桂霞,李震梅,等.融合二級評價指標(biāo)的人臉圖像質(zhì)量評價方法[J].山東大學(xué)學(xué)報(工學(xué)版),2016,46(2):6-13.

[2] 尹渺源.人臉圖像的光照和清晰度質(zhì)量無參考評價及應(yīng)用[D].重慶:重慶大學(xué),2015.

[3] 王志明.無參考圖像質(zhì)量評價綜述[J].自動化學(xué)報,2015,41(6):1062-1079.

[4] 高修峰,張培仁,李子青.人臉圖像質(zhì)量評估標(biāo)準(zhǔn)[J].小型微型計算機(jī)系統(tǒng),2009,30(1):95-99.

[8] 李月龍,廖勝才,易 東,等.基于獨(dú)立組件的模糊人臉圖像鑒別[J].計算機(jī)輔助設(shè)計與圖形學(xué)學(xué)報,2014,26(11):1997-2006.

[9] 李月龍,靳 彥,汪劍鳴,等.人臉特征點(diǎn)提取方法綜述[J].計算機(jī)學(xué)報,2016,39(7):1356-1374.

[17] 陳 睿,王 晶,黃華軍,等.Alsharif.基于分塊DCT變換的多聚焦圖像融合[J].小型微型計算機(jī)系統(tǒng),2016,37 (2):321-326.

[19] 楚 恒,朱維樂.基于DCT變換的圖像融合方法研究[J].光學(xué)精密工程,2006,14(2):266-273.