基于機(jī)器學(xué)習(xí)的人臉檢測系統(tǒng)的設(shè)計(jì)與現(xiàn)實(shí)

摘? 要：人們在生活上對(duì)安全和便捷要求越來越高，人臉檢測在近年開始被廣泛應(yīng)用，使人們的生活購物、信息保障等方面都得到了質(zhì)的提升，所以人臉檢測的研究實(shí)現(xiàn)是非常有必要的。文章設(shè)計(jì)了一個(gè)基于機(jī)器學(xué)習(xí)的人臉檢測系統(tǒng)。主要方法使用了MTCNN模型框架進(jìn)行人臉候選框以及人臉特征點(diǎn)的預(yù)測，通過多個(gè)階段的預(yù)測與篩選，最后得出準(zhǔn)確的人臉框以及5個(gè)人臉特征點(diǎn)。

關(guān)鍵詞：人臉檢測;機(jī)器學(xué)習(xí);MTCNN

中圖分類號(hào)：TP391.41? ? ? 文獻(xiàn)標(biāo)識(shí)碼：A 文章編號(hào)：2096-4706（2020）03-0094-03

Abstract：People are increasingly demanding safety and convenience in their lives. Face detection has been widely used in recent years，which has led to a qualitative improvement in peoples life shopping and information security，So the research and implementation of face detection is very necessary. This paper designs a face detection system based on machine learning. The main method uses the MTCNN model framework to predict the face candidate frame and face feature points. Through multiple stages of prediction and screening，the final result is the accurate face frame and five face feature points.

Keywords：face detection;machine learning;MTCNN

0? 引? 言

筆者在讀碩士期間，對(duì)機(jī)器學(xué)習(xí)和人臉檢測做了一定研究，積累了一些經(jīng)驗(yàn)和資料。作為高校教師，每次課堂點(diǎn)到需要很長時(shí)間，這樣不僅耽誤了課堂教學(xué)的進(jìn)程，也浪費(fèi)了學(xué)生的時(shí)間，基于此，本文利用筆者讀碩期間所學(xué)知識(shí)開發(fā)一個(gè)基于機(jī)器學(xué)習(xí)的人臉檢測系統(tǒng)，通過該系統(tǒng)完成點(diǎn)到，解決傳統(tǒng)點(diǎn)到的弊端。人臉檢測是圖像處理的重要組成部分，也是計(jì)算機(jī)視覺的一個(gè)重要研究領(lǐng)域，在智能安防、人機(jī)交互及免密身份驗(yàn)證等方面有著非常廣泛的應(yīng)用。本文以基于機(jī)器學(xué)習(xí)的人臉檢測為切入點(diǎn)，設(shè)計(jì)并實(shí)現(xiàn)了基于機(jī)器學(xué)習(xí)的人臉檢測系統(tǒng)，更好地為我校教師教學(xué)過程中學(xué)生點(diǎn)到服務(wù)。

1? 系統(tǒng)概述

1.1? 訓(xùn)練集圖片剪裁

對(duì)人臉檢測模型進(jìn)行訓(xùn)練之前，需要對(duì)PNet、RNet、ONet三個(gè)網(wǎng)絡(luò)模型訓(xùn)練圖片進(jìn)行處理，本人臉檢測模型使用WIDER_FACE與LFW人臉數(shù)據(jù)作為訓(xùn)練使用的數(shù)據(jù)集，該模塊通過數(shù)據(jù)標(biāo)注信息表，該表提供了每張圖片的路徑、圖中人臉的數(shù)量、每個(gè)人臉框的坐標(biāo)位置以及5個(gè)人臉特征點(diǎn)的坐標(biāo)，使用該表對(duì)圖片的人臉框進(jìn)行剪裁，并輸出新的圖片以及對(duì)新剪裁圖片進(jìn)行坐標(biāo)信息的標(biāo)注等。值得注意的是，MTCNN提出了除正負(fù)樣本的制作外還使用了部分困難樣本，將隨機(jī)剪裁正確人臉I(yè)OU在正負(fù)樣本之間的樣本，標(biāo)簽設(shè)為人臉。部分樣本的制作，在訓(xùn)練模型時(shí)能夠提升其檢測的準(zhǔn)確性和魯棒性。

1.2? 網(wǎng)絡(luò)模型搭建

進(jìn)行訓(xùn)練所使用的數(shù)據(jù)集處理完之后，就需要對(duì)網(wǎng)絡(luò)模型的框架進(jìn)行搭建。根據(jù)機(jī)器學(xué)習(xí)大致框架，確定各層PNet、RNet和ONet的輸入大小，filter參數(shù)設(shè)置，池化層kernel參數(shù)設(shè)置以及確定三個(gè)輸出端的連接方式。

1.3? 檢測模型訓(xùn)練

在訓(xùn)練的模塊上，需要對(duì)三層網(wǎng)絡(luò)逐一進(jìn)行訓(xùn)練，由于網(wǎng)絡(luò)相對(duì)較小，所以訓(xùn)練速度也比較快。在網(wǎng)絡(luò)模型搭建和訓(xùn)練上，本系統(tǒng)使用Tensorflow環(huán)境進(jìn)行模型的搭建和訓(xùn)練。

1.4? 第一階段候選框檢測

在對(duì)圖像進(jìn)行檢測前，需要構(gòu)造圖像金字塔，即將圖像變換成一系列大小的圖像，這樣能使不同大小的人臉都能夠盡可能縮放成PNet模型，能夠檢測人臉的大小輸入。根據(jù)卷積神經(jīng)網(wǎng)絡(luò)各個(gè)層具有大小不同的感受野，從不同層提取多個(gè)尺度的特征向量分別進(jìn)行人臉分類與回歸，并將網(wǎng)絡(luò)的全連接層改成卷積層，以適應(yīng)不同大小的圖片輸入。將變換好的所有圖片逐一輸入PNet模型中進(jìn)行前向傳播，得到每個(gè)12*12區(qū)域是否是人臉的概率，再將所有判斷為人臉的區(qū)域進(jìn)行反映射，得出該區(qū)域在原圖的坐標(biāo)值。得出所有人臉候選框，再進(jìn)行NMS非極大值抑制，舍棄重疊值過高的候選框。多任務(wù)物體檢測網(wǎng)絡(luò)同時(shí)輸出了物體的類別和物體的回歸框。

1.5? 第二階段候選框檢測模塊

在第一階段模塊對(duì)圖片進(jìn)行大致的檢測篩選之后，會(huì)得出較多的候選框，并且重復(fù)率較高，通過將第一階段得到的候選框進(jìn)行圖片裁剪，再逐一輸入RNet模型中進(jìn)行進(jìn)一步的檢測篩選，將人臉概率值小的進(jìn)行舍棄，保留概率高的人臉候選框，再進(jìn)行NMS處理。

1.6? 第三階段候選框檢測模塊

在前兩個(gè)階段處理過后，得出人臉候選框，在該階段繼續(xù)進(jìn)行進(jìn)一步檢測篩選，該過程和第二階段類似，在此之上，添加5個(gè)人臉特征點(diǎn)的檢測，將第二階段篩選得出的人臉圖片作為第三階段模型的輸入，進(jìn)行前向傳播過后，分別得到人臉的概率值，人臉候選框的坐標(biāo)值以及5個(gè)人臉特征點(diǎn)的坐標(biāo)值。再對(duì)所有候選框進(jìn)行NMS處理，得出最后的人臉候選框和特征點(diǎn)坐標(biāo)。

2? 系統(tǒng)核心功能設(shè)計(jì)與實(shí)現(xiàn)

2.1? 訓(xùn)練集圖片處理模塊設(shè)計(jì)與實(shí)現(xiàn)

訓(xùn)練集制作模塊包括對(duì)PNet、RNet與ONet三層網(wǎng)絡(luò)進(jìn)行訓(xùn)練集的制作，其中包括人臉樣本、非人臉樣本、困難樣本以及人臉特征點(diǎn)樣本的制作。因?yàn)檫x用WIDER_FACE數(shù)據(jù)集只標(biāo)注人臉候選框的位置，所以人臉樣本、非人臉樣本和困難（部分）樣本都是用WIDER_FACE數(shù)據(jù)集制作。Wider Face Dataset包含非常豐富的人臉樣本，數(shù)量巨大，而且人臉樣本的尺度、姿態(tài)、遮擋以及光照條件變化很大。而人臉特征點(diǎn)樣本則使用已經(jīng)標(biāo)注好人臉特征點(diǎn)信息的LFW數(shù)據(jù)集進(jìn)行制作。該模塊中，除了需要對(duì)樣本圖片進(jìn)行剪裁，還需要對(duì)每個(gè)圖片信息進(jìn)行標(biāo)注，標(biāo)注格式包括剪裁之后的圖片路徑名，label值，以及每個(gè)樣本的詳細(xì)信息（人臉樣本與困難樣本為候選框坐標(biāo)，人臉特征點(diǎn)樣本則為5個(gè)特征點(diǎn)坐標(biāo)）。

2.2? 檢測模型搭建模塊設(shè)計(jì)與實(shí)現(xiàn)

在三層卷積網(wǎng)絡(luò)模型中，都需要進(jìn)行通過卷積層進(jìn)行特征提取和最后的全連接操作，所以在實(shí)現(xiàn)模型搭建的過程中，構(gòu)造卷積函數(shù)和全連接函數(shù)接口，使得在每層使用卷積層操作的時(shí)候只需添加卷積filter、池化kernel和步長等參數(shù)，并不需要每個(gè)網(wǎng)絡(luò)都重寫一遍卷積的代碼。該函數(shù)接口核心代碼如下所示：

PNet層中，第一層為輸入層，該層輸入為預(yù)測待測圖片，大小不確定，因此將最后一層全連接層改為全卷積層，在第一層卷積conv1中，filter設(shè)置為3*3大小，滑動(dòng)步長為1，filter數(shù)量為10，池化層kernel大小設(shè)置為2*2，步長為2。第二層conv2與第一層參數(shù)類似，filter數(shù)量設(shè)為16。conv3同上，但filter數(shù)量設(shè)置為32，在前三層卷積操作完成后，分別對(duì)輸出進(jìn)行3個(gè)輸出端的運(yùn)算，對(duì)于人臉分類器，使用全卷積，即將卷積核大小設(shè)為1*1，對(duì)每個(gè)卷積核大小的特征單獨(dú)提取出兩個(gè)最終值，最后通過softmax進(jìn)行人臉和非人臉概率計(jì)算。對(duì)于人臉候選框的輸出端，與以上類似使用全卷積提取，不同的是該分支輸出是進(jìn)行人臉候選框左上角與右下角坐標(biāo)的檢測，所以最終輸出需要提取出4個(gè)預(yù)測值。而第三個(gè)輸出分支對(duì)5個(gè)人臉特征點(diǎn)進(jìn)行預(yù)測，則使用全卷積后提取出10個(gè)預(yù)測值。對(duì)于RNet層與ONet層后面兩層架構(gòu)的實(shí)現(xiàn)，由于網(wǎng)絡(luò)模型框架與PNet差別不大，參數(shù)稍有不同，因此實(shí)現(xiàn)過程與第一層PNet層類似，這里不再多做贅述。

2.3? 檢測模型訓(xùn)練模塊設(shè)計(jì)與實(shí)現(xiàn)

在模型訓(xùn)練模塊上，因?yàn)橛?xùn)練樣本集都已經(jīng)制作完成，PNet、RNet和ONet三層網(wǎng)絡(luò)的訓(xùn)練都是前向傳播后，再通過反向傳播進(jìn)行參數(shù)的更新，總體相差無幾，所以主要是對(duì)loss值的計(jì)算進(jìn)行討論和對(duì)PNet訓(xùn)練進(jìn)行討論。PNet訓(xùn)練模塊實(shí)現(xiàn)上，首先，使用tensorflow框架進(jìn)行訓(xùn)練，事先定義好前向傳播過程，再計(jì)算loss值，對(duì)于PNet、RNet和ONet三層每層都需要進(jìn)行三個(gè)輸出，需要三個(gè)對(duì)應(yīng)loss值，在進(jìn)行第一個(gè)輸出端loss值的計(jì)算上，因?yàn)闃颖居?種類型，這里人臉分類器的loss值計(jì)算只針對(duì)樣本label為1與0，即人臉與非人臉兩個(gè)正負(fù)樣本進(jìn)行計(jì)算，損失函數(shù)的選擇上使用因?yàn)檫M(jìn)行了softmax二分類計(jì)算概率，這里使用交叉熵函數(shù);其次，對(duì)于第二個(gè)輸出端處理人臉候選框loss值，使用歐氏距離進(jìn)行計(jì)算，此處的loss值計(jì)算針對(duì)樣本label為1和-1，即人臉與部分樣本，當(dāng)樣本label為其他值時(shí)，loss值算為0，最后進(jìn)行l(wèi)oss值取平均時(shí)不作計(jì)算;最后，第三個(gè)輸出端口處理人臉特征點(diǎn)預(yù)測的loss值，與人臉候選框的loss值一樣，使用歐氏距離對(duì)真實(shí)的坐標(biāo)與預(yù)測的坐標(biāo)進(jìn)行計(jì)算，這里，樣本的label選取為-2，即人臉特征點(diǎn)樣本。

通過前向傳播，計(jì)算完loss值之后，使用tensorflow進(jìn)行反向傳播進(jìn)行權(quán)重參數(shù)的更新。到此一次更新結(jié)束，本系統(tǒng)模型訓(xùn)練迭代次數(shù)設(shè)為100 000次，所以重復(fù)上述過程，進(jìn)行100 000次迭代訓(xùn)練。對(duì)其余兩個(gè)網(wǎng)絡(luò)模型RNet和ONet進(jìn)行訓(xùn)練，因?yàn)榫W(wǎng)絡(luò)的輸出端都是一樣的，所以loss值的計(jì)算繼續(xù)沿用，訓(xùn)練過程和上述類似，不再贅述。

2.4? 第一階段候選框檢測模塊設(shè)計(jì)與實(shí)現(xiàn)

第一階段的檢測實(shí)現(xiàn)主要分為三部分：圖像scale變換、圖片PNet檢測篩選和NMS非極大值抑制篩選。圖像scale變換子模塊中，將變換最小的圖片下限設(shè)為12*12，且將縮放系數(shù)設(shè)為0.75，將原圖進(jìn)行圖像金字塔構(gòu)造。進(jìn)行scale變換后，依次將每個(gè)縮放后的圖片進(jìn)行PNet層輸入運(yùn)算，得到三個(gè)輸出，包括face_label（該檢測區(qū)域?yàn)槿四樀母怕手担ace_box（該區(qū)域人臉候選框的坐標(biāo)）、landmark（5個(gè)人臉特征點(diǎn)坐標(biāo)），因?yàn)闄z測的感受野為12*12，再通過滑動(dòng)窗口的原理計(jì)算進(jìn)行反映射，計(jì)算得出該點(diǎn)檢測的區(qū)域在原圖的坐標(biāo)。得到每一個(gè)區(qū)域的人臉概率后，將概率值小于0.8的候選框舍棄，保留大于0.8的候選框。再使用NMS進(jìn)行覆蓋率較高的候選框進(jìn)行舍棄，初步產(chǎn)出可能為人臉的候選框。該階段模塊的核心代碼實(shí)現(xiàn)如下所示：

2.5? 第二階段候選框檢測模塊設(shè)計(jì)與實(shí)現(xiàn)

在第一階段實(shí)現(xiàn)后，產(chǎn)生了多個(gè)PNet認(rèn)為是人臉置信度高的候選框坐標(biāo)之后，進(jìn)行第二階段的進(jìn)一步篩選處理。將第一階段得到的候選框坐標(biāo)，在原圖上進(jìn)行剪裁得到多張候選框圖片，由于RNet層網(wǎng)絡(luò)模型使用全連接層，因此輸入圖片大小需要固定值，則將所有剪裁得到后的圖片使用OpenCV函數(shù)resize（）調(diào)整大小為24*24，然后作為RNet層的輸入，進(jìn)行前向傳播運(yùn)算，最后得到每張圖片的人臉概率值、人臉候選框坐標(biāo)以及人臉特征點(diǎn)坐標(biāo)。同第一階段操作，將人臉候選框圖片人臉概率值小于0.8的進(jìn)行舍棄，然后再通過NMS進(jìn)行重復(fù)率高的候選框舍棄，最終得到第二階段篩選后的人臉候選框坐標(biāo)。

2.6? 第三階段候選框檢測模塊設(shè)計(jì)與實(shí)現(xiàn)

經(jīng)過前兩個(gè)階段模型的篩選處理后，基本已經(jīng)將大部分粗糙和誤檢的候選框進(jìn)行淘汰，最后一階段，處理繼續(xù)精細(xì)篩選人臉候選框，最重要的一步，是將人臉特征點(diǎn)進(jìn)行預(yù)測以及反映射。ONet與PNet、RNet對(duì)比，ONet層才說得上真正用上了landmark的預(yù)測坐標(biāo)值。該階段實(shí)現(xiàn)過程與第二階段相差無幾，不同的是，此階段連續(xù)進(jìn)行了兩次NMS篩選操作，并且在最后不僅返回人臉候選框坐標(biāo)值，并且也將候選框置信度以及5個(gè)人臉特征點(diǎn)坐標(biāo)值進(jìn)行保存返回，最后在原圖上進(jìn)行候選框和人臉特征點(diǎn)的標(biāo)注。

3? 結(jié)? 論

本文主要研究的是基于機(jī)器學(xué)習(xí)的人臉檢測系統(tǒng)，在對(duì)檢測系統(tǒng)進(jìn)行劃分時(shí)，根據(jù)檢測人臉圖像流程將系統(tǒng)分為六個(gè)模塊：對(duì)人臉檢測模型訓(xùn)練集圖片剪裁處理模塊;預(yù)測模型搭建模塊;預(yù)測模型訓(xùn)練模塊;第一階段候選框檢測模塊;第二階段候選框篩選模塊;第三階段候選框再篩選以及人臉特征點(diǎn)預(yù)測模塊。

參考文獻(xiàn)：

[1] 吳彤，陳燦燦，張翔.人臉識(shí)別應(yīng)用算法性能測試簡述 [J].中國安全防范技術(shù)與應(yīng)用，2019（1）：14-16.

[2] 常思遠(yuǎn)，李有乘，孫培巖，等.一種基于MTCNN的視頻人臉檢測及識(shí)別方法 [J].許昌學(xué)院學(xué)報(bào)，2019，38（2）：149-152.

[3] 徐冬陽.人臉檢測與識(shí)別技術(shù)的發(fā)展及應(yīng)用 [J].電子世界，2018（1）：193-194.

作者簡介：彭濤（1974-），女，漢族，江西龍南人，講師，碩士，主要研究方向：計(jì)算機(jī)應(yīng)用。