多目標(biāo)人臉檢測(cè)與識(shí)別在智慧步道中的應(yīng)用

唐晗，羅大暉

（常州信息職業(yè)技術(shù)學(xué)院，江蘇常州，213164）

0 引言

近年來，隨著國(guó)民經(jīng)濟(jì)水平的提高和人們生活水平的改善，人們對(duì)于親近自然、健身娛樂提出了更多和更高的要求。健身步道作為連接自然游憩地和生態(tài)資源的線性開放空間，在各城市廣泛存在。物聯(lián)網(wǎng)、人工智能、大數(shù)據(jù)、云計(jì)算等數(shù)字基建助力產(chǎn)業(yè)升級(jí)，智慧步道應(yīng)運(yùn)而生，開啟了全民健身新模式。智慧步道借助人臉識(shí)別技術(shù)，沿途設(shè)置多個(gè)人臉識(shí)別設(shè)備，用戶在步道上運(yùn)動(dòng)時(shí)，設(shè)備自動(dòng)識(shí)別人臉，實(shí)現(xiàn)無(wú)感、安全、有效的運(yùn)動(dòng)信息數(shù)據(jù)收集；系統(tǒng)自動(dòng)為其記錄運(yùn)動(dòng)數(shù)據(jù)，同時(shí)將傳統(tǒng)的步道里程、用時(shí)及卡路里消耗等運(yùn)動(dòng)數(shù)據(jù)通過智能算法為跑步者的運(yùn)動(dòng)信息進(jìn)行建模分析。這套解決方案的優(yōu)點(diǎn)是：用戶無(wú)需攜帶任何硬件設(shè)備，使用人臉即可獲得完整體驗(yàn)。

多目標(biāo)人臉檢測(cè)與識(shí)別是智慧步道中的關(guān)鍵技術(shù)之一。人臉檢測(cè)的目標(biāo)是找出圖像中所有的人臉對(duì)應(yīng)的位置，算法的輸出是人臉外接矩形在圖像中的坐標(biāo)，也可能還包括姿態(tài)信息。人臉識(shí)別則需要從圖片中提取出有代表性特征，據(jù)此有效地區(qū)分不同個(gè)體。

1 人臉識(shí)別技術(shù)步驟

人臉識(shí)別的整個(gè)過程大致分為2個(gè)步驟：人臉檢測(cè)和人臉匹配。

1.1 人臉檢測(cè)

人臉檢測(cè)是人機(jī)交互的第一步，它基于面部圖像進(jìn)行分析和研究。雖然人臉的結(jié)構(gòu)是確定的，由眼睛、眉毛、鼻子、嘴巴、輪廓等部分組成，但由于多種因素的影響，如姿態(tài)和表情的變化，裝扮差異，光照強(qiáng)度，遮擋等，要魯棒地準(zhǔn)確的檢測(cè)出人臉是其實(shí)是一件相當(dāng)困難的工作。人臉檢測(cè)算法在面對(duì)一張圖像時(shí)，由于人臉可能出現(xiàn)在圖像的任何位置，所以通常會(huì)采用一種窗體滑動(dòng)算法，即在檢測(cè)時(shí)用固定大小的窗體對(duì)圖像從上到下、從左到右掃描，判斷子窗體里的子圖像是否為人臉。此外，人臉有大有小，所以還需要對(duì)圖像進(jìn)行放大或者縮小，對(duì)每張縮放后的圖像重復(fù)上面的掃描算法，整個(gè)檢測(cè)過程非常耗時(shí)。總的說來，人臉檢測(cè)負(fù)責(zé)檢測(cè)圖像中是否存在人臉，如果存在則記錄包裹人臉的矩形的坐標(biāo)和大小，如果圖片中存在多個(gè)人臉則會(huì)記錄多個(gè)結(jié)構(gòu)相同的矩陣數(shù)據(jù)。

1.2 人臉匹配

人臉匹配首先進(jìn)行特征提取，自動(dòng)定位眉毛、眼睛、嘴巴、輪廓等面部關(guān)鍵特征點(diǎn)；然后將關(guān)鍵特征點(diǎn)抽取、轉(zhuǎn)換成特征向量；接著將提取出的人臉特征向量與數(shù)據(jù)庫(kù)中的人臉進(jìn)行比較，如果特征向量的距離較近或者相似度較高，則說明人臉識(shí)別成功；如果數(shù)據(jù)庫(kù)中的所有人臉都不匹配，則輸出無(wú)法識(shí)別。人臉匹配僅僅是進(jìn)行比對(duì)分類，一些常見的機(jī)器學(xué)習(xí)方法如KNN等就能滿足其需求。

特征提取是人臉識(shí)別的關(guān)鍵，為了更好地提取人臉關(guān)鍵特征，許多特征提取算法被發(fā)展出來，例如尺度不變特征變換（Scale Invariant Feature Transform，SIFT）、直方圖定向梯度（Histogram of oriented Gradient，HoG）、局部二值模式（Local Binary Pattern，LBP）及其變種等。近年，深度學(xué)習(xí)和卷積神經(jīng)網(wǎng)絡(luò)（Convolutional Neural Network，CNN）在圖像分類和人臉識(shí)別領(lǐng)域大獲成功，成為計(jì)算機(jī)視覺領(lǐng)域的研究熱點(diǎn)之一，其基本思想是利用大量數(shù)據(jù)作為訓(xùn)練數(shù)據(jù)，通過訓(xùn)練模型來學(xué)習(xí)參數(shù)，最后利用模型來識(shí)別人臉。深度學(xué)習(xí)技術(shù)的發(fā)展，使得基于深度神經(jīng)網(wǎng)絡(luò)的人臉識(shí)別算法性能得到了顯著提升，例如ArcFace、MobileFaceNets、SphereFace等，其中最先進(jìn)的人臉識(shí)別算法在開源人臉數(shù)據(jù)集 LFW 上的識(shí)別精度甚至可以達(dá)到99%。

2 面向智慧步道環(huán)境的多人臉檢測(cè)

智慧步道環(huán)境是用戶跑步運(yùn)動(dòng)的真實(shí)場(chǎng)景，同時(shí)出現(xiàn)在攝像頭中的用戶少則1人，多則幾十人。用戶在跑步時(shí)大部分面朝同一方向，且常有部分遮擋，前面的用戶頭部會(huì)對(duì)后面的用戶頭部造成影響。而且這些用戶都在運(yùn)動(dòng)中，隨機(jī)動(dòng)作較多，會(huì)造成臉部偏移。此外，受拍攝距離、角度、光照等因素的影響，采集到人臉圖像的質(zhì)量會(huì)低于實(shí)驗(yàn)室條件下的人臉質(zhì)量，其中最常見的問題是由于距離影響使得獲取到的人臉圖像尺寸較小，圖像分辨率較低。

為了實(shí)現(xiàn)智慧步道環(huán)境的多人臉檢測(cè)，首先需要選擇合適的數(shù)據(jù)集，然后選擇合適的深度神經(jīng)網(wǎng)絡(luò)模型進(jìn)行訓(xùn)練，最后使用模型進(jìn)行真實(shí)場(chǎng)景中的人臉檢測(cè)與識(shí)別。

2.1 數(shù)據(jù)集

本文的數(shù)據(jù)集來源于Caltech人臉數(shù)據(jù)庫(kù)和LFW人臉數(shù)據(jù)庫(kù)，它們都已經(jīng)進(jìn)行了標(biāo)注。從中挑選出背景較為復(fù)雜且含有多人臉的圖像作為研究對(duì)象，共500張，最后將所有圖像統(tǒng)一縮放成相同大小，方便后面的模型訓(xùn)練和測(cè)試。

2.2 多人臉檢測(cè)

人臉檢測(cè)傳統(tǒng)上可以使用基于OpenCV的Haar級(jí)聯(lián)算法、基于Dlib的人臉檢測(cè)算法等，但它們均不適合智慧步道這種有可能擁擠的場(chǎng)景。人臉檢測(cè)的最新進(jìn)展主要得益于強(qiáng)大的深度神經(jīng)網(wǎng)絡(luò)，特別是基于CNN的網(wǎng)絡(luò)模型取得了較好的效果，基本策略是級(jí)聯(lián)CNN，從粗到精學(xué)習(xí)人臉檢測(cè)。在擁擠人群中進(jìn)行多人臉檢測(cè)主要有兩種實(shí)現(xiàn)路徑：

（1）回歸算法：使用回歸算法直接根據(jù)圖像計(jì)算出擁擠人群密度熱圖，它的缺點(diǎn)是圖像質(zhì)量要求較高，不適用于低分辨率圖片，而且它只能得到場(chǎng)景整體的一個(gè)擁擠指數(shù)，不能獲知人群個(gè)體的具體位置。

（2）深度學(xué)習(xí)目標(biāo)檢測(cè)：類似于Faster RCNN這樣的人臉檢測(cè)算法可以直接檢測(cè)出擁擠人群中人臉的個(gè)數(shù)。其缺點(diǎn)是在人物相互遮擋的情況下往往性能較差，而人群越擁擠相互遮擋的可能性越大。

本文所采用的多人臉檢測(cè)模型為全卷積頭部檢測(cè)器（A Fast and Accurate Head Detector，F(xiàn)CHD）。FCHD 是近年推出的一種深度學(xué)習(xí)頭部檢測(cè)模型，它的特點(diǎn)是即使是在擁擠的場(chǎng)景中依然能夠進(jìn)行快速和準(zhǔn)確的頭部檢測(cè)，同時(shí)在模型結(jié)構(gòu)上比傳統(tǒng)的目標(biāo)檢測(cè)算法要簡(jiǎn)單很多，其主要結(jié)構(gòu)是一個(gè)單獨(dú)的全卷積網(wǎng)絡(luò)。FCHD作為一種基于深度學(xué)習(xí)的檢測(cè)方法，它與傳統(tǒng)的檢測(cè)方法有很大的不同，在實(shí)驗(yàn)中首先需要考慮預(yù)置的邊界框（錨點(diǎn)），這些邊界框（錨點(diǎn)）是通過設(shè)置一組不同比例的候選框生成的。由于面部尺寸、光照對(duì)檢測(cè)的影響不同，通過對(duì)目標(biāo)區(qū)域進(jìn)行平均池化操作生成嵌入特征來增強(qiáng)鑒別能力，從而消除面部各部位所帶來的不同影響。針對(duì)多人臉數(shù)據(jù)的特殊性，減少錨點(diǎn)數(shù)量，訓(xùn)練時(shí)間可以大幅減少。

2.3 實(shí)驗(yàn)測(cè)試

實(shí)驗(yàn)的硬件條件包含 Intel(R)Xeon(R) CPU E5-2650v4@2.20GHzx48，內(nèi)存 32GB，顯卡 Nvidia GeForceGTX 1080 Ti。軟件條件包括操作系統(tǒng)為Ubuntu 16.04 LTS，PyTorch LTS(1.8.2)，CUDA 10.2，F(xiàn)CHD開源庫(kù)。

實(shí)驗(yàn)前，先將數(shù)據(jù)集分為兩部分，80%用于訓(xùn)練，20%用于測(cè)試。然后采用FCHD模型在訓(xùn)練集上進(jìn)行訓(xùn)練，訓(xùn)練過程選用了48×48像素大小的錨點(diǎn)，訓(xùn)練30次。最后在測(cè)試集上進(jìn)行測(cè)試。實(shí)驗(yàn)表明，該模型對(duì)于多人臉場(chǎng)景具有較好的檢測(cè)能力，即使對(duì)于角度有偏移、甚至有部分遮擋的人臉也能檢測(cè)出來。

3 人臉識(shí)別

在人臉識(shí)別之前，先要準(zhǔn)備好人臉庫(kù)，人臉庫(kù)存放的是人臉特征。在人臉錄入的時(shí)候?qū)ζ溥M(jìn)行特征提取并將其存儲(chǔ)到人倆庫(kù)中，已被查詢和比對(duì)。

人臉識(shí)別功能在服務(wù)端實(shí)現(xiàn)，使用Spring Boot并基于虹軟ArcFace SDK（ArcFace-V3.0）進(jìn)行開發(fā)，基本過程如下：Spring Boot服務(wù)器通過RSTP協(xié)議連接網(wǎng)絡(luò)攝像機(jī)，從而獲取攝像機(jī)的視頻流。服務(wù)器每隔0.5秒采集一次圖像，利用上面訓(xùn)練好的模型進(jìn)行人臉檢測(cè)，然后使用虹軟SDK提取人臉特征數(shù)組，接著將人臉到人臉庫(kù)中去比對(duì)與識(shí)別。虹軟SDK除了可以進(jìn)行特征提取、人臉識(shí)別之外，還可以進(jìn)行性別檢測(cè)、年齡檢測(cè)、活體檢測(cè)等。

考慮到人臉庫(kù)隨著系統(tǒng)使用過程中的規(guī)模膨脹，為提高人臉識(shí)別的效率，人臉特征與人臉庫(kù)的匹配過程采用多線程設(shè)計(jì)，基本思想如下：把人臉庫(kù)按照參數(shù)compare Partition Size的大小分成多組，對(duì)每一組人臉都構(gòu)建一個(gè)Completion Service子任務(wù)，在每個(gè)子任務(wù)中去實(shí)際完成人臉識(shí)別，從而提高整體效率，最后將每個(gè)子任務(wù)的識(shí)別結(jié)果按照相似度從大到小排序。

多線程主要靠CompletionService來完成，Completion Service是Java8的接口，它使用submit()方法執(zhí)行任務(wù)，使用take取得已完成的任務(wù)，并按照完成這些任務(wù)的時(shí)間順序處理它們的結(jié)果。也就是說，CompletionService的主要功能就是一邊生成任務(wù)，一邊獲取任務(wù)的返回值。讓這兩件事分開執(zhí)行，任務(wù)之間不會(huì)互相阻塞。CompletionService在提交任務(wù)之后，會(huì)根據(jù)任務(wù)完成順序來獲取返回值，也就是誰(shuí)先完成就返回誰(shuí)的返回值。

核心代碼如下，代碼中的passRate代表人臉匹配的閾值，根據(jù)虹軟SDK的要求，一般取0.8。

4 結(jié)語(yǔ)

本文針對(duì)智慧步道中的具體問題開展研究，重點(diǎn)研究區(qū)域內(nèi)多人臉檢測(cè)問題，采用并實(shí)驗(yàn)了基于FCHD的多人臉檢測(cè)神經(jīng)網(wǎng)絡(luò)。實(shí)驗(yàn)表明：該網(wǎng)絡(luò)對(duì)于多人臉場(chǎng)景具有較好的檢測(cè)能力，即使角度有偏移、甚至有部分遮擋的人臉也能檢測(cè)出來。然后利用虹軟SDK進(jìn)行人臉的識(shí)別，并利用Java的多線程技術(shù)提高人臉識(shí)別效率。當(dāng)然，本文所實(shí)驗(yàn)的方案還不足以完美解決智慧步道場(chǎng)景中的多人臉識(shí)別問題，例如角度偏移、部分遮擋、光照不足、低分辨率等所導(dǎo)致的檢測(cè)與識(shí)別問題，研究這些不同因素組合影響下的人臉檢測(cè)統(tǒng)一框架，提高系統(tǒng)的魯棒性和實(shí)用性，是本領(lǐng)域非常值得關(guān)注的挑戰(zhàn)性問題。