基于MobileNet-SSD的紅外人臉檢測算法

張 駿,朱 標,吉 濤

(中航華東光電有限公司 國家特種顯示工程技術研究中心 特種顯示國家實驗室,安徽 蕪湖 241002)

1 引 言

2019年,武漢市爆發(fā)新型冠狀病毒疫情,疫情擴展速度快,短短2周便傳播到全國各地。該病毒的主要癥狀之一就是體溫異常,因此體溫檢測成為監(jiān)控疫情的重要手段。人工智能與熱紅外測溫相結合的各種檢測系統(tǒng)紛紛亮相,曠視科技將可見光條件下檢測戴口罩遮擋的人臉技術和熱紅外技術相集合,推出了“曠視AI測溫系統(tǒng)”,商湯科技也相應的推出了人臉識別、無感測溫與無感通行結合的出入口通行模塊,通過該模塊可以快速的檢測出人員有無佩戴口罩,規(guī)范員工佩戴口罩進出。目前提出的智能監(jiān)控系統(tǒng),更多的是基于可見光下的人臉檢測(包括戴口罩遮擋),再通過可見光圖像和紅外圖像的配準,將可見光下檢測到的人臉區(qū)域應用到紅外圖像中。而這類智能監(jiān)控系統(tǒng),對于硬件依賴較大,必須使用配準好的雙光(可見光+熱紅外)采集設備。針對此種局限本文提出了一種基于MobileNet-SSD網(wǎng)絡的紅外人臉檢測算法,可直接檢測出熱紅外圖像中的人臉區(qū)域。

2 SSD網(wǎng)絡

SSD(Single Shot MultiBox Detector)算法,是一種端到端的單次多框?qū)崟r檢測的深度神經(jīng)網(wǎng)絡模型[1],融合了YOLO的回歸思想[2]和Faster RCNN[3]的候選框機制。該算法利用回歸的思想極大的減少了神經(jīng)網(wǎng)絡的計算量,提升了算法的運行速度。算法中不需要生產(chǎn)候選框,而是直接提取輸入圖像的特征信息,然后直接在特征圖上回歸這個位置的邊界框以及對物體進行分類；運用局部特征提取的方法得到不同的位置,不同的寬高比、尺寸的特征,對比YOLO算法特征提取更加高效[1],此外,為了增加模型檢測不同大小物體的魯棒形,算法選取了網(wǎng)絡中多個層次的特征圖進行預測。

SSD的網(wǎng)絡模型基于一個前饋卷積網(wǎng)絡,大致可以分為:前端的特征提取網(wǎng)絡和后端的多尺度特征檢測網(wǎng)絡,通過池化操作將前端提取網(wǎng)絡產(chǎn)生的特征圖尺寸逐層減小,再通過后端的檢測網(wǎng)絡的檢測,實現(xiàn)多個尺度特征圖的檢測[1]。網(wǎng)絡的結構如圖1所示。

圖1 SSD網(wǎng)絡結構

3 MobileNet網(wǎng)絡

2019年,Google公司在MobileNet-V2之后提出了MobileNet-V3網(wǎng)絡[4],作為MobileNet系列的新成員,MobileNet-V3繼承了MobileNet的一貫輕量化的特點,MobileNet網(wǎng)絡在V1模型中,采用直筒結構,利用分組卷積降低網(wǎng)絡的計算量,使得網(wǎng)絡的計算量降到最低,同時使用Point-Wise Conv進行通道直接的融合[5]。V2模型在V1模型的基礎上,引入了bottleneck結構[6],將bottleneck結構變成了紡錘型,即resnet先縮小為原來的1/4,再放大到原來的6倍,再縮小[6],最后將Residual Block[7]中最后的ReLU操作取消。V3模型在V2的基礎上進行了4處優(yōu)化:①引入了SE(Squeeze-and-Excite)結構,再bottleneck結構中增加SE結構,文獻[4]中,作者給出了改進后的結構圖,并詳細解釋了增加SE結構后,不僅提高了網(wǎng)絡的精度,同時也沒有增加時間的消耗；②修改了V2模型的尾部結構,直接去掉了V2結構中Avg Pooling操作前紡錘型卷積的3×3以及1×1卷積,進一步減少了計算量,同時精度也沒有損失[4]；③修改頭部卷積核通道數(shù)量,由V2模型中的32×3×3,修改為16×3×3；④非線性變化的改變,使用了h-swish替代了swish操作。

4 基于MobileNet-SSD的熱紅外人臉檢測算法

熱紅外圖像,因為其特殊的成像特點,使其應用領域廣泛,尤其在軍事、工業(yè)、醫(yī)療領域[8]。熱紅外圖像成像的原理是通過采集熱紅外波段8～14 μm,來探測物體發(fā)出的熱輻射,熱成像將熱輻射轉化為灰度值,通過黑體輻射源標定得到的測溫算法模型(溫度灰度曲線)建立灰度與溫度的對應關系[9]。其圖像的灰度分布與目標反射特征無線性關系。如圖2所示。

從第2節(jié)中可以了解到SSD算法是有前端的特征提取網(wǎng)絡和后期的特征檢測網(wǎng)絡組成,在文獻[1]中作者指出前端特征提取網(wǎng)絡,可以是一個去除全連接層的分類網(wǎng)絡,如 AlexNet[10],VGG[11]等,作者使用了VGG16網(wǎng)絡,文獻[4]中,作者將MobileNetV3應用于SSD-Lite在COCO測試集上,對比基于VGG的SSD-Lite,運行速度要快五六倍之多,雖然MobileNetSSD在精度有所下降,但可以滿足使用需求[4,12-15]。

4.1 基礎模型的訓練

可見光條件下SSD算法通常采用VGG16作為基礎模型,在VGG16的基礎上通過新增卷積層來獲得更多的特征圖用來檢測。通常使用的VGG16是在相關數(shù)據(jù)集的預訓練模型,如ImageNet數(shù)據(jù)集、ILSVRC CLS-LOC數(shù)據(jù)集等,這些數(shù)據(jù)集往往都提供了大量的可見光數(shù)據(jù)和預訓練模型供大家使用。因此在可見光條件下,更多的研究重點集中在SSD特征搜索網(wǎng)絡,而忽略了前期基礎模型的訓練。文獻[16]中,Zhiqiang Shen提出了3個觀點,首先是預訓練模型一般都是在分類圖像數(shù)據(jù)集上訓練,不一定可以遷移到檢測模型的數(shù)據(jù)上；其次,預訓練的模型,其結構是固定的,修改比較麻煩；最后,預訓練的分類網(wǎng)絡的訓練目標一般和檢測目標不一致,因此預訓練模型對于檢測算法而言不一定是最優(yōu)的選擇[16]。而本算法針對的熱紅外圖像,恰好滿足了上述的觀點,首先是熱紅外的分類圖像數(shù)據(jù)集,很難獲得,無法進行預訓練模型遷移,其次,訓練目標與檢測目標不一致,因此本算法需要構建自己的訓練數(shù)據(jù)集,并進行基礎模型的訓練。

本文采用了文獻[4]中的MobileNetV3-Large網(wǎng)絡作為基礎模型,該模型對比Small模型增加了特征提取力度,極大程度的保證了淺層特征的提取。其網(wǎng)絡結構在文獻[4]中有描述,這里不在闡述。文獻[4]中用h-swish函數(shù)代替了swish函數(shù),其公式如式(1)所示:

c∈[1,C]

(1)

(2)

4.2 MobileNet-SSD模型

目前,SSD在車牌檢測、人臉檢測中有廣泛的使用[1]。從2015年被提出以后,SSD算法便一直被用來與YOLO算法進行比較,但是實際上SSD算法(除了SSD512)在速度和精度上都要優(yōu)于YOLO算法,原因在于,SSD采用了不同尺度的特征圖進行檢測,大尺度特征圖(較靠前的特征圖)用來檢測小物體,而小尺度特征圖(較靠后的特征圖)用來檢測大物體。同時使用了不同尺度和長寬比的先驗框[2]。因此這些特點決定了SSD算法可以很好的兼顧不同尺寸的目標檢測。

MobileNet-SSD用MobileNetV3-Large網(wǎng)絡替代VGG16作為基礎網(wǎng)絡,借鑒文獻[12]～[15]中對于SSD網(wǎng)絡的改變,本算法相應的對網(wǎng)絡進行了適當?shù)母淖?首先使用Residual Block[7]代替了文獻[1]給出的Conv2d操作；以提升網(wǎng)絡的檢測精度；其次對預測框(Prior Box)的尺寸進行了改變,使用了19,10,5,3,2,1尺寸的先驗框代替文獻[1]中使用了38,19,10,5,3,1尺寸的先驗框,這樣雖然降低了算法對于極小尺寸目標的檢測精度,但是卻提升了網(wǎng)絡的運算速度。網(wǎng)絡的損失函數(shù)均采用文獻[1]提出的方法,這里不在進行闡述。

4.3 熱紅外人臉分類數(shù)據(jù)集

因本算法針對于熱紅外圖像中的人臉檢測,而目前沒有開源的熱紅外圖像數(shù)據(jù)集,所以本文收集了1000張熱紅外人臉圖像作為基礎分類模型訓練的數(shù)據(jù)集,同時收集了550張不同環(huán)境下的熱紅外圖像作為檢測訓練集。其中1000張熱紅外人臉圖像,采集了“黑熱”、“白熱”、“偽彩”、“是/否佩戴口罩”、“是/否佩戴眼鏡”等多種圖像,如圖3所示。

圖3 熱紅外人臉圖像訓練集

可見光圖像的數(shù)據(jù)增強方法大致為顏色變換、幾何變換和裁剪變換,而紅外圖像自身的特點,決定了顏色變換對于熱紅外圖像的增強作用不是很大。本文采用了縮放操作、隨機翻轉(水平,垂直方向)、旋轉操作、鏡像操作作為數(shù)據(jù)增強的方法。同時隨機抽取部分圖像進行剪切操作,用來模擬可能出現(xiàn)的人臉大比例被遮擋的情況。

4.4 熱紅外人臉檢測數(shù)據(jù)集

熱紅外人臉檢測,往往是在一幅熱紅外圖像中出現(xiàn)單個或多個人臉,同時因為不同人臉在圖像中的位置和尺寸的大小,使得4.3節(jié)中的人臉圖像不在適用于人臉檢測,因此,本文在室內(nèi)環(huán)境下,又采集了550張不同情況下的人臉圖像,這些圖像包括單個人臉,多個人臉、同時出現(xiàn)尺寸大小不一的人臉等場景,采用縮放、隨機翻轉(水平,垂直)、圖像旋轉、鏡像以及對隨機圖像進行圖像裁剪等系列操作方式作為數(shù)據(jù)增強手段。如圖4所示。

圖4 熱紅外人臉檢測數(shù)據(jù)集

5 實驗對比及數(shù)據(jù)分析

本算法采用3組不同的實驗,以驗證算法的可行性及性能。對比實驗分別為:1)隨機抽取熱紅外人臉圖測試本算法的可行性；2)對比可見光人臉檢測精度分析本算法的性能；3)利用OpenVINO ToolKit加速本算法,測試算法的實時性。

5.1 前期實驗準備

在實驗前期,需要對MobileNet V3-Large分類網(wǎng)絡進行訓練,為后續(xù)的MobileNet-SSD網(wǎng)絡提供特征提取模型。首先是數(shù)據(jù)集的準備,我們收集了1000張不同環(huán)境下的熱紅外人臉圖像,后續(xù)又添加了1000張可見光條件下的貓臉圖像和1000張可見光條件下的狗臉圖像。采用7∶2∶1的分配比例分為訓練樣本,驗證樣本及測試樣本。實驗環(huán)境為Window10+Anaconda3(64 bit),采用Pytorch 1.1.0+OpenCV3.3(No Contrib)作為深度學習框架,CPU 為Inter Core i7-7700HQ,內(nèi)存為16G,GPU為NVIDIA GeForce GTX1050Ti 4 GB。MobuleNet_V3-Large參數(shù)為學習率(Learning-rate)為1×10-3；輸入圖像尺寸(Input Size)為224×224；批次規(guī)模(Batch Size)為10；迭代次數(shù)(Epochs)為200；分類種類(Classes)為3類。迭代160次后,模型準確率收斂到99.45 %,結束訓練,模型大小為14.9 M。

5.2 可行性實驗

實驗平臺的硬件指標與5.1節(jié)的硬件指標一致。本實驗隨機抽取了“黑熱”,“白熱”,“偽彩”的單一人臉和多人臉進行了實驗,使用“標記框面積比”,“誤檢測率”作為對比指標。公式分別如(3)、(4)所示:

(3)

“誤檢測率”如(4)所示:

(4)

式(4)中,Qerror表示“誤檢測率”；Ndetect表示預測人臉框個數(shù)；Nthruth表示人工標記框個數(shù)。當Qerror>1時,表示多預測出人臉；當Qerror<1時,表示出現(xiàn)漏檢測人臉；當Qerror=1表示預測人臉框的數(shù)量和人工標記的數(shù)量一致。可行性實驗結果圖如圖5所示。其中圖5(a)、(b)、(c)為“白熱”圖像檢測結果,圖5(d)、(e)、(f)為“黑熱”圖像檢測結果；圖5(g)、(h)、(i)為偽彩圖像檢測結果。

表1、表2、表3中A、B、C、D分別為Nthruth、Ndetect、Qerror、Qarea,“-”表示沒有對應值,從實驗結果中不難發(fā)現(xiàn)3種不同形式的圖像,均出現(xiàn)了“漏檢測”的情況,在“單人近距離”條件下,3種圖像均出現(xiàn)了漏檢測,尤其在“黑熱”圖像中,幾乎檢測不到人臉,從圖5(i),(j)不難看出,“黑熱”的人臉圖像特征信息(除去眼鏡部分)較少,所以很難完成檢測任務。相對而言,“白熱”、“偽彩”圖像提取的特征信息較為豐富,如圖5(d),(e),(o)。但因為基礎網(wǎng)絡的訓練集數(shù)量過少,極大程度限制了網(wǎng)絡的性能,導致出現(xiàn)了大量漏檢測的情況；“多人中遠距離”條件下,檢測效果對比“單人”情況有了大幅提高,也驗證了MobileNet-SSD算法的多尺度特點,但是漏檢測的情況也依然存在。在Qarea指標上,只有圖5(d)中的預測框要大于標記框,其他的預測框基本與標記框大小一致。通過圖5和表1、表2和表3的數(shù)據(jù)對比,本算法完全可以適用于熱紅外圖像中的人臉檢測。

圖5 本算法檢測結果

表1 白熱圖像“可行性”實驗指標分析表

表2 黑熱圖像“可行性”實驗指標分析表

表3 偽彩圖像“可行性”實驗指標分析表

5.3 性能對比實驗

5.2節(jié)中驗證了本算法的可行性。在本節(jié)中,我們將對比于“可見光條件”下的檢測精度。實驗環(huán)境,采用雙光采集設備(可見光+熱紅外),同步采集可見光和熱紅外圖像,在通過相關算法預測出可見光下的人臉區(qū)域,并將該區(qū)域,同步到熱紅外圖像中,繪制出區(qū)域A,再通過本算法以標記了區(qū)域A的熱紅外圖像作為測試圖像,繪制預測區(qū)域B,對比區(qū)域A和區(qū)域B,以測試本算法的精確度Acczones。其公式如下:

(5)

圖6 性能對比實驗圖

圖6中粗框為通過可見光同步并標記溫度的預測框,細框為本算法預測框,文字信息為算法的實時幀率；本次將市面上使用的一種“疫情監(jiān)控系統(tǒng)”相關算法作為對比對象。從圖6(b)、(d)中明顯可以發(fā)現(xiàn),對比算法的預測框位置偏差較大,考慮到雙光設備之間的偏差,我們默認預測框標記在合適的位置。

表4 可見光預測框與本算法預測框Acczones 對比

通過本次實驗的結果圖和相關數(shù)據(jù)對比,可以得出對比市面上特定的雙光算法,本算法對于硬件依賴性更小。同時本算法在對于中、小尺寸的人臉檢測上,具有一定優(yōu)勢,檢測精準度也與特定雙光算法精度相當。但在大尺寸的人臉檢測上本算法顯示出不足。

5.4 實時性測試

因深度學習模型的高計算量很難實時應用,所以深度學習模型的優(yōu)化和硬件加速也成為了當前重要的研究方向。OpenVINO ToolKit是Intel發(fā)布的一套深度學習推斷引擎,支持各種網(wǎng)絡框架。在Intel平臺上可以提升計算機視覺相關深度學習性能達19倍以上,解除CNN-based的網(wǎng)絡在邊界設備的性能瓶頸,對于OpenCV,OpenXV*等視覺庫實現(xiàn)了加速和優(yōu)化[17]。我們利用OpenVINO提供的工具,對算法模型進行了轉換,生成可供OpenVINO使用的相關文件,在硬件平臺上進行了相關測試。硬件平臺于5.1節(jié)的測試平臺相同。在CPU模式下,本算法的實時性達到30～33 f/s,可實現(xiàn)實時檢測。如圖6中記錄實時幀率。

6 總 結

針對疫情期間的“體溫監(jiān)控”系統(tǒng)中雙光(可見+熱紅外)人臉檢測算法對硬件依賴性較強,本文提出了一種基于MobileNet-SSD網(wǎng)絡的紅外人臉檢測算法,該算法直接對熱紅外圖像進行人臉檢測,極大程度的降低了熱紅外人臉檢測對于采集設備的依賴。對比市面上使用的“測溫監(jiān)控系統(tǒng)”中雙光人臉檢測算法,本算法在中/小尺寸的人臉檢測上,具有一定的優(yōu)勢,同時檢測精確度也接近雙光檢測精度。通過OpenVINO加速,該算法可以實現(xiàn)實時檢測。但是本算法也存在不足之處,如大尺寸單人檢測條件下,檢測率較低；訓練數(shù)據(jù)集樣本較少等問題。后期將針對這些不足之處,繼續(xù)進行深入的研究。