基于輕量化神經(jīng)網(wǎng)絡(luò)的端到端人臉識(shí)別技術(shù)研究

曹戈楊 周有

摘要：移動(dòng)端設(shè)備由于計(jì)算能力有限和實(shí)時(shí)使用的速度限制，需要開發(fā)輕量化的人臉識(shí)別的深度學(xué)習(xí)算法。算法核心在于通過網(wǎng)絡(luò)的結(jié)構(gòu)與計(jì)算參數(shù)設(shè)計(jì)，減少無關(guān)的特征冗余與非必要數(shù)據(jù)流動(dòng)。本研究設(shè)計(jì)以Ghost模塊嵌入的TinyYOLO- MobileNet V3端到端識(shí)別網(wǎng)絡(luò)，總結(jié)出在特征圖中以小尺度替代大尺度，在計(jì)算上以線性計(jì)算代替小尺度卷積計(jì)算的設(shè)計(jì)思想。基于該思想，本研究完成了端到端架構(gòu)設(shè)計(jì)并在實(shí)驗(yàn)中完成了對框架的性能測試。

關(guān)鍵詞：人臉識(shí)別;Ghost模塊;TinyYOLO;MobileNet V3

中圖分類號(hào)：TP311? ? ?文獻(xiàn)標(biāo)識(shí)碼：A

文章編號(hào)：1009-3044（2022）18-0003-03

開放科學(xué)（資源服務(wù)）標(biāo)識(shí)碼（OSID）：

1 引言（Introduction）

人臉作為特殊的生物ID具有自然性、唯一性和不一致性，如何高效低耗地利用人臉特性做圖像識(shí)別是人臉識(shí)別的主要任務(wù)[1]。基于空間利用[2]、深度、多路徑、寬度、特征圖利用、通道提升和注意力提升等用于人臉識(shí)別的DCNN技術(shù)層出不窮[3]。但現(xiàn)有模型在執(zhí)行端到端識(shí)別任務(wù)過程中計(jì)算代價(jià)與復(fù)雜度過高，不適合移動(dòng)端和邊緣計(jì)算設(shè)備等不具備高性能圖形處理單元（GPU）的場景。

常用圖像識(shí)別輕量卷積神經(jīng)網(wǎng)絡(luò)主要有 SqueezeNet[4]、BlazeFaceNet[5]、MnasNet[6]、TinyYOLO[7]、GhostNet[8]、EfficientNet[9]、MobileNet[10～12]等。這些輕量級(jí)架構(gòu)在移動(dòng)端檢測的端到端架構(gòu)中檢測識(shí)別精度受限。該問題主要來源于架構(gòu)的輕量化追求與特征提取的過參數(shù)化要求的矛盾，輕量化網(wǎng)絡(luò)較少的參數(shù)不可避免帶來的是擬合能力的弱化。針對該問題，本研究設(shè)計(jì)了基于深度可分離卷積的TinyYOLO-MobileNet V3的端到端架構(gòu)，并在MobileNet V3中引入Ghost模塊保證輕量化并增益精度。最后針對公開數(shù)據(jù)集和作者實(shí)拍數(shù)據(jù)，完成測試。

2 輕量級(jí)神經(jīng)網(wǎng)絡(luò)技術(shù)（Light weight neural network technology）

2.1 TinyYOLO 算法簡介

TinyYOLO的特征提取器為Darknet，由卷積殘差塊和池化層組成，結(jié)構(gòu)如圖1所示，由卷積層和中間的最大集合層組成，最后一個(gè)卷積層用于進(jìn)行邊界框預(yù)測。與其他網(wǎng)絡(luò)不同，TinyYOLO不是一個(gè)傳統(tǒng)的分類器，而是通過將圖像劃分成不同的邊框網(wǎng)格，輸出一個(gè)置信度分?jǐn)?shù)，預(yù)測邊框?qū)嶋H上包圍了某個(gè)對象的確定性。對于每個(gè)邊界框，單元格還預(yù)測一個(gè)類別并給出所有可能類的概率分布，最后通過一個(gè)卷積層有一個(gè)1×1的內(nèi)核，用于將數(shù)據(jù)減少到被劃分成的網(wǎng)格的大小。

2.2 MobileNet算法簡介

用計(jì)算成本更低的深度可分離卷積代替?zhèn)鹘y(tǒng)卷積以降低計(jì)算成本，如圖2所示。在MobileNet V3中，網(wǎng)絡(luò)沒有使用最大池化來減少空間維度，但一些深度層的跨度為2，最后是一個(gè)全局平均池化層，然后是一個(gè)全連接層或1×1卷積，用于做分類。各層使用Swish作為激活函數(shù)，如圖3所示。

在深度卷積層之前是一個(gè)作為擴(kuò)展層卷積，該層增加了通道的數(shù)量。整個(gè)Mobile Net V3堆疊了多個(gè)上圖2所示的架構(gòu)塊以替代傳統(tǒng)的深度卷積殘差網(wǎng)絡(luò)，做了替代達(dá)到加速計(jì)算的目的。Hardwish層使用了h-swish函數(shù)，如式（1）所示。

[h_swish（x） = x×ReLU6（x + 3）6]? ? ? ? ? ? ? ? ? （1）

式中，[x]為輸入。h-swish函數(shù)作為激活函數(shù)是Google 為Android 設(shè)備（原型測試于Google Pixel的移動(dòng)平臺(tái)上，以TensorFlow Lite 為開發(fā)框架）。V3中使用了Squeeze-and-Excitation Networks（SE）模塊，通過對特征通道間的相關(guān)性進(jìn)行建模，把重要的特征進(jìn)行強(qiáng)化來提升準(zhǔn)確率。模塊沒有使用sigmoid，而是使用h-swish函數(shù)作為粗略的近似值。通過采用近似計(jì)算的方法，節(jié)省了激活函數(shù)的計(jì)算成本。在V3的架構(gòu)能夠處理更小的1×1特征圖，并由于摒棄了其他輕量級(jí)網(wǎng)絡(luò)的瓶頸層和深度卷積層，提高了精度損失。

3 端到端人臉識(shí)別架構(gòu)（End-to-end face recognition architecture）

3.1 GhostNet模塊

通常卷積層中的卷積核越少，速度越快，但表現(xiàn)力也越差，因?yàn)樽罱K得到的特征圖越少。而GhostNet的設(shè)計(jì)思想為：通過使用比完全卷積更便宜的特征提取操作（被稱為原主干網(wǎng)絡(luò)的Ghost），合成額外的特征圖可以彌補(bǔ)這一點(diǎn)[12]。因?yàn)椴煌ǖ赖奶卣鲌D在CNN的訓(xùn)練過程中很類似。

本研究在此提出基于深度可分離卷積的Ghost模塊，結(jié)構(gòu)如圖4所示。首先通過Keras深度學(xué)習(xí)框架的Lambda層分割數(shù)據(jù)，執(zhí)行小規(guī)模的深度可分離卷積，生成了少量的特征圖。然后通過簡單的線性變換創(chuàng)建Ghost特征。這些特征圖與原特征圖相連接通過線性層加權(quán)輸出，從而達(dá)到以更具成本效益的方式復(fù)現(xiàn)了這些冗余的特征圖，參數(shù)量降低為原來的一半。

3.2 端到端架構(gòu)

本文基于TinyYOLO與MobileNetV3搭建如圖5所示的端到端人臉識(shí)別框架，其中，TinyYOLO負(fù)責(zé)人臉定位，MobileNet負(fù)責(zé)人臉識(shí)別。TinyYOLO的主干網(wǎng)絡(luò)，主干網(wǎng)絡(luò)采用一個(gè)7層卷積加最大池化層的網(wǎng)絡(luò)提取特征，YOLO嫁接網(wǎng)絡(luò)采用的是58*56、26*26的分辨率探測網(wǎng)絡(luò)，TinyYOLO去輸出層將框定的人臉特征直接輸入融合了Ghost Module的MobileNetV3中，最后通過SoftMax完成識(shí)別。

該網(wǎng)絡(luò)的優(yōu)勢在于通過下列方法兼顧精度與運(yùn)算速度：在神經(jīng)網(wǎng)絡(luò)的層間數(shù)據(jù)流動(dòng)中，通過更多的小型特征圖彌補(bǔ)對單個(gè)大型特征圖的計(jì)算不足（權(quán)衡寬度乘法與深度乘法）;通過廉價(jià)的線性或小尺度計(jì)算替代昂貴的卷積運(yùn)算;在模塊中大量運(yùn)用了深度可分離卷積處理輸出。

4 實(shí)驗(yàn)分析（Experimental analysis）

4.1實(shí)驗(yàn)數(shù)據(jù)與訓(xùn)練細(xì)節(jié)

采用FDDB公開數(shù)據(jù)集[13]完成算法的訓(xùn)練，該數(shù)據(jù)集包含2845張圖片，共有5171個(gè)人臉作為測試集。測試集范圍包括：不同姿勢、不同分辨率、旋轉(zhuǎn)和遮擋等圖片。并采用手機(jī)拍照收集的圖片作為驗(yàn)證集。并在實(shí)測中比較所提出架構(gòu)與YOLO-SqueezeNet和YoLo-MobileNetV3_Small等端到端框架的檢驗(yàn)識(shí)別能力，在訓(xùn)練中的評(píng)價(jià)函數(shù)為識(shí)別的RMSE誤差。訓(xùn)練平臺(tái)為Colab，步數(shù)為500。訓(xùn)練結(jié)果如圖6所示，可以看出，所提出的架構(gòu)訓(xùn)練成本低，算法迅速收斂并且所提出的Ghost模塊能有效捕捉人臉特征。

在移動(dòng)端，基于tensorflow lite將算法遷移到用TensorFlow自帶的工具來fine-tuning訓(xùn)練上訴架構(gòu)，將生成的pb文件轉(zhuǎn)換為tflite文件，后用Android studio打包成apk。在實(shí)際環(huán)境中，通過手機(jī)相冊數(shù)據(jù)及實(shí)時(shí)自拍檢測部署后的識(shí)別能力。

4.2 實(shí)驗(yàn)結(jié)果

與其他典型輕量化端到端框架的對比結(jié)果詳見表1，通過實(shí)驗(yàn)結(jié)果可知，本研究方法具有更輕量化的架構(gòu)和更高的識(shí)別精度。

在實(shí)拍和手機(jī)端對移植算法的檢測中，可以看出，算法能有效定位和識(shí)別人臉。

5 結(jié)論（Conclusion）

本研究設(shè)計(jì)了基于TinyYOlO與Ghost模塊改進(jìn)的MobileNet V3的端到端人臉識(shí)別框架，總結(jié)了兼顧輕量化和精度的設(shè)計(jì)思想，并最終在現(xiàn)有數(shù)據(jù)集和作者自拍識(shí)別的實(shí)驗(yàn)中進(jìn)行驗(yàn)證，實(shí)驗(yàn)結(jié)果證明了該架構(gòu)的精確有效。相較于主流架構(gòu)YOLO-SqueezeNet（3.8M 參數(shù)量，0.5092s檢測識(shí)別速度，72%識(shí)別精度）與YOLO-MobileNetV3_Small（3.9M參數(shù)量， 0.6106s檢測識(shí)別速度，82%識(shí)別精度），本文的架構(gòu)在1.4M參數(shù)量下，檢測識(shí)別速度為0.2192s，識(shí)別精度為90%。

參考文獻(xiàn)：

[1] Nirkin Y，Wolf L，Keller Y，et al.DeepFake detection based on

discrepancies between faces and their context[J].IEEE Transactions on Pattern Analysis and Machine Intelligence，2021.

[2] Khan A，Sohail A，Zahoora U，et al.A survey of the recent architectures of deep convolutional neural networks[J].Artificial Intelligence Review，2020，53（8）：5455-5516.

[3] Chai J Y，Zeng H，Li A M，et al.Deep learning in computer vision：a critical review of emerging techniques and application scenarios[J].Machine Learning With Applications，2021，6：100-134.

[4] Li G F，Tong N N，Zhang Y S，et al.Moving target detection classifier for airborne radar using SqueezeNet[J].Journal of Physics：Conference Series，2021，1883（1）：012003.

[5] Bazarevsky V，Kartynnik Y，Vakunov A，et al.Blazeface： Sub-millisecond neural face detection on mobile gpus[J].arXiv preprint arXiv：1907.05047，2019.

[6] 楊國亮，朱晨，李放，等.基于改進(jìn)MnasNet網(wǎng)絡(luò)的低分辨率圖像分類算法[J].傳感器與微系統(tǒng)，2021，40（2）：142-145，153.

[7] 燕紅文，劉振宇，崔清亮，等.基于改進(jìn)Tiny-YOLO模型的群養(yǎng)生豬臉部姿態(tài)檢測[J].農(nóng)業(yè)工程學(xué)報(bào)，2019，35（18）：169-179.

[8] 程春陽，吳小俊，徐天陽.基于GhostNet的端到端紅外和可見光圖像融合方法[J].模式識(shí)別與人工智能，2021，34（11）：1028-1037.

[9] Xiao Y H，Zhou J Y，Yu Y Z，et al.Active jamming recognition based on bilinear EfficientNet and attention mechanism[J].IET Radar，Sonar & Navigation，2021，15（9）：957-968.

[10] 郭奕君，阿里木江·阿布迪日依木，努爾畢亞·亞地卡爾，等.基于MobileNet網(wǎng)絡(luò)多國人臉分類識(shí)別[J].圖像與信號(hào)處理，2020（3）：146-155.

[11] Kadam K，Ahirrao S，Kotecha K，et al.Detection and localization of multiple image splicing using MobileNet V1[J].IEEE Access，9：162499-162519.

[12] Han K，Wang Y H，Tian Q，et al.GhostNet：more features from cheap operations[C]//2020 IEEE/CVF Conference on Computer Vision and Pattern Recognition （CVPR）.June 13-19，2020，Seattle，WA，USA.IEEE，2020：1577-1586.

[13] Jain V，Learned-Miller E.Fddb：A benchmark for face detection in unconstrained settings[R].UMass Amherst technical report，2010.

【通聯(lián)編輯：梁書】