基于FPGA的人臉識別系統(tǒng)實驗設(shè)計

韓力英 寧欣波

摘?要：隨著科技的快速發(fā)展，人臉識別技術(shù)逐漸進入了人們的生活中，成為了生活中密不可分的一部分。FPGA不僅能夠進行數(shù)字系統(tǒng)設(shè)計，在人工智能領(lǐng)域也嶄露頭角。電子信息類本科生的實驗安排也必須跟上人才培養(yǎng)的需求、時代的步伐，為此，開發(fā)了基于FPGA的人臉識別系統(tǒng)實驗設(shè)計。該設(shè)計使用PYNQ實驗板，利用Vivado?HLS高級綜合工具搭建電路系統(tǒng)，用python調(diào)用設(shè)計的電路建立卷積神經(jīng)網(wǎng)絡(luò)模型并訓練神經(jīng)網(wǎng)絡(luò)，實現(xiàn)人臉識別技術(shù)，進一步加強學生學習EDA技術(shù)的意識。

關(guān)鍵詞：人臉識別;卷積神經(jīng)網(wǎng)絡(luò);PYNQ

中圖分類號：G642??文獻標識碼：B

眾所周知，我國集成電路領(lǐng)域人才缺口巨大，EDA技術(shù)是集成電路設(shè)計的核心。因此，EDA技術(shù)的發(fā)展才是集成電路卡脖子問題的關(guān)鍵所在。

隨著人工智能以及機器學習、深度學習的快速發(fā)展，電子信息類本科學生的課程在不斷地與時俱進，傳統(tǒng)的實驗設(shè)計已經(jīng)不適合人才培養(yǎng)的需求，開發(fā)新的能夠反映現(xiàn)代前沿信息技術(shù)的實驗設(shè)計勢在必行。對于公共場所，無接觸識別生物特征識別系統(tǒng)開始成為確認用戶身份的重要方式，其中人臉識別具有使用方便、識別更準確等優(yōu)勢，廣受用戶喜歡[1]。

本實驗設(shè)計就是基于Xlinx公司的PYNQ開發(fā)板，采用Vivado?HLS高級綜合工具利用硬件資源搭建電路系統(tǒng)，用python調(diào)用設(shè)計的電路建立卷積神經(jīng)網(wǎng)絡(luò)模型并訓練神經(jīng)網(wǎng)絡(luò)，實現(xiàn)人臉識別技術(shù)，進一步加強學生學習EDA技術(shù)的興趣，激發(fā)學生解決我國集成電路領(lǐng)域卡脖子技術(shù)的熱情，培養(yǎng)學生的大國工匠精神。

1?系統(tǒng)整體框架

盡管在不同的應(yīng)用環(huán)境下，人臉識別系統(tǒng)的結(jié)構(gòu)也有所不同，但大部分的人臉識別系統(tǒng)結(jié)構(gòu)都包括人臉采集和檢測部分、圖像預(yù)處理部分、特征提取部分和人臉識別部分。人臉圖像被輸入系統(tǒng)后，將進行人臉檢測和人臉對齊，然后用特征提取器提取特征，系統(tǒng)再將提取的特征與圖庫人臉進行比較，進行人臉匹配。

人臉圖像采集和檢測是根據(jù)人臉圖像的模式特征，在采集到的圖片中對人臉所在區(qū)域進行數(shù)據(jù)提取。

人臉圖像預(yù)處理的目的主要是消除各種干擾，為后續(xù)人臉識別準確性做準備。人臉圖像特征提取是提取包括口、鼻、眼等特征，主要是根據(jù)位置構(gòu)成的幾何結(jié)構(gòu)等，以作為人臉圖像特征數(shù)據(jù)。人臉圖像識別就是通過提取一個人臉圖像的特征數(shù)據(jù)。當提取到特征數(shù)據(jù)與某個模板相似度超過了設(shè)定的概率時，則認為這個特征匹配成功，否則匹配失敗，同時輸出一個特征匹配結(jié)果。

2?硬件設(shè)計

在卷積神經(jīng)網(wǎng)絡(luò)中，大量的計算是卷積的計算，F(xiàn)PGA的計算速度要比軟件計算速度快，這也是為什么FPGA能夠用于人工智能領(lǐng)域的原因，模型中所有的卷積計算和池化部分通過FPGA器件實現(xiàn)，這樣可以使計算速度更快。

PL端的設(shè)計首先使用Vivado?HLS軟件實現(xiàn)卷積計算，然后將一些變量分別設(shè)置為輸入和輸出端口，在HLS軟件中通過pipeline和unroll等方法進行優(yōu)化設(shè)計，通過軟件綜合后查看硬件資源的使用量以及時序約束等情況，最后利用此高層次綜合工具生成IP核。當使用unrolling方法進行優(yōu)化時，折疊的for循環(huán)被展開，相當于電路被復(fù)制成需要的數(shù)量，假如使用N個相同電路，則只需要一步計算就完成，這就是為什么FPGA可以作為硬件加速器。如圖1中，一個循環(huán)次數(shù)為6的for循環(huán)，當使用unrolling將其分為3個for循環(huán)后，原來需要6步完成的計算只需要2步就可以了。

幾乎所有的優(yōu)化方法都是以增大硬件資源開銷來達到提高計算效率的目的。沒有進行優(yōu)化前使用的硬件資源（solution1）遠低于使用unroll優(yōu)化（solution2）后使用的硬件資源數(shù)量。隨著集成電路制造工藝的發(fā)展，在單片F(xiàn)PGA上已經(jīng)能夠集成大量的硬件資源，所以在硬件上進行加速設(shè)計已經(jīng)完全可行?？梢酝ㄟ^同樣的步驟做最大池化IP核，如圖2所示。

設(shè)計好IP核之后就可以通過Vivado中的Block?Design進行整體的電路設(shè)計。將設(shè)計好的電路通過軟件生成bit文件和tcl文件，再將bit文件、tcl文件和hwh文件改為相同的文件名，放到PYNQZ2的文件夾中即可使用。

3?軟件設(shè)計

LFW人臉數(shù)據(jù)庫[5]是設(shè)計用于人臉識別問題的人臉照片數(shù)據(jù)庫。這個數(shù)據(jù)庫里面的圖像是RGB彩色圖像。本實驗設(shè)計可以使用LFW人臉數(shù)據(jù)庫，也可以采集自己、同學等人臉照片進行識別訓練。由于數(shù)據(jù)集不只是包含人臉數(shù)據(jù)，還包括身體等很多背景，所以需要對數(shù)據(jù)集中的圖像進行篩選，首先提取出人臉部分，再進行隨機旋轉(zhuǎn)、翻轉(zhuǎn)等幾何變換，以增大訓練集?，F(xiàn)在流行的卷積神經(jīng)網(wǎng)絡(luò)算法如圖3所示。

學生可以選擇AlexNet網(wǎng)絡(luò)模型，注意網(wǎng)絡(luò)參數(shù)數(shù)量要適應(yīng)PYNQZ2的內(nèi)存空間大小。例如表1模型參數(shù)雖然可以滿足訓練要求，但是在移植到PYNQZ2開發(fā)板上時，由于參數(shù)數(shù)量太多，開發(fā)板的緩存根本裝不下，但是在AlexNet模型上刪減使用的卷積核數(shù)量，又會使訓練效果不理想，準確率低，所以大家要考慮如何選擇模型參數(shù)。例如可以降低最后一層的輸出種類數(shù)，即將人臉識別的結(jié)果分為正確和錯誤兩種，可以使正確率大大增加。如圖4所示，是以LFW數(shù)據(jù)集作為訓練集、訓練的結(jié)果。

從圖4中可以看出，隨著訓練次數(shù)的增加準確率在逐漸增加，采用二值結(jié)果，最后訓練得到的模型準確率可達97%以上。但由于卷積核的數(shù)量越多，計算量就越大，相應(yīng)的程序運行時間就越長，可以通過降低卷積核的數(shù)量來提高運行速度。表2是降低卷積核數(shù)量后的模型參數(shù)。

按照表2參數(shù)訓練情況如圖5所示，在圖中可以看到訓練的準確率在訓練的第15次就穩(wěn)定在了98%以上，盡管訓練時間有所延長，但程序運行時間僅為按照表1參數(shù)的七分之一。

隨著參數(shù)的降低，程序需要運行的時間雖然大幅度減少，但是訓練所需要的時間也成倍增加，訓練的準確率有所降低。要求學生綜合訓練時間、程序運行時間、準確率三方面因素，選擇合適的模型參數(shù)進行訓練和測試。

4?系統(tǒng)測試

可以在程序中設(shè)定檢測到非人臉圖片時，提示不是人臉，跳過人臉識別步驟，直接輸出結(jié)果，不是人臉，結(jié)束識別任務(wù)。

可以針對所給出的前三種訓練的模型進行人臉識別測試，當然也可以自己重新修改模型參數(shù)，找到最優(yōu)模型。對比在什么情況下，識別效果最好。下面僅給出使用模型參數(shù)一對數(shù)據(jù)庫中一幅圖片進行識別的結(jié)果，要求學生自己進行其他圖像或者自拍照片進行人臉識別。

結(jié)論

本實驗設(shè)計采用協(xié)同異構(gòu)的方法，在PYNQ上利用FPGA設(shè)計卷積IP核和池化IP核等硬件電路，利用開發(fā)板中的ARM部分調(diào)用硬件電路逐層搭建卷積神經(jīng)網(wǎng)絡(luò)，最終實現(xiàn)人臉識別設(shè)計，使學生對FPGA的認識從數(shù)字系統(tǒng)設(shè)計轉(zhuǎn)變到人工智能領(lǐng)域設(shè)計。

參考文獻：

[1]李霖潮.淺析人臉識別技術(shù)的發(fā)展[J].新型工業(yè)化，2020，10（03）：129133.

[2]HSIAO?J?HW，COTTRELL?G.Two?fixations?suffice?in?face?recognition[J].Psychological?science，2008，19（10）：9981006.

[3]CHANDRA?S?R，PATWARDHAN?K，PAI?A?R.Problems?of?Face?Recognition?in?Patients?with?Behavioral?Variant?Frontotemporal?Dementia[J].Indian?journal?of?psychological?medicine，2017，39（5）：653658.

[4]SUN?C?C，AHAMAD?A，LIU?P?H.SoC?FPGA?Accelerated?SubOptimized?Binary?Fully?Convolutional?Neural?Network?for?Robotic?Floor?Region?Segmentation[J].Sensors，2020，20（21），6133：117.

[5]YANG?Y?X，WEN?C，XIE?K，et?al.Face?Recognition?Using?the?SRCNN?Model[J].Sensors，2018，18（12），4237：124.

基金項目：河北省高校教學改革項目“產(chǎn)學合作、協(xié)同育人背景下電子信息類創(chuàng)新實踐課程的改革研究與實現(xiàn)”（2020GJJG033），河北省新工科教學改革項目“面向新工科建設(shè)，改革電子信息類實踐教學模式，培養(yǎng)新型工科人才”（2020GJXGK055）

作者簡介：韓力英（1977—?），女，博士，副教授，主要從事數(shù)字電子技術(shù)、EDA技術(shù)、DSP技術(shù)等相關(guān)課程的教學工作以及醫(yī)學圖像處理研究。