復(fù)雜背景下無錨框手勢檢測網(wǎng)絡(luò)的構(gòu)建

程志宇，徐國慶+，許 犇，羅 京

(1.武漢工程大學(xué) 計算機(jī)科學(xué)與工程學(xué)院，湖北 武漢 430205；2.武漢工程大學(xué) 智能機(jī)器人湖北省重點實驗室，湖北 武漢 430205)

0 引 言

傳統(tǒng)的基于人工提取特征加分類的手勢檢測方法[1-4]在復(fù)雜環(huán)境背景干擾情況下對精度影響較大，而基于外部穿戴硬件設(shè)備的檢測方法[5,6]在手部細(xì)節(jié)提取上復(fù)雜繁瑣，存在抖動和不穩(wěn)定的現(xiàn)象，因此，如何提升手勢檢測的效果對計算機(jī)視覺交互技術(shù)研究具有重要的意義。現(xiàn)階段，基于深度學(xué)習(xí)方法在手勢檢測中應(yīng)用廣泛，將深層卷積神經(jīng)網(wǎng)絡(luò)用于手勢目標(biāo)的檢測和識別，如利用基于DSSD的靜態(tài)手勢識別方法[7]，以及將Faster R-CNN算法應(yīng)用于手勢識別[8]實驗等。但該類基于錨框算法的模型對手勢目標(biāo)檢測受限于人工預(yù)先設(shè)定的不同候選框的數(shù)量和尺度范圍。近年來，基于無錨框的手勢檢測方法正逐漸成為檢測領(lǐng)域的研究熱點，有Extremenet[9]、FCOS[10]、Cornernet[11]等。其中基于關(guān)鍵角點檢測的算法取得出色的檢測效果，適用于形狀復(fù)雜多變的手勢目標(biāo)，通過優(yōu)化訓(xùn)練的損失函數(shù)和網(wǎng)絡(luò)模型結(jié)構(gòu)來增強(qiáng)模型的表達(dá)能力，使得模型能夠達(dá)到優(yōu)異的檢測性能。

本文針對手勢檢測識別應(yīng)該具有的速度快和精度高特性，采用centernet網(wǎng)絡(luò)[12]搭建手勢檢測的模型，算法框架用改進(jìn)的shufflenetv2網(wǎng)絡(luò)作為特征提取模塊搭建而成。手勢檢測的實現(xiàn)是通過對原始輸入圖像進(jìn)行目標(biāo)中心點預(yù)測，檢測識別手部區(qū)域。綜合不同網(wǎng)絡(luò)模型比較檢測性能。

1 手勢特征提取網(wǎng)絡(luò)的構(gòu)建

1.1 shufflenetv2網(wǎng)絡(luò)模型

shufflenetv2網(wǎng)絡(luò)[13]是目前簡潔高效的網(wǎng)絡(luò)結(jié)構(gòu)中具有創(chuàng)新性和高性能的卷積神經(jīng)網(wǎng)絡(luò)之一，其網(wǎng)絡(luò)架構(gòu)是在Xiangyu Zhang等[14]提出shufflenet網(wǎng)絡(luò)結(jié)構(gòu)的基礎(chǔ)上進(jìn)行改進(jìn)，由基本混洗模塊和下采樣模塊堆疊而成，最后接一層卷積層和平均池化層。基本模塊的設(shè)計考慮到網(wǎng)絡(luò)的性能，能夠達(dá)到明顯提升模型精度，大幅減少網(wǎng)絡(luò)計算量的效果。

基本混洗模塊的結(jié)構(gòu)特點是引入通道分割和連接操作，將輸入的通道分成兩個分支，一個分支上有兩個卷積和一個深度卷積，后接批歸一化層，激活函數(shù)為ReLU。此操作中將原先使用是1×1的分組卷積替換成了普通的1×1卷積，另一個分支保持不變。之后把兩個分支得到的特征合并，使用連接操作替換加法操作，實現(xiàn)特征重用，同時保持輸入通道和輸出通道數(shù)目相同，最后使用通道混洗操作融合不同通道的特征。通道混洗操作的主要作用是讓不同通道間進(jìn)行信息交換，融合不同通道的特征，通過對不同通道輸入的信息流進(jìn)行維度改變，轉(zhuǎn)置后恢復(fù)原維度輸出，能夠大幅提高模型的表示能力和精度。下采樣模塊有兩個分支，一個分支使用深度卷積和點卷積替換原來的平均池化層，另一條分支使用普通卷積替換原分組卷積，兩個分支連接后進(jìn)行通道混洗操作。每個分支都有步長為2的下采樣，特征圖寬高減半，通道數(shù)翻倍。

1.2 shufflenetv2-se手勢特征提取網(wǎng)絡(luò)模型

(1)

在通道級上引入注意力思想，加入權(quán)重系數(shù)，能夠讓模型分辨不同通道的特征重要性，更加關(guān)注重要通道特征信息，弱化非重要通道特征信息，有效減少無關(guān)信息的影響。層中將輸出通道數(shù)縮減為原始輸入的四分之一，整體上網(wǎng)絡(luò)增加的復(fù)雜度不算高。SELayer采用H-Sigmoid激活函數(shù)，它是激活函數(shù)Sigmoid的簡化變體，能夠減少Sigmoid使用時的計算消耗。該函數(shù)的數(shù)學(xué)表達(dá)式如下

(2)

然后在shufflenetv2網(wǎng)絡(luò)的后端引入三層上采樣的轉(zhuǎn)置卷積[17,18]結(jié)構(gòu)來替代原網(wǎng)絡(luò)結(jié)構(gòu)最后的常規(guī)1×1的卷積層和全局平均池化層，其中轉(zhuǎn)置卷積核大小為4×4。檢測模型使用三層上采樣的轉(zhuǎn)置卷積的主要目的是為了聚合網(wǎng)絡(luò)的深層特征，得到較高質(zhì)量的特征圖，網(wǎng)絡(luò)整體上實現(xiàn)下4倍采樣。特征提取網(wǎng)絡(luò)在經(jīng)過Stage4層模塊后生成的特征圖大小為16×16，再逐一進(jìn)行轉(zhuǎn)置卷積操作，批歸一化和ReLU運(yùn)算得到的特征圖大小依次為32×32、64×64、128×128，特征圖像分辨率依次擴(kuò)張，通道數(shù)量相比下采樣階段減少，能夠更好地保留原圖像的特征信息。同時在訓(xùn)練過程中轉(zhuǎn)置卷積的參數(shù)能夠經(jīng)過訓(xùn)練學(xué)習(xí)得到，在上采樣階段達(dá)到高效實現(xiàn)算法效果。非線性激活函數(shù)ReLU的使用有效減少噪聲的影響，激活重要特征信息。網(wǎng)絡(luò)結(jié)構(gòu)參數(shù)設(shè)計見表1。

表1 網(wǎng)絡(luò)結(jié)構(gòu)參數(shù)設(shè)置

2 基于centernet的手勢檢測模型

2.1 手勢檢測網(wǎng)絡(luò)的構(gòu)建

本文提出的手勢檢測網(wǎng)絡(luò)模型結(jié)構(gòu)主要由兩部分構(gòu)成，前端部分是加入SELayer的shufflenetv2基礎(chǔ)網(wǎng)絡(luò)和上采樣卷積結(jié)構(gòu)，用于對輸入的圖像進(jìn)行特征提取，同時能夠有效融合不同通道和低層細(xì)節(jié)的特征信息，高效獲取復(fù)雜手勢特征；后端部分是檢測網(wǎng)絡(luò)，進(jìn)行關(guān)鍵點熱圖、目標(biāo)大小以及中心點偏移的預(yù)測。SCNet整體的網(wǎng)絡(luò)模型結(jié)構(gòu)如圖1所示。對整體網(wǎng)絡(luò)結(jié)構(gòu)進(jìn)行了改進(jìn)，從后期實驗結(jié)果驗證了改進(jìn)后的網(wǎng)絡(luò)結(jié)構(gòu)擁有更高的準(zhǔn)確率。

圖1 SCNet網(wǎng)絡(luò)模型結(jié)構(gòu)

與其它檢測算法相比，基于centernet的目標(biāo)檢測網(wǎng)絡(luò)的創(chuàng)新是提出中心點熱圖檢測思想，網(wǎng)絡(luò)只提取每個目標(biāo)的中心點作為關(guān)鍵點來預(yù)測目標(biāo)大小信息，得到更簡單高效的檢測模型。由SCNet模型檢測手勢的具體過程分為3個階段：首先傳入手勢圖像，經(jīng)過前端檢測網(wǎng)絡(luò)模型預(yù)測生成手勢關(guān)鍵點熱圖，然后對熱圖上樣本特征進(jìn)行三分支的卷積操作直接預(yù)測出關(guān)鍵點、偏移量和目標(biāo)尺寸值，最后解碼得出手勢目標(biāo)位置邊框。整體網(wǎng)絡(luò)實現(xiàn)端到端檢測，省去了基于錨框檢測算法在后處理階段的額外計算和訓(xùn)練開銷，同時引入中心點來檢測目標(biāo)相對cornernet算法，不需要對關(guān)鍵點進(jìn)行分組，能夠更好去除小目標(biāo)的誤檢框，在檢測速度和識別精準(zhǔn)性上有明顯優(yōu)勢。

2.2 網(wǎng)絡(luò)損失函數(shù)和屬性值

SCNet網(wǎng)絡(luò)的目標(biāo)損失函數(shù)由關(guān)鍵點熱圖損失Lk、目標(biāo)尺度大小損失Lsize、中心點偏移量損失Loff這3部分組成，如式(3)所示

Ldet=Lk+λsizeLsize+λoffLoff

(3)

式中：λsize的值為0.1，λoff的值為1。

(4)

(5)

(6)

(7)

3 實驗的結(jié)果和分析

3.1 實驗數(shù)據(jù)集的處理

本文的檢測對象是在復(fù)雜背景下的手勢，設(shè)計的實驗分別是在公開數(shù)據(jù)集Egohands[19]以及在自建RGB數(shù)據(jù)集上進(jìn)行單類別和多類別的訓(xùn)練和評估，驗證算法的性能。

公開Egohands數(shù)據(jù)集包括兩人互動的4800張圖片，使用Google glass拍攝，拍攝的活動場景復(fù)雜多樣互動形式豐富，包括室內(nèi)和室外等場景。其中每張圖片大小為1280×720 px，且圖片上的手勢區(qū)域都帶有位置標(biāo)簽。數(shù)據(jù)集中圖片只包含一種類別，標(biāo)簽為hand，訓(xùn)練集、驗證集和測試集的圖片的劃分比例為8∶1∶1，訓(xùn)練集圖片共計3840張，驗證集480張，剩余480張圖片為測試集。部分手勢如圖2(a)所示。

圖2 部分手勢數(shù)據(jù)樣本圖像

多類別實驗采用增強(qiáng)的手勢數(shù)據(jù)集進(jìn)行訓(xùn)練，通過RGB攝像頭采集手勢數(shù)據(jù)集包含7個類別，3850張圖片，每張圖片采用LabelImg進(jìn)行標(biāo)注。數(shù)據(jù)增強(qiáng)分為離線數(shù)據(jù)集增強(qiáng)和在線訓(xùn)練數(shù)據(jù)增強(qiáng)兩種方式，考慮到數(shù)據(jù)量較少，以及對小目標(biāo)檢測的準(zhǔn)確度，采用離線數(shù)據(jù)增強(qiáng)策略對數(shù)據(jù)集進(jìn)行兩倍擴(kuò)充，共計11 550張圖片，按照8∶1∶1的比例劃分訓(xùn)練集、驗證集和測試集，其中測試圖片數(shù)為1155張，驗證圖片數(shù)為1155張，剩余9240張作為訓(xùn)練數(shù)據(jù)。數(shù)據(jù)增強(qiáng)策略是將原始手勢數(shù)據(jù)集進(jìn)行隨機(jī)平移，平移范圍是原圖像寬高的5%，為了更好檢測小目標(biāo)，隨機(jī)進(jìn)行縮放調(diào)整，縮放比例為原始圖像大小的0.8倍或0.5倍，部分手勢圖像如圖2(b)所示。

3.2 實驗平臺和參數(shù)設(shè)置

本文的實驗平臺是在圖形卡為NVIDIA GeForce GTX 1660s上進(jìn)行訓(xùn)練，系統(tǒng)環(huán)境為windows10，采用Pytorch深度學(xué)習(xí)框架，cuda10.0和cudnn7.6。實驗輸入數(shù)據(jù)集圖片的像素大小設(shè)為512×512 px，將數(shù)據(jù)集轉(zhuǎn)成coco數(shù)據(jù)集標(biāo)注格式進(jìn)行訓(xùn)練，訓(xùn)練過程中，初始學(xué)習(xí)率設(shè)置為1.25e-4，batch size設(shè)為12。在迭代次數(shù)為90時，學(xué)習(xí)率下降為1.25e-5；迭代次數(shù)為120時，學(xué)習(xí)率再降為1.25e-6。其中單類別訓(xùn)練中的訓(xùn)練迭代次數(shù)設(shè)為200，多類別訓(xùn)練中的訓(xùn)練迭代次數(shù)為140。

3.3 單類別數(shù)據(jù)集實驗結(jié)果和對比分析

單類別檢測實驗主要從網(wǎng)絡(luò)模型性能、大小和速度上進(jìn)行對比，選擇基于錨框的單階段代表性算法SSD和傳統(tǒng)shufflenetv2網(wǎng)絡(luò)。一組實驗設(shè)置的對照組為：①采用mobilenet作基礎(chǔ)網(wǎng)絡(luò)的SSD算法；②采用本文提出的網(wǎng)絡(luò)模型SCNet。實驗分別從mAP，AP(0.5)和AP(0.75)這3個維度進(jìn)行比較。

從表2的實驗可以看出，使用基于centernet的檢測網(wǎng)絡(luò)在Egohands數(shù)據(jù)集上能夠達(dá)到很好的準(zhǔn)確率，相較于基于mobilenet的SSD算法不管是均值平均精度，AP(0.5)，AP(0.75)上都更優(yōu)，兩者在mAP上相差達(dá)到4.6%左右。

表2 對比實驗結(jié)果

為了驗證使用SELayer的有效性，在傳統(tǒng)特征提取網(wǎng)絡(luò)shufflenetv2上做對比實驗，尺度選擇1.0，網(wǎng)絡(luò)分別是激活函數(shù)選擇ReLU的shufflenetv2后端加入三層上采樣轉(zhuǎn)置卷積模塊，以及在stage3和stage4中使用SELayer且后端加入三層上采樣卷積模塊的SCNet網(wǎng)絡(luò)這兩種模型。分別從平均檢測精度、模型大小、參數(shù)量以及單幀耗時4個方面來衡量模型的性能，實驗結(jié)果見表3。

表3 對比實驗結(jié)果

在同樣大小的輸入圖片上，本文改進(jìn)后的模型SCNet相較于原始shufflenetv2算法來說，在模型大小和速度上的差距不大，但是SCNet能夠達(dá)到更高的準(zhǔn)確率，其對單目標(biāo)檢測的準(zhǔn)確率比shufflenetv2高0.9%。僅僅通過增加少量參數(shù)達(dá)到更好的性能提升。表中單幀耗時的計算結(jié)果為攝像頭識別的速度，為總的計算時間(tot)，包含每幀圖像的預(yù)處理時間。實驗結(jié)果表明在GPU加速上能達(dá)到快速識別的效果。用構(gòu)建網(wǎng)絡(luò)(net)和解碼時間(dec)計算加速后峰值幀率可達(dá)到45 frames/s，相較于CPU i5平臺有大幅速度提升。

3.4 多類別數(shù)據(jù)集實驗結(jié)果和對比分析

多類別檢測實驗主要以不同類別的網(wǎng)絡(luò)作為前端手勢特征提取的網(wǎng)絡(luò)結(jié)合centernet算法得出的檢測網(wǎng)絡(luò)模型在性能上進(jìn)行對比，選擇squeezenet網(wǎng)絡(luò)、shufflenet網(wǎng)絡(luò)以及mobilenetv2網(wǎng)絡(luò)在自建RGB手勢數(shù)據(jù)集上設(shè)計對比實驗。實驗設(shè)置的對照組分為4組：①使用squeezenet作特征提取網(wǎng)絡(luò)；②使用shufflenet作特征提取網(wǎng)絡(luò)；③使用mobilenetv2(0.75x)作特征提取網(wǎng)絡(luò)；④本文提出的網(wǎng)絡(luò)模型SCNet。其中mobilenetv2后端用三層深度卷積形式的轉(zhuǎn)置卷積替代，訓(xùn)練過程中訓(xùn)練集和驗證集的損失值變化如圖3所示。實驗在迭代90次之后損失值收斂，不管是在訓(xùn)練集還是驗證集上沒有大幅振蕩，從訓(xùn)練效果上看，SCNet的損失值相比于squeezenet網(wǎng)絡(luò)、shufflenet網(wǎng)絡(luò)和mobilenetv2網(wǎng)絡(luò)都處于較低值水平，收斂速度較快。

圖3 實驗損失值曲線

由表4可知，在同樣大小的輸入圖片下，本文設(shè)計的模型SCNet對于不同手勢的檢測上測試精確率能夠達(dá)到91%，優(yōu)于squeezenet網(wǎng)絡(luò)、shufflenet網(wǎng)絡(luò)和mobilenetv2網(wǎng)絡(luò)，相對于squeezenet網(wǎng)絡(luò)來看，SCNet準(zhǔn)確率提升在6.9%左右，漏檢率上減少5.6%左右，誤檢率上減少7%左右；與shufflenet網(wǎng)絡(luò)對比，準(zhǔn)確率提升在2.5%左右，漏檢率上減少2.3%左右，誤檢率上減少2.5%左右；對比mobilenetv2的前端網(wǎng)絡(luò)，本文采用優(yōu)化shufflenetv2網(wǎng)絡(luò)的檢測準(zhǔn)確率能夠提高2.3%左右，在漏檢率上減小1.7%左右，在誤檢率上減小2.4%左右。對比實驗結(jié)果顯示了本文方法模擬的有效性和高效性，為手勢檢測的研究提供了方法和途徑。

表4 對比實驗結(jié)果

單類別檢測實驗中用mobilenet-SSD和SCNet網(wǎng)絡(luò)模型進(jìn)行對比，采用mobilenet-SSD網(wǎng)絡(luò)輸入圖片后的檢測結(jié)果如圖4(a)所示，使用SCNet檢測模型輸入圖片后的檢測結(jié)果如圖4(b)所示。在復(fù)雜背景下，mobilenet-SSD網(wǎng)絡(luò)針對于小部分遮擋目標(biāo)沒有檢測出，有出現(xiàn)漏檢情況，SCNet模型對于遮擋和不完整的目標(biāo)物體檢測效果很好，基本手勢檢測兩者差距不大；多類別檢測實驗圖片測試中使用shufflenet-centernet和SCNet模型對比，分別采用圖片輸入后的檢測結(jié)果如圖4(c)和圖4(d)所示。在復(fù)雜背景下，shufflenet-centernet模型檢測結(jié)果會出現(xiàn)漏檢誤檢的情況，識別效果不佳；SCNet模型對于圖中目標(biāo)物體的檢測效果很好，類別準(zhǔn)確。其中左側(cè)為中心點熱圖結(jié)果，在熱圖上標(biāo)示了手勢關(guān)鍵點的位置以及檢測結(jié)果。

圖4 復(fù)雜背景下手勢檢測

4 結(jié)束語

本文主要討論針對復(fù)雜背景下手勢圖像目標(biāo)檢測的算法，在手勢檢測識別網(wǎng)絡(luò)的結(jié)構(gòu)和準(zhǔn)確性兩方面分別討論。本文采用基于centernet算法的手勢檢測網(wǎng)絡(luò)結(jié)構(gòu)，采用目標(biāo)中心點預(yù)測物體邊界，將使用SELayer優(yōu)化的shufflenetv2作為特征提取網(wǎng)絡(luò)，后經(jīng)上采樣的轉(zhuǎn)置卷積恢復(fù)原特征圖大小，使模型變得更加準(zhǔn)確和高效。網(wǎng)絡(luò)整體使用ReLU激活函數(shù)。實驗結(jié)果表明，本文提出的手勢檢測模型在速度和精度上有明顯優(yōu)勢，能夠較好地提升手勢圖像目標(biāo)的檢測效率和識別精準(zhǔn)度，實現(xiàn)了快速準(zhǔn)確的手勢檢測，但對于小目標(biāo)和重疊目標(biāo)的檢測需要做進(jìn)一步的改進(jìn)。后續(xù)研究嘗試結(jié)合其它主干網(wǎng)絡(luò)進(jìn)行實驗，如mixnet、ghostnet等，提高手勢檢測的效率和精度。