ECA＿SB:一種輕量級人體骨架點提取網絡

閆 河,劉繼紅,莫佳迪,劉倫宇

(重慶理工大學兩江人工智能學院,重慶 401135)

1 引言

人體骨架點提取是行為識別與人機交互中常涉及的一項子任務,讓人體骨架點提取網絡保持高精度的同時變得更輕量對于部署和使用就顯得尤為重要。當前人體骨架點提取方法中表現較好的有文獻[1]提出的Alphapose網絡架構,該網絡由對稱空間變換網絡SSTN、參數姿勢非大值抑制NMS和姿勢引導建議發生器PGPG三部分組成,其中SSTN用于得到高質量的單人人體區域,NMS用以解決同時出現多個檢測框的問題,PGPG通過生成相似的訓練樣本來增強數據,雖然Alphapose已經取得了不錯的效果,但是其參數量和計算量都非常龐大。除此之外,還有Face++提出的一種金字塔型的串接模型,即CPN(cascaded pyramid network)[2],這個模型能夠同時兼顧人體全局信息以及關節點的局部信息,在COCO數據集上也取得了不錯的準確率,但這個網絡結構同樣復雜且龐大。文獻[3]提出的高分辨率網絡(HRNet)相比其它人體骨架點提取網絡得到了更好的提取精度,HRNet 摒棄了以往常規網絡所用的串聯方式,它采用并聯的方式將不同分辨率子網按照分辨率從高到底的方式并行連接,實現了多尺度融合且能有效利用特征信息,但HRNet同樣沒有顧及到減小參數量和所需的計算量。另外,微軟提出的 Simple Baseline(SB)[4]從結構上來說是一種極其簡單的人體骨架點提取網絡,在一個ResNet后面接上三個轉置卷積層,骨架點提取準確率非常高,但由于其Bottleneck的expansion參數為4,就必須對Bottleneck中的最后一個特征圖的通道做擴展,這就使得其參數量和計算量相比在它之前出現的網絡來說也并不小。文獻[5]為了減少SB的參數量與計算量,對其網絡進行了重新設計,修改Bottleneck的expansion 為1同時添加了GC Block注意力模塊,并將Bottleneck第二層的標準卷積換為深度可分離卷積,使用修改后的Bottleneck替換下采樣階段的基礎組件Bottleneck,同時在上采樣階段也選擇輕量級的反卷積組替換掉三個轉置卷積層,文獻[5]提出的改進模型,雖然參數量與計算量僅為SB的1/30左右,但由于網絡被過度簡化,其在COCO數據集上的精度下降了大約2個百分點。

本文致力于探討如何在保證人體骨架點提取精度的同時有效降低網絡模型參數量和計算量。擬通過在Bottleneck基礎組件最后一個卷積層之后加入ECA注意力模塊,調整Bottleneck基礎組件的參數expansion為1,修改ResNet骨干網絡倒數第三個Bottleneck基礎組件的卷積步長為1,使用反卷積組替換掉原網絡后面接著的轉置卷積層,以實現減少原SB網絡模型的參數量和計算量,并保證較高的人體骨架點提取精度。

2 ECA＿SB：一種輕量級人體骨架點提取網絡

2.1 Simple Baseline(SB)網絡模型

SB的網絡結構較為簡易,如圖1,主要由骨干網絡和head network兩部分組成,其中骨干網絡為ResNet[6],head network則為一些轉置卷積層。在ResNet的基礎上,去掉最后的特征輸出層;在后面接上3個反卷積模塊,每個模塊依次為反卷積層、批歸一化和relu激活函數,其中反卷積參數為:256通道,4×4的卷積核,步長為2,填充值為1;最后添加一個1×1的卷積層,以對所有的關鍵點生成預測熱力圖。

圖1 SB整體網絡結構

圖2 ECA注意力模塊

2.2 融合ECA注意力模塊的網絡結構

本文在ResNet的Bottleneck最后一層卷積后添加ECA注意力模塊,同時修改Bottleneck的expansion為1,修改之后為ECABottleneck,然后在SB網絡的基礎上,使用ECABottleneck替換掉ResNet骨干網絡中的Bottleneck,再修改倒數第三個Bottleneck組件的卷積步長為1,最后使用文獻[5]提出的反卷積組替換掉轉置卷積層,并仍然采用原論文使用的平方誤差損失函數。

2.2.1 結合ECA注意力模塊

注意力機制已被證實是一種增強深度卷積神經網絡的潛在方法,它在圖像分類識別[7,8]、目標檢測[9]等計算機視覺方面[10]都取得了非常好的效果。SE-Net[11]首次提出了一種有效的通道注意力學習機制,并取得了良好的性能。在這之后,人們開發的注意力模塊大致可分為兩個方向:①增強特征聚合;②通道注意力與空間注意力相結合。

ECA[12]是一種能有效捕獲跨通道交互信息的注意力,在不降低維度的情況下進行逐通道全局平均池化之后,通過考慮每個通道及其k個近鄰來捕獲本地跨通道信息交互;這種方法可以同時保證效率和有效性。可以通過大小為k的快速一維卷積有效實現ECA模塊,其中內核大小k代表本地跨通道交互的覆蓋范圍,即有多少個相近鄰參與一個通道的注意力預測。k值由一種自適應的方法來進行確定,其中交互作用的覆蓋范圍(即內核大小k)與通道維數成比例。

以往的經驗表明,避免降維對于學習通道注意力非常重要,并且適當的跨通道信息交互可以在保持性能的同時顯著降低模型的復雜性。而ECA恰好通過一維卷積有效地實現了局部跨通道交互策略并無需降維,且ECA模塊僅包含少量參數,就可以帶來明顯的性能提升。因此,在網絡中加入ECA注意力模塊,該模塊只給原模型增加了很小的負擔,卻得到了比較大的精度提升。本文將ECA模塊添加到ResNet網絡中的bottleneck塊中,修改之后的ECABottleneck模塊如圖3所示,依次經過一個1×1、3×3和1×1卷積核尺寸大小卷積操作之后,再經過ECA注意力模塊。

圖3 ECABottleneck模塊

2.2.2 輕量級ECABottleneck

expansion是一個超參數,用來控制在resnet網絡中是否對殘差連接的通道做擴展,原論文中expansion取值為4,即是將殘差連接的輸出通道數擴展為輸入通道數的四倍,本文將其修改為1,以不對殘差連接的通道做擴展,以此來降低網絡的參數量和計算量。

如圖3所示,一個bottleneck block由三個卷積層和一個短路連接組成,一個標準卷積層的參數

Dk×Dk×Cin×Cout

(1)

其中,DK是卷積核的大小,Cin是輸入的通道數,Cout是輸出的通道數,由此得出一個標準bottleneck block的參數為

1×1×N×M+3×3×M×M+1×1×M×N

(2)

一般情況下,對于一個bottleneck block來說,輸入通道數和輸出通道數是相等的,也就是說N=M×expansion,bottleneck block默認的expansion值為4,因此,一個bottleneck block的參數可以簡化為

17×M×M

(3)

為了降低整個人體骨架點提取網絡的模型復雜度。受文獻[5]的啟發,本文也將expansion由4調整為1,如圖4所示,此時的N=M×expansion=M,一個bottleneck block的參數就為

圖4 各種場景下的人體關鍵點估計效果

11×M×M

(4)

通過這種方法,有效降低了網絡模型的參數量和計算量。

3 實驗結果與分析

3.1 實驗平臺

所有的實驗都是在基于Windows10操作系統的服務器上完成的,該服務器由18 核心 36 線程3.09GHz 的CPU和2個NVIDIA Quadro RTX8000 GPU組成。采用COCO 2017人體骨架點提取數據集來訓練和測試,并將結果與原論文結果進行對比。全部代碼均采用Python編程語言實現,訓練的批處理大小(batchsize)設置為32,學習率設為10-4,選擇的優化器為Adam,損失函數為均方誤差,訓練輪數為140。

3.2 數據準備

下載MS COCO(Microsoft Common Objects in Context)[13]官網的數據集,MS COCO數據集是用于多人關鍵點訓練和測試的主流數據集;該數據集標注了17個人體關鍵點,包含了2萬多張圖像共計2萬5千多個帶有標簽的個人樣本用于人體骨架點提取。其中COCO數據集公開了15萬多個實例用于訓練和驗證,本實驗同樣在 MS COCO2017 公開數據集上進行訓練與驗證;訓練集提供了118287 張圖片共149813個人體樣本,驗證集提供了5000 張圖像共6352個人體樣本用于人體骨架點提取。

MS COCO數據集的標注數據對應情況為:0-鼻子,1-左眼,2-右眼,3-左耳,4-右耳,5-左肩關節,6-右肩關節,7-左手肘關節,8-右手肘關節,9-左手腕,10-右手腕,11-左臀,12-右臀,13-左膝蓋,14-右膝蓋,15-左腳踝,16-右腳踝。其中脖子關鍵點并未標記,可由左肩和右肩的關節點坐標計算得出。

3.3 驗證標準OKS

本文的實驗驗證同樣在 COCO2017 數據集上進行,與文獻[14]相似,本文也同樣采用MS COCO官方給定的關鍵點相似性(OKS)進行評估,OKS的計算公式為

(5)

其中是di標注點和預測關節點位置之間的歐氏距離,ski為標準差,vi是指能否觀察到真實的人體關鍵點,vi大于0表示能觀察到,vi小于0表示觀察不到。每個關節點的相似度都會在落在[0,1]之間,完美的預測將會得到OKS=1,預測值與真實值差距太大將會得到OKS無限趨于0。

本文采用平均準確率和召回率來呈現人體關鍵點檢測結果,在COCO數據集評價指標中,所有的AP默認為mAP,AP.5表示當OKS=0.50 時的檢測準確度,AP.75表示當OKS=0.75 時的檢測準確度,AP是指在OKS 分別取 0.50、0.55、…、0.90、0.95 這10個值的平均檢測準確度,AP(M)表示中型尺度目標的平均準確率,AP(L)表示大型尺度目標的平均準確率,AR表示在 OKS分別取 0.50、0.55、…、0.90、0.95這10個值的平均召回率。

3.4 實驗驗證分析

本文研究了所提方法每個部分對精度提升的影響,即消融實驗[15],包括ECA模塊和expansion參數的調整。對于ECA模塊的驗證,本文分別設計了包含ECA模塊和不包含ECA模塊的網絡,分別進行訓練,其它參數均保持一致且都未使用預訓練模型。對應的網絡訓練結束后,其對應的精度、參數量和計算量對比如表1,可以看到,ECA模塊對骨架點提取精度的提升效果顯著,對于以ResNet50、ResNet101和ResNet152為骨干網絡的骨架點提取結果中,加入ECA模塊使得網絡對于人體骨架點的提取準確率分別提升了2.1%、1.0%和 0.8%。這說明ECA模塊提升了網絡對于人體關鍵點的提取精度;此外,加入ECA模塊后,網絡的參數和FLOPs[16](floating-point operations)只增加了一點點,這說明ECA模塊對于整個網絡的負擔來說非常的小。

表1 本文方法的注意力模塊分解實驗對比

對于expansion參數取值的驗證,本文分別對expansion取值為1和取值為4時的網絡進行了訓練,其它參數均保持一致且都未使用預訓練模型。對應的網絡訓練結束后,其對應的精度、參數量和計算量對比如表2,可以看到,把expansion的參數從4修改為1,對于以ResNet50、ResNet101和ResNet152為骨干網絡的結果中,其參數量和計算量減小了將近一半,而準確率僅僅下降了1.6%、0.9%、1.1%,這說明修改expansion的參數為1可以有效降低整個網絡的參數量和計算量。

表2 本文方法的expansion取值實驗對比

通過對原網絡進行改良和優化,在 COCO val 2017上進行實驗驗證,實驗結果如表3所示,添加注意力機制后,修改ECAbottleneck的expansion為1,并修改向下卷積最后一層的stride為1,訓練圖像輸入大小為256×192,分別以ResNet50、ResNet101、ResNet152為骨干網絡進行訓練,本文方法相對于SB原網絡的準確率幾乎沒有下降,且本文的參數和計算量都有了大幅度的減小。

表3 輸入圖像大小為256×192時在coco2017驗證集的準確率、參數量與計算量對比,M=106,G=230

通過實驗對比可知,在對SB網絡添加注意力及一系列參數修改之后,相比于原網絡,本文方法的參數量和計算量幾乎減半,且本文方法對于人體關鍵點的估計精度對比原網絡只有微小波動。

3.5 可視化實驗分析

使用訓練好的網絡模型,以ResNet50為骨干網絡對驗證集圖片進行關鍵點的估計,結果展示圖如圖4,輸入的原圖像大小均調整為256×192。其中圖(a)展示的是人體上半身遮擋情況下的關鍵點估計結果,圖(b)為光線陰暗且存在遮擋情況下的結果,圖(c)為在多人場景下且存在遮擋的效果展示,圖(d)為在滑滑板的復雜姿態下的效果展示。

可以看到,在有遮擋、運動、多人和光線陰暗等復雜情況下,對于人眼可預見的人體關鍵點位置,本文的方法也能提取出來,從而獲得準確的人體骨架點。

4 結束語

本文在Simple Baselines for Human Pose Estimation and Tracking論文所提出的網絡基礎上,對骨干網路resnet的bottleneck block組件進行了修改,在每個bottleneck block組件中的最后一個卷積之后添加了注意力模塊,并修改bottleneck block的參數expansion為1,還將resnet骨干網絡中倒數第三個bottleneck block組件的卷積步長修改為1,在網絡上采樣部分,使用反卷積組替換掉了原來的轉置卷積,有效降低了網絡模型的參數量和計算量并保持了較高精度。改進之后的網絡同樣在COCO2017數據集上進行訓練和測試,相較于原網絡,準確率幾乎沒有變化且參數量更少。結果表明,本文方法能夠有效減小網絡參數并保持較高的準確率。在后續的研究中,進一步提升準確率同時減小網絡的參數,仍是工作的重點。