基于非局部高分辨率網絡的人體姿態估計方法

孫琪翔，張睿哲，何 寧，張聰聰

1.北京聯合大學 北京市信息服務工程重點實驗室，北京 100101

2.北京聯合大學 智慧城市學院，北京 100101

人體姿態估計是在給定的圖像或視頻中對人體的關鍵部位或者主要關節進行檢測，最終輸出人體全部或局部肢體相關參數（各個關節點的相對位置關系）的過程，例如人體輪廓、頭部的位置與朝向、人體關節的位置和部位類別等[1]。人體姿態估計是人體行為識別的基礎問題，人體行為識別在人類生活的眾多領域得到廣泛的應用，如視頻監控、運動檢索、人機交互、智能家居以及醫療保健等任務。

從實現姿態估計的角度考慮人體姿態估計主要有兩種方法：自上而下方法和自下而上方法。自上而下的方法依賴檢測器來檢測人體實例，每個人都有一個邊界框，然后將問題減少到單個人的姿態估計。Fang等人[2]提出一個局部的多人人體姿態估計（regional multiperson pose estimation，RMPE）框架來減少錯誤的檢測結果對單人姿態估計帶來的影響。Chen 等人[3]提出（cascaded pyramid network，CPN）方法，該方法在特征金字塔網絡（feature pyramid network，FPN）的基礎上結合RefineNet 進一步優化難預測的關鍵點。類似的，Huang 等人[4]提出一個Coarse-Fine 網絡，利用多尺度監督并融合粗細特征得到最終的預測結果。Xiao等人[5]提出一個簡單但是有效的網絡來進行多人姿態估計和跟蹤。Newell 等人[6]提出stacked hourglass network 來 有效地學習結合不同尺度的特征，其中沙漏模塊（hourglass module）即在卷積反卷積（Conv-deconv）模塊中加殘差鏈接（residual connections）。hourglass的有效性使得之后很多工作都采用了類似的模塊，例如Yang等人[7]在hourglass 的基礎上提出了金字塔殘差模塊（pyramid residual module）提高應對身體部位的尺度變化的能力。自上而下方法在進行人體姿態估計時，會把大小不同的檢測框統一到一個尺度進行學習，因此對尺度不敏感，對小尺度的人也相對容易預測；然而對于目標檢測要求較高，如果檢測有誤差，后面很難恢復；另外運行時計算量與圖片中的人數成正比，人越多，計算量越大。

自下而上的方法，首先要找到圖片中的所有關鍵點，比如所有頭部，左手，膝蓋等。然后把這些關鍵點組裝成一個個人。在引入深度學習方法后，Pishchulin等人[8]提出DeepCut 把分配問題建模成全連接圖（fully connected graph）中的整數線性規劃（integer linear program，ILP）問題，之后很多工作圍繞解決ILP 問題展開，Iqbal等人[9]提出可以局部地求解ILP 問題，不過還是沒有很好地解決這個問題。Insafutdinov等人[10]提出DeeperCut用更深的ResNet[11]來估計關鍵點，并使用依賴圖像的成對的項和一個增量優化策略來提高推測效率。Levinkov等人[12]提出了兩種局部搜索算法可以單調收斂到局部最優，為ILP問題提供了一個可行的解決方案。Varadarajan等人[13]結合人體內在的結構信息，提出一個貪婪的分配算法來降低ILP問題的復雜度。Cao等人[14]提出的OpenPose 把關鍵點之間的關系建模成關節引力場（part affinity field，PAF），來幫助更好、更快地分配關鍵點，其不論是準確率還是速度相較之前的方法都有了巨大的提升，第一次使多人姿態估計的速度可以達到實時的級別。接下來一些工作致力于同時學習關鍵點位置和怎么分配關鍵點，以免除復雜的分配后處理。Newell 等人[15]提出associative embedding可以在預測關鍵點的同時預測一個標記熱圖（tag heatmap），用來幫助進行關鍵點組別分配。Xia 等人[16]提出的semantic part segmentation 側重于對關鍵點部件的聚類。Papandreou 等人[17]提出的PersonLab 同時學習關鍵點和其相對位移，用來直接聚集同一個人的關鍵點。Tang 等人[18]提出一種組合模型來表示人體各部分的層次關系，可以解決底層關鍵點模糊的問題。自下而上的方法不受目標檢測的誤差影響；計算量與圖像中有多少人無關，因此效率提升較大；然而對尺度較為敏感，對小尺度的人比較難預測。上述人體姿態估計方法都是基于卷積神經網絡，針對圖像的卷積運算都是在空間上進行局部卷積操作，而局部卷積操作往往因為無法參考全局信息而造成一些偏差。為了解決這個問題，通常會使用更大的卷積濾波器或有更多卷積層的深度網絡。雖然有改善，但是也導致了計算效率低、優化困難的問題[11]。針對以上問題，本文提出了一種基于非局部神經網絡的人體姿態估計方法，能夠從主干網絡的層面解決這個問題，首先設計非局部神經網絡模塊，然后將該模塊與目前最優人體姿態估計骨干網絡HRNet 進行融合，最后本文設計了3 種NLHR 網絡結構，在MPII（MPII human pose dataset）[19]和COCO 人體關鍵點數據集[20]上驗證了相關算法的有效性。

1 相關工作

1.1 高分辨率網絡（HRNet）

本文提出的方法目的在于提高人體姿態估計的準確率，因此本文的骨干網絡選擇了高分辨率網絡（highresolution network，HRNet），HRNet 是由中科大和微軟亞洲研究院Sun 等人[21]在2019 年共同提出的高分辨人體姿態估計網絡。HRNet 與以往的串行人體姿態估計模型不同，大多數用于關鍵點熱圖估計的卷積神經網絡由類似于分類網絡的主干網絡組成，主體采用分辨率由高到低、再由低到高的框架，增加多尺度融合和中繼監督優化，其網絡結構如圖1所示。

圖1 傳統網絡結構Fig.1 Traditional network structure

HRNet為并聯結構，通過并行連接高分辨率到低分辨率卷積，可以一直保持高分辨率特征，并通過重復跨并行卷積執行多尺度融合來增強高分辨率特征信息。從特征分辨率的角度看，HRNet網絡由4個并行子網絡組成，同一子網絡特征的分辨率不隨深度變化而變化，并行子網絡特征圖分辨率依次降低一半，同時通道數增加到兩倍。從HRNet 網絡的深度上看可以分成4 個階段，第1 階段由1 個子網絡構成，第2 階段由2 個子網絡構成，第3 階段由3 個子網絡構成，第4 階段由4 個子網絡構成，每個階段之間由融合模塊構成，融合模塊將不同分辨率特征信息融合，以此增加網絡的特征表示，如圖2所示。不同分辨率的特征圖有不同的細粒度，關注原圖像不同尺度的區域，這些特征之間存在互補性。通過組合這些特征，可以得到更好的人體特征表示。

圖2 HRNet網絡結構Fig.2 HRNet network structure

借助HRNet 強大的特征表示能力，本文將HRNet作為NLHR網絡的骨干網絡。

1.2 卷積神經網絡的局限

HRNet網絡是現階段人體姿態估計領域的最優網絡架構，可以兼顧準確率和網絡參數量，但是HRNet 和傳統網絡一樣都是使用卷積神經網絡（convolution neural network，CNN）作為特征提取的方式。卷積神經網絡有一定局限性，例如在5×5 卷積中，卷積濾波器有25個像素，目標像素的值參照自身和周圍的24個像素來計算，這就意味著卷積只能利用局部信息來計算目標像素，而局部卷積操作往往因為無法參考全局信息而造成一些偏差。當然有很多方法可以緩解這個問題，比如使用更大的卷積濾波器或者更多卷積層的深度網絡。但是這些方法往往會帶來較大參數量，而結果的改善很有限。在人體姿態估計領域，人體的關節點結構性特征，利用傳統的卷積提取方式，無法有效地在局部就獲取到人體的全部特征，而增加了全局特征就能更好地提取到人體的全部姿態特征，從而提高人體姿態估計的準確率，為了獲取的人體姿態的全局特征，本文方法引入非局部均值的概念。

1.3 非局部均值（NL-means）

1.4 非局部網絡模塊

為了實現對每個像素的全局參考，Wang等人[23]結合上述非局部均值的特點，提出了一個泛化、簡單、可直接嵌入到當前網絡的非局部網絡模塊，非局部網絡模塊的描述如公式（4）所示：

2 非局部高分辨率網絡NLHR

本文方法融合了非局部網絡模塊和HRNet。首先對非局部網絡模塊封裝，具體定義如公式（5）所示：

結合上述公式和具體實驗參數，設計的非局部網絡模塊如圖3所示。

圖3 非局部網絡模塊Fig.3 Non-local network module

通過公式（5）可知非局部的操作可以保持輸入的參數大小，非局部網絡模塊是可以改變輸入值的，并且非局部網絡的輸入端和輸出端，參數是相同的，因此能否提高人體姿態估計的準確率取決于NLHR網絡的結構設計。

HRNet在第4階段包含4個分支子網絡，根據文獻[21]越小的分辨率包含有越強的語義信息，底層分辨率也更豐富。因此，為了突出圖像的底層特征，在第4 個分支上融合非局部網絡模塊。具體NLHR 網絡結構如圖4所示，此時通道數為256，分辨率為原始圖像的132。

圖4 NLHR網絡結構Fig.4 NLHR network structure

非局部網絡模塊的特點是保持輸入參數和輸出參數的一致，且不會影響原始網絡使用預訓練權重，為了驗證NLHR 網絡是否為最優網絡架構，在3.3 節消融實驗中，從分辨率和非局部網絡模塊數量的角度出發，設計消融實驗，確定最優的網絡結構。

3 實驗結果與分析

實驗環境為Ubuntu 16.04.6 LTS，64 位操作系統，Intel Xeon?CPU E5-2678v3@2.50 GHz，內存12 GB，顯卡RTX2080Ti 以及Cuda10.0.130、Cudnn7.5、Pytorch1.4和Python3.6 的軟件平臺。網絡預訓練模型使用在ImageNet數據集上預訓練的參數。

數據集：MPII 數據集是從YouTube 視頻中提取，其中30 000張人體姿態圖像用于訓練，10 000張人體姿態圖像用于測試，每個人體有16個標注的關鍵點。COCO數據集由超過200 000張樣本圖片組成，包含250 000個人體目標及17個標注的關鍵點。

3.1 評價指標

PCKh評價標準[19]。通過對測試圖像中每個人進行明確的邊界限定來獲得檢測準確率。給定邊界框框內的候選區域包含原始關鍵點坐標位置，控制相關閾值得到不同準確率來判斷預測的關鍵點是否定位合理，選擇閾值r=0.5。PCKh 用于人體軀干大小代替頭部框大小，將該尺度作為歸一化其他部件的距離，距離采用歐式距離。如果檢測關鍵點與標簽關鍵點的歐式距離在該閾值范圍內，則該檢測結果是正確的。以第k類人體關鍵點為例，PCKh的計算方式如公式（6）所示：

OKS 評價標準[20]。基于COCO 評估指標OKS，AP是對于不同關鍵點類型和人物大小尺寸的歸一化，是關鍵點之間的平均關鍵點相似度，在[ ]0,1 之間，預測越接近原值則趨向1，反之趨向0。OKS定義如公式（7）所示：

其中，t為給定OKS 的閾值處理分別取（0.50，0.55，…，0.90，0.95），預測準確率由測試集所有圖片中人物的OKS 指標計算得到。APM表示中等大小目標的準確率，APL表示大目標的準確。

本文將人體檢測框的高度或寬度擴展到固定的長寬比：高∶寬=4∶3，然后將人體檢測框從圖像中裁切出來，并重新調整到固定大小256×192。同時本文對數據增強的操作包括隨機旋轉[-45°,45°]、隨機尺度[0.65，1.35]和翻轉。根據文獻[24]本文也包括半身的數據增強。

在優化器的選擇上，本文使用Adam優化器[25]，學習率的設定遵循文獻[5]，基礎學習率設定為10?3，在第170個epoch和第200個epoch分別降為10?4和10?5。最終訓練過程在210個epoch結束。

3.2 MPII數據集實驗結果分析

在MPII數據集上的實驗結果如表1所示，與HRNet的實驗結果基線相比，NLHR 網絡的準確率提升了0.2個百分點，根據文獻[21]造成這種小幅提升的原因可能為MPII數據集的準確率趨于飽和。

表1 MPII驗證集上的實驗結果（PCKh@0.5）Table 1 Experimental results on MPII validation se（tPCKh@0.5）%

3.3 消融實驗

針對MPII 數據集，以32 通道寬度作為骨架網絡進行消融實驗，首先，在HRNet 的第一階段增加非局部網絡模塊，并將該網絡模塊命名為NLHRv1，網絡的平均準確率和基線網絡相比沒有明顯變化為90.3%，然后，在HRNet 的最后一層，增加非局部網絡模塊，此時網絡的平均準確率相較于基線網絡由90.3 提升至90.4%。最后使用NLHR作為網絡結構，網絡的平均準確率提升至90.5%。如表1 所示，可以得出非局部網絡模塊在低分辨率階段可以獲得更好的特征表示，而在高分辨率網絡階段的效果有限。

接下來，以32通道寬度的網絡作為骨架網絡，輸入圖像的大小設置為256×192，針對COCO2017 數據集，分別從非局部網絡模塊數量和在HRNet 不同階段增加非局部網絡模塊的角度上設計NLHR 網絡結構并在COCOval2017上進行測試。

結合HRNet 的4 層結構，本文設計3 組網絡結構并進行消融實驗。第1 組網絡結構：在HRNet 第1 個分支子網絡上每隔1 個融合階段增加1 個非局部網絡模塊。此時，網絡的通道數32，分辨率為原始圖像的1/4。設計NLHRv1b1、NLHRv1b2、NLHRv1b3、NLHRv1b4 網絡，分別有1、2、3、4個非局部網絡模塊。網絡參數量、浮點運 算 量（Giga floating-point operations per second，GFLOPs）和準確率的比較，如表2所示。

表2 COCO數據集網絡參數量、GFLOPs和精度對比Table 2 Comparison of network parameters，GFLOPs and accuracy of COCO datasets

在本階段的消融實驗中，隨著非局部網絡模塊數量的增加，模型的參數量會有明顯的增加，導致訓練難度增大，雖然會帶來準確率的提升，但是效果有限。

第2組網絡結構：分別在HRNet的不同分辨率階段增加非局部網絡模塊。設計NLHRr1、NLHRr2、NLHRr3、NLHRr4 網絡，分別在原始圖像分辨率的1/4、1/8、1/16、1/32階段增加非局部網絡模塊。實驗結果如表3所示。

表3 COCO數據集網絡參數量、GFLOPs和精度對比Table 3 Comparison of network parameters，GFLOPs and accuracy of COCO datasets

在本階段的消融實驗中，網絡參數量和GFLOPs隨著非局部網絡模塊的增加而逐漸增加，在精度上相較于單個非局部網絡模塊幾乎沒有提升。

總結以上3組消融實驗，準確率最好且網絡參數量和計算復雜度相對較低的是NLHRr4 網絡。從網絡結構的角度來看，NLHRr4 網絡與初始設計的NLHR 網絡結構相同。

3.4 COCO數據集實驗結果分析

在本階段的消融實驗中，分別在1/4、1/8、1/16、1/32分辨率階段增加非局部網絡模塊，隨著分辨率的降低，網絡參數量略有提升，GFLOPs 幾乎沒變，網絡的準確率逐漸提升，一直到原始圖像1/32 分辨率的階段，準確率達到最高。

第3組網絡結構：依次在HRNet的不同分辨率階段增加一個非局部網絡模塊。設計NLHRr1b1、NLHRr2b2、NLHRr3b3、NLHRr4b4 網絡，分別在1/4、1/8、1/16、1/32分辨率階段依次增加1 個非局部網絡模塊。實驗結果如表4所示。

表4 COCO數據集網絡參數量、GFLOPs和精度對比Table 4 Comparison of network parameters，GFLOPs and accuracy of COCO datasets

NLHR 網絡在COCO 驗證集上的結果和近年來的其他方法對比結果如表5所示，可以看出本文方法在圖像輸入大小相同的情況下準確率相較于基線方法有大幅度的提高。平均準確率比基線準確率高出2.3個百分點，在中等尺度目標和小目標上的準確率分別提高2.9和2.7個百分點。與感受野更寬且圖像輸入大小更大的HRNet-W48 相比，本文方法的準確率上依然領先。從網絡的參數量和GFLOPs的角度來看，和基線網絡的參數量進行對比，本文方法增加了0.6×106。在COCO 驗證集上的平均準確率AP 增加2.3 個百分點。與此前結果最優的HRNet-W48 網絡相比，HRNet-W48 網絡的規模更大，寬度更寬，參數量達到63.6×106，遠高于本文方法，但是本文方法的平均準確率AP仍能高出0.4個百分點。綜上，NLHR 網絡在準確率最優的前提下，網絡的參數量仍能控制在較低的水平。

表5 COCO驗證集上的實驗結果比較Table 5 Comparisons of experimental results on COCO validation set

本文對NLHR 網絡在COCO 驗證集上的測試結果圖做了可視化，不同視角、單人、多人、大目標和小目標的人體姿態估計結果如圖5 所示。可以看出，本文方法在不同情境下進行人體姿態估計，效果都能做到更精確。

圖5 NLHR網絡在COCO驗證集上的測試結果圖Fig.5 NLHR network test result images on COCO validation set

4 結論

本文以HRNet作為骨干網絡，結合傳統方法非局部均值的思想提出了NLHR 網絡用于人體姿態估計。該網絡利用非局部神經網絡模塊的優勢實現了對卷積神經網絡固有局限的改進。在COCO和MPII數據集上的實驗結果表明，本文方法在網絡參數量與HRNet基線網絡的參數量相差很小的情況下，準確率有較大的提升，即使與更大規模的網絡相比，準確率仍有優勢。在人體姿態估計中，更高的精度往往需要更復雜的網絡作為支撐，如何在提高精度的前提下，更好地控制網絡的參數量會是接下來的研究重點。