基于半監督學習的三維人體姿態估計

史健　李毅

摘要：通過單目RGB攝像頭自動估計人體三維姿態是一個重要的、具有挑戰性且仍未被解決問題，主流算法大多基于監督學習的深度學習方法，但是這種方法的效果受訓練數據質量的影響很大，而標定好的三維人體姿態數據集相對稀缺，阻礙了這一問題的進一步的研究。在現有標記數據有限的情況下，利用人體姿態信息在二維空間和三維空間上存在的內在關系，提出了一種基于自監督學習和監督學習相結合的半監督學習訓練方式的三維人體姿態估計方法，并在Human3.6M數據集上用占數據總量不到40%的帶標記數據的半監督訓練模型，達到了接近90%的監督訓練模型的測試效果，為數據缺乏問題提供解決思路。

關鍵詞：深度學習;半監督學習;人體姿態估計;自監督學習;空洞卷積

中圖分類號：TP311? ? 文獻標識碼：A

文章編號：1009-3044（2021）12-0016-02

1引言

人體姿態估計的任務是估計圖像或者視頻中人體各個關鍵骨骼點的空間位置，基于單目RGB攝像頭進行人體姿態估計有著廣泛地應用前景，例如動畫制作、虛擬現實、增強現實、行為識別、人機互動、安防監控等，同時作為一個仍未被完全解決的學術問題，人體姿態估計也有著很高的研究價值。在過去的30年中，在圖像序列和視頻序列中自動估計人體姿態信息始終是計算機視覺領域的熱門研究方向。

2 三維人體關鍵點估計的研究現狀

在深度學習取得重大突破之前，大部分三維人體姿態估計算法都是基于特征工程設計或者根據人體骨骼和關節活動性建模，但由于需要大量手工標注特征，同時泛化性較差，只能在部分場合得到一些應用;而深度學習的出現為三維人體姿態估計提供了一種端到端、無須手工標注特征的優秀解決方案。

但受制于三維人體骨骼點信息采集復雜，設備昂貴，同時現有數據集都是在室內專業條件下采集，對于室外場景處理效果不佳，為了解決這些問題，許多基于自監督、半監督和弱監督的深度學習方法逐漸出現，并取得了接近監督學習的效果。

2.1深度學習算法

二維人體姿態估計已經取得了非常多的優秀成果，例如CPN、OpenPos等，許多三維人體姿態估計的工作都是基于這些效果很好的二維檢測器，或直接回歸骨骼點的深度信息，或在將二維坐標根據一定的映射關系直接提升到三維坐標。

2.2半監督學習

半監督學習主要在未標記的數據中挖掘數據本身的特征，這種方法已經在許多領域有了行之有效的實踐結果。一些工作將從二維姿態中學習到的特征按照一定關系轉換成三維姿態特征，例如使用多視角相機采集數據，學習三維姿態的特征表達，從而生成三維姿態信息，但是這種方法最大的問題是模型的泛化性比較一般，對于訓練數據中的環境參數較為敏感，而且多角度數據訓練較為復雜，不能應用到無監督環境。另一些工作利用對抗生成網絡可以區分真實數據和虛假數據的特性，將未標記的二維和三維數據一起送入對抗生成網絡，將三維姿態映射成為二維姿態后與送入的二維姿態數據進行比對，學習三維姿態的生成表達式，而這種問題同樣存在一定的局限性，模型只能學習到訓練數據中所包含到的姿態信息的特征表達，而對于未訓練到的情況表現并不理想。

2.3本文工作

本文工作為了能更加有效地在時序維度進行卷積提取幀間信息，對于人體各關鍵點的預測直接以坐標形式進行回歸;并用全卷積網絡代替循環神經網絡，即并行利用了時序序列信息，也通過舍棄部分池化層在卷積過程中保留了更多的圖像信息，同時還沒有降低網絡的感受野，放棄使用大量環境參數加上相機參數的模式，僅僅使用相機參數對二維進行提升，減少了計算的復雜度。

3 基于半監督學習的三維人體姿態估計

3.1網絡結構

本文網絡結構如圖1，首先采用魯棒性較好的Mask-RCNN網絡作為二維檢測器，選取人體17個骨骼點作為表示人體姿態的表示向量，直接回歸二維姿態各骨骼點的坐標，隨后選取當前幀和當前幀前后相隔兩幀的數據作為輸入送入下一級的時序模型。

本文采用空洞全卷積網絡代替以往用來進行時序卷積的循環神經網絡，使得網絡可以并行地對姿態序列進行卷積，更加快速和有效地提取幀間關聯信息，時序模型結構如圖2，主要由四個相同的帶殘差結構的模塊級聯而成，輸入為二維檢測器輸出的17個二維骨骼點坐標，經過時域模塊卷積后將結果送入全連接層，根據相機參數將二維骨骼點提升至三維坐標，得到最終的17個三維骨骼點坐標信息。

3.2半監督學習

半監督學習應用在訓練過程中，主要由兩部分，一部分是傳統的監督學習，將標記好的數據送入網絡，先通過二維檢測器得到各骨骼點的坐標，同時記錄下每個骨骼點的距離，也就是相應的骨骼長度;之后將二維骨骼點數據送入后續時序卷積模塊預測各個骨骼點的三維坐標，與標記數據進行對比，計算損失函數，形式為交叉熵，隨后通過反向傳播算法更新網絡權重，重復這一過程一定次數后，網絡可以近似學習到數據的分布規律，使得預測結果更加準確。在每一個批次訓練完成之后，對各個骨骼長度取平均值并記錄，保存等待自監督學習時使用。

訓練過程中的另一部分就是利用大量無標簽數據的自監督學習。自監督學習過程成中，網絡讀入無標記的數據，預測得到二維和三維關鍵點信息，將三維坐標結合監督學習中獲得的骨骼長度，將骨骼長度作將三維坐標重新映射回二維坐標的軟限制，使得重新映射成二維的人體姿態中的各個骨骼長度與原圖像中更為接近，保證重映射過程的準確性。最后將兩種二維坐標的差距作為損失函數，形式同樣為交叉熵，并根據損失函數更新網絡參數。實際訓練中，監督學習和自監督學習根據標記數據在所有訓練數據中的比例交替進行，監督訓練先行進行。

4 實驗

4.1 Human3.6M數據集

Human3.6M[3]數據集是由專業團隊利用專門的動捕設備在室內采集制作的大型三維人體姿態數據集，一共包括11個對象的360萬幀圖像，并對其中7個對象的三維姿態進行了標注，每個對象都用4部同步相機記錄了15種不同的動作。本文工作選取子集S1和S5作為監督訓練的數據集，分別以這兩個數據子集10%、30%、50%、70%和90%數據容量，與作為自監督訓練的無標記數據的子集S6、S7和S8進行了五次200批次的半監督訓練，每次訓練都以0.001作為初始學習率，每個批次的學習率衰減系數為0.95，五次訓練標記數據占總訓練數據的比重分別為6.6%、17.4%、26.0%、33.0%和38.8%。訓練結束后在子集S9和S11上測試模型效果，實驗結果如表1所示。

4.2 評價標準

實驗以毫米級的平均關鍵點位置誤差（MPJPE）作為評價指標，該指標為每個預測的關鍵點位置與真值的關鍵點位置的歐氏距離的平均值的總和，實現方式與主流工作保持一致。

4.3實驗結果

從整體上來看，隨著標記數據的不斷增加，半監督學習的預測效果與監督學習的預測效果明顯縮小，但測試效果的提升也在逐漸變弱，從表中可以發現70%組合90%組提升差距已經明顯變小，在部分動作中的效果甚至降低了;同時從表中可以發現是用少量的已標記數據進行半監督訓練就可以獲得非常接近監督訓練的性能，甚至在個別動作的測試中半監督學習的效果甚至優于監督學習，說明使用大量的標記數據雖然能有效提升性能，但是有可能帶來模型在部分情況下產生過擬合，這一問題可能會在模型實際應用中到來不少的麻煩，而基于半監督學習的訓練方法在一定程度上減少了來自冗余數據的影響。

5 結語

本文的實驗結果說明了即便缺少充分的三維標記數據，大量的無標記數據本身存在巨大的價值，通過合適的方法對無標記數據進行挖掘，建立巧妙的半監督學習模式來利用無標記數據，即便數據不充足也可以取得很好的訓練效果。隨著深度學習領域的不斷細分，算法落地場景越來越具體，數據問題帶來的阻礙越來越大，利用少量數據進行半監督學習是最好的解決方案之一。

參考文獻：

[1] Cao Z，Simon T，Wei S H，et al.Realtime multi-person 2D pose estimation using part affinity fields[C]//2017 IEEE Conference on Computer Vision and Pattern Recognition （CVPR）.July 21-26，2017，Honolulu，HI，USA.IEEE，2017：1302-1310.

[2] Rhodin H， Salzmann M， Fua P. Unsupervised geometry-aware representation for 3D human pose estimation[M]//Computer Vision – ECCV 2018.Cham：Springer International Publishing，2018：765-782.

[3] Tung H Y F，Harley A W， Seto W，et al. Adversarial inverse graphics networks：learning 2D-to-3D lifting and image-to-image translation from unpaired supervision[C]//2017 IEEE International Conference on Computer Vision （ICCV）.October 22-29，2017，Venice，Italy.IEEE，2017：4364-4372.

[4] 鄧益儂，羅健欣，金鳳林.基于深度學習的人體姿態估計方法綜述[J].計算機工程與應用，2019，55（19）：22-42.

[5] 王偉楠，張榮，郭立君.結合稀疏表示和深度學習的視頻中3D人體姿態估計[J].中國圖象圖形學報，2020，25（3）：456-467.

【通聯編輯：聞翔軍】