多階段雙路人體解析網絡

羅文劼，倪 鵬，張 涵，田學東

河北大學 網絡空間安全與計算機學院，河北 保定 071002

1 引言

人體解析任務需要對圖像中每個像素進行精確的分類，識別出人體語義部位。目前人體解析已經應用在很多領域，例如人體重識[1]、人體行為分析[2]、自動化推薦[3]、姿態估計[4]等。與傳統的語義分割任務相比，人體解析是一種更加精細化的分割任務，它與姿態估計任務不同，在姿態估計任務中需要定位人體的關節點，而人體解析任務需要定位人體的各個部位。人體解析目前面臨的主要困難有人體多變的姿態、奇異的服裝和復雜的場景等。早期存在的方法包括結構圖模型[4]和概率圖模型[5-8]。這些方法雖然有很大的進步，但需要手動地設計特征提取器，處理過程相對復雜。同時還存在識別區域不連續、過度識別、錯誤識別等問題，影響識別精度。

卷積神經網絡具有強大的特征學習能力，能夠有效地進行端到端的學習。最近基于卷積神經網的方法在人體解析任務中獲得了很大的成功，如文獻[9-13]，這些方法直接對原始圖像進行卷積操作并輸出解析結果。但在持續的池化操作與不斷卷積過程中，特征圖分辨率下降與低維特征的不足，導致圖像局部細節無法準確識別。在姿態估計任務中hourglass 網絡[14]采用編碼解碼網絡結構，通過上下采樣，能夠學習更加細節的特征信息，保留更加原始的特征信息。與其類似的還有特征金字塔模型[15]能夠自底向上、自上而下地學習不同尺度特征。在語義分割領域空洞卷積被廣泛使用，通過向卷積核嵌入值為零的參數來增大感受野，使其能夠學習更大尺度的特征信息。

基于編碼解碼網絡與空洞卷積的優點，本文提出一種雙路網絡MTCnet，該網絡由三個子網組成，分別是兩個特征提取子網和一個融合改進子網。其中一個特征提取子網使用hourglass網絡，另一個子網使用空洞卷積網絡，同時設計了融合改進子網，其目的是將兩種類型網絡提取的人體語義特征信息進行融合學習，并輸出整合后的結果。MTCnet通過首尾相連的級聯方式進行多階段的學習，每個階段學習的結果會作為下一個階段的輸入，多階段的優化學習結果，最終達到最優的輸出結果。本文堆疊六個MTCnet其整體結構如圖1所示。中間監督的訓練方法在文獻[16]和文獻[14]已經得到了很好的應用，該方法能夠有效訓練多階段的網絡模型，在每個階段應用分類器并結合損失函數進行學習，可以提升模型的整體表現，本文使用這種方法對網絡進行訓練。本文主要工作如下：提出一種可以進行多模塊堆疊多階段預測的人體解析網絡MTCnet。在MTCnet 中加入了一種空洞卷積網絡，并與編碼解碼網絡相結合進行人體語義特征提取。訓練階段應用中間監督方法去訓練網絡模型。

圖1 本文方法的整體結構圖

2 相關工作

2.1 卷積神經網絡

從AlexNet[17]在ImageNet圖像分類比賽大放異彩開始，卷積神經網絡迅猛發展。在訓練Alexnet 網絡時引入dropout 方法[18]能夠防止數據過擬合，而后VGG[19]網絡增加了網絡的深度，GooleNet[20]不僅深度更深同時也拓展了網絡的寬度，同時使用批量正則化[21]加快收斂。ResNet[22]解決了網絡達到一定深度后，效果下降問題。DenseNet[23]擁有更密集的連接，更好地關注網絡前后多層的特征，減輕了梯度消失問題。

2.2 人體解析

在人體解析方面非卷積神經網絡的方法有，文獻[2，5，7]基于條件隨機場的方法進行人體解析，這些方法雖然取得了一些成功，但依然存在多變的人體形態、奇異的人體著裝帶來的識別錯誤問題。Chen 等人[8]將SVM與CRF 結合，先執行人體姿態估計，然后執行人體解析。文獻[4]使用一種與或圖結構的框架用人體姿態估計結果去指導人體解析，這種與或圖結構能夠處理一些由于人體姿勢、著裝等原因造成的較大的人體外觀變化。此后基于卷積神經網絡的方法具有更高的精確度，能夠應對更復雜的場景。文獻[13]提出將人體解析作為一種活動模板回歸問題，并使用超像素平滑方法去改進解析結果。Liang 等人[10]基于卷積神經網絡的方法提出多尺度上下文模型整合多尺度人體部位特征與語義邊界特征進行人體解析。Liu 等人[24]將卷積網絡與聚類算法相結合提出了一種卷積神經網絡KNN 非參數模型。文獻[25]將人體解析與姿態估計任務一起進行操作，并設計了一種轉換解析結果去輔助姿態估計的網絡。文獻[9]引入了更有挑戰的更多樣性的人體解析數據集Look Into Person（LIP）彌補了大數據集的缺失。

在其他領域Wei 等人[16]提出多階段預測逐步提升結果的卷積姿態機，這種方法在實際應用中具有非常好的魯棒性。文獻[26]使用空洞卷積和一種全連接的CRF 的方法進行語義分割。文獻[27]使用雙分支網絡進行姿態估計，該方法能夠提取不同的特征進行相互輔助。目前人體解析比較好的方法是將人體解析與其他任務相結合，相互進行輔助操作如文獻[25，28]，如果在只有人體語義部位標注信息的情況下，將無法進行訓練。本文提出的方法可直接進行人體解析操作而不需要其他任務的輔助，減少了網絡的訓練時間，避免了額外的開銷。接下來的部分將會詳解介紹本文設計的網絡模型。

3 本文方法

MTCnet 網絡的結構如圖2。模型的輸入為一張h×w×3 的圖像，在這里h是圖像的高度，w是圖像的寬度，3為通道數。其目標是輸出人體解析結果P={pij}，其中pij代表第i個像素為第j類。MTCnet 首尾相連可堆疊多個，每個MTCnet相當于一個學習階段，每個階段都會進行分類學習。MTCnet 由三部分組成，一個是編碼解碼網絡用于提取多尺度融合的特征，一個是空洞網絡用于提取更加關注整體的上下文特征，最后是一個融合調節網絡用于融合調節兩個特征。為了更加關注低維特征，在使用多個MTCnet 時會將每個預測的結果以及之前輸入的特征相結合作為下一個階段的輸入。下面將具體介紹各個部分細節。

圖2 MTCnet結構圖

3.1 編碼解碼網絡

編碼解碼網絡使用hourglass網絡，這里做了一些改變，將編碼階段與解碼階段對應的特征相連接而不是之前的直接相加，下采樣和上采樣各進行三次，其結構如圖3所示。每次下采樣之前會分成上下兩路，上路用于保存當前尺度信息，下路進行下一步的下采樣操作。每次上采樣后會和對應尺度的上路特征圖相連接。為了保證上下兩路特征擁有不同的權重，在每次相連接前對上下兩路進行一次1×1 的卷積操作。每次下采樣之前和上采樣之后都會進行卷積操作，這里的卷積操作使用兩層ResNet網絡來實現，下采樣使用平均池化，上采樣使用雙線性插值的方法。其整體表達式為：

其中，ht是第t階段被提取的特征，Gt為第t階段網絡的函數表達式，It-1為上一個階段輸出特征，為其需要學習的參數。

圖3 編碼解碼網絡結構

3.2 空洞網絡

空洞卷積在語義分割網絡DeepLab 中得到了很好的應用，空洞卷積在不增加學習參數的情況下可以擴大卷積核，使其能夠增大感受野，學習更大尺度的上下文信息。空洞網絡以ResNet 網絡模型為基礎，增加了一條空洞卷積分支，結構如圖4所示。其表達式為：

圖4 空洞網絡基礎層結構圖

其中，zn和zn+1代表每層的輸入特征和輸出特征，p(zn)為恒等映射，q(zn+1)代表普通卷積操作，k(zn)代表擴張率為2的空洞卷積操作。c()代表連接操作。空洞網絡一共有七層，每層的通道數量相同，特征尺寸大小相同。空洞網絡的表達式為：

其中，Jt是第t階段被提取的特征，At()為第t階段網絡的函數表達式，It-1為上一個階段輸出特征。

3.3 融合調節網絡

融合調節網絡結構如圖5 所示。在得到編碼解碼網絡和空洞網絡輸出的特征后，融合調節網絡將提取的兩種特征相連接，進行調節融合，并輸出每個階段調整后的結果，融合調節網絡使用普通的ResNet網絡，擁有三層，其表達式為：

其中，pt為第t階段輸出的總體特征，ht和Jt分別為第t階段編碼解碼網絡特征和空洞網絡提取的特征，為其學習到的參數。得到輸出pt后，然后使用分類器去預測語義部位概率圖，這里使用1×1的卷積去實現這個分類器。

圖5 融合調節網絡結構圖

在訓練網絡時，每個階段應用像素級別的分類損失函數即多分類交叉熵損失函數，其表達式為：

其中，Lt為第t階段的交叉熵損失，分別為第i張圖片預測結果和真實標注結果。

在每個中間階段，為了更加關注低維特征，保留圖像局部細節，將上一個階段的輸入特征與輸出特征相結合作為下一個階段的輸入特征。

4 實驗

4.1 數據集

LIP數據集一共包含50 462張圖像。其中30 462張用于訓練的圖片，10 000 張用于測試，10 000 張用于驗證。包括背景在內一共有20種用于人體解析的標注信息。該數據集從真實場景收集，具有非常高的人體遮擋，多變的外表，尺度不一的分辨率，還有不同的視角和多樣姿態等。本文使用LIP數據集進行對比實驗，來驗證本文方法的有效性。

4.2 數據增強

在訓練階段，輸入網絡的圖像被調整為相同的大小，這里使用256×256 的圖像大小，同時在-10°到10°之間隨機旋轉圖片，在0.8 到1.5 比率之間隨機進行縮放，在-10 px到10 px之間隨機裁剪平移。

4.3 實現細節

本文使用Pytoch 實現MTCnet 網絡，操作系統為Linux，顯卡為Nvidia GTX1080ti。使用標準差為0.001的高斯分布初始化網絡參數。使用RMSProp算法進行參數優化。初始化學習率為0.000 5。在LIP 數據集迭代200 次訓練MTCnet 模型。輸入MTCnet 網絡的特征圖分辨率均為64×64，通道數為256。在測試階段移除損失函數，在進入網絡之前圖片會被調整到256×256大小，輸出的結果會被還原到原始的尺寸。

4.4 實驗結果

在LIP 數據集上分別計算平均交并比mIoU、像素精度PA、均像素精度MPA 三種人體解析評價指標。在LIP 驗證集的結果如表1。從表中可以看到MTCnet 相比較于其他模型mIoU達到41.8%，PA達到82.9%，MPA達到了52.1%。比較DeepLab模型PA提高了0.2個百分點，MPA提高了0.5個百分點，mIoU提高了0.2個百分點。

表1 在LIP驗證集下不同方法的結果 %

圖6展示了不同方法可視化后的解析結果，SegNet解析結果出現大范圍的解析區域不連續，并且識別錯誤與未能識別問題嚴重。SegNet采用編碼解碼的結構，解碼器將低分辨率特征圖還原為高分辨特征圖，這樣還原出來的特征圖很難保留局部細節信息。而FCN-8s對整體輪廓有較好的識別效果，但解析結果相對粗糙，其通過多次pooling，雖然間接增大了接受域，但導致特征圖分辨率下降，特征信息保留不足。DeepLab 方法采用ASPP池化能夠進行多尺度學習，但從解析結果看，依舊存在解析區域不連續、細節處理不足等問題。從圖6中可以看出本文方法與其他方法相比能有效改善解析區域不連續問題，擁有更好的細節處理能力，解析結果更接近標注圖像。圖7 展示了不同方法隨epoch 增加時mIoU 的變化情況，從中可以看出本文方法比其他方法收斂更快，精確度更高，并隨著epoch次數的增加其結果相對平穩。

圖6 不同方法解析結果可視化

圖7 不同方法mIoU變化情況

在實驗中，MTCnet 堆疊不同數量的模塊結果會不同，其結果如表2。實驗中分別使用2、4、6階段，隨著模塊數量的增加，結果也得到提升。在使用2 階段時，mIoU為33.4%，PA為80.3%，MPA 42.2%，在使用4階段時mIoU 為37.7%，PA 為81.6%，MPA 為48.1%，相比較使用2 階段各個結果都得到提升，尤其mIoU 與MPA 提升特別明顯，分別達到了4.3 個百分點和5.9 個百分點，當使用6 階段時其mIoU 達到41.8%，PA 到達82.9%，MPA達到52.1%。

表2 在LIP驗證集下對比實驗結果%

此外，由于堆疊數量的增加會造成額外時間和顯存的開銷，當模塊堆疊超過6 個時，其結果并沒有得到明顯提升。綜合考慮其最佳結果為堆疊6個模塊。

為了比較雙路網絡與單路網絡的性能，在實驗中只使用hourglass網絡進行訓練與驗證，其結果展示在表2，從中可以看到在堆疊2、4、6個不同數量的模塊時，其結果均不及使用雙路網絡，說明雙路網絡特征提取能力優于單路網絡。

對MTCnet 的解析結果進行可視化如圖8 所示，第一列為輸入圖像，第二列為圖像真實標注，第三列為4階段預測結果，第四列為6階段預測結果。可以看到在不同階段MTCnet 的輸出結果存在差異，與真實標注圖像對比可以發現隨著階段數增加解析結果得到了改善。

圖8 可視化人體解析結果

5 結論

本文提出一種多階段雙路人體解析網絡，該網絡將編碼解碼網絡與空洞卷積網絡相結合，使用雙路特征提取結構，能夠融合學習多尺度特征信息，相比單一的特征提取網絡，能夠提取更加豐富的特征信息。不同于一般的方法，本文方法需要進行多階段學習，通過不斷優化輸出結果最終達到最優的人體解析結果，其擁有更高的精準性。通過實驗也驗證了本文方法在特征提取能力和精確性方面擁有更好的效果。