基于款式變換和局部渲染相結合的虛擬試衣研究

徐 俊，普園媛,b，徐 丹，趙征鵬，錢文華，吳 昊，陽秋霞

(云南大學 a.信息學院，b.云南省高校物聯網技術及應用重點實驗室，昆明 650504)

隨著互聯網技術的迅猛發展，越來越多的人喜歡在電商平臺(如淘寶、蘑菇街、唯品會)購買衣服。但由于電商平臺的特殊性，人們只能通過虛擬模特來觀察服裝效果，并不能直觀地判斷服裝是否適合自己。針對如何讓服裝虛擬試穿到用戶身上是目前試衣領域的研究熱點，用戶通過試衣結果體驗自己穿著不同款式的服裝，可以直觀判斷自己是否心儀某件衣服，從而幫助用戶做出購買決策。

為了滿足上述需求，學者們將GAN[1]應用于虛擬試衣任務，借助GAN將服裝虛擬試穿到人物圖像上，直觀觀察服裝試穿效果。而虛擬試衣與圖像生成[2-3]、圖像翻譯[4-6]以及圖像編輯[7]等任務有著本質的不同。虛擬試衣時圖像會產生幾何形變，細節特征容易丟失，因此學者將傳統的像素間損失(L1和L2損失)和感知損失[8]引入到GAN中，來保留圖像信息。此外還引入了對抗損失[4]，最大限度減小對抗損失，使得生成器生成的圖像更接近原始圖像，但是會遺漏關鍵的細節特征。在面臨巨大的幾何變化時，細節的保存能力較差，這就限制了GAN在虛擬試衣中的應用。

DONGGEUN et al[9]采用結合GAN和深度CNN的方式來完成圖像生成任務，在沒有考慮人物姿勢的前提下，通過穿著服裝的人物圖像生成其上衣圖像。LASSNER et al[10]提出了圖像級穿著全身服裝的人物生成模型，可以根據人物姿勢形態進行服裝調整，但服裝是隨機生成，并沒有考慮如何控制服裝項。WEI-LIN et al[11]訓練了提升服裝時尚感的模型，能自動度量時尚標準，對全身服裝進行微小改變，可以將輸入圖像的服裝調整為更加時尚的服裝。NIKOLAY et al[12]采用GAN實現2D試衣，讓模特試穿給定的服裝，但是沒有考慮人物的姿態，要求人物圖像和服裝圖像高度對齊。WANG et al[13]提出了通過一個端到端的網絡來聚合服裝圖像的多尺度特征，結合姿態和參考服裝生成新人物圖像，但參考服裝的紋理形變程度過大，偏離了原始圖像的紋理。YANG et al[14]在TPS形變的基礎上，引入了二階差分約束，使得參考服裝的紋理不會發生較大形變，效果更加真實，但人物姿態較為復雜時，會出現無法正確試衣的情形。HAN et al[15]提出先生成粗糙試衣圖像，再對參考服裝的特征信息進行二次提取，來合成更加真實的試衣圖像，但是依然會丟失服裝和人物細節特征。WANG et al[16]在此基礎上，提出了特征保留的試衣網絡，更好地保留了參考服裝圖像的細節特征，但試衣后人物細節特征丟失，除服裝區域變化外，人物手臂手部區域以及其它非試衣服裝區域發生了不可控的變化，無法合成更加寫實保真的圖像。MINAR et al[17]在WANG et al[16]的基礎上，提出了服裝形狀和紋理保留網絡，雖然它優于目前的方法，但對于長袖款、紋理復雜的服裝圖像，以及姿態復雜的目標人物圖像，它并不總是能生成滿意的試衣效果。

針對上述問題，本文提出了款式變換和局部渲染相結合的虛擬試衣方法，保留參考服裝細節信息的同時，需保持目標人物圖像的手臂區域、手部臉部區域、頭發區域以及非試衣區域等信息不變，然后將服裝渲染到人物圖像的目標區域來完成試衣(如圖1所示)。其過程主要包括以下幾個步驟：

首先，對人物圖像進行像素級語義分割，尋找出具體的服裝區域，為局部渲染的實施創造條件；其次，試衣時，如果僅對服裝區域進行渲染，當目標服裝圖像和參考服裝款式不同時，局部渲染策略則無法實現，因此需要應用款式變換模塊將其轉換為與參考服裝相同的款式，從而實現不同服裝款式間的換裝。此外，提出的款式變換模塊是可學習的，便于學習多種服裝款式之間的轉換；第三，為了讓服裝更好地符合試穿者身材，提出了可學習的TPS服裝形變模塊，將參考服裝根據目標服裝圖像的身材姿態進行相對應的形變；最后，將形變過的服裝無縫地渲染到目標圖像上，采取局部渲染策略(僅對服裝區域進行渲染)，保留了人物原始的細節特征。

圖1 款式變換和局部渲染相結合的虛擬試衣效果Fig.1 A virtual try-on effect that combines style transformation and local rendering

1 虛擬試衣網絡

本文在上述基礎上，為了更好地保留服裝細節特征和人物細節特征，提出了款式變換和局部渲染相結合的虛擬試衣網絡(如圖2所示)，主要包含4個部分：服裝語義分析模塊、服裝款式變換模塊、服裝形變模塊和服裝渲染模塊。

圖2 本文虛擬試衣網絡框架Fig.2 Virtual try-on network in this paper

此外，由于款式轉換需要兩幅服裝圖像在相同域下進行轉換，因此無法直接實現目標圖像I1和參考服裝圖像R之間的轉換，這也是引入參考圖像I2的原因，此外參考圖像I2可以是與參考服裝圖像R款式相同的任意圖像。

1.1 服裝語義分析模塊

對服裝I1、I2進行語義分割，提取出具體的服裝區域，是款式變換的前期工作。主要包括3個步驟：1) 利用馬爾科夫隨機場作為基礎網絡模型，尋找出相鄰像素點，確定具體的服裝區域；2) 為了能讓計算機自動辨別服裝區域的標簽Ii，選定標簽過的服裝區域作為正樣本，其他外部區域作為負樣本，訓練分類器C；3) 采取滑動窗遍歷整幅圖像，通過分類器尋找出指定標簽的服裝區域，進而提取該區域掩膜M.

1.2 服裝款式變換模塊

款式變換模塊包含生成器Gst和判別器Dst.生成器輸出生成的圖像，由6層卷積網絡和3層殘差塊組成。判別器Dst對生成器Gst產生的圖像I*進行真假樣本的判定，由3層卷積層組成。卷積層作為特征提取，殘差塊級聯鄰層特征，作為特征優化。

Lcyc=‖Gst2(Gst1(I1,M1))-(I1,M1)‖1+
‖Gst1(Gst2(I2,M2))-(I2,M2)‖1.

(1)

Lidt=‖Gst1(I2,M2)-(I2,M2)‖1+
‖Gst2(I1,M1)-(I1,M1))‖1.

(2)

(3)

L1sgan=(Dst(I1,M1)-1)2+Dst(Gst(I2,M2))2.

(4)

款式變換模塊的整體損失Lst：

Lst=L1sgan+λcycLcyc+λidtLidt+λctxLctx.

(5)

1.3 服裝形變模塊

服裝形變模塊由2個特征提取網絡、1個特征連接網絡、1個回歸網絡和1個TPS轉換網絡組成。

Lwarp(θ)=‖R*-Rgt‖1.

(6)

式中：Rgt為目標人物服裝的Ground-truth圖像。

1.4 服裝渲染模塊

服裝渲染模塊由6層卷積網絡和3層Unet網絡組成。卷積層作特征提取，Unet層采用3個跳連接，將低層和高層特征進行拼接，更好地保留原始特征。

Lrender=λL1‖It0-Igt‖1+λvggLVGG(It0,Igt) .

(7)

式中：Igt為ground-truth圖像，LVGG為VGG感知損失函數。

2 實驗

2.1 數據集

實驗部分使用HAN et al[15]提出的數據集，約16 000對圖像，每對圖像包括參考服裝圖像、目標人物圖像、語義分割圖、人物姿態圖以及mask圖像，服裝人物圖像主要是純色背景的女性上裝圖像，隨機選取14 221對，2 032對作為訓練集和測試集。選取該數據集中兩種不同款式的服裝圖片若干張，作為款式變換模塊的訓練，例如在訓練長短袖轉換時，選取120張長袖圖片和120張短袖圖片進行訓練。此外，為了更好地驗證款式變換的效果，還使用了LIANG et al[21]提供的CCP數據集，該數據集包含約2 000張背景復雜的人物服裝圖片。

2.2 實現細節

語義分析、款式變換、服裝形變和服裝渲染4個模塊均在pytorch平臺下完成，輸入和輸出圖片分辨率均為256×192.其中，款式變換模塊初始學習率為0.000 2，選取Adam優化器，批量大小為1，單GPU訓練約60 h；服裝形變和服裝渲染模塊初始學習率為0.000 1，選取Adam優化器，批量大小為4，單GPU訓練耗時約25 h.本文基于分辨率256×192的圖像來計算PSNR、SSIM和MSE值，以此作為定量評價指標。

3 結果與討論

WANG et al[16]提出的虛擬試衣網絡CP-VTON是目前該虛擬試衣領域較新、效果較好的方法，因此，本文后續實驗都是基于CP-VTON的方法進行相關比較。

3.1 驗證模型性能

為了驗證模型的有效性，且便于與Ground-Truth進行比較，用本文提出的方法與CP-VTON方法測試了訓練集中所有圖片(14 221張)，隨機選取了部分結果，如圖3所示。

圖3 兩種方法驗證訓練集結果比較Fig.3 Results of the two methods in training dataset

從圖3可以看出，CP-VTON和本文方法都能完成試衣。但CP-VTON會丟失人物一些細節特征，例如人的手臂、手部等細節特征，此外，試衣后的人物下裝發生了不可控的變化。對于這些問題，本文提出的方法實現了較好的效果。

3.2 定性比較

在測試集進行了相關測試，該部分測試主要包括不同款式的試衣測試、人物手臂姿勢簡單的試衣測試和人物手臂姿勢復雜的測試。

3.2.1不同服裝款式的試衣測試

當參考服裝圖像和目標人物圖像的款式不同時，應用款式變換模塊將目標圖像變換為與參考圖像相對應的款式，例如圖4中參考圖像為短袖、目標圖像為長袖，應用款式變換將目標圖像變換為短袖款式，然后再結合參考圖像進行試衣。

圖4 兩種不同款式換裝結果比較Fig.4 Comparison of two different styles

由圖4可以看出，本文方法更好地保留人物的細節特征，但也產生了微弱的失真。由于不同款式間的換裝，本文方法需要經過款式變換模塊，該模塊在服裝渲染前需要進行款式之間的轉換(如圖4中目標圖像由長袖款變為短袖款)，經款式變換后的圖像會產生一定程度的失真，該失真同樣影響著最終的試衣結果。

3.2.2人物姿勢簡單類的試衣測試

當目標人物手臂姿勢較為簡單時，本文方法和CP-VTON方法的實現效果較好。由圖5可知，當目標圖像手臂姿勢較簡單時，兩種方法都達到了令人滿意的效果，但本文方法在人物細節特征保持方面優于CP-VTON.

圖5 姿勢簡單類的測試結果Fig.5 Test results of easy poses

3.2.3人物姿勢復雜類的試衣測試

當目標人物手臂姿勢較為復雜時，先前工作試衣失敗或者效果不佳。如圖6可以看出，CP-VTON進行試衣渲染時，會出現手臂和手部細節丟失、位置錯誤以及下裝隨機改變等情況。

圖6 姿勢復雜類的測試結果Fig.6 Test results of complicated poses

從圖4-圖6的整體結果比較可以看出，本文提出的款式變換和局部渲染相結合的試衣方法效果更加顯著。該方法摒棄了傳統的全局渲染的試衣方法，采用先進行服裝語義分割，確定具體的服裝區域后，僅對服裝區域進行渲染的策略，不再對人物圖像整體進行渲染，很好地保證了除試穿的服裝區域外，其他非試衣區域的特征信息不會丟失，同時也保證試穿上裝時，下裝不會發生變化。尤其在保持人物手臂、手部細節以及下裝不變等方面效果較好，證實了算法設計的有效性。

3.3 定量比較

上述定性比較是基于視覺層面上的結果對比，該部分為了更好地比較兩種方法的效果，采取定量比較的方式，選取了3個評價指標對生成結果進行評測，其中PSNR、SSIM、MSE分別表示兩幅圖像間的峰值信噪比、結構相似性以及均方誤差，評測結果如表1和表2所示。

表1 隨機選取50組實驗結果Table 1 50 groups of test results selected randomly

表2 全部測試結果Table 2 All test results

表1是隨機選取50組實驗結果的數據，表2是全部測試結果(共14 221組)的數據。從表中可以看出，本文方法的PSNR值略高于CP-VTON方法，表明了本文方法試衣后的圖像質量更好。SSIM值基本一致，表明兩種方法在圖像結構性保留方面都有著較好的效果。此外，本文方法的MSE值小于CP-VTON方法，說明了本文方法的圖像失真較小，更好地保留了原始圖像的結構特征，試衣后圖像更加保真。

4 結束語

圖像級的虛擬試衣是一項復雜的研究任務，先前方法在試衣時，人物圖像手臂、手部等細節特征容易丟失，此外，在試穿上裝時，下裝發生不可控的變化。針對上述問題，本文提出了款式變換和局部渲染相結合的虛擬試衣網絡：先對人物圖像進行像素級語義分割，尋找出具體的服裝區域，為服裝的局部渲染提供前提條件。為了實現不同服裝款式間的試衣，構造可學習的款式變換模塊；此外，為了讓服裝更好地符合試穿者身材姿態，使用了可學習的TPS服裝形變模塊，從而使試衣后圖像更加保真寫實。除試衣的服裝區域外，保留了原始圖像的其他細節特征。

在未來的研究中，虛擬試衣有著廣闊的研究前景。但是還有一些問題需要繼續展開深入研究：1) 在實現圖像保真的前提下，試衣時應考慮參考服裝圖像的款式，不僅僅是基于目標圖像進行試衣。目前該方法實現起來難度較大，不僅是簡單地將形變后的參考服裝圖像試穿到目標圖像上，還要結合參考服裝圖像的款式，進行試衣；2) 首次將InstaGAN應用于服裝款式轉換，由于服裝款式的多樣性，實現難度較大，效果還有待提升，后續還需要進行相關改進，增強款式轉換后圖像的真實感。