基于服裝遷移的二維虛擬試衣技術

禹 立，鐘躍崎,2

(1.東華大學 紡織學院, 上海 201620； 2.東華大學 紡織面料技術教育部重點實驗室, 上海 201620)

中國擁有一個龐大的服裝網購市場[1]，虛擬試衣技術通過模擬指定服裝穿在用戶身上的著裝效果，讓用戶能夠直觀地看到自身著裝的視覺效果。該技術能夠給顧客更真實的購物體驗，有助于促進顧客做出購買決策[2-3]。

過去很多研究者專注于基于三維建模的虛擬試衣技術[4-6]，即通過構建人體和服裝的三維模型來實現虛擬試衣。這種方法不僅可以評價合身性，而且通過精準地控制服裝的物理變形[7]，可達到較為真實的試衣效果。這類方法一般需要昂貴的設備來獲取精確的三維信息，并且在構建三維模型的過程中必須人工參與，故效率較低。

而基于二維圖像的虛擬試衣技術只需要輸入用戶和目標服裝的二維圖像就能合成用戶穿著該服裝的圖像，無需收集三維信息[8]。二維圖像的低成本獲取使得這種技術在快速更迭的時尚行業中更加具有競爭優勢。生成對抗網絡常被應用于該類技術，有學者[8]借鑒循環一致思想[9]，提出了一種條件類推生成對抗網絡，實現了對圖像中人物的服裝進行更換。為了簡化輸入，Han等[10]提出一種從粗糙到精細的策略，僅需輸入一張用戶圖像和目標服裝產品圖即可實現換衣，但該方法在處理目標服裝與用戶匹配時有時會發生失敗。為了能夠處理匹配失敗的問題，Raj等[11]提出通過人物解析遷移[12]或者姿態遷移[13]，利用網絡來學習服裝與用戶的匹配關系，但是這類方法生成的試衣結果會丟失部分服裝紋理細節，且未考慮如何保持用戶身份信息(如膚色、頭發等)。

本文提出了一種基于服裝遷移的二維虛擬試衣技術，只需要輸入用戶圖像和模特圖像，就能夠生成模特服裝穿在用戶身上的合成圖像，并且用戶的體型、姿態保持不變，同時服裝的屬性、細節仍被保留。通過紋理重映射[14]以及人物解析遷移盡可能多且合理地提取目標服裝和用戶紋理，基于半監督學習來修復紋理缺失區域，得到最終的試衣結果。本文通過將虛擬試衣任務轉換為圖像修復任務[15]，降低模型訓練難度，為基于圖像的虛擬試衣研究提供了新的思路。

1 服裝及用戶紋理提取

1.1 紋理重映射

密集姿態[14]作為一種人物圖像的描述特征，是基于SMPL[16]參數化三維人體模型定義的。該模型可以根據參數控制人體的體形和姿態。借助密集姿態，可以將二維的人物圖像映射到一個統一的三維人體模型上，這個三維模型的體形、姿態都是固定的。如果做一個逆映射，即將三維人體表面的紋理映射回二維圖像，則得到的結果與密集姿態的體形、姿態相符合。因此本文通過紋理的映射與逆映射來實現服裝與用戶的匹配，紋理重映射的效果如圖1所示。

圖1 紋理重映射的效果

另外，鑒于服裝紋理通常存在對稱區域(如左袖與右袖)，因此在逆映射階段加入對稱部位相應的紋理圖，有助于減少紋理缺失區域的面積，以達到充分利用模特圖像所提供紋理的目的，對稱部位影響紋理重映射效果如圖2所示。

圖2 對稱部位影響紋理重映射效果

1.2 人物解析遷移

在訓練階段，本文采用半監督學習，利用2張同一人物且穿同一服裝但姿態不同的圖像，記為A和B，構成圖像對來進行訓練。若將其中一張圖像A的身體分割圖以及另一張圖像B的人物解析作為輸入，由于仍然是同一個人，因此遷移結果的真值即為圖像A的人物解析。因其類似于圖像分割任務[17]，故可采用Softmax交叉熵作為損失函數。另外，本文還加入了生成對抗損失函數[18]和總變差正則化[19]來輔助訓練，同時對圖像B的人物解析進行數據增廣來增強模型的泛化能力。

1.3 最優用戶紋理提取

其中∩代表交集操作，即當2個掩模同一位置的像素值均為1時，結果相應位置為1，其他情況均為0。最后將得到的用戶紋理掩模Utex-mask與用戶圖像U進行逐元素相乘，得到所需的用戶紋理Utex。

圖3 提取用戶紋理的流程

在人物解析遷移的基礎上，利用交集操作，不僅保證了提取的紋理被限制在相應的用戶紋理區域，同時還去除了會影響最終結果的多余紋理。如圖3所示，用戶掩模會將用戶的右臂完整地保留下來，而由于目標服裝為短袖，因此右臂上半部分是多余的，通過交集操作得到的用戶紋理掩模，丟棄了該區域的用戶紋理，故而提取到了最優的用戶紋理。

2 服裝遷移

圖4 合并服裝紋理和用戶紋理得到粗糙結果

修補紋理缺失區域實質為一個圖像修復任務[15]，并且修復區域的形狀是不規則的。本文通過訓練一個基于生成對抗網絡的紋理修復網絡來填補這些缺失的紋理，通過卷積神經網絡學習輸入圖像中的語義信息和隱藏特征，使得修復的內容不僅與背景過渡自然，同時不會破壞人物和服裝的整體結構與局部細節。

2.1 網絡結構

2.2 損失函數

圖5 紋理修復網絡結構

2.3 三元組訓練策略

本文合并了LookBook數據集[22]和MVC數據集[23]來進行模型訓練，這些數據集包含了同一個人且穿著相同服裝在不同姿態下拍攝的圖像組，每組圖像至少由2張人物圖像構成。由于紋理修復網絡的目標是將粗糙結果修復為最終的試衣結果，為了降低數據集構建難度，依然采用半監督學習的方式來訓練網絡。

有鑒于此，本文提出了三元組訓練策略。分別定義非成對樣本、成對樣本和修復樣本，并對這3類樣本進行聯合訓練，實現粗糙結果的紋理修復，三元組訓練策略如圖6所示。將同一人物在不同姿態下的照片視為一個圖像組：①對于不成對樣本，首先隨機挑選2個不同的圖像組，然后從這2個圖像組中分別再隨機挑選1張；②對于成對樣本，則是先隨機挑選一個圖像組，然后從該圖像組隨機挑選2張圖像；③對于修復樣本，則是從任意圖像組挑選任意1張圖像并隨機擦除部分區域。另外，由于非成對樣本對應的真值y難以獲取，所以只使用生成對抗損失LG作為唯一的損失函數。

圖6 三元組訓練策略

3 實驗結果與討論

3.1 人物解析遷移結果的分析與討論

圖7展示了人物解析遷移的生成結果，“本文結果”即為本文提出方法得到的結果，“真值”即為人物解析遷移的期望結果。從圖中可以看出，人物解析遷移網絡其合成的結果和預期真值較為符合。另外，當使用成對樣本的數據進行測試時，類似于訓練階段，即遷移結果會有真值，因此可以借助圖像分割任務的評價指標進行定量分析。本文使用平均像素精度和平均交并比[17]作為遷移結果的評價指標。隨機挑選了5 000對未參與訓練的數據進行測試，計算遷移結果的平均像素精度以及平均交并比，本文方法的平均像素精度為70.34%，平均交并比為61.35%，同樣證明了本文方法的有效性。

圖7 人物解析遷移結果展示

3.2 虛擬試衣結果的分析與討論

為了驗證本文方法的泛化能力，使用未參與訓練的Zalando數據集[9]作為測試集來評估試衣結果，通過隨機組合，得到了2 000組圖像，每組圖像包含1張用戶圖像和1張模特圖像，其中用戶和模特不是同一個人，所穿服裝、體形、姿態均不相同。

圖8展示了本文方法的最終試衣結果，從結果中可以看出，本文方法能夠較好地保留服裝細節(如服裝屬性、圖案紋理)和用戶身份信息(膚色、頭發)，生成的試衣結果更加合理且真實。這是因為：①在提取服裝紋理時，僅關注模特圖像中目標服裝區域的像素，借助紋理重映射實現服裝與用戶匹配的同時，盡可能減少了紋理細節的損失；②在提取用戶紋理時，借助人物解析遷移的結果，盡可能多且正確地保留用戶的紋理；③對粗糙結果的紋理修復，使生成的結果更加真實、自然。

圖8 最終試衣結果展示

對于圖像生成任務，評價一個模型生成結果的好壞通常是較為主觀的判斷，如對于基于圖像的二維虛擬試衣任務來說，需要根據試衣結果是否正確，以及視覺上是否真實來進行判斷。本文采用Inception Score (IS)[24]和Fréchet Inception Distance (FID)[25]作為評價圖像質量的指標。這2個評價指標都是借助ImageNet預訓練的Inception網絡[26]實現自動計算的。一般來說，IS越大，FID值越小，表示其與真實數據越接近，圖像質量越好。在本文中，使用Zalando數據集的人物圖像作為真實數據，另外還采用檢測分數(DS)[27]這一指標。其計算步驟為，首先將生成圖像輸入到一個目標檢測模型，然后得到“人物”對應類別的分數，最后對所有生成圖像得到的分數求均值。DS主要用于衡量生成圖像中的人物是否真實，其值越高，則生成的人物圖像質量越好。

表1總結了本文定量評價的結果, 本文IS為2.708，FID為29.48，DS為99.88，均較為接近真實數據所獲得的分數，進一步表明本文方法可以生成較高質量的試衣結果。

表1 本文試衣結果的定量評價

4 結束語

本文從紋理修復的視角，對基于二維圖像的虛擬試衣進行研究，提出了一種虛擬試衣技術，通過輸入用戶圖像和模特圖像，能夠自動生成用戶身穿模特服裝的試衣圖像。在紋理重映射、人物解析遷移以及紋理修復的幫助下，試衣結果能夠較好地保留服裝的紋理細節和用戶的身份信息。該技術在大部分情況下均能生成正確的試衣結果，但還是存在一些不足之處，例如試衣結果對密集姿態估計、人物解析預測的結果較為敏感，當這些結果存在錯誤時，會影響到最終試衣結果的合成。未來可以探索更具魯棒性的紋理提取方法，減少對紋理描述特征的依賴。另外，還可以嘗試將該技術拓展到更多的試穿物品，如眼鏡、帽子、鞋子等。