服裝智能搭配研究綜述

金保華 李艷 吳懷廣

摘 ?要： 服裝具有很強的組合搭配模式，用戶很難判斷其選擇的衣服是否是一種較好的搭配組合，利用智能服裝搭配技術對人類的搭配性概念建模，可以解決這個問題。由于服裝搭配不僅涉及兩件或兩件以上的衣服，而且與個人偏好緊密相關，在深度學習背景下，服裝智能搭配技術也不斷地得到改善。通過對近幾年文獻的梳理，文章介紹了現在的服裝搭配方法，并指出個性化服裝搭配方法將成為未來的研究熱點。

關鍵詞： 服裝搭配技術; 個人偏好; 服裝搭配; 深度學習; 個性化

中圖分類號：TP391.4 ? ? ? ? ?文獻標識碼：A ? ?文章編號：1006-8228（2021）08-27-05

Overview on the outfit compatibility

Jin Baohua， Li Yan， Wu Huaiguang

（School of Computer and Communication Engineering， Zhengzhou University of Light Industry， Zhengzhou， Henan 450000， China）

Abstract： Clothing has a very strong combination and collocation mode， and it is difficult for users to judge whether the outfit they chosen is a good combination. Modeling the humans concept of compatibility with intelligent clothing matching technology can solve this problem. Because a compatible outfit not only involves two or more pieces of clothing， but also closely related to personal preferences， and in the background of deep learning， intelligent clothing matching technology has been constantly improving. By sorting out the literature in recent years， this paper introduces the current methods of clothing matching， and points out that the personalized outfit compatibility will become a research hotspot in the future.

Key words： clothing matching technology; personal preferences; outfit compatibility; deep learning; personalized

0 引言

服裝在人們的生活中扮演著重要的角色，然而并不是每個人都有很強的時尚敏感度。隨著深度學習的發展，用戶可以借助服裝智能搭配技術找到一套搭配的服裝。根據中國服裝協會發布的《中國服裝行業發展報告》[1]中的網絡服裝銷售數據增長22%，由于網絡服裝市場的快速發展，越來越多與服裝相關的研究也隨之展開，特別是服裝搭配。如今用戶的需求越來越個性化，如何根據用戶的需求搭配一套搭配的服裝，這是服裝搭配技術面臨的一項挑戰。

本文主要對近幾年的研究文獻進行分析比較，在此基礎上，對服裝個性化搭配的研究前景進行了展望，旨在為從事服裝搭配的研究者提供參考，以期望服裝搭配方法能在學術界進一步的發展，為用戶提供更好的搭配策略。

1 基于深度學習的服裝搭配

服裝具有很強的組合搭配模式，通過研究服裝信息之間的交互行為等大量數據，從中深入挖掘服裝之間的搭配規則。在服裝搭配預測任務中，目標是產生一個服裝搭配分數，它表示一該套服裝的整體搭配程度。

1.1 成對的服裝搭配

之前主要研究成對服裝[2-4]。如圖1所示，這些研究將服裝映射到一個風格空間，并估計服裝的風格向量之間的距離，以此預測服裝之間的搭配度。例如，2015年McAuley等人[4]利用CNN提取服裝的視覺特征并將其嵌入潛在空間，接著將成對服裝在潛在空間的距離作為服裝間的搭配性度量。Veit等人[2]對他們的方法進行改進，沒有使用預先提取的視覺特征，而是使用端到端的siamese network來預測服裝對之間的搭配度。類似的端到端方法[5]表明，聯合學習特征提取器和推薦系統可以取得更好的效果。時尚風格的演變在服裝搭配性中起著重要的作用，He等人[6]研究如何在推薦系統中采用以往的方法來構建時尚趨勢的視覺演變模型。

服裝匹配領域積累了各種有價值的匹配規則，某些匹配規則被公眾廣泛接受為常識，但在現有的研究中忽略了這些搭配規則。為此，山東大學Song等人[7]提出AKD-DBPR模型將先進的深度神經網絡與豐富的時尚領域搭配規則相結合，為服裝搭配研究提供啟發。考慮到規則的模糊性以及不同規則對不同服裝樣本的置信度不同，本文在teacher-student網絡[8]的基礎上提出了一種注意力的知識蒸餾的神經相容性建模方案。

1.2 序列對的服裝搭配

一些研究中沒有考慮一整套服裝的組成，2017年Han等人[9]把一套服裝看作一個序列（如圖2所示，通常從上到下，然后是配飾）和每一件衣服作為一個時間步驟。他們訓練一個雙向LSTM （Bi-LSTM）模型，在前一件服裝的基礎上順序地預測下一件服裝，以了解它們的搭配關系。他們主要通過將圖像特征回歸到其語義表示中來學習視覺-語義空間，以注入屬性和類別信息作為訓練LSTM的正則化方法。經過訓練的網絡不僅能有效地在前一件服裝的基礎上順序地預測下一件服裝，該訓練的網絡還能預測給定服裝的相容性，Han等人在收集的數據集進行了廣泛的實驗，結果證明他們的方法優于其他方法。

1.3 圖模型服裝搭配

服裝單獨表示成一對或者一個序列并不能反映多件物品之間的復雜關系。并且序列表示中的順序是不固定的。更重要的是，服裝中物品之間的關系并不是有序的，因為服裝在序列中不僅與其前面或后面的服裝有關系。為了解決這個問題，Guillem[10]等人將服裝表示為一個圖，如圖3所示，頂點代表服裝信息，邊連接搭配的服裝對;然后用基于graph auto-encoder框架[11]來學習預測邊，整個過程可以看作是將服裝特征編碼到一個新的空間，在這個空間中兩點之間的距離可以映射為兩點之間是否存在邊的概率，從而預測服裝搭配度。

2019年崔澤宇等人[12]提出用有向圖表示服裝，更好地反映服裝中多件衣服之間的復雜關系。首先將一套服裝用一個子圖表示;然后使用提出的新模型NGNN來建模節點的交互，并學習節點的信息交互;最后，與Li[13]相似，通過使用self-attention[14]計算graph-level輸出來預測搭配度得分。該方法可以從視覺/文本任何單一模態特征對服裝的搭配性進行建模。

2 基于用戶個性化的服裝搭配

之前的研究[7，15-18]側重于預測圖像中衣服之間的搭配度，然而忽略了借助圖像中可能提供的關鍵背景（例如用戶的身體類型或季節）進行更準確的推薦。基于用戶個性化的服裝搭配方法是由研究者從場合、用戶體型和用戶喜愛三個方面進行研究。

2.1 基于場景的服裝搭配

日常生活中存在各種各樣的場景，例如：會議、婚禮、旅游等，場景不同，組成元素和氛圍不同。Magic closet[19]系統中提出基于潛在支持向量機（SVM）[20]的推薦模型，將服裝屬性視為潛在變量。模型通過視覺特征-場合和服裝屬性-場合來描述穿著準則，而審美穿搭準則通過服裝屬性-服裝屬性來表示。它主要解決兩種服裝搭配場景：①根據用戶指定一個場合，基于用戶的相冊給出合適的穿搭。②用戶輸入一個場合和單件服裝，在線購物網站中出現服裝與所給定服裝搭配，同時也適合特定的場合。但是，人體檢測精度極大影響該模型性能。

Yunshan Ma等人[21]提出了借助情境化的服裝概念學習模塊，獲取場合、服裝類別和屬性之間的依賴關系。為了減輕人工標注的沉重負擔，作者引入了一個弱標簽建模模塊，有效地利用機器標注數據。在實驗中，作者貢獻了一個基準數據集，并從定量和定性的角度進行了廣泛的實驗，證明本文的模型在時裝概念預測方面的有效性，以及提取知識的有用性。

2.2 基于體型的服裝搭配

一個重要的穿衣技巧就是根據自己的體型穿搭[22-23]，Shintami等人[24]通過研究那些被認為很有時尚感的名人的風格和身體尺寸，從而研究體型和服裝風格之間的關系，并針對用戶的基本身體屬性，向用戶推薦適合的著裝。但是，他們在研究中忽略了存在任何與時尚基本規則不搭配的常見樣式，那么推薦結果的可靠性可能會降低。為了改善之前工作的不足，2020年Chusnul[25]等人提出根據人體尺寸和時尚專家的知識兩個主要前提建立風格推薦模型。利用網上的相關時尚知識規則，包括頂級時尚名人的著裝風格和他們對應的體型尺寸，以及時尚專家針對每個體型推薦的服裝款式。與之前的研究不同的是首先對名人的服裝形象進行分類，以符合時尚專家設計的時尚風格規則，然后，作者研究基于深度多模態表示，學習服裝款式和體型測量的聯合嵌入。

之前主要研究受試者的體重與服裝類別之間的關系[26]。以及Hidayati提出[24]的推薦系統，該系統根據名人已知的體型測量數據，發現哪些體型對哪些身材類型最重要。與上述兩種方法相反，Wei-Lin Hsiao等人引入了ViBE[27]，一種視覺感知人體嵌入，捕捉不同體型的服裝親和力，該方法建議根據個人的體型選擇特定的服裝。此外，與Hidayati[24]不同的是，Wei-Lin Hsiao等人的方法處理的數據不僅限于時尚名人，還用于將推斷出的體型作為輸入。

2.3 基于個人偏愛服裝搭配

現有的方法主要是從審美的角度對一般的服裝-服裝的搭配度進行建模，而沒有考慮到用戶因素。由于不同的人有不同的服裝偏好，如何將用戶對服裝匹配的偏好無縫編碼到服裝之間的搭配模型中，使結果既滿足常見的匹配模式，又能滿足用戶的個人品味是我們面臨的一個挑戰。

時尚領域的個性化推薦得到了極大的研究關注[28-29]。特別是在時尚領域已有的個性化推薦工作[30-32]主要利用矩陣因子分解（MF）框架，根據用戶對真實數據集的反饋來建模用戶偏好。例如，胡洋等人[31]提出了一個函數張量因子分解模型，旨在解決基于150個用戶數據集的個性化服裝推薦問題。雖然該方法在整體推薦中是有效的，但冷啟動問題[33]仍然是一個值得進一步探討的問題。He等人[30]引入了一種可伸縮的矩陣分解模型，該模型將服裝的視覺信息納入用戶偏好預測器，以完成推薦任務。

2019年山東大學宋雪萌等人提出個性化的搭配性建模方案GP-BPR[34]，從總體美學和個人偏好的角度來解決個性化搭配建模的問題。該模型分別描述了服裝-服裝和用戶-服裝的交互。特別是，考慮到時尚物品的兩種模式（例如，圖像和文本描述）都可以傳遞用戶偏好的重要信息，作者提出了一種綜合的個人偏好建模方法。

3 結束語

服裝搭配在電商平臺以及用戶日常服裝搭配等方面都具用重要的意義.利用大數據對服裝的搭配進行預測，既提高了預測結果的準確率，又縮減人工成本和設計周期。為服裝銷售市場和消費者提供服搭配建議，為加速服裝產業現代化、信息化提供重要支撐。

本文通過對一些文獻的梳理，目前簡單預測服裝與服裝搭配性已經滿足不了用戶，未來的服裝搭配中需要考慮更多的因素，以達到更好的個人化服裝搭配。

參考文獻（References）：

[1] 中國服裝行業發展報告[J].中國服飾，2020.5：72

[2] Veit， A.， et al. Learning visual clothing style with

heterogeneous dyadic co-occurrences[C]. in Proceedings of the IEEE International Conference on Computer Vision，2015：4642-4650

[3] He， R.， C. Packer， and J. McAuley. Learning compatibility

across categories for heterogeneous item recommendation[C].in 2016 IEEE 16th International Conference on Data Mining （ICDM）. ?IEEE，2016：937-942

[4] McAuley， J.， et al. Image-based recommendations on

styles and substitutes[C]. in Proceedings of the 38th International ACM SIGIR Conference on Research and Development in Information Retrieval. ACM，2015：43-52

[5] Kang， W.-C.， et al. Visually-aware fashion recommenda-

tion and design with generative image models[C]. in 2017 IEEE International Conference on Data Mining （ICDM）. IEEE，2017：207-216

[6] He， R. and J. McAuley. Ups and downs： Modeling the

visual evolution of fashion trends with one-class collaborative filtering[C]. in proceedings of the 25th international conference on world wide web，2016：507-517

[7] Song， X.， et al. Neurostylist： Neural compatibility modeling

for clothing matching[C]. in Proceedings of the 25th ACM international conference on Multimedia. ACM，2017：753-761

[8] Hu， Z.， et al.， Harnessing deep neural networks with logic?rules[J]. arXiv preprint arXiv：1603.06318，2016.

[9] Han， X.， et al. Learning fashion compatibility with

bidirectional lstms[C]. in Proceedings of the 25th ACM international conference on Multimedia. ?ACM，2017：1078-1086

[10] Cucurull， G.， P. Taslakian， and D. Vazquez. Context-

aware visual compatibility prediction[C]. in Proceedings of the IEEE Conference on Computer Vision and Pattern Recognition，2019：12617-12626

[11] Kipf， T.N. and M. Welling， Variational graph auto-

encoders[J]. arXiv preprint arXiv：1611.07308，2016.

[12] Cui， Z.， et al. Dressing as a Whole： Outfit Compatibility

Learning Based on Node-wise Graph Neural Networks[C]. in The World Wide Web Conference. ACM，2019：307-317

[13] Li， Y.， et al.， Gated graph sequence neural networks[J].arXiv preprint arXiv：1511.05493，2015.

[14] Tan， Z.， et al.， Deep semantic role labeling with self-

attention[J]. arXiv preprint arXiv：1712.01586，2017.

[15] 周楠，et al.，計算機輔助服裝搭配系統的研制[J].現代絲綢科學與技術，2016.31（6）：208-211

[16] Li， Y.， et al.， Mining fashion outfit composition using an

end-to-end deep learning approach on set data[J]. IEEE Transactions on Multimedia，2017.19（8）：1946-1955

[17] Vasileva， M.I.， et al. Learning type-aware embeddings for

fashion compatibility[C].in Proceedings of the European Conference on Computer Vision （ECCV），2018：390-405

[18] Wang， X. and T. Zhang. Clothes search in consumer

photos via color matching and attribute learning[C]. in Proceedings of the 19th ACM international conference on Multimedia.ACM，2011：1353-1356

[19] Liu， S.， et al. Hi， magic closet， tell me what to wear！[C]. in

Proceedings of the 20th ACM international conference on Multimedia. ACM，2012：619-628

[20] Felzenszwalb， P.， D. McAllester， and D. Ramanan. A

discriminatively trained， multiscale， deformable part model[C]. in 2008 IEEE conference on computer vision and pattern recognition. IEEE，2008：1-8

[21] Ma， Y.， et al. Who， Where， and What to Wear？ Extracting

Fashion Knowledge from Social Media[C]. in Proceedings of the 27th ACM International Conference on Multimedia，2019：257-265

[22] 謝莉萍.基于不同體型的成年女性服裝搭配技巧分析[J].

國際紡織導報，2019.47（12）：42-45

[23] 石敏，et al.，面向不同體型特征的服裝款式遷移方法[J].圖學學報，2019.40（5）：866-871

[24] Hidayati， S.C.， et al. What Dress Fits Me Best？： Fashion

Recommendation on the Clothing Style for Personal Body Shape[C].in 2018 ACM Multimedia Conference，2018.

[25] Hidayati， S.C.， et al.， Dress with Style： Learning Style

from Joint Deep Embedding of Clothing Styles and Body Shapes[J]. IEEE Transactions on Multimedia，2020.

[26] Sattar， H.， G. Pons-Moll， and M. Fritz， Fashion Is Taking

Shape： Understanding Clothing Preference Based on Body Shape From Online Sources[J]. 2019 IEEE Winter Conference on Applications of Computer Vision （WACV），2019：968-977

[27] Hsiao， W.-L. and K. Grauman. ViBE： Dressing for

Diverse Body Shapes[C]. in Proceedings of the IEEE/CVF Conference on Computer Vision and Pattern Recognition，2020：11059-11069

[28] He， X.， et al. Fast matrix factorization for online

recommendation with implicit feedback[C]. in Proceedings of the 39th International ACM SIGIR conference on Research and Development in Information Retrieval，2016：549-558

[29] Tran， T.， et al. Regularizing matrix factorization with user

and item embeddings for recommendation[C]. in Proceedings of the 27th ACM International Conference on Information and Knowledge Management2018：687-696

[30] He， R. and J. McAuley， VBPR： visual bayesian?personalized ranking from implicit feedback[J]. arXiv preprint arXiv：1510.01784，2015.

[31] Hu， Y.， X. Yi， and L.S. Davis. Collaborative fashion

recommendation： A functional tensor factorization approach[C].in Proceedings of the 23rd ACM international conference on Multimedia，2015：129-138

[32] Sun， G.-L.， et al.， Personalized clothing recommendation

combining user social circle and fashion style consistency[J]. Multimedia Tools and Applications，2018.77（14）：17731-17754

[33] Brusilovsky， P.， A. Kobsa， and W. Nejdl， The adaptive

web： methods and strategies of web personalization[J]. Lecture Notes in Computer ence，2007.5：377-408

[34] Song， X.， et al.， GP-BPR： Personalized Compatibility

Modeling for Clothing Matching， in Proceedings of the 27th ACM International Conference on Multimedia. Association for Computing Machinery： Nice，France，2019：320-328

收稿日期：2021-05-26

基金項目：廣東省教育廳青年創新人才類項目（2018KQNCX175）; 教育部科技發展中心高校產學研創新基金項目（2018A01002）

作者簡介：張萍（1986-），女，山東青島人，講師，博士，主要研究方向：信息安全、電子取證、網絡犯罪偵查。

通訊作者：何毅俊（1981-），女，湖南省常德人，講師，博士，主要研究方向：信息安全、電子取證。