基于深度學習的時裝搭配的設計

朱開心，季波，劉海濤，楊艷婷

摘要：為解決每日服裝搭配難以選擇這一痛點問題，本文以公開的模特時裝圖片數據集為研究對象，首先通過對圖片中的局部服飾（如領口等）位置進行檢測，其次根據深度學習的分類算法對局部服飾進行識別，最后基于推薦算法進行時裝搭配。系統采用TensorFlow主流的深度學習開發平臺，界面簡潔友好，性能良好。

關鍵詞：時裝搭配;深度學習;TensorFlow

中圖分類號：G642? ? ? 文獻標識碼：A

文章編號：1009-3044（2021）19-0086-02

近年來，學者們嘗試將前沿技術應用到服裝搭配中。國外早期研究，衣服搭配是個比較新的課題，Iwata等人提出利用時尚雜志的人體照片來進行服裝搭配的推薦系統[1]。作者使用概率主題模型來學習時尚物品之間的搭配模型，從而進行衣服搭配推薦。Andreas Veit， Balazs Kovacs 等人提出從不同類別中學習到物品間的風格相似性，進而產生搭配更好的組合[2]。Liu S， Feng J和Song Z提出了能自適應地根據不同情境推薦衣服搭配。給定用戶的情境，給用戶指定的參考服裝配對最適合的電商平臺衣服[3]。Liu， Xin等人開源MMLab，一款專注于時尚服飾領域的計算機視覺分析工具，基于 PyTorch 框架，構建于MMLab開源的計算機視覺庫MMCV之上，時尚服飾搭配與推薦模塊[4]。這些研究深刻表明時裝搭配是未來服裝市場的主導模式。

市面上存在的服裝搭配普遍存在以下不足：第一，服裝搭配中對時裝局部特征的表達能力較弱;第二，服裝推薦算法較單一。本文設計的基于深度學習的時裝搭配算法，綜合了目前市場上已存在的相似服裝搭配平臺的功能，TensorFlow主流的深度學習開發平臺進行算法實現，并解決了上訴的不足之處，為每天的時裝搭配提供高效的解決方案。

1 系統分析

通過基于微信小程序的時裝搭配算法，意在打造一個可以實現每天的時裝搭配多樣性，本文在需求分析的相關基礎之上著重研究以下幾個方面：

如何檢測服飾（如領口等）所在位置;

如何對模特時裝進行多任務屬性分類;

如何時裝搭配推薦，構建時裝搭配關系，最終為用戶推薦個性化時裝搭配方案。

為實現上述研究目標，系統需具備如下功能：

（1）檢測服飾（如領口等）所在位置：對輸入的時裝圖片進行處理，經過檢測環節、放大環節、填充環節、數據增強環節，識別服飾（如領口等）所屬位置;

（2）對模特時裝進行多任務屬性分類：輸入已檢測服飾，對其進行多分類識別，輸出局部服飾標簽，實現時裝屬性分類;

（3）時裝搭配推薦：輸入經過時裝屬性分類處理的服飾圖片，構建時裝搭配關系，最終為用戶推薦個性化時裝搭配方案。

2 系統主要功能實現

2.1 技術架構

系統采用前端框架微信小程序，后端Servlet技術，數據庫采用MYSQL數據庫，深度學習TensorFlow等。如表1所示。

2.2 主要功能實現

根據系統分析，本系統主要包含如下功能模塊， 微信小程序界面如圖1所示。

（1）服飾檢測模塊

本模塊通過輸入時裝圖片，基于Fast R-CNN算法，首先檢測出服飾（如領口等）所在區域，其次對服飾圖片經過放大操作，然后根據上下文信息對放大圖像進行填充、最后對時裝屬性數據增強，輸出局部服飾圖片，如圖2所示。

（2）多任務屬性分類模塊

本模塊經過局部服飾圖片輸入，基于NasNet算法模型，引入多任務訓練，提出增量標簽的表達方式，對檢測出的服飾屬性進行多分類識別，將服飾屬性標注相匹配的標簽，并將其標注在時裝圖片中，如圖3所示。

（3）搭配推薦算法模塊

輸入分類后的服飾圖片，首先基于內容的推薦算法，構建搭配關系，利用TF-IDF算法和余弦相似度算法計算每件時裝的相似度，并計算每件服飾的搭配度;其次基于協同過濾算法，如圖4所示。對用戶行為，購買記錄及穿搭組合分析，最后推薦個性化搭配方案，如圖5所示。

3 結束語

本文設計與實現的基于深度學習的時裝搭配是對服裝搭配的探索，通過對圖片中的局部服飾（如領口等）位置進行檢測，根據深度學習的分類算法對局部服飾進行識別，基于推薦算法進行時裝搭配。本系統的創新點包括：

（1）利用多任務屬性分類增強時裝局部特征的表達能力，在具有層級結構標簽的分類任務中能夠達到更好的分類效果。

（2）利用基于內容的推薦算法與協同過濾算法，構建時裝搭配組合。

參考文獻：

[1] Iwata T， Wanatabe S， Sawada H. Fashion Coordinates Recommender System Using Photographs from Fashion Magazines[C] Proceedings of the International Joint Conference on Artificial Intelligence. 2011， 22（3）： 2262.

[2] Veit A，Kovacs B，Bell S，et al.Learning visual clothing style with heterogeneous dyadic co-occurrences[C]//2015 IEEE International Conference on Computer Vision （ICCV）.December 7-13，2015，Santiago，Chile.IEEE，2015：4642-4650.

[3] Liu S， Feng J， Song Z， et al. Hi， Magic Closet， Tell Me What to Wear！[C] Proceedings of the 20th ACM International Conference on Multimedia. ACM， 2012： 619-628.

[4] Liu X，Li J C，Wang J Q，et al.MMFashion：an open-source toolbox for visual fashion analysis[EB/OL].2020

【通聯編輯：光文玲】