基于改進的殘差神經網絡的服裝標簽屬性識別?

張萌巖 何儒漢 詹 偉 李 敏 陳 佳

（武漢紡織大學湖北省服裝信息化工程技術研究中心 武漢 430200）

1 引言

近年來，服裝電商的快速發展累計了海量服裝圖像，如何理解、區分和識別不同的服裝圖像并從中獲取有價值的信息，成為目前研究的熱點。服飾屬性標簽識別作為服飾圖像檢索、標簽導航等應用的基礎，具有重大的研究意義。為了更好地對服裝商品圖像進行屬性標簽的標注，常用方法是：1）手工標注，即為服裝屬性設置相關的標簽，基于人工設計的視覺特征實現服裝圖像的標簽屬性識別；2）傳統的自動標注，即借助數字圖像處理、模式識別的方法，基于底層的視覺特征進行服裝的標簽屬性分類。人工標注方法費時費力、易出現主觀性偏差，不適應當前大數據時代的發展要求。傳統的自動標注方法在如何克服裝標簽屬性識別本身的表達上具有多義性和不確定性；同時，服裝圖像包含較多的細分類和視覺變化，包括款式、光照、形變、拍攝角度、背景影響等，其特殊性令其自動標注和識別更具挑戰性，使得依賴人工設計特征的傳統自動標注方法愈加難以滿足實際服裝圖像屬性識別的需要。

深度學習［1～2］近年來在學術界和工業界掀起了熱潮，是機器學習領域最令人矚目的方向，目前已誕生很多優秀的算法。研究者們把深度學習和服裝圖像處理結合起來，取得了不錯的成果。香港中文大學的Liu等［3］收集了一個大規模且語義標注全面的服裝數據集DeepFashion，提出了FashionNet，融合了大類、屬性、服裝ID以及關鍵點四種監督信息來進行服裝特征學習。厲智等［4］提出基于深度卷積神經網絡的改進服裝圖像分類檢索算法，采用深度卷積神經網絡從數據庫中自動學習服裝的類別特征并建立哈希索引，實現服裝圖像的快速索引。這些相關研究工作都使用深度卷積神經網絡學習服裝標簽屬性識別［16］，為了獲得更好的結果，卷積神經網絡的改進常通過增加用于提取特征的卷積層的數量來提升模型的識別能力［11］。但是深度卷積網絡存在以下兩個問題：1）卷積網絡深度過深，在訓練網絡中會出現梯度消失、梯度爆炸等現象，致使訓練困難［5］。2）隨著網絡模型結構變得復雜，網絡模型的參數變多［15］，雖然提升了準確率，但是隨之帶來的是更大的計算量和更高的內存需求，這會極大地影響模型對輸入圖像的處理速度，難以達到實時處理圖像的要求［13］。

因此，借鑒深度殘差神經網絡［6］在解決深層網絡訓練時梯度消失問題的優勢，本文設計了一種改進的殘差神經網絡，即Res-FashionAINet，來實現服裝圖像的標簽屬性識別，取得較好的效果。該方法具有實現簡單、靈活、準確率高、速度較快的優點，較好地平衡了識別準確率和運行速度，在服裝屬性識別問題上具有一定優勢。

2 基于改進的殘差網絡的服裝標簽屬性識別

2.1 殘差神經網絡

2015年，MSRA的Kaiming He的殘差網絡將深度網絡的層深拓展到了152層，并在ImageNet競賽中以絕對優勢取得了多個項目的冠軍。后來，Kai?ming He將深度加到1000多層，同時也因該項工作獲得了2016 CVPR的最佳論文獎［6］。因此，本文提出的模型是在殘差卷積神經網絡模型的基礎上進行改進的，用于識別服裝圖像的標簽屬性［12］。

在訓練深度網絡中，盡管已經有了ReLU等一系列手段加深網絡，但仍會出現梯度爆炸、彌散的問題。單純地疊加layer，深層網絡的效果反而會變差，以至于造成網絡退化引起更大的誤差。所以ResNet深度殘差網絡ResNet的出現為訓練更深的網絡提供了方法，主要特色是跨層連接。ResNet對每層輸入做一個reference，學習形成殘差函數［14］。這種殘差函數更容易優化，能使網絡層數大大加深。假設殘差為 F（x）=H（x）-x，那么現在不直接學習 H（x）而是去學習 F（x）+x，即將 H（x）映射為 F（x）+x，那么網絡的映射F（x）趨向于F（x）=0。擬合殘差即把網絡按照下圖的跨層連接搭起來，殘差塊的結構如圖1所示。

圖1 殘差塊的建立

殘差塊中有二層，其中σ代表非線性函數Re?LU，如下表達式：

然后通過一個shortcut，和第2個ReLU，獲得輸出 y，如下表達式：

當需要對輸入和輸出維數進行變化時（如改變通道數目），可以在shortcut時對 x做一個線性變換Ws，如下表達式：

殘差塊往往需要兩層以上，單單一層的殘差塊并不能起到提升作用。

2.2 改進的殘差網絡模型

本文設計了一個用于服裝圖像標簽屬性識別的神經網絡模型Res-FashionAINet，基本結構如圖2所示。本模型主要使用卷積模板，并穿插恒等模板，在模型尾部增加了Dropout層避免過擬合［10］，同時也增加了全連接層增強輸出特征的表達能力。通過該模型提取服裝圖像的特征，繼而識別出服裝圖像的標簽屬性。模型從網絡低層開始逐層學習服裝圖像特征的分布，并在網絡的全連接層將特征圖抽象為多維的特征向量，最終將特征向量輸入分類器預測標簽對應每個類別的概率，概率最高的被視為該圖像的識別結果。

在Res-FashionAINet模型中，輸入299×299的圖片，通道為3；經過第一個Identity Block輸出74×74×256的卷積結果；經過第二個Identity Block輸出37×37×512的卷積結果；經過第三個Identity Block輸出19×19×1024的卷積結果；經過第四個Identity Block輸出10×10×2048的卷積結果；Conv Block不會改變圖像的大小，它的作用是為了改變feature vector的dimension；然后加入Dropout層，每次訓練迭代時隨機去掉部分神經元，以避免過擬合；建立隱藏層，共有1024個神經元；最后增加一個輸出層，共n個神經元（對應每種服裝圖像屬性的n個類別）并且使用Softmax激活函數進行轉換，Softmax可以將神經元的輸出轉換為每一個圖像類別的概率。

相比傳統的特征提取方法，Res-FashionAINet能夠獲取更深層次的信息特征，這些特征信息大大增加了服裝標簽屬性識別的準確率和速率。

圖2 Res-FashionAINet網絡結構圖

Res-FashionAINet中采用了類似ResNet的模塊化結構，每個模塊由多個層和一個捷徑（short?cut）連接組成，shortcut將該模塊的輸入和輸出連接到了一起。然后在元素層面上執行加法（add）運算，如果輸入和輸出的大小不同，則使用零填充或投射（通過1×1卷積）來得到匹配的大小。同時Res-FashionAINet中包含了類似ResNet中的兩類模塊，如圖3所示，一個是恒等模塊，其輸入和輸出的維數相同，可串聯多個；另一個是卷積模塊，輸入和輸出的維數不同，故不能連續串聯，其作用可以改變特征向量的維數。

圖3 恒等模塊（左）和卷積模塊（右）

同時，本文將兩個3x3的卷積層替換為1×1+3×3+1×1，如圖4所示。新結構中3×3的卷積層首先在一個降維1×1卷積層下減少了計算，然后在另一個1×1的卷積層做了還原，既能保持精度又能減少計算量。

圖4 殘差塊的優化

2.3 基于改進的殘差網絡模型的服裝標簽屬性識別

依據上述網絡模型，本文設計了基于Res-FashionAINet的服裝標簽屬性識別模型，對服裝圖像屬性進行識別分類，具體流程圖如圖5所示，具體步驟：

1）本實驗使用FashionAI數據集中8種不同服裝的圖片數據作為訓練數據，每種服裝的訓練數據大約一萬張圖片；

2）對獲取的數據集進行整理：讀取每張圖片的路徑和標簽，將圖片按照對應的標簽放入train_val?id目錄下對應的類別目錄中，然后前90%的數據用來做訓練，剩下的用來做驗證；

3）定義訓練集和驗證集的圖片增廣函數，對訓練數據進行擴充；

4）數據準備完畢后，分別從屬于8個類別的圖片設計模型，將它們準確分類，可認為不同屬性的服飾從屬于不同的類別，在實驗中不斷調整參數進行對比，從而選出最佳參數；

5）定義輔助函數：Mean Average Precision平均準確率均值，對實驗的性能進行評估；

6）訓練結束后，讀取測試集圖片的路徑，根據訓練好的模型對數據進行預測，并判斷預測的類型是否準確。

圖5 服裝標簽屬性識別算法流程圖

3 實驗評價與性能分析

3.1 實驗數據集

本文實驗采用的是FashionAI數據集，該數據集作為大規模高質量時尚數據集，包含8種屬性維度共計114805張圖像，其圖像分類層次結構如圖6所示，其中包括頸線設計、領子設計、脖頸設計、翻領設計、袖長、衣長、裙長和褲長共計8種屬性。本文期望數據是類似ImageNet的格式組織的［8］，即每一類圖片都統一放在一個目錄下，故將所有整理后的數據放進train_valid目錄［7］，具體的目錄結構如圖7所示。數據標簽是若干個n和一個y組成的字符串，字母y出現的位置即圖片對應的類型。

圖6 FashionAI數據集特征圖

圖7 訓練集目錄結構圖

圖8 屬性值遮擋示意圖

該數據集中的數據具有這些特性：1）互斥：一個屬性維度下，屬性值之間是互斥的，不能同時成立。2）獨立：一個圖像中，不同屬性維度下的屬性值可同時存在，它們之間相互獨立。3）每個屬性維度下都有一個屬性值叫“不存在”。這個表示當前屬性維度在該圖像所展示的視角下，是被定義過的，但是該屬性在圖中并沒有出現或者被遮擋看不見。如圖8包含了上身、下身視角，但是衣長被裙擺遮住，衣長維度的屬性值是“不存在”。

3.2 實驗數據集的擴充

通過扭曲、翻轉、縮放、顏色空間變換等方法對訓練圖片做一系列變化，可產生相似但又有不同的訓練樣本，既能增大圖片訓練集規模又可以模擬不同拍攝條件下的統一場景，達到加強訓練的效果。例如對圖片進行不同的裁剪使得感興趣的物體出現在不同的位置中，使模型減小對物體出現位置的依賴性；通過調整圖像亮度、色彩來降低模型對色彩的敏感度［8］。本文通過Rotation、Horizontal Flip、Shift函數對訓練集進行數據擴充，如圖9所示。

圖9 數據擴充圖

3.3 實驗設置與評價指標

本實驗平臺包括PC機、Intel Core i7處理器、8G服務器、11GB顯卡GTX1080、Ubuntu操作系統、64位操作系統。服裝標簽屬性識別性能指標采用平均準確率均值（Mean Average Precision，MAP），其定義如下：

1）每條數據計算出AttrValueProbs中的最大概率以及對應的標簽，分別記為MaxAttrValueProb和MaxAttrValue。每個屬性維度，分別初始化評測計數器：

設定GT_COUNT為該屬性維度下所有相關數據的總條數。

2）給定模型輸出閾值（ProbThreshold），分析與該屬性維度相關的每條數據的預測結果：

當MaxAttrValueProb＜ProbThreshold，模型不輸出：BLOCK_COUNT++；

當MaxAttrValueProb＞=ProbThreshold：

MaxAttrValue對應的標注位是“y”時，記為正確 ： PRED_COUNT ++ ， PRED_COR?RECT_COUNT++；

MaxAttrValue對應的標注位是“m”時，不記入準確率評測：無操作；

MaxAttrValue對應的標注位是“n”時，記為錯誤：PRED_COUNT++。

3） 遍 歷 使 BLOCK_COUNT 落 在 ［0，GT_COUNT）里所有可能的閾值ProbThreshold，分別計算，并統計它們的平均值，記為AP：

準確率（P）：PRED_CORRECT_COUNT/

PRED_COUNT

4）綜合所有的屬性維度計算得到的AP，統計它們的平均值，得出MAP。

3.4 實驗結果與分析

使用本文的Res-FashionAINet深度學習網絡模型對訓練集進行訓練，設置40次循環訓練，學習率（learning rate，lr）為1e-4，批訓練數據batch size為64，預測出測試集中每張圖片對應的屬性值（At?trValues）。識別效果如表2所示，可以看到基于Res-FashionAINet模型和圖片擴增可以提高圖片識別的準確率，最終識別準確率可以達到91.8%。殘差網絡的確解決了網絡退化的問題，在測試集上，都證明了更深的網絡錯誤率越小。

在實際應用中，不僅需要考慮模型的準確率，更要考慮訓練數據的耗時問題。由表2可看出，Densenet201準確率高，但是耗時較長。模型處理圖像的速度主要是由網絡的參數個數及計算方式決定，Densenet網絡層數較深，參數過多，會降低模型的計算速度。

表1 多種模型在FashionAI數據集上的性能對比表（表中time指每次迭代的平均耗時）

由表2可知，比較DenseNet和ResNet模型訓練數據的準確率，以及處理圖像的速度，DenseNet準確率最高，但由于網絡層數較多，耗時過長。其次便是不同層數的ResNet模型，在準確率和速度上，本文提出的Res-FashionAINet網絡模型均優于其他模型，該實驗結果說明本文對網絡結構的改進是可行的。

為檢驗模型在各屬性中的應用能力，將模型對各屬性的訓練結果進行對比，如表3所示，可展示模型在各種屬性訓練集和驗證集的準確率、MAP、誤差loss以及計算速度。

表2 Res-FashionAINet模型訓練各種屬性的統計表

根據訓練集中Annotations存放需要模型計算的屬性維度信息，對測試集的圖像維度進行預測，輸出各個屬性值的預測概率，將“？”替換成計算出來的各個標簽的預測概率值（分數），并取最大的預測概率（分數）的屬性值作為預測結果，數據預測得出的結果展示為csv格式文件，具體如表3（僅列舉10個）。

表3 訓練集預測表（ImagesName指存放的jpeg編碼的圖像數據文件名）

由圖10可知不同殘差網絡預測的服裝標簽都是正確的，層數越高、參數越大，預測的概率也就越高，但是本文提出的Res-FashionAINet網絡模型的準確率優于其他殘差網絡。

圖10 圖像網絡預測圖（示例為裙子，屬性標簽為nnnynn，即Midi）

隨著訓練迭代次數的增加，數據訓練的準確率也會提升；在不同學習率中，提升的情況會有所不同。由圖11可以看出測試集準確率與epoch的關系。

圖11 不同學習率的測試集準確率

4 結語

針對服裝標簽屬性識別的研究，本文設計了一個名為Res-FashionAINet的深度學習網絡模型，并以此為基礎構建了服裝標簽屬性識別方法，有效提高服裝標簽識別的準確率，同時擁有較快的圖像處理速度。該方法在FashionAI數據集中與傳統的識別方法進行比較分析。結果表明，該模型與其他模型相比具有一定優越性。在后期的研究和實驗工作中，還需進一步解決一些問題：1）進行識別的服裝種類需要繼續進行增加和細分；2）服裝標簽屬性識別算法的泛化能力需要提升，盡可能地去除外界干擾。