基于輕量級神經網絡的服裝圖像檢索

高繼強

（湖南工業大學，湖南 株洲412007）

圖像檢索指的是對目標圖像中的某一物體，從圖像庫中找出包含有該物體的圖像，并且返回所有與之相似的圖像。將輕量級神經網絡應用于服裝圖形檢索，屬于深度學習在時尚領域內的實際應用，因為深度學習作為機器學習領域內的一個重要分支，其算法具有強大的自動特征提取能力及高效的特征表達能力。

在計算機視覺領域內，深度學習算法可以實現從低層到高層漸進的特征提取，最終獲得較理想的特征表達，因此深度學習具有廣闊的應用前景。神經網絡作為深度學習領域內的高效算法，近年來隨著深度學習的火熱也獲得了大規模應用。自2012 年AlexNet以來，各種神經網絡模型層出不窮，如GoogLeNet、ResNet 等。這些神經網絡為了獲得更好的性能，網絡層數不斷增加，對于硬件資源的消耗越來越大，對于計算能力的需求也越來越高。雖然網絡性能得到了提高，但隨之而來的就是效率問題。為了使神經網絡獲得更加廣泛的應用，需要設計出更高效的網絡模型。

輕量級神經網絡的核心思想并不是傳統的模型壓縮，即在已經訓練好的模型上進行壓縮，而是設計出更高效的卷積方式，從而使網絡攜帶更少的網絡參數，減少內存的消耗，進而可以減少網絡的計算量，對于計算能力也沒有過高的要求，尤其適合于移動端，嵌入式設備，配置較低的電腦等場景，這為神經網絡走出學術界，邁向工業界打下了堅實的基礎，具有很高的實際意義。

MobileNet 系列網絡作為典型的輕量級神經網絡，以此為基礎搭建神經網絡模型更加便捷與高效。Deep Fashion 服裝圖像數據集共50 種類別，約為28 萬張圖片，可以保證神經網絡得到充分的訓練，對其進行數據增強之后，可以盡量減少欠擬合現象的出現。

1 算法流程

基于輕量級神經網絡的服裝圖像檢索的算法流程主要分為三個步驟：

1.1 對Deep Fashion 數據集中的圖像進行預處理。Deep Fashion 數據集是香港中文大學多媒體實驗室發布的數據集，主要圖片來源為網絡電商購物平臺中的服裝圖片。其中類別預測中包含28 萬張圖片，分為50 類衣物，每種衣服有不同姿勢的若干張圖片。預處理中包括數據集的劃分，數據增強，數據歸一化處理，數據類型的轉化等操作。

1.2 以MobileNet 神經網絡的v2 版本作為基礎來進行模型搭建。模型搭建完畢之后，將步驟一中經過預處理之后的圖片送入神經網絡模型中進行訓練，保證網絡模型得到充分的訓練。

1.3 利用劃分出的驗證集進行網絡功能的測試，得到輸出的結果。

2 圖像預處理

首先是對數據集的劃分，按照8:1:1 的比例劃分成訓練集，驗證集和測試集。訓練集主要通過學習樣本數據集，進而匹配一些參數來建立一個分類器。驗證集主要針對學習出來的模型，調整分類器的參數，驗證集還用來確定網絡結構或者控制模型復雜程度的參數。測試集的作用主要就是測試訓練好的模型的分辨能力、泛化能力等。

將數據集中的圖片劃分為訓練集、驗證集和測試集之后，下一步是制作存放有圖片路徑及其標簽的文本文件，PyTorch 依據該文本文件上的信息尋找圖片，并讀取圖片數據和標簽數據，再通過Dataset 類讀取數據集中的圖片。

在預處理過程中還需要對圖像進行數據增強，主要通過：

transforms.CenterCrop 實 現 中 心 裁 剪； 通 過 transforms.RandomRotation 實現隨機旋轉；通過transforms.ToTensor 實現數據類型的轉換；通過transforms.RandomChoice(transforms)，從給定的一系列transforms 中選一個進行操作；通過自定義函數計算出數據集的均值和方差，并通過transforms.Normalize()函數進行數據的歸一化。其中進行數據歸一化是因為歸一化后會加快梯度下降求最優解的速度，還可以提高精度。

3 構建輕量級神經網絡

本文以MobileNet 神經網絡的v2 版本作為基礎來進行模型搭建。MobileNet 由谷歌團隊提出，v1 版本論文發表于2017 年的國際計算機視覺與模式識別會議。V2 版本在v1 的基礎上進行了改進，在采用深度可分離卷積的基礎上引入了線性瓶頸結構和反向殘差結構。這使得該網絡擁有更小的體積，更少的計算量，更高的精度，在輕量級神經網絡中擁有極大的優勢。

表1 MobileNet v2 網絡結構特點

圖1 實驗結果

線性瓶頸結構是網絡結構的重要創新點，從Bottleneck 結構演變而來的。Bottleneck 結構首次被提出是在ResNet 網絡中。該網絡結構的第一層使用逐點卷積，第二層采用3×3 大小的卷積，使用深度可分離卷積，第三層使用逐點卷積。線性瓶頸結構相對普通的卷積能夠減少參數數量，減少卷積計算量，能夠從空間和時間上進行網絡的優化。

MobileNetV2 版本中的殘差結構使用第一層逐點卷積升維并使用Relu6 激活函數，普通的Relu 激活函數對于大于0 的值不進行處理，但是對于Relu6 而言，當輸入的值大于6 的時候，返回6，它作為非線性激活函數，在低精度計算下具有更強的魯棒性。之后使用深度可分離卷積，同樣使用Relu6 激活函數，再使用逐點卷積降維，降維后使用線性激活函數。這樣的卷積操作方式更有利于降低計算量。

該網絡模型中共有17 個Bottleneck 層，每個Bottleneck 包含兩個逐點卷積層和一個深度卷積層，一個標準卷積層，兩個逐點卷積層，整個網絡模型中一共有54 層可訓練參數層。MobileNetV2 中使用線性瓶頸和反向殘差結構優化了網絡，加深了網絡層次的同時，壓縮了模型的體積，使模型的運算速度更快。

4 結果與分析

本實驗所用主要硬件參數為：英偉達rtx2080ti-11G GPU 一塊，英特爾i9-9900k CPU 一顆，DDR4 2400MHz 16G 內存兩條。深度學習框架采用pytorch，Python 版本為3.7.2。實驗過程中，訓練集數據量為圖像數據集的80%，測試集數據量為圖像數據集的10%，驗證集數據量為圖像數據集的10%，選取圖像的方式為隨機抽取，實驗訓練次數為60 次(圖1，表3)。

表3 測試集結果

本文將輕量級神經網絡應用于服裝圖像檢索中，具有一定的實用性。從實驗結果來看，輕量級神經網絡基本完成了服裝的圖像檢索任務，準確率和召回率都較高。本文使用的神經網絡以盡可能小的網絡結構更高效地完成了服裝檢索工作，與其他大型的網絡模型相比，在未降低準確率的前提下完成了檢索工作。在之后的改進中，將著眼于模型的實際應用，將其應用于移動客戶端等。