跨場景時尚圖像的在線提取

阿卜杜杰力力·熱合麥提

(東華大學 計算機科學與技術學院， 上海 201600)

0 引 言

隨著時尚電商平臺的普及和圖像共享網站的快速發展，在線服裝貿易市場巨大，時尚物品日益多樣化，學術界和工業界越加關注相關的研究和應用。僅僅提供文字檢索功能很難滿足用戶對物品更精細的查詢要求；而且隨著移動計算以及互聯網的快速發展，街拍和社交網絡分享逐日流行。基于圖像的檢索可以幫助用戶通過街拍形式從品種繁雜、造型多樣的物品中快速而準確地定位，大幅改善購物體驗。不過街拍圖像會受到背景、燈光、構圖等影響，質量上遠不如電商平臺中較專業的圖片，在對跨場景的圖像進行匹配時存在難度，街拍圖像的準確處理和特征精確提取是匹配的關鍵所在[1]。

街拍時尚物品查詢模型一般分為以下步驟，用戶拍照，通過在線電商APP上傳，服務器對街拍圖像和物品庫圖像進行相似性匹配，返回相似度最高的top-k個物品，如圖1所示。衡量時尚圖像的相似性是一個復雜的問題，時尚圖像相似性不僅僅在于兩個圖像所對應的像素矩陣數值的相似程度，更重要的在于人眼所感知的兩個物品的款式、色彩、花紋，以及其他細節是否相似。可以把特征分為兩類：整體和局部。如兩張關于T恤衫的圖片，外表看上去很相似，但是其印花細節差別較大，或者兩者的細節相似度很高，但是款式不同，只有同時滿足整體(輪廓)和局部(細節)的物品才能被認為相似[2]。

跨場景的時尚物品的在線檢索存在幾個挑戰：如何在保證整體和局部特征完整性的情況下滿足實時的特征提取；如何在特征提取后進行快速的圖像檢索，找到相似度最高的top-k個物品[3]。

隨著深度學習的快速發展，利用卷積神經網絡相關方法進行圖像特征提取和表示已經成為解決時尚領域圖像檢索和推薦的關鍵方法[4]。已有相關方法注重時尚圖片檢索的準確性，包括結合視覺和非視覺特征的匹配[5]，結合多模態的查詢[6]，基于圖像分割和目標檢測的匹配方法[7]；或者以適當降低精確度為代價，提高在線處理速度[8]。

圖1 基于街拍的在線時尚圖像檢索示例

本文在設計在線時尚物品檢索框架時，采用目標檢測算法來避免圖片中目標物體大小帶來的影響，采用圖像分割算法來避免圖片中復雜背景的影響，采用緩存提高匹配速度。框架既具有在線檢索的實時性，也能兼顧檢索的準確率，還能通過參數選擇及時調整檢索策略。

1 相關工作

1.1 圖像處理方法

目前，國內外基于內容的圖像搜索相關的技術有很多，主要可以分為傳統方法和基于卷積神經網絡的方法兩種。基于內容的圖像檢索主要包括特征提取、相似性定義以及彌補語義鴻溝3個步驟。

在傳統方法中，使用SIFT、HOG、SURF等方法來進行圖像特征的提取，這些方法提取的還是圖像像素級別的特征。如果提取的特征具有結構性的時，深度學習算法才能發揮作用。

隨著深度學習的發展，通過神經網絡提取特征得到了廣泛的應用，以卷積神經網絡為基礎的一系列深度神經網絡，諸如AlexNet、VGGNet、GoogLeNet、ResNet等，在計算機視覺領域也取得了卓越的成就。

1.2 圖像特征提取

在基于內容的圖像查詢中，存在底層特征和上層理解之間的差異，主要原因是底層特征不能完全反映或者匹配查詢意圖。彌補這個鴻溝的技術手段主要有相關反饋(relevance feedback)、圖像分割(image segmentation)和建立復雜的分類模型。根據用戶對于查詢結果進行評分來更新系統，為每對圖片之間分配的相似性大小[9]，在相關反饋技術的基礎上提出了核距離方法的應用，將每個圖片向量映射到同一特征空間中，并使用one-class SVM核距離來計算2個向量之間的距離，最后建立M-tree來建立索引，用來查詢最后需要輸出的圖片[10]。對圖像進行像素級的分類，從而解決了語義級別的圖像分割問題，與傳統的CNN不同的是FCN可以接受任意尺寸的輸入圖像，并且最后輸出的是一張已經標簽好的圖片[11]。開發了兩階段深度學習框架，根據輸入圖片推薦類似風格的時尚圖像[12]。Hidayati S C等人從社交網絡大數據中學習服裝樣式和個體身材的兼容性，用來向用戶推薦符合其身體屬性的穿著服裝[13]；周偉等人開發了新穎的時尚推薦模型，通過整合基于文本的產品屬性和圖像提取功能來匹配相似的產品[14]；Jaradat, Shatha使用深度學習技術來分析深像素級語義分割和文本集成對推薦質量的影響[15]；陳婉玉等人提出了用于檢索具有臉部形狀特征的時尚照片的一種新的方法[16]。

由于推薦系統計算量龐大，又對實時性要求高，將計算過程大致分為兩個部分，即離線部分和在線部分[17]。離線部分主要指系統離線構建索引庫的流程，包括離線特征提取、索引構建、數據存儲等環節，這些環節計算量非常大，需要定期執行一次，以保證系統的準確率；在線流程主要指用戶提供一張圖片，到最終返回推薦結果的過程，包含噪聲去除、圖像定位及分割、在線特征提取、圖像匹配等過程。

2 服裝圖像檢索系統框架(Framework for Fashion Image Retrieval System，FIRS)

跨場景時尚圖像檢索是一個復雜的課題，本文結合深度學習和度量學習等技術，提出了一個完整的時尚商品檢索框架，包含了離線和在線二部分，通過二者的協作，極大地提高了檢索的精度和效率，如圖2所示。

(a) 離線數據處理 (b)時尚圖片的在線檢索

(1)離線部分。離線部分是在線檢索的基礎，是決定在線檢索精度的保障。離線部分包含3個模塊。特征抽取模塊：是一個圖像表示學習的過程，本文采用fine-tuning的方式，基于現有成熟的模型進一步訓練以獲得更好的表示；索引構建模塊：檢索的高效性離不開索引的構建，在特征抽取完成后，將圖像與特征映射，從而構建索引；數據存儲模塊：數據存儲方式是影響數據檢索的一個重要因素，本文的數據采用spark分布式存儲，從而提高整體檢索效率。

(2)在線部分。在線檢索存在二個問題：①噪聲問題，是由用戶上傳圖像的質量導致的；②多實例問題，是由于圖像中存在多個實例引起的。本文使用目標檢測和圖像分割技術解決這些問題，并根據不同需求提供了簡單泛化搜索，精細搜索，以及基于標簽的搜索。

3 基于深度學習的離線數據處理

3.1基于ResNet的學習圖像特征學習

深度學習在特征提取和圖像分類中應用非常廣泛，在圖像搜索時使用預訓練的ResNet來提取特征已被證明非常有效[18]。具體方法為：將完整的ResNet的最后一層SoftMax層去掉，增加一個全連接層，將最后的輸出特征向量修改成實際所需要的維度。該方法相較從零開始訓練一個完整的神經網絡，可以節省大量的資源，也避免了數據量不足和硬件條件不夠所引發的問題。

3.2 索引構建

通過亞馬遜數據集提供的源文件中的地址，下載圖片并將圖片命名為其ASIN ID(即亞馬遜商品統一編號)，載入預訓練ResNet模型，將每一張圖片轉換成所需要的輸入格式(在這里定義的為224*224*3)的彩色RGB格式。因為本系統選取的100萬張圖片是亞馬遜總圖片數的一個子集，所以在這里系統使用目錄里的圖片和源文件中的商品信息進行映射，并保存在一個二進制文件中。ASIN_Idx保存編號的目錄，ASIN_Data保存編號所對應的商品信息。信息完成以后，進行批量的特征提取，將100萬張圖片逐個放入預訓練ResNet中，建立一個ASIN到特征的映射，存放所有的提取之后的特征。

在圖像存儲方面，一般將圖像特征量化成為數據存放在索引中，并存儲在外部存儲介質中，進行圖像搜索的時候僅僅需要搜索索引表中的圖像特征，按照匹配程度從高到低來查找類似的圖像。對于圖像尺寸分辨率不同的情況可以用下采樣或者歸一化的方法。

4 在線特征提取方法

4.1 圖像預處理

因為商品的背景復雜，主體常常較小，所以為了減少大量背景干擾和多主體的影響，需要將搜索目標從圖像中提取出來，這就涉及到了目標檢測技術。

物體檢測算法經歷了傳統的人工設計特征+淺層分類器的框架，到基于大數據和深度神經網絡的End-To-End的物體檢測框架，物體檢測愈加成熟，本文使用其中最有代表性的Faster-RCNN。

使用Mxnet框架下的Faster R-CNN進行目標檢測的測試。目標檢測的主要功能有3個：判斷圖片中物體屬于前景還是背景，判斷前景中每一個物體的類別(從預先保存的約300個類別中進行判斷)，將每一個類別的物體用方框圈起來，并返回方框中4個角的坐標。除了坐標以外，該模型還返回了判斷屬于該類別的概率(僅僅返回可能性大于0.5的類別)，本文使用一張街拍——含有常見背景的人物服裝照片來進行測試，如圖3所示。

圖3 目標檢測結果

從測試結果可以看出，雖然有多個人物和物體出現在圖像中，目標識別還是能夠檢測出其中概率最大的那一個，并且進行圖像框定。但同時也看出現圖像背景還是有其他物品存在，此時可以通過圖像分割技術進一步處理。

對成功識別出的圖像中最主要物體的輪廓識別和分割。在返回時需要選擇分割的主體，即，返回主體的類別編號，本例返回以人物為輪廓進行分割的圖片。使用FCN進行圖像分割的效果明顯，絕大部分背景干擾因素已經被去除，剩下的只有人物和其服裝圖片，如圖4所示。在后續的圖像索引中，能夠獲取更加匹配的目標圖片。

圖4 FCN圖像分割后輪廓及其結果

4.2 基于最近鄰的圖像匹配算法

本文使用一種基于圖的近似最近鄰搜索的方法叫做Hierarchical Navigable Small World graphs算法。這個算法基于先前的NSW(navigable small world)思想進行了優化，使用了一個跳表結構將多個多維向量按照圖的結構劃分為許多層，從頂到底構造一個層次化結構，最大的層數由以指數衰減的概率分布隨機選擇，在搜索時從最頂端的層級開始，逐步向下延展,如圖5所示。這樣的方式極大的提高了高召回率和高度集群數據的性能。性能評估表明這種方法在通用的空間向量的搜索中能夠極大的優于先前開源的最先進的向量搜索方法。

圖5 HNSWG算法示意圖

4.3 檢索方法

4.3.1 簡單檢索和高級檢索

簡單檢索提供了泛用性最強的圖像搜索引擎，可以對全部100萬張商品圖片和信息進行搜索，分類非常廣，能在近實時的基礎上完成Top10的搜索。

而精細檢索提供了最精細的自動目標檢測和輪廓剪切，對于需要精細度較高的商品，如服裝等，可以選擇這種搜索方式，自動按照最精確的方式搜索，搜索時間會稍長，但是也能滿足一般的實時性要求。

4.3.2 基于標簽的檢索

在許多情況下，有的商品雖然圖案相似、形狀相近，但是它們在本質上并不是同一類型的商品，這時候僅僅使用特征提取可能會出現誤判，所以本系統使用了另一種搜索方式——基于目標檢測和倒排索引的圖像搜索方法。

倒排索引(Inverted index)，也常被稱為反向索引、置入檔案或反向檔案，是一種索引方法，被用來存儲在全文搜索下某個單詞在一個文檔或者一組文檔中的存儲位置的映射，是文檔檢索系統中最常用的數據結構。通過倒排索引，可以根據單詞快速獲取包含這個單詞的文檔列表。倒排索引主要由兩個部分組成即“單詞詞典”和“倒排文件”。倒排索引的主要形式為一條記錄的水平反向索引(或者反向檔案索引)包含每個引用單詞的文檔的列表。

使用商品檢測出的目標標簽當作文檔，將所有的分類標簽當作單詞，建立目標圖片集的完整倒排索引數據庫，將每一張用戶上傳的圖片中檢測出來的詞匯視為新的文檔，檢測以后同樣查倒排索引，就可以得到總圖片的一個子集。

在電商的圖像搜索中同樣可以使用這種思路進行圖像搜索。在搜索中，文檔就相當于是一張圖片進行目標檢測中所有元素(如一張人的圖片中可以有帽子、襯衫、領帶、皮包等元素)，而單詞就相當于是搜索目標商品的圖片識別出的關鍵詞，往往是單一的物品，搜索過程如圖6所示。在實際使用中，系統會自動識別用戶上傳的圖片并進行初步的目標識別，在圖片集創建的文檔中搜索和匹配。

圖6 倒排索引的搜索過程

5 實驗結果與評價

5.1 數據集與實驗環境

亞馬遜是網絡上最早的電子商務公司，經過數十年的積累，其商品涵蓋各個種類達數百萬之巨，是電商數據集的重要來源。 本文使用由Julian McAuley團隊整理的Amazon product data，根據其唯一的ASIN ID便可獲取對應圖像。

實驗運行的硬件平臺，CPU為Intel(R) Core(TM) i5-8400 CPU @ 2.80GHz，GPU為NVIDIA GeForce GTX 1050，內存為20G, 系統為CentOS 7.4.1708。接口語言為python，代碼運行在Mxnet平臺。

5.2 實驗結果

在系統中，實時性是非常重要的一項指標，實驗測試了普通搜索和精細搜索的所需時間。測試結果見表1。即使是精細的搜索，系統也能夠完全達到在一秒內返回所需要的結果。

表1 搜索所需時間

6 結束語

本文提出了一個實時圖像檢索系統，用來檢索基于亞馬遜部分數據集的時尚單品。采用三種檢索方式即簡單搜索、精細搜索、基于標簽的搜索。由于跨場景的不確定性，首先使用目標檢測算法來進行目標定位，找出需要檢索的目標商品，再進行圖片分割，將目標商品單獨分割出來；然后使用卷積神經網絡對圖片進行特征提取；最后在圖片數據庫中找出與其最相似的數據圖片。本文提出的不同的檢索方式可以滿足不同用戶的不同需求，給予用戶更好的體驗。將會在以后的研究中加入文本信息，實現多模態檢索，用文本信息來彌補圖片信息沒有滿足的部分，實現更高精度的檢索。