基于深度學習的織物圖像檢索系統(tǒng)研究

劉瑞昊 于振中 孫 強

［1.江南大學，江蘇無錫，214122；2.哈工大機器人（合肥）國際創(chuàng)新研究院，安徽合肥，230601］

在紡織行業(yè)中，檢索織物圖像的工作一般是依賴個人經(jīng)驗查找完成的。此種策略不僅耗費大量的人力、物力，而且在速度和準確率上都有人為的主觀性，不能滿足用戶對檢索到相同或類似圖片的實時性和準確性要求［1］。市場上存在檢索圖片的方法和系統(tǒng)，但是不完全適用于織物圖像的檢索需要，仍需要較大的改進。

針對圖像檢索領域，主要有兩方面技術：基于文本內容的檢索（Text-based Image Retrieval，TBIR）和基于內容的圖像檢索（Content-based Image Retrieval，CBIR）技術［2-5］。TBIR 是通過使用關鍵字表述圖像，將圖像檢索轉化為文字匹配問題，TBIR 需要人工對大量的圖片文字標注，耗費許多人力資源，此外人工標注的主觀性也會造成錯誤的檢索結果。CBIR 是分析提取圖像的視覺或語義特征，結合相似度度量算法，在檢索庫中檢索和目標最為相似的圖片，并排序輸出，這是目前國內外研究的熱點。

在織物圖像的檢索方面，早期傳統(tǒng)的檢索方法是依靠手工設計的特征。劉立等［6］提出的簡化SIFT（Scale-invariant Feature Transform）算法實現(xiàn)快速圖像匹配，但是忽略了色彩信息；YANG L F 等［7］提出在圖像檢測中使用主顏色矩匹配實現(xiàn)相似度測量，但是運行的速度較慢。有一些研究是將幾種特征表示融合，再與圖像檢索的功能組合起來。JING J F 等［8］提出了一種基于多特征融合的印刷織物圖像檢索的方法，其中顏色描述表示顏色特征，GIST 表示空間形狀特征，此方法提高了檢索精度，但計算量大、運行速度不快；ZHANG L J 等［9］提出基于旋轉不變性和多尺寸LBP（Local Binary Patterns）的一種織物圖像檢索方法，其運行的效率也不是很高。近年來，將深度學習的特征表示引入圖像檢索也有很多成果。段文靜等［10］提出了基于深度學習有監(jiān)督的離散哈希算法，提高了檢索的精度；任夏荔等［11］在主成分分析算法的基礎上對特征進行哈希編碼然后檢索，雙層檢索提高了模型的檢索能力；曾凡鋒等［12］提出一種改進傳統(tǒng)哈希編碼的雙線性模型網(wǎng)絡結構的圖像檢索方法，在哈希編碼的基礎上做了進一步改進；王妙［13］提出基于深度學習的印花織物圖像檢索系統(tǒng)設計，采用哈希算法的粗檢索和卷積神經(jīng)網(wǎng)絡的細致檢索相結合的分級檢索，在提高精度的基礎上進一步提高了速度；XIANG J 等［14］提出的卷積神經(jīng)網(wǎng)絡針對織物圖片分級檢索也取得很好的效果。

雖然在織物檢索方面取得了很好的成果，但是通過深度學習的卷積神經(jīng)網(wǎng)絡（Convolutional Neural Networks，CNN）方法用來學習圖像特征表示，仍具有明顯的優(yōu)勢，而且將其應用在織物圖像檢索方面，在速度和準確率上仍有較大的提升空間。本研究主要針對當前傳統(tǒng)人工整理的庫存織物進行檢索，通過結合深度學習技術以及分級檢索的策略解決市場上存在檢索方法難以滿足需求，以及檢索耗時久、檢索精度低的問題，為紡織行業(yè)管理提供更加高效的策略。

1 織物檢索整體框架

1.1 檢索系統(tǒng)模塊

織物圖像的檢索系統(tǒng)是依據(jù)實際紡織行業(yè)的需求，對織物圖像進行特征學習、表示及相似性匹配等，最后完成檢索目標。系統(tǒng)有圖像預處理、圖像模型訓練、圖像索引庫和檢索模塊4 個部分。圖像預處理主要包括圖像數(shù)據(jù)的分類及篩檢、圖像變換均衡化等操作；圖像模型訓練中特征表達是檢索系統(tǒng)的重點，主要涉及模型的參數(shù)設置以及將訓練好的合適模型導出；圖像索引庫是利用訓練好的模型對數(shù)據(jù)庫中的圖像進行特征提取，并保存起來，構建成圖像特征索引庫；檢索模塊是將待檢索圖像與數(shù)據(jù)庫圖像進行相似度匹配，排序后輸出檢索結果。

1.2 檢索整體流程

基于深度學習的織物圖像檢索系統(tǒng)框架結構如圖1 所示。

圖1 圖像檢索整體框架流程

該系統(tǒng)將圖像檢索技術與深度學習的卷積神經(jīng)網(wǎng)絡相結合。首先利用CNN 對數(shù)據(jù)庫中分好的4 類圖像分別進行訓練，得到提取4 類織物特征的CNN 模型，將數(shù)據(jù)庫中其他圖片根據(jù)其類別分別通過4 類CNN 模型提取到各自的特征向量，并根據(jù)類別分別保存至對應的特征索引數(shù)據(jù)庫中；然后將待檢索圖像輸入到檢索系統(tǒng)中，使用相同類別的CNN 模型對輸入的圖像進行特征提取，得到能夠表達圖像信息的特征向量，同時提取出相同類別的圖像特征索引數(shù)據(jù)庫，選擇歐氏距離匹配算法完成待檢索圖像的特征向量與檢索庫中數(shù)據(jù)的特征向量之間的相似性匹配；最后再將相似度最高的topk檢索結果經(jīng)服務器返回，完成檢索過程。

對于少量的待測圖片，可采用人工分類，在相同的類中進行檢測，由于4 類庫中評價標準相同均采用相似度計算，若待測圖片在一類中得分很低，可在其他庫中再檢測，輸出相似的圖片；對于大量的待測圖片，可采用深度學習方法，先訓練出分類模型，再將分好類的圖片分別放入相應的庫中檢測，輸出結果。

2 試驗方法

2.1 試驗數(shù)據(jù)集

織物圖片數(shù)據(jù)集是從紡織廠收集得到的真實織物卡片數(shù)據(jù)集，獲得26 065 張圖片，并根據(jù)卡片外觀將其分為4 類，分別是純色（11 272 張）、條紋（6 775 張）、網(wǎng)格（6 614 張）、圖案（1 404 張），如圖2 所示。

圖2 4 類圖片的劃分

為避免因織物類別中數(shù)量差異導致訓練效果有偏差，保持各類訓練數(shù)據(jù)集數(shù)量相同，每類取4 000 張作訓練數(shù)據(jù)集，剩余圖片均作為模型的測試集，由于圖案織物的數(shù)量較少，且圖案圖像多為不規(guī)則圖像，而檢索主要需要是紋理特征的提取，故隨機抽取圖案訓練集的1 000 張，網(wǎng)格訓練集的2 000 張，條紋訓練集的1 000 張，制作成訓練圖案提取紋理特征的數(shù)據(jù)集。

針對訓練數(shù)據(jù)集，對于每一張原始圖420 像素×570 像素的織物卡片，對其隨機切割、旋轉、對比度、亮度等變化的數(shù)據(jù)增強用來擴大模型的魯棒性，獲得28 張420 像素×285 像素的大小圖片，將其壓縮至112 像素×112 像素的大小，并放入同一文件夾，將其視作1 個小類，對于每一大類圖片，目標是訓練出能夠分辨出4 000 張圖片差異的特征提取模型，且在同一大類圖片中，每張圖片之間的差異很小，對模型要求更高。在訓練數(shù)據(jù)集中，以10∶1 比例進行訓練，得到模型后，在測試集中測試檢索的效果。

針對測試數(shù)據(jù)，本研究創(chuàng)新處理數(shù)據(jù)集，使其更加符合實際檢索情況，將測試集的每一張原始圖片平均分割成2 份，大小均為420 像素×285 像素，一份通過相同類別的特征提取模型得到紋理特征，將其作為檢索的索引數(shù)據(jù)庫；另一份均作為待檢測圖片，通過在相同類別的索引庫中，用半張待測圖片檢索出另一半，測試網(wǎng)絡的檢索效果。

針對檢索的策略，本研究將此圖片先分類再檢索，以整體的檢索時間、topk和mAP作為評價依據(jù)。同時研究深度學習模型與數(shù)據(jù)集的關系，增加對比試驗，將4 類圖片訓練數(shù)據(jù)集放在一起進行整體訓練和分類別驗證。

2.2 試驗模型選擇

特征提取是織物圖像檢索最重要的環(huán)節(jié)，每一張圖片經(jīng)過訓練的模型提取，得到的特征是獨特的，也是其識別的依據(jù)，更是后續(xù)特征匹配的關鍵，所以優(yōu)秀的網(wǎng)絡模型和訓練策略使得模型更加完善。ResNet［15］網(wǎng)絡自出現(xiàn)后，其表現(xiàn)就非常優(yōu)秀，可作為提高檢索識別的模型，通過進一步優(yōu)化其網(wǎng)絡結構，使其更加符合織物這一研究對象，讓模型從織物數(shù)據(jù)中學習到更多有用的信息。本研究使用修改后的LResNet50E-IR 網(wǎng)絡，來源于Arcface［16］，遷移學習其網(wǎng)絡結構，由于檢索的目標是織物，檢測的重點是角點信息，淺層網(wǎng)絡提取的細節(jié)特征更符合織物檢索的特點，而ResNet 網(wǎng)絡隨著圖層的加深，圖像特征逐漸變得更復雜，計算量也會增加，所以使用的模型在ResNet50 基礎上做出以下改進。一是替換第一個7×7 的卷積改為3×3 的卷積。二是在Layer5 的卷積層后續(xù)相繼使用批量歸一化層（BN），丟棄層（Dropout），全連接層（FC）和批量歸一化層，用來優(yōu)化輸出。三是將批量歸一化→卷積層→批量歸一化→PReLU→卷積層→批量歸一化結構作為殘差塊，激活函數(shù)不使用ReLU，改為PReLU。四是將LResNet50E-IR 的最后兩個卷積模塊各自減少一層，在保證特征提取能力的情況下，減少模型的計算量，加快模型的訓練速度，既可以保證特征提取的能力，也一定程度避免了過擬合問題，增加了模型的魯棒性。

2.3 基于faiss 索引的圖像檢索算法

faiss 是Facebook AI 團隊開源的針對聚類和相似性搜索庫，將高效相似度搜索和聚類方法用來解決稠密向量問題，能夠達到任意大小向量集甚至數(shù)十億級別向量的搜索［17］。以檢索圖片為例，相似度搜索就是在給定的一堆圖片中，尋找出與待測的目標最像的K張圖片，簡稱為K 近鄰方法［18］。本研究使用faiss 索引，faiss 為每一張輸入圖片的向量記錄一個索引，然后向索引中添加特征向量，search 方法提供搜索，通過相似度計算，輸出結果。

2.4 測評方法

2.4.1 相似性計算

相似性度量是用于判斷兩幅圖片的相似程度，通過距離函數(shù)計算兩幅圖像特征向量之間的距離差，距離數(shù)值越小意味著兩幅圖像相似度越高。本研究采用歐氏距離［19］，歐氏距離表示為兩個坐標點的直線距離。

2.4.2 評價標準

對于查詢圖像，將其與相同類別的索引庫中保存的特征向量進行匹配，歐氏距離測量相應的兩個特征向量的距離，并選擇相似度排名較高的前k名圖像輸出［20］。

本研究根據(jù)傳統(tǒng)的topk思路，重新定義了檢索的評估方法Ptopk，計算見式（1）。

式中：對于每一張查詢圖片Ci，在檢索輸出排名前k中的圖片中，若是與查詢圖片屬于同一張圖的兩個不同部分，即排名前k數(shù)據(jù)庫中圖片的名稱含有被查詢圖片的名稱，則認為此圖片的對應的topk查詢到，Ci=1，否則Ci=0。有m張查詢圖像，統(tǒng)計對應的topk檢索到的準確率。

本研究使用mAP作為綜合評價指標，對于m張圖片，計算其mAP值，計算公式見（2）。

式中：APi是每一張待測圖的前10 個預測圖的精度。

3 對比試驗和結果分析

3.1 試驗環(huán)境

使用的計算機為windows10，64 位操作系統(tǒng)，處理 器 為Inter（R）Core（TM）i7-7700 CPU @3.60 GHz、16 G RAM。

在后續(xù)的深度學習算法的改進與運行主要是在服務器上進行，服務器使用的是Intel Xeon E5-2680 v3，CPU 運行內存64 G，GPU（RTX2080Ti）顯存11 G，開發(fā)語言python。

3.2 試驗結果和對比分析

使用深度學習框架MXNet［21］訓練模型，ADAM［22］被用作優(yōu)化器，代替了傳統(tǒng)的隨機梯度下降的優(yōu)化算法。根據(jù)織物檢索的實際情況，修改網(wǎng)絡層數(shù)和參數(shù)，調整網(wǎng)絡尺寸112 像素×112 像素，迭代次數(shù)5 000 次，學習率0.001，batchsize 為64。訓練過程中驗證集的準確率如圖3 所示。

圖3 訓練過程中準確率變化

對比算法采用多特征融合檢索方式的傳統(tǒng)算法，即采用基于顏色矩（Color Moments，CM）和要點特征（Gist Feature，GF）相結合方式提取圖片的特征，相似度計算采用歐氏距離進行對比，試驗的準確率結果如圖4 所示。CM+GIST 全檢索、CM+GIST 分級檢索、深度學習+faiss 全檢索、深度學習+faiss 分級檢索的Top10mAP值分別為84.45%、86.68%、98.92%、99.22%。

從圖4 可見，在傳統(tǒng)的多特征融合檢索算法中，分級檢索策略表現(xiàn)更好；與傳統(tǒng)檢索算法相比，深度學習分級檢索top10 的檢索準確率提高5個百分點以上，效果更突出；深度學習結合faiss索引方法的top10 準確率99%左右，雖然基于深度學習分級策略和全檢索在準確率相差不大，但分級檢索對資源的消耗卻是最少的，表1 顯示4 種檢索方法分別檢索完2 614 張網(wǎng)格，2 775 張條紋，7 272 張純色以及404 張圖案圖片的時間。可以看出，在同一硬件設備下，傳統(tǒng)檢索方法耗時較多，資源占用比較大，而分級檢索在資源消耗和時間響應上占據(jù)優(yōu)勢，在深度學習中也呈現(xiàn)此種情況。

圖4 不同算法和策略中的準確率

表1 不同算法和策略時間消耗

理論上深度學習是數(shù)據(jù)量越多，其訓練的效果也越好，但是其缺點也明顯，訓練時間過長，軟硬件資源消耗比較大。由top10mAP的測試結果可知，深度學習+faiss 分級檢索的top10mAP比全檢索提高了0.30 個百分點，比CM+GIST 分級檢索提高了12.54 個百分點，但全檢索的資源消耗比較大，耗時較多。

深度學習+faiss 全檢索和分級檢索詳細結果如表2 所示。可以看出，分級檢索策略在有紋理類別檢索上普遍比全檢索好，部分類別top10 的準確率100%，即對于每一張待檢測圖片，在索引庫中輸出相似度最高的10 張圖中一定有待測圖的另一半。有紋理類別分級檢索策略表現(xiàn)更好，原因是在訓練集數(shù)量合適情況下，迭代足夠數(shù)量，模型盡可能提取到同類圖片間的紋理差異，特征表示更有針對性；此外，分類訓練和檢索縮小了檢索范圍，所以在正確率和速度上有所提升。但純色類別可提取的紋理信息等特征較少，主要是顏色信息，在只有純色的訓練集中訓練，網(wǎng)絡結構不能提取到更多的織物間的差異，容易過擬合，而全檢索是將不同類別數(shù)據(jù)集堆在一起訓練，增大了訓練集數(shù)量和織物的差異性，故純色的整體訓練和檢索效果優(yōu)于分類訓練。此外，由于4 類庫中評價標準相同均采用相似度計算，若待測圖片在一類中得分很低，可在其他庫中再檢測，按照相似度排序輸出檢索到的圖片。綜合考慮經(jīng)濟效益，分級檢索策略在圖像提取、檢索及資源消耗是有優(yōu)勢的。

表2 深度學習中不同策略詳細試驗準確率結果

4 結語

本研究研發(fā)了一種基于深度學習的織物圖像檢索系統(tǒng)，解決了織物檢索耗時久、檢索精度低等問題。通過改進后的LResNet50E-IR 網(wǎng)絡結構模型遷移學習到織物檢索上，利用卷積神經(jīng)網(wǎng)絡強大的特征表示能力，結合faiss 索引進行織物圖像檢索可以取得很好的效果。同時，運用分級檢索的策略，先對待檢索圖片分類，將分類后的圖片輸入相同類別的模型進行特征提取，再與對應的特征索引庫進行相似度匹配檢索，進一步縮短了檢索時間，提高了準確率。本系統(tǒng)提出的模型及檢索策略在織物圖像上的top10 準確率能達到99%，mAP達到99.22%，比傳統(tǒng)檢索方法分別提高5.00 個百分點和12.54 個百分點。將此先進的網(wǎng)絡結構創(chuàng)新應用于紡織行業(yè)，能進一步推動紡織行業(yè)快速發(fā)展。在實際測試中，該系統(tǒng)可達到工程應用的要求，能夠進一步推廣，下一步可在現(xiàn)工作的基礎上進一步優(yōu)化，在降低運算資源成本同時，研發(fā)出實用性更強、速度更快的織物圖像檢索系統(tǒng)。