基于深度學習哈希算法的快速圖像檢索研究?

李泗蘭 郭 雅

（廣東創新科技職業學院信息工程學院 東莞 523960）

1 引言

為了降低圖像檢索的空間復雜度與時間復雜度，研究者們在過去十幾年提出了很多高效的檢索技術，最成功的方法包括基于樹結構的圖像檢索方法［1］、基于哈希的圖像檢索方法［2］，其中，經典的哈希方法是局部敏感哈希方法（Locality Sensitive Hashing，LSH）［3］和基于向量量化的圖像檢索方法［4］。相比基于樹結構的圖像檢索方法和基于向量量化的圖像檢索方法，哈希技術將圖像的高維特征保持相似性的映射為緊致的二進制哈希碼。由于二進制哈希碼在漢明距離計算上的高效性和存儲空間上的優勢［5］，哈希碼在大規模相似圖像檢索中非常高效。

近幾年研究者們對基于CNN的深度哈希算法提出了多種模型［6～8］，雖然檢索的效率在不斷提高，但是圖像語義和哈希碼之間的差異依然存在，而且深度哈希在多標簽圖像檢索中的應用還不夠成熟，仍需要大量的研究。本文中在多篇文獻的基礎上提出了利用成多標簽作為監督信息進行學習的哈希方法。該哈希算法是針對多標簽圖像研究結合深度學習與哈希碼生成的圖像哈希表示方法以及學習算法，形成針對多標簽圖像的深度監督哈希。該方法的基本思想包括：

1）將圖像的標簽設定成標簽個數的一組編碼，根據任意成對圖像之間的標簽向量的漢明距離得到成對標簽，得到標簽矩陣，簡化了圖像的多個標簽，更方便作為監督信息；

2）設計合適的損失函數，本文中的損失函數包含了哈希碼與圖像語義之間的差異、圖像特征量化為哈希碼時的量化誤差以及所有圖像哈希碼與平衡值的差值；

3）本文的框架是在特征提取模塊后增加了含有sigmoid函數的隱藏層，以使得網絡輸出的特征值更接近于0或1。

2 深度學習

在圖像檢索領域中存在很多基于成對標簽的監督哈希算法，如 KSH［9］、LSH［10］及 FastH［11］方法，這些方法都是基于手工設計特征的方法，沒有取得很好的效果。而后提出基于CNN的深度哈希算法，通過對相似度矩陣（矩陣中的每個元素指示對應的兩個樣本是否相似）進行分解，得到樣本的二值編碼，利用CNN和交叉熵損失對得到的二值編碼進行多標簽預測，相比之前的方法性能有顯著提升。之后又相繼出現深度神經網絡（Deep Neural Network Hashing，DNNH）［12］、DPSH［13］等提出端到端方法，使得學習到的圖像可以反作用于二值編碼的更新，更好地發揮出深度學習的能力。這個部分會講述本文的模型架構，這個模型是特征學習和哈希碼學習集合在一個端到端的框架里面。

其中，d(Li，Lj)表示的是兩個向量的漢明距離（兩個向量對應位不同的數量），σ(g)=1/(1+exp(-z))表示的是sigmoid函數，z表示任意實值，sigmoid函數的范圍為{0，1}，其輸出可以表示兩張圖片相似的概率，然后利用sign函數將概率轉換為0或1，sij若為 1，則第 i，j張圖片相似，若為 0，則不相似，所有圖片的標簽矩陣為S={sij}。

圖1顯示的是針對本文方法所構建的端到端深度學習框架，該框架由兩部分組成，這兩部分分別是用于獲取圖像特征的卷積神經網絡模塊和用于框架學習的損失函數模塊。

圖1 深度學習框架

3 特征學習模塊

在卷積神經網絡領域存在很多通用的框架，如AlexNet［14］和 VGG［15］，這些架構集成了深度學習和哈希函數的創建，使用更加方便。本文基于AlexNet對特征學習模塊進行介紹。

這個模塊由上下兩個卷積神經網絡組成，這個兩個卷積神經網絡有相同的結構并且權值共享。每個網絡如AlexNet描述一致，前五層（F1-5）是卷積層，后接兩層（F6-7）全連接層。卷積層是用卷積核與前一層的局部輸出進行卷積，全連接層將學到的“分布式特征表示”映射到樣本標記空間，在整個卷積神經網絡中起到分類器的作用。整個模塊的前兩層及后三層都連接最大池化，取前一層局部輸出的最大值作為輸出，對圖片的高維特征進行降維并保留其重要特征。每個卷積層和全連接層都包含有 ReLu（Rectified Linear Units）激活函數［16］，使得訓練的速度更快。

令θ表示第七層之前網絡的所有權重，將兩個圖像xi，xj分別輸入上下兩個卷積層，第七層輸出D維的特征向量個向量會同時輸入隱藏層，進行成對標簽的哈希函數的預測。

4 基于哈希碼的損失函數模塊

如圖1所示，損失函數是由兩部分組成：成對損失函數和平衡哈希碼損失函數。設計合適的損失函數，然后利用隨機梯度下降算法（stochastic gradient descent，SGD）［17］進行網絡權重優化。成對損失函數是利用輸出兩個圖像的哈希碼的漢明距離判斷兩個圖像的標簽是1或者0。第二類損失是針對生成有效哈希碼所設定的損失函數，通過優化隱藏層和0.5之間的差值之和，讓隱藏層的激活函數的輸出更接近于0或1，生成更為有效的哈希碼。

4.1 成對損失函數

其中，WT表示的是第七層全連接層到隱藏層之間的權重，v表示偏差。所有圖片的哈希碼轉換成二進制矩陣，本文根據LFH定義成對標簽矩陣S的可能性為

針對成對標簽矩陣S，成對損失函數采用交叉熵損失函數［18］進行優化：

從以上公式可以發現當兩張圖的相似度越高，哈希碼漢明距離越小，根據最大似然估計，可以得到此時s=1的概率也就越大，J1也就越小。但是因為離散優化是NP難問題，所以根據LFH方法將

4.2 平衡哈希碼損失函數

除去根據語義相似度優化圖像哈希碼的相似度，還需要針對生成的哈希碼進行優化。哈希碼的優化包括兩部分：特征值轉換為哈希碼存在的量化誤差和針對哈希碼平衡的優化。第一部分從特征值到哈希碼的量化誤差是讓特征值在輸入sign函數之前盡可能地接近于0或1；第二部分是保持哈希碼的平衡性。

哈希碼是圖像特征通過隱藏層之后得到的以0或1組成的二進制編碼，但圖像特征的特征值取值范圍很大，所以優化相應的損失函數讓圖像特征通過隱藏層的激活函數后輸出值aiH能夠更加接近于0或1，減少量化誤差。針對第一部分，損失函數設定為與0.5之間的平方差之和，即

如何保證哈希碼的平衡性，最好的情況是訓練樣本的所有哈希碼字節50%為0，50%為1，但是因為本文采用SGD進行優化，SGD是將所有訓練數據隨機分為多個batch，讓每個batch保持哈希碼的平衡很難實現。所以針對這種情況設計損失函數限制每個batch哈希碼的不平衡。給定一張圖片Ii，其是在｛0，1｝上的離散概率分布。我們希望隨機生成0和1的概率是相等的，所以設定第二部分的損失函數為mean(·)表示的是計算向量中所有元素的平均值。這種方法有助于針對一個學習對象生成相同數量的0和1，同時也讓兩個有相同0和1數量的哈希碼之間最小漢明距離變成了2，使得哈希碼更加分離。

最后將兩個限制條件結合起來，通過優化（7）讓aiH的每個bit有50%的概率成為0或者1：

其中，p∈{0，1}上式將所有損失加起來作為損失函數，當只針對一個訓練樣本，可以通過（7）對每個損失項都進行優化。本文中的網絡通過最小化損失函數學習到與圖像語義相似的有效的二進制哈希碼表達。

4.3 學習過程

將所有損失項結合起來：

然后，我們可以利用ui更新參數W ，v和θ：

5 實驗分析

5.1 實驗數據和實驗設備

CIFAR-10數據集總共包含60000幅彩色圖片，分為10個種類，每一類包含6000張圖片，每張圖片大小為32×32。整個數據集分為50000幅訓練圖片和10000幅測試圖片。NUS-WIDE數據集包含269684幅圖像，81種標簽，是一個每張圖片帶有多個標簽的數據集。

在實驗中本文的方法會與其他幾種目前效果較好的方法進行對比，這些方法分為四類。

1）手工提取特征（512維的GIST描述符）的哈希方法（包括監督哈希和無監督哈希）：SH、ITQ、SPLH、KSH、FastH、LFH、SDH；

2）利用成對標簽的深度哈希方法：CNNH、DPSH；

3）利用三標簽的深度哈希方法：DSRH、DRSCH、DSCH所有的實驗都采用了 Matlab的MatConvNet工具箱，并且是在GT840M上運行整個框架。

5.2 評價標準

本文采用兩個評價標準去評判以上采用的所有方法的性能。這些評價標準表示的是哈希算法的不同性能：

1）平均準確率（mean average precision，mAP）：將查詢圖片與數據庫所有圖片的之間的漢明距離進行排序，然后計算mAP。mAP是用來衡量本文提出方法的準確性。

2）平均訓練速度（mean training speed，mts）：表示模型每秒能訓練多少張圖片。這個評價標準能夠體現出哈希算法生成哈希的有效性。

5.3 實驗結果

第一個實驗中CIFAR-10選擇1000幅圖片作為測試圖片，每種標簽有100幅圖片。無監督哈希的訓練數據集就是除卻測試圖片剩下的所有圖片，監督哈希的訓練數據集是在除卻測試圖片剩下的所有圖片中隨機選擇5000幅圖片，每類標簽包含200幅圖片，NUS-WIDE則是隨機選擇21種標簽，每種標簽包含100張圖片。然后在剩下的圖片中每一個類別中隨機選擇500張圖片。NUS-WIDE數據集的mAP是利用返回的相似的前5000張圖片計算的。mAP的結果如表1所示。

表1 本文方法與對比方法mAP

表2 本文方法與DPSH在CIFAR-10上的訓練速度

表1表示了本文方法與對比方法在CI?FAR-10和NUS-WIDE上的mAP，相比手工提取特征的哈希方法，無論是監督哈希還是非監督哈希，都無法達到利用CNN提取圖像特征更為有效。在利用CNN提取特征的方法中，DPSH方法同時進行特征學習和哈希碼學習，其性能又比CNNH這種無法同時進行特征學習和哈希碼學習的方法性能要好。通過分析表1和表2可以發現本文方法相比DPSH不僅在mAP上有所提高，而且訓練速度也有所提升，首先可以發現通過修改后的框架和損失函數不僅生成更為有效的哈希碼，提升生成哈希碼的速度，還能加強判別相似或不相似哈希碼的能力，提高了檢索的準確率。

表3是第二個實驗得出的結果，是對基于成對標簽的哈希函數與基于排序標簽的哈希函數的比較，測試數據和訓練數據與第一個實驗不一樣，CI?FAR-10中隨機選擇10000幅圖片作為測試數據，每一類有1000幅圖片，其余的圖片作為訓練數據。NUS-WIDE是隨機選擇2100幅圖片作為測試數據，總共21類，每一個有100幅圖片，其余的作為訓練數據，NUS-WIDE數據集的mAP是利用返回的相似的前50000幅圖片計算的。作本文方法與DPSH是基于成對標簽的哈希函數，DRSCH、DSCH和DSRH是基于排序標簽的哈希函數，從表3可以看出基于成對標簽的哈希函數比基于排序標簽的哈希函數的準確度更高。

表3 成對標簽哈希算法與排序標簽哈希算法

6 結語

本文提出了一個針對端到端的哈希學習的圖像檢索方法，本文方法將目標損失函數與針對哈希碼本身設定的損失函數結合在一起組成新的損失函數，本文的方法不僅能夠同時進行特征學習和哈希碼學習，并且能夠生成更好的哈希碼。在具體數據集上的實驗可以看出本文的方法相比其他方法既提高了圖像檢索的準確度，還提高了訓練模型的速度。