融合局部聚合描述符和全局特征的現勘圖像分類算法

劉 穎， 倪天宇， 王富平， 劉衛華， 艾 達

(1.西安郵電大學圖像與信息處理研究所，西安 710121； 2.電子信息現場勘驗應用技術公安部重點實驗室，西安 710121)

現勘圖像數據是公安現場勘驗信息的重要組成部分，而現勘圖像分類 (crime scene investigation image classification,CSIC) 可以為刑偵破案提供很重要線索，并且為案件串并研判提供關鍵信息。隨著先進公安刑偵現勘視頻圖像采集設備的技術革新和功能完善，使得公安現勘系統中圖像數據的數量急速增長，且種類眾多。傳統人工分類和標注的方式已經難以滿足海量數據處理的需求。為了節省人力物力及進一步提高公安機關的工作效率。因此，研究設計高效的現勘圖像分類算法具有重要意義[1-2]。

在現勘圖像分類中，圖像有效的特征表示非常重要。現有的現勘圖像分類方法主要通過對整幅圖像提取全局特征，如顏色、紋理和形狀等特征來表示圖像[3-4]。蘭蓉等[3]提出基于紋理與形狀特征融合的刑偵圖像檢索算法，通過雙數復小波變換和多參數灰度共生矩陣提取現勘圖像紋理特征，并將提取的Hu不變矩形狀特征與紋理特診進行融合實現分類任務。而趙玉丹等[4]提出一種基于模糊K近鄰(k-nearest neighbor, KNN)的現勘圖像場景分類算法，算法將提取的局部二值模式 (local binary pattern, LBP)[5]特征和基于小波變換提取的紋理特征進行融合，利用模糊KNN方法對圖像進行分類。但全局特征缺乏圖像局部信息，而且對光照變化、尺度縮放等圖像變換的魯棒性較差，為了彌補全局特征的不足，尺度不變特征變化(scale-invariant feature transform, SIFT)特征被提出。其對圖像旋轉、尺度縮放、亮度變化保持不變性，并且被廣泛應用。針對SIFT特征計算復雜度高的不足，D-SIFT描述子[6]通過對圖像均勻分塊并提取每個子塊圖像的SIFT特征，從而得到了密集分布的特征點以提取豐富的圖像信息。為了獲得精確和稀疏的圖像特征，將局部特征描述子通過特征編碼技術進行編碼量化，如詞袋模型(bag of words, BOW)[7]、空間金字塔(spatial pyramid matching, SPM)[8]、費舍爾向量(fisher vector, FV)[9]、局部聚合描述符(vector of locally aggregated descriptors, VLAD)[10]等。BOW模型是通過投票方式把特征量化到與其最近鄰的視覺詞典當中，不足之處在于特征的空間信息損失及量化損失。針對特征的空間信息損失，SPM通過多尺度匹配技術利用了特征的空間分布信息，實現精細匹配。同時針對量化損失，FV算法先對提取的圖像特征使用混合高斯模型 (gaussian mixture model, GMM) 聚類得到一個概率字典，去估計特征的分布，但計算耗時。而VLAD既考慮了每一維的特征，計算量小，又更加細致地刻畫了圖像的局部信息，并很好的應用在圖像分類中[11-12]。

針對由于現勘圖像場景多變、背景復雜、拍照時光照及角度影響等因素導致的分類準確率不高，提出一種融合VLAD和全局特征的現勘圖像分類方法。分別提取圖像低層全局特征和通過VLAD編碼的局部特征，并將融合的特征作為圖像最終的特征表示，在現勘圖像上分類效果明顯提高。

1 融合VLAD和全局特征的現勘圖像分類算法

圖像分類算法主要包括圖像特征提取模塊和分類器設計模塊。圖像特征提取主要實現從圖像數據庫提取具有緊湊結構和強判別力的特征。分類器設計是將訓練圖像特征作為樣本，根據特定準則學習出最優分類器，如SVM。進而利用訓練得到的SVM分類器對圖像數據庫中測試圖像進行分類預測。主要流程如圖1所示。

針對低層全局特征的不足，為了進一步提高圖像特征的表征能力，分別提取現勘圖像低層的HSV顏色直方圖、LBP紋理特征和改進的Dense-SIFT局部特征，利用VLAD編碼對圖像局部特征進一步描述，去除圖像中冗余的信息，并將編碼后的Dense-SIFT局部特征和低層特征進行融合生成圖像的綜合特征，然后利用SVM分類器對圖像進行分類。具體流程如圖2所示。

圖1 圖像分類

圖2 融合VLAD和全局特征的現勘圖像分類算法框架

1.1 圖像視覺特征提取

圖像的視覺特征提取是圖像內容分析的基礎，在現勘圖像分類中占有重要的位置，直接影響分類的準確率。

1.1.1 全局特征提取

顏色特征是圖像處理中廣泛應用的基本特征之一，其對圖像仿射變換具有強魯棒性且計算高效。其中HSV顏色空間同人類視覺感知相似且被廣泛用于計算圖像中彩色信息。可將RGB顏色空間轉化為HSV顏色空間，采用顏色矩來提取顏色特征。其中qij表示像素j的第i個顏色值，i=1代表H分量，i= 2代表S分量，i=3代表V分量，n為圖像中像素點的個數。分別求出每個通道的一階、二階及三階顏色矩，將3個顏色通道的9個顏色矩作為顏色特征FHSV。

一階顏色矩：

(1)

二階顏色矩：

(2)

三階顏色矩：

(3)

紋理特征反映了圖像強度變化周期性規律和圖像結構的空間分布特性。可以通過對圖像的灰度變化規律進行分析來提取。其中LBP具備旋轉不變性和灰度不變性等優點。LBP算子是以圖像中心像素的灰度值作為閾值，分別將鄰域與中心像素灰度值進行比較，若大于中心像素灰度，則鄰域賦1，否則為0。比較完所有的鄰域后，將二進制碼進行十進制轉換，即為中心像素點的LBP模式如圖3所示。將圖像均勻分為4塊，分別統計每一塊子圖的LBP碼直方圖，生成256維LBP特征。最終將4塊子圖LBP特征級聯得到整幅圖像的LBP特征向量FLBP。

圖3 LBP算子

(4)

式(4)中：P為鄰域像素點的個數；R為鄰域半徑；gc為中心像素的灰度；gi為鄰域中第i個像素的灰度值，i=0,1,…,P-1。

1.1.2 Dense-SIFT特征提取

尺度不變特征變換(scale invariant feature transform, SIFT)特征描述符不僅對圖像尺度縮放、旋轉、仿射變換具有較強魯棒性，而且對亮度及視角變化、噪聲干擾也相對穩定。在基于局部視覺特征的圖像識別應用中，通常用SIFT描述符來描述圖像內容。但SIFT特征只提取圖像中穩定特征點周圍的局部特征，缺乏圖像全局特征。而且SIFT特征點檢測方法計算復雜度高，十分耗時。相比之下，Dense-SIFT特征提取方法更加高效。

Dense-SIFT描述子通過對圖像均勻分塊并計算子塊的SIFT特征。由于不需要進行關鍵點檢測，使得算法計算復雜度大大降低。為提取的特征點統一分配尺度參數，避免了復雜的尺度估計過程。Dense-SIFT提取如圖4所示，將圖像尺度規格化為256×256像素，采樣步長為8×8像素，在圖像上自左向右、從上到下提取Dense-SIFT的采樣窗體圖像塊。其中采樣窗體為16×16像素計算一個SIFT描述符，最終一幅圖像可表示為961×128維的特征向量FD-SIFT。

圖4 Dense-SIFT提取示意圖

1.2 生成視覺詞典

(5)

從X中隨機選取k個元素，初始化聚類中心，然后分別計算剩余元素到k個聚類中心的歐氏距離，并將它們分配到最近的聚類中心。根據聚類結果，重新計算k個類各自的中心，計算方法是取類中所用元素各自維度的算術平均數，將X中全部元素按照新的中心重新聚類，直到聚類結果不再變化為止。

1.3 VLAD特征編碼

假設對一幅圖像提取n個局部特征向量，計算每個特征向量與其最近鄰的視覺詞典單詞之間的殘差。視覺單詞ci的累計殘差如式(6)所示：

(6)

式(6)中：ci∈C，NN(X)=ci表示x的最近鄰視覺單詞為ci，vi表示圖像中局部特征與最近鄰視覺單詞ci之間殘差的累計和。而圖像的VLAD特征由所有視覺詞典上的殘差聚合構成V=[v1,v2,…,vM]∈RD×M，進一步為了提高分類準確率及分類器的訓練速度，對聚合的VLAD特征描述符進行L2范數和SSR方法歸一化處理[14]。先利用式(7)中SSR方法歸一化處理：

(7)

再對vi進行L2范數歸一化處理：

(8)

歸一化的VLAD編碼向量V作為圖像的局部特征FVLAD。

1.4 特征融合

由于單一特征對圖像描述的不足，缺乏區分能力，為此，提出將全局特征和局部特征進行融合去描述圖像內容。并分別提取圖像的全局HSV顏色直方圖特征FHSV、LBP紋理特征FLBP和基于局部Dense-SIFT特征的VLAD特征FVLAD。然后將每一幅圖像的顏色特征FHSV、紋理特征FLBP和VLAD特征FVLAD進行串聯生成綜合特征FN，以全面地描述圖像內容，如式(9)所示：

FN=[FHSV,FLBP,FVLAD]

(9)

訓練數據集中所有圖像的綜合特征FN被用于進行SVM分類器的訓練。

1.5 訓練SVM分類器

使用SVM分類器[15]進行現勘圖像分類處理。在分類器訓練階段，采用一對多法(one versus rest, OVR)訓練分類器，影響SVM分類效果的因素除特征選擇和訓練樣本選擇外，最重要的就是核函數的選擇，核函數是將空間線性不可分的特征映射到高維特征空間內，使得數據在特征空間內變成可分的。如何選擇最優的核函數，對圖像分類中SVM的性能表現至關重要，因此采用以下兩種核函數進行實驗比較。

徑向基核函數(RBF):

(10)

直方圖交叉核函數(HIK)：

(11)

測試階段，利用訓練獲得的SVM分類器對新的測試圖像預測其分類。分類的評價指標用MAP(mean average precision)和AP(average precision)衡量，其中AP指圖像中每個類的分類準確率，MAP為所有類別分類平均準確率。

2 實驗

為驗證所提算法的有效性，在3個數據集上進行測試。分別是西安郵電大學圖像與信息處理研究所(Center for Image and Information Processing, CIIP)依托于電子信息現場勘驗公安部重點實驗室平臺，科研人員在不同時間、環境(光照、氣候)及拍攝條件下(距離、尺度、放射角)采集的現勘圖像中現勘5K、輪胎5K數據集[16]和Corel-1K數據集。實驗環境為Intel(R) Core(TM) i5-8400H @ 2.8 GHz四核CPU,8 GB RAM, MATLAB 2016a。將提出的算法分別與基于全局特征(HSV+LBP)、基于詞袋模型(Dense-SIFT+BOW)和基于空間金字塔模型(Dense-SIFT+SPM)的分類算法進行對比實驗，分別比較單類別分類準確率和平均分類準確率。

2.1 現勘5K數據庫圖像分類

現勘5K圖像數據庫包含10個類別共5 000張圖像樣本，類別包含血跡、車輛、指紋、平面圖、鞋印、皮膚、紋身、作案工具、輪胎和窗戶。其中訓練4 000張，測試1 000張，部分示例如圖5所示。

在實驗中，隨機從每個類選出400幅作為訓練圖像，剩下的100幅作為測試圖像，利用SVM分類器進行預測，統計其平均分類準確率。實驗結果如圖6中混淆矩陣所示，鞋印類分類準確率最高，其主要原因鞋印圖像采集過程規范，圖像內容一致性較強。輪胎、皮膚、指紋和平面圖4個類別分別有個別圖像分到其他類中，但整體分類準確率仍然很高，而作案工具類分類準確率較低，主要原因是作案工具龐雜，包含刀、槍和堆積物等不同細目的類別。但在隨機選取訓練樣本時很有可能選取某一細目類別進行訓練，在測試樣本特征匹配時具有一定的誤差，導致分類準確率相對較低，但也達到83%。

圖5 現勘圖像示例

不同算法對于各類的分類結果如表1所示，其中基于HSV+LBP的分類準確率最低，也說明了低層特征對現勘圖像描述的不足，而基于Dense-SIFT+VLAD的分類準確率要比Dense-SIFT+BOW和Dense-SIFT+SPM好。但由于這些方法只利用了單一的全局或局部特征進行圖像表示，對圖像內容描述不夠精準，導致部分類別分類準確度不理想。而本文算法將低層HSV顏色特征、LBP紋理特征和局部聚合描述符(Dense-SIFT+VLAD)進行融合，充分利用圖像全局和局部特征信息，使得分類準確率都達到最優。

圖6 現勘5K分類結果的混淆矩陣

表1 現勘5K數據集上的分類結果

2.2 輪胎5K數據庫圖像分類

輪胎5K圖像數據庫包含100種共5 000張輪胎花紋圖像，其中每類輪胎50張。實驗中對于每類圖像分別取不同數量k(k=10、 20、30、 40)的圖像作為訓練圖像，剩余圖像作為測試圖像。不同算法的分類結果如圖7所示，本文算法在不同k下均達到最高的分類準確率。當每類樣本數量k=40時，算法的平均分類準確率都達到最高，說明增加訓練樣本數量有助于訓練出更好的分類器。

圖7 輪胎5K數據集上的分類結果

2.3 Corel-1K數據庫圖像分類

Corel-1K數據庫有10個類每類100張圖像，類別分別為大象、非洲、公共汽車、海灘、建筑、恐龍、馬、山、食物和鮮花，其中訓練圖像700張，測試圖像300張。本文算法的分類混肴矩陣如圖8所示，不同算法分類結果如表2所示。

對比結果表明，雖然本文算法在分類準確率上普遍高于其他算法，甚至在部分類別(如公共汽車、恐龍和馬)上達到100%的分類準確度。但在部分類別(如山、建筑、非洲、鮮花)上分類準確率明顯不理想，說明本文算法對部分自然場景或物體的分類效果不理想。綜合現勘5K數據庫圖像分類和輪胎5K數據庫圖像分類的結果，也進一步說明本文算法更適用于現勘圖像分類。

2.4 核函數對現勘數據庫分類的影響

為了進一步驗證SVM分類器核函數對現勘數據庫分結果的影響，本文算法分別使用RBF和HIK核做了對比實驗，分類準確率如圖9所示。

對比結果表明，基于HIK核函數的圖像分類準確度要高于基于RBF核函數，因此基于HIK核函數的SVM更適合用于現勘圖像分類器。

圖8 Corel-1K分類結果的混淆矩陣

表2 Corel-1K數據集上的分類結果

圖9 不同核函數在現勘5K上的分類結果

3 結論

提出了一種融合VLAD特征和全局特征的現勘圖像分類算法。首先提取圖像Dense-SIFT局部特征，然后將局部特征編碼成VLAD特征描述符，然后與圖像低層HSV顏色直方圖特征、LBP紋理特征進行融合，最后采用基于HIK核函數的SVM分類器實現現勘圖像分類。通過現勘5K數據庫、輪胎5K數據庫和Corel-1K數據庫，與基于全局特征(HSV+LBP)、詞袋模型(Dense-SIFT+BOW)和空間金字塔(Dense-SIFT+SPM)的圖像分類算法進行了大量的對比實驗，結果表明本文算法分類準確率更高，更適用于現勘圖像分類應用。