二級分區下顏色融合紋理的刑偵圖像檢索

蘭 蓉 母保洋

(西安郵電大學通信與信息工程學院 陜西 西安 710121) (電子信息現場勘驗應用技術公安部重點實驗室 陜西 西安 710121) (陜西省無線通信與信息處理技術國際合作研究中心 陜西 西安 710121)

0 引 言

隨著犯罪率的不斷上升，采用現場拍攝圖像來獲取、保存犯罪證據已經成為公安機關的一種常用手段。因此，對刑偵圖像進行快速、準確、專業地處理顯得尤為重要。其中，對于刑偵圖像檢索算法的研究可以有效提高辦案效率，因此受到廣泛關注。

現存的刑偵圖像檢索算法主要是基于內容的圖像檢索[1](Content-based image retrieval，CBIR)。在CBIR中，圖像以視覺內容來建立索引，如顏色[2]、紋理[3]、形狀[4]、結構特征[5]等，計算查詢圖像與目標圖像的相似度，按照特征匹配進行檢索[6]。但是由于刑偵圖像數據庫(Crime Scene Investigation,CSI)具有圖像包含多目標、場景復雜、目標不確定的特點[7]，使其不同于一般的自然圖像庫，所以目前國內外關于刑偵圖像檢索算法的研究相對較少[8]。為了提高刑偵圖像檢索的準確性，文獻[9]提出一種將顏色距結合8方向6參數的灰度共生矩陣的檢索方法，但是8方向中存在4對共線方向，因此容易產生特征冗余。文獻[10]將形狀特征應用到刑偵圖像檢索中，但是其檢索準確率有待提升。文獻[11]將三層小波變換結合非等間隔量化的HSV直方圖實現檢索，但是提取的顏色特征缺乏空間信息。以上3種算法均缺乏對圖像局部區域特征的提取，因此影響了檢索的準確率。

針對上述算法對圖像局部區域特征描述的缺陷，基于算法的有效性與復雜度的考慮，本文采用二級分區將圖像劃分成局部子塊區域，同時以顏色自相關圖作為子塊的顏色特征，以雙樹復小波結合多方向多參數的灰度共生矩陣作為子塊的紋理特征，以串行的方式融合子塊區域特征，再利用 KPCA[12]進行特征選擇，剔除冗余數據，降低算法計算復雜度，并以歐式距離作為相似性度量，提出二級分區下顏色融合紋理的刑偵圖像檢索算法，并以實驗驗證其檢索性能。

1 顏色特征

由于刑偵圖像均由現場拍攝獲得，包含豐富的顏色信息，所以顏色信息是反映刑偵圖像的重要特征之一。本文選取包含像素點空間顏色信息的顏色自相關圖作為顏色特征。

由于常用于圖像顏色特征提取的顏色直方圖只統計了不同顏色在圖像中所占比例，缺乏對圖像像素點顏色空間信息的描述。為此，顏色相關圖(Color Correlogram)與顏色自相關圖(Color Auto-correlogram,CAC)[13]被提出。

顏色相關圖表示的是圖像I不同像素點顏色值之間的空間關系。設p1、p2是圖像的任意兩個像素點，p1∈Tci，p2∈Tcj等價于p1，p2∈I，則顏色相關圖的定義如下：

顏色自相關圖是顏色相關圖的簡化，定義為：

與顏色相關圖相比，顏色自相關圖只計算具有相同顏色像素點之間的空間關系，計算復雜度低、計算速度快、存儲空間小，所以本文選取包含空間信息的顏色自相關圖作為圖像顏色特征Tci。

2 紋理特征

除顏色信息之外，刑偵圖像中很多種類，如指紋、輪胎等圖像還包含著豐富的紋理信息。僅采用顏色特征描述，容易造成算法對圖像的區分度較低的不足，因此本文選擇雙樹復小波融合灰度共生矩陣提取圖像的紋理特征。

2.1 雙樹復小波變換

經典的小波變換[14]在提取紋理特征時存在平移敏感、方向選擇不足等缺點。為解決此問題，Kingsbury等于1998年提出雙樹復小波變換(Dual-tree Complex Wavelet Transform,DT-CWT)[15]。DT-CWT是由兩個平行的小波樹A和B構成的，變換公式為：

ψ(t)=ψr(t)+jψj(t)

(3)

式中：實部ψr(t)由上小波樹A生成，虛部ψj(t)由下小波樹B生成，且樹A的濾波器長度為偶數，樹B的濾波器長度為奇數，目的是保證濾波器之間的半采樣延遲。有關實驗結論表明該方法能夠顯著改善離散小波變換的平移敏感性，并能夠產生±75°、±45°、±15°六個不同方向的高頻子圖[16]。在上述方向提取圖像系數矩陣，能夠更為具體地描述圖像的紋理，同時保留邊緣等細節信息。一維雙樹復小波變換如圖1所示。

圖1 一維雙樹復小波變換

2.2 多參數灰度共生矩陣

灰度共生矩陣是像素之間距離和角度的矩陣函數，它通過計算圖像中具有一定距離和方向的兩個像素點灰度之間的相關性來反映圖像紋理在間隔、方向、變化幅度以及快慢上的綜合信息。

設大小為M×N的圖像的像素坐標(x,y)的灰度分布為f(x,y)，那么灰度共生矩陣可以表示為在角度θ方向上灰度值分別為f(x1,y1)=i和f(x2,y2)=j距離為d的頻率相關矩陣[17]：

P=[pij(d,θ)]

(4)

設圖像的灰度級用L表示，當θ取0°、45°、90°、135°時，灰度共生矩陣表示如下：

p(i,j,d,0°)=#{[(x1,y1),(x2,y2)]∈L×L|x2-x1=d,

y2-y1=0,f(x1,y1)=i,f(x2,y2)=j}

(5)

p(i,j,d,45°)=#{[(x1,y1),(x2,y2)]∈L×L|x2-x1=d,

y2-y1=d,f(x1,y1)=i,f(x2,y2)=j}

(6)

p(i,j,d,90°)=#{[(x1,y1),(x2,y2)]∈L×L|x2-x1=0,

y2-y1=d,f(x1,y1)=i,f(x2,y2)=j}

(7)

p(i,j,d,135°)=#{[(x1,y1),(x2,y2)]∈

L×L|x2-x1=-d,

y2-y1=d,f(x1,y1)=i,f(x2,y2)=j}

(8)

在計算灰度共生矩陣時，為了避免過多的灰度級帶來的龐大的計算量，首先將灰度級均勻量化為16級，然后再進行相關計算。在得到的灰度共生矩陣的基礎上，通過以下6個參數來描述紋理:

在式(13)、式(14)中:

式(9)-式(14)分別表示能量、熵、慣性矩、逆差距、相關指數、方差。通過這6個參數，圖像紋理的特性被有效地表達。統計0°、45°、90°、135°四個方向下的六個紋理參數，這樣就可以得到24個紋理特征值，較傳統的四參數灰度共生矩陣法，可以提取到更豐富的紋理特征。此紋理特征比文獻[9]的八方向的灰度共生矩陣紋理特征的計算復雜度更低，也減少了因4對共線方向所產生的特征冗余。

由于灰度共生矩陣是對尺度紋理特性的一種描述，所以可以彌補雙樹復小波缺少對不同尺度紋理空間分布描述的缺陷。因此雙樹復小波融合灰度共生矩陣能夠提取更為細致的紋理特征Tti。

3 二級分區下顏色融合紋理的檢索算法

由于刑偵圖像的特殊性，融合圖像全局的顏色特征與紋理特征僅涉及圖像全局信息，對于圖像區域的局部細節信息提取不足，缺乏對圖像目標與背景的區分。

如圖2所示，從人眼直觀感受的角度看，該圖的目標與背景顏色相近，使得圖像檢索結果易受背景影響。同時，由于匕首這類作案工具的形狀特點，使得該圖像中目標相對背景而言，所占像素的比例相對較小，即，圖像中大部分區域是背景，并不包含有效目標。此時，常用的全局特征提取方式容易使目標區域的特征淹沒在大量無效的背景區域的特征中，從而造成檢索結果的準確性降低。若對該圖像進行區域劃分，可將其分為包含目標的局部區域與不包含目標的背景局部區域兩類圖像塊。此時，針對劃分后的局部區域圖像塊，分別提取其顏色特征與紋理特征，這種特征將包含原圖像的局部空間結構信息。

圖2 示例圖像及其分塊

為獲取更有效的刑偵圖像特征描述，本文算法先對圖像進行區域劃分，再提取局部區域的顏色特征與紋理特征，最后融合局部區域特征對圖像進行刻畫。

3.1 區域劃分與局部區域特征提取

為了將圖像劃分為目標區域與背景區域兩類，且盡可能降低算法的復雜度，本文采用簡單區域劃分方式。假設圖像的大小為M×N,劃分后子塊的大小為m×n，圖像與子塊的關系如下：

M=2mN=2n

(15)

Ω=4ξ

(16)

圖3 分區示例圖

在刑偵圖像中以這種方式劃分區域，若劃分出對圖像區分度貢獻不大、沒有實質性目標的空白區域圖像塊，則把這些區域的特征值統一賦值為1或者0。

按上述方式劃分區域后，按照圖3中的圖像塊數字順序分別依次提取各區域的顏色特征與紋理特征，構成局部區域特征[Tci,Tti]，以串行的方式把各個局部區域特征融合，融合后的圖像特征向量為T=[Tc1，Tt1,Tc2,Tt2,…,Tci,Tti,…,TcΩ,TtΩ]，其中Ω代表圖像塊的個數。

3.2 基于KPCA的特征選擇

由于上述融合局部區域特征獲得的圖像特征向量存在維度過高和空間特征冗余的缺陷，從而影響檢索準確率并降低算法運行效率。因此，有必要對融合后的特征向量進行特征選擇，在提高算法效率的同時改善檢索精度。由于刑偵圖像內容豐富，特征之間一般存在非線性關系，因此本文選擇KPCA[18]進行特征選擇。

KPCA方法通過核函數把線性不可分的數據映射到高維空間中，使用主成分分析法進行降維。給定樣本數據Xt,t=1,2,…,N,N為輸入樣本的個數，定義Φ：RM→F,Xt→Φ(Xt)，RM為輸入空間，F為映射空間。定義mΦ,e為:

其中R1×N為樣本空間。

F的協方差矩陣為：

其中X=[X1,X2,…,XN]。

KPCA是求解特征值λKVK=∑VK,其中λK對應的特征向量為VK。若K表示式(17)所示的核矩陣，則由式(18)、式(19)可推導出式(20)、式(21)。

K={K(Xt,Xj)}tj={Φ(Xt),Φ(Xj)}tj

(17)

通過上述分析，基于KPCA的特征選擇步驟如下：

(1) 提取圖像庫中所有圖像的特征，得到特征矩陣Γ，圖像的特征向量為Fl=[f1,f2,…,fN]，ft∈R2 016。其中，向量維度=(顏色特征維度+紋理特征維度)×區域個數。

(3) 取αK的前p個分量用于式(22)做投影，即在KPCA空間降維后，選擇β=[β1,β2,…,βp]作為用于相似性計算的特征向量。

3.3 算法步驟

本文提出二級分區下顏色融合紋理的刑偵圖像檢索算法，具體算法步驟如下：

步驟1區域劃分。按照4.1節將圖像進行二級區域劃分，劃分后的區域個數為K。

步驟2特征提取。依次提取各局部區域的顏色自相關圖特征Tci和雙樹復小波融合6參數4方向的灰度共生矩陣的紋理特征Tti，并將Tci和Tti融合，以此獲得局部區域特征[Tci,Tti]。

步驟3區域融合。以串行的方式融合局部區域特征構成圖像特征向量，并進行特征歸一化處理。歸一化圖像特征為：

步驟5相似性度量。計算目標圖像特征與刑偵圖像庫中的圖像特征之間的歐式距離，將計算結果作為相似度，并按從小到大排序，得出檢索結果。

4 實驗結果及分析

本文算法的仿真系統環境為Windows 10，CPU為Intel Core i5-3230M，雙核，運存為8GB，操作系統為64位，編程軟件為MATLAB R2016a。

算法仿真實驗圖庫來自實用現勘(Crime Scene Investigation，CSI)數據庫。圖庫1是文獻[10]所采用的300幅刑偵圖像庫，共6類，分別為輪胎、汽車、現場、鞋印、作案工具以及指紋，每類50幅，除現場外，其他5類圖像均目標單一。圖庫2[19]是具有代表性的CSI子庫，分為車輛、道路、建筑、門、指紋、鞋印、工具、血跡共8類，每類50幅，總共400幅，均為多目標圖像。

本文使用的評價指標為精確度(precision)和召回率(recall)，計算公式為：

式中：R1為檢索返回的相似圖像數目，R2為檢索返回的圖像數目，R3為圖庫中同類圖像的數目。

本文在圖庫1上對分區級別與相似性度量的選取進行測試實驗，每一次確定R2值，所有圖像均參與檢索。選取平均精確度和平均召回率作為算法評價指標。

基于算法時效性的考慮，實驗中顏色自相關圖中的距離個數、像素點間距k以及灰度共生矩陣中的d均取值1，特征選擇中p取值為275。

4.1 不同分區級別對比

由于不同分區級別會有不同的實驗結果，因此本文在圖庫1中通過分別對不同級別的分區處理進行測試實驗，由于考慮到分區越多，算法復雜度增加，時效性降低，因此只比較前三級分區的實驗結果，如表1所示。

如表1中的平均精確度與召回率所示，當返回圖像為24幅時，有88.61%的圖像與檢索圖像相似，檢索結果最優。由于分區過少時，過大的圖像塊對局部區域信息表達較粗略，沒有實質性區分圖像的目標與背景；而分區過多時，過小的圖像塊又難以表達圖像的局部區域信息。因此本文算法選取二級分區作為圖像的區域劃分方式。

表1 不同分區級別實驗結果 %

4.2 相似性度量的選取

在圖像檢索中，檢索結果易受相似性度量方式的影響。本文在圖庫1中通過大量的測試實驗對歐式距離、街區距離、d1距離[20]以及切比雪夫距離共4種常用的相似性度量公式進行檢索結果對比，其中d1距離的計算公式如下：

式中：T=[t1,t2,…,tM]為圖像庫的任意圖像的特征向量，Q=[q1,q2,…,qM]為查詢圖像的特征向量，M為特征向量的維度。R2取不同值時的實驗結果如圖4與圖5所示。

圖4 4種相似性度量方式平均precision曲線圖

圖5 4種相似性度量方式平均recall曲線圖

圖4與圖5表明，采用歐式距離作為相似性度量進行檢索，其精確度和召回率均高于其他三種度量方式。文獻[8]的實驗結果表明街區距離在刑偵圖像檢索中表現較好，原因在于提取的特征存在冗余與異常數據的情況，同時街區距離對數據計算的魯棒性較好。而本文算法由于在相似性度量前加入KPCA特征選擇，冗余與異常數據被去除，所以在歐式距離相似性度量下本文算法表現最佳。因此本文算法選擇歐式距離作為檢索的相似性度量能保持較好的檢索性能。

4.3 特征選擇前后比較

為驗證特征選擇對于檢索結果的影響，本文在2個圖庫上進行特征選擇前后的檢索平均精確度與召回率對比,結果如表2所示。

表2 特征選擇前后實驗結果對比 %

由表2可知，在精確度與召回率上，本文算法的檢索結果優于特征選擇前的檢索結果。原因在于本文算法采用KPCA進行特征選擇，剔除冗余特征的同時降低圖像特征的維度，從而降低了計算復雜度，同時改善算法的檢索性能，檢索精確度與召回率均有所提升。

4.4 檢索結果與分析

為直觀地顯示本文算法的檢索優勢，由于圖庫1中的示例圖像2的目標與背景顏色相近，因此選取其作為檢索目標圖像。將相關的文獻[9]、文獻[10]、文獻[11]、TCAC(Texture and Color Auto-correlogram)以及本文算法做檢索結果對比。其中的TCAC是本文所設計的顏色融合紋理的檢索對比算法，該算法采用多參數的灰度共生矩陣結合雙樹復小波提取圖像的紋理特征，再融合由顏色自相關圖提取的圖像的顏色特征，從而獲得圖像的融合特征，并以街區距離作為相似性度量方式實現檢索。檢索結果如圖6-圖10所示。返回圖像數為10幅。篇幅有限，圖庫2檢索示例不再展示。

圖6 文獻[9]

圖7 文獻[10]

圖8 文獻[11]

圖9 TCAC

圖10 本文算法

從檢索結果中的相似刀具圖像可以看出，本文算法由于采用二級分區處理，將待檢索圖像劃分為含有目標和不含有目標的兩類圖像塊，提取的圖像特征在一定程度上包含對圖像的背景與目標的區分，而且具有空間結構信息，因此檢索出10幅相似圖像，優于其他4種算法的檢索結果，具有良好的檢索效果。

為客觀評價本文算法的整體檢索性能，將文獻[9]、文獻[10]、文獻[11]、TCAC以及本文算法在2個圖庫上的平均精確度與平均召回率實驗結果進行比對，R2取不同值時的實驗結果曲線圖如圖11-圖14所示。

圖11 圖庫1不同算法平均precision曲線圖

圖12 圖庫1不同算法平均recall曲線圖

圖13 圖庫2不同算法平均precision曲線圖

圖14 圖庫2不同算法平均recall曲線圖

如圖11-圖14中平均精確度與召回率曲線圖所示，本文算法的曲線圖均高于其他4種算法的曲線圖，表現出良好的檢索效果。首先，在圖庫1上，當R2=10時，本文算法比文獻[9]、文獻[10]、文獻[11]、TCAC這4種算法在平均精確度上平均高出11.38%，說明本文提出的分區域特征提取融合能夠有效地提升刑偵圖像檢索精確度；其次，在圖庫2上，當R2=10時，本文算法比文獻[9]、文獻[10]、文獻[11]、TCAC這4種算法在平均精確度上平均高出5.37%，說明本文算法對于多目標刑偵圖像檢索也具有較好的魯棒性。由于文獻[9]、文獻[10]、文獻[11]以及TCAC是圖像的全局特征融合，存在對圖像局部特征信息提取不足的缺陷，檢索精確度較低。而本文算法在前期經過分區域處理后，首先以圖像的各個局部區域進行特征提取，提取的圖像特征包含圖像的局部空間信息。其次，融合局部區域特征來充分刻畫圖像，獲得圖像的更加豐富的特征信息。因此對圖像之間的區分度更高，檢索結果較好。為進一步體現本文算法在刑偵圖像庫的各個類別上的檢索性能優勢，統計R2=10時，圖庫1在各類圖像的平均精確度實驗結果，如表3所示。

表3 圖庫1各類圖像平均精確度 %

從表3可知，3種文獻算法以及TCAC的檢索精確度不高，而本文算法針對所有類的平均精確度為93.97%，尤其是輪胎、汽車、現場、指紋、作案工具這5類圖像的平均精確度均處于90%以上，高于其他4種檢索算法的檢索結果。

5 結 語

針對現存的刑偵圖像檢索算法對圖像局部區域特征信息提取不足的缺陷，本文提出一種二級分區下顏色融合紋理的刑偵圖像檢索算法。通過本文算法與特征選擇前的算法對比實驗結果可知，在局部區域特征融合后，KPCA特征選擇可以降低算法的計算復雜度，有效提高檢索性能以及算法的魯棒性；通過本文算法與4種算法的對比實驗結果可知，將圖像分區域特征提取并進行區域融合，與已有的刑偵圖像檢索算法相比，在加入圖像空間結構信息的同時，充分利用了圖像的局部區域特征，可以有效地提高刑偵圖像檢索的準確性。

但是本文算法在紋理特征的提取過程上仍然具有一定的復雜度，未來將改進算法的紋理特征提取過程，以進一步提高檢索精確度。