基于顏色通道融合特征的現勘圖像分類算法

劉穎 張倩楠 王富平 雷研博 公衍超 楊凡超

摘? 要： 針對單一特征難以精確地表達復雜圖像內容的問題，提出基于顏色通道融合特征的現勘圖像分類算法。首先，分別在H，S和V三個顏色通道上提取圖像的 LBP 特征和GIST特征，并利用顏色空間信息進行加權融合;然后，將融合的LBP和GIST特征串聯形成新的特征描述向量，并用于訓練分類器以實現精確地現勘圖像分類。在現勘圖像數據庫上，大量實驗結果顯示提出的現勘圖像分類算法優于基于單一特征的圖像分類正確率。

關鍵詞： 現勘圖像分類; 顏色通道; 特征提取; 特征融合; 訓練分類器; 實驗分析

中圖分類號： TN911.73?34; TP391.41? ? ? ? ? ? ?文獻標識碼： A? ? ? ? ? ? ? ? ? ? 文章編號： 1004?373X（2020）04?0067?06

Crime scene investigation image classification algorithm based on color

channel fusion features

LIU Ying1，2， ZHANG Qiannan1， WANG Fuping1， LEI Yanbo1， GONG Yanchao1， YANG Fanchao3

（1.Institute of Image and Information Processing， Xian University of Posts and Telecommunications， Xian 710121， China;

2. Key Laboratory of Electronic Information Application Technology for Scene Investigation， Ministry of Public Security， Xian 710121， China;

3. Key Laboratory of Spectral Imaging Technology， Xian Institute of Optics and Precision Mechanics， Chinese Academy of Sciences， Xian 710119， China）

Abstract： A crime scene investigation （CSI） classification algorithm based on color channel fusion feature is proposed to solve the problem that it is difficult for a single feature to accurately express the complex image content. The LBP features and GIST features of the image are extracted from the three color channels of H， S and V respectively， and the weight fusion of them is performed with the color space information. The fused LBP and GIST features are connected in series to form a new feature description vector， which is used to train the classifier to realize accurate classification of the CSI image. On the CSI image database， a large number of experimental results show that the classification accuracy of the proposed CSI image classification algorithm is better than that of image classification based on a single feature.

Keywords： crime scene investigation image classification; color channel; feature extraction; feature fusion; training classifier; experimental analysis

0? 引? 言

隨著公安刑偵現勘技術的發展及現勘采集設備質量的提升，采集到的現勘圖像數據規模迅速增長。而現勘圖像數據內容豐富多樣，對現勘圖像數據的精確分類可以提高辦案人員的工作效率[1?2]。特征提取是實現圖像分類處理的關鍵環節，而常用的低層圖像特征包含顏色特征、紋理特征、形狀特征和空間特征。

顏色空間是顏色信息的表達方式，不同的顏色空間反映不同的顏色特征。常見的顏色空間有RGB，HSV，HIS和YCrCb等[3]。很多文獻將紋理特征、形狀特征等應用在不同顏色空間，用極值融合模式、求和融合模式和編碼模式[4]等方法提高圖像分類和檢索的性能。文獻[5]提出了一種使用聯合降維算法的顏色通道融合方法，通過HSV三通道中選擇更加可靠的特征進行人臉識別。文獻[6]提出了一種對光照強度具有不變性的紋理描述子，通過融合局部二值模式（Local Binary Pattern，LBP）和顏色對比度特征以構建新描述子，并采用夾角余弦相似性度量方法進行紋理圖像的分類。文獻[7]引入RGB顏色空間，分別對RGB三個通道計算局部GIST特征，串聯得到顏色局部GIST特征。文獻[8]使用聯合顏色通道和分層二進制模式進行快速和魯棒的旋轉不變對象檢測的方法，用作眾所周知的級聯AdaBoost中的分類器實現分類。文獻[9]使用卷積神經網絡（Convolutional Neural Networks，CNN），對比RGB，HSV和CIE Lab三種顏色空間中公共車輛的識別模型，選擇效果最好的RGB顏色空間提升智能交通系統的性能。

以上研究表明，在不同顏色空間提取低層特征并進行合適的融合，可以有效提高圖像的檢索與分類準確率。但是，特征層融合會面臨特征空間不匹配或“維度災難”等不足。本文提出一種新的顏色通道特征融合算法，在不增加特征維度的條件下，有效地融合了HSV顏色空間的三個通道上的LBP局部紋理特征和GIST全局特征。首先，在HSV三個通道上分別提取圖像的LBP特征和GIST特征，并在顏色空間上進行加權并聯融合;然后，將融合的LBP和GIST特征進行串聯形成最終的特征向量，并用于訓練分類器實現圖像分類。提出的算法既能將圖像的顏色特征、局部特征和全局特征進行有效融合，又避免了多特征融合造成的“維度災難”。實驗結果證明了該算法能提高現勘圖像的分類正確率。

1? 基于顏色通道融合特征的現勘圖像分類算法

現勘圖像數據庫包含局部信息突出和場景復雜的類別，為了更有效地描述多種類別現勘圖像內容，本文使用描述局部紋理的LBP特征和適用于場景分類的GIST特征來描述現勘圖像。LBP特征對于有豐富紋理細節的圖片十分有效，比如鞋印、指紋、皮膚和輪胎花紋;而GIST特征描述符適用于描述全局場景，所以對現勘圖像中場景比較復雜的圖片描述有效。

本文提出的基于HSV顏色通道融合特征的現勘圖像分類算法，包括三個環節：

1） 在HSV三個通道上分別提取圖像的LBP特征和GIST特征;

2） 對LBP特征和GIST特征分別進行加權并聯，并對融合LBP和GIST特征進行串聯融合。

3） 對融合特征進行分類器訓練，并基于SVM對圖像分類。

1.1? 基于顏色通道的LBP特征

Ojala等人針對紋理圖像提出LBP方法[10]，該方法具有抗光照性、旋轉不變性等優點，被廣泛應用在紋理特征提取和人臉識別為代表的諸多圖像處理和計算機視覺領域。隨后也有學者們提出改進的LBP算法。基于HSV顏色空間的LBP特征考慮到不同顏色空間的紋理特征，且H，S和V三個顏色通道獨立性強，進而提升了分類的正確率，同時HSV顏色空間的三通道融合也增強了通道間的魯棒性。

首先，對彩色圖像進行H，S和V三通道分離。然后，為了考慮特征的位置信息，將每個通道圖像均勻劃分為[2×2]個子塊，通過式（1）和式（2） 計算每個子塊中各像素的LBP值。最后，對各子塊進行直方圖統計，得到[2×2]個子塊的LBP直方圖，將各子塊直方圖級聯起來描述各通道圖像的紋理特征[LBPtG]，其中，[t=H，S，V]，有：

[LBPtix，y=n=1Nlbptnx，y*2n-1]? ?（1）

式中：

[lbptnx，y=1，? ? ?ftn（x，y）≥ft（x，y）0，? ?其他]（2）? ? ? [ftn（x，y）]表示圖像第t個顏色通道鄰域中第n個像素點的灰度值;[ ft（x，y）]表示圖像第t個顏色通道上中心像素點[（x，y）]的灰度值。

1.2? 基于顏色通道的GIST特征

現勘圖像很多類別是對案發場景的描述，GIST描述符作為全局特征很適合用于場景圖像。GIST特征最初是由Oliva提出的[11]，其使用一系列統計屬性來描述圖像場景信息，包括自然度、開放度、粗糙度等屬性[12]。構建GIST描述子步驟如下：

1） 在H，S和V三通道上分別對大小為[m·n]的圖像[ftx，y]劃分為均勻的[na·na]個網格，則每個網格的大小為[mna·nna]，其中，[t=H，S，V]。

2） 用[nc]個Gabor濾波器分別對三個通道的圖像進行卷積濾波，每個網格濾波后的結果是塊特征。

[nc=m·n]? （3）

式中：[m]為濾波器的尺度數;[n]為濾波器的方向數。

[Gtix，y=catncftx，y*gmnx，y] （4）

式中，[i=1，2，…，na·na];[ftx，y]中[x，y]為第[i]小塊中的坐標值;[Gti]的維數為[mna·nna·nc]。

3） 將上述每一小塊計算出的特征值取平均值，得到該小塊的GIST描述子特征：

[Gtnc=1mna·nna（x，y）Gtnc（x，y）? ]? （5）

式中：[Gtnc]表示在第[nc]個濾波后所產生的平均特征值;[Gtnc（x，y）]表示第[nc]個濾波后所產生的特征值。

4） 將每個網格產生的平均特征值級聯起來，得到各個通道圖像的全局GIST特征[GtG]，再將三通道的GIST特征進行加權并聯，最終得到三通道融合GIST特征。

1.3? 融合特征

根據現勘圖像的類別和特點，單一特征只能表達圖像的部分特征，為了更全面地描述現勘圖像各類別的內容信息，本文從顏色空間上對特征進行并聯融合，然后串聯LBP局部特征和GIST全局特征。

1） 特征并聯融合

設樣本空間[θ]的三個通道提取特征是A，B和C，特征向量表示為 [α∈A，β∈B，γ∈C]。并聯特征融合方法是將[α，β，γ]三個特征量融合成一個特征量[μ]，公式如下：

[μ=ω1*α+ω2*β+ω3*γ] （6）

式中，[ω1，ω2，ω3]為權重系數，其中權重系數同時滿足以下約束條件：

[0≤ω1，ω2，ω3≤1ω1+ω2+ω3=1]? （7）

因為在三通道提取相同的特征，所以[α，β，γ]三個特征量維度相同，且融合特征量[μ]的維度也相同。例如，[α=α1，α2，α3T]，[β=β1，β2，β3T]和[γ=γ1，γ2，γ3T]，然后加權成為融合特征[μ]，即：

[μ=ω1*α1+ω2*β1+ω3*γ1ω1*α2+ω2*β2+ω3*γ2ω1*α3+ω2*β3+ω3*γ3]? ?（8）

通過實驗得出：當三個通道的LBP特征[LBPTG]權重系數為1∶2∶7時分類正確率最高，三個通道的GIST特征[GGG]權重系數為0∶1∶9時分類正確率最高。

2） 特征串聯融合

將提取的LBP特征與三個通道的GIST特征進行串聯融合，圖像最終融合特征[F]為：

[F=cat（2，LBPTG，GGG ）] （9）

1.4? SVM多分類

目前，構造SVM多類分類器的方法有直接法和間接法。直接法是將多個分類平面的求解看作一個最優化問題，通過求解該最優化問題實現多分類。間接法的常見方法有一對一分類（One?Versus?One，OVO）和一對多分類（One?Versus?Rest，OVR）兩種。本文按照一對多方法構造核函數是RBF（Radial Basis Function，RBF）[13]核的SVM分類器，隨機選擇每個類別樣本數的60%作為訓練樣本，將剩余40%數據作為測試樣本。

2? 實驗結果

2.1? 實驗數據庫

1）CIIP?CSID數據庫[14]（CIIP Crime Scene Investigation Image database，CIIP?CSID）：由西安郵電大學圖像與信息處理研究所（Center for Image and Information Processing，CIIP）結合刑偵特殊行業的真實數據，自建的現勘圖像數據庫。該數據庫包含19 363幅圖片，共計52類，包括各類典型案件，如盜竊案、兇殺案、傷害案、破壞案等。實驗選取CIIP?CSID數據庫中血跡、車輛、指紋、現場平面圖、鞋印、皮膚、紋身、犯罪工具、輪胎花紋、窗戶10個類別，每個類別500幅圖像，數據庫共5 000幅圖像，圖2為CIIP?CSID示例圖。

2） Corel?1K數據庫：Corel?1K數據庫包含非洲、海灘、建筑、公共汽車、恐龍、大象、鮮花、馬、山和食物10個類別，每個類別100幅圖像，共1 000幅圖。

2.2? 分類性能評價指標

分類性能的評價參數選用正確率（Accuracy）為：

[Accuracy=TN×100%] （10）

式中：T為正確分類樣本個數;N為總樣本個數。當Accuracy值越高，說明分類的效果越好。

2.3? 實驗結果與分析

1） 實驗1：不同通道的特征分類結果對比

在CIIP?CSID數據庫上分別比較H，S，V三個通道、三個通道的融合以及原始的LBP特征和GIST特征對于圖像分類結果的影響。其中，LBP特征為[2×2×256=1 024]維特征;GIST特征把刑偵現勘圖像劃分成[4×4]的網格，用4尺度8方向的32個Gabor濾波器處理，最終得到圖像[4×4×32=512]維的GIST特征。不同通道的LBP特征分類結果如表1、表2所示。

可以看出，三通道融合的LBP特征整體的平均正確率與H，S和V三個通道以及原始LBP特征相比分別提高3.08%，7.74%，2.19%，3.85%。三通道融合的GIST特征整體平均正確率與其他特征相比分別提高9.19%，6.97%，1.41%，1.77%。

2） 實驗2：不同特征提取算法的分類結果對比

在CIIP?CSID數據庫上將本文算法與HSV直方圖特征、HOG特征、顏色矩特征、四層小波特征、詞袋（Bag?of?words，BOW）特征、CNN特征進行比較。其中CNN特征是以VGG?19網絡為基礎，在ImageNet數據集上進行模型預訓練，再利用遷移學習訓練現勘圖像CNN模型執行分類任務。從表3中看出，本文算法的平均分類正確率高于低層特征，但與CNN特征相比較，分類正確率相差3.49%。CNN特征通過對樣本進行不斷學習與訓練，在多目標圖像類別中表現突出，如“血跡”“車輛”“現場平面圖”“紋身”“犯罪工具”“作案工具”“窗戶”這些類別中CNN特征的正確率高于本文算法。而在單目標圖像類別中，“指紋”“鞋印”“皮膚”“輪胎花紋”類別中本文算法的正確率略高與CNN特征。卷積神經網絡在圖像分類中有很好的分類效果，但在訓練時間上與本文算法平均每張圖像多出0.047 s的時間，見表4。當訓練樣本過大時，卷積神經網絡的時間復雜度很高。

此外，筆者已經利用遷移學習方法進行現勘圖像分類實驗并取得較好結果。但由于CIIP?CSID數據庫數量規模不夠大，神經網絡無法得到充分訓練，難以發揮CNN的強大性能。因此，下一步工作中將研究如何將所提出的低層圖像特征與CNN特征結合來進一步提高分類效率。為了驗證本文算法的適用性， 在Corel?1K數據庫上比較本文算法、HSV直方圖特征、HOG特征、顏色矩特征、四層小波特征BOW詞袋特征、CNN特征。如表5所示，在Corel?1K數據庫上本文的分類正確率高于其他低層特征提取算法，但平均正確率低于CNN特征的正確率。然而“建筑”“大象”“鮮花”“山”這些單目標的圖像類別，本文算法的正確率接近于CNN特征的正確率。可以看出本算法無論是現勘數據集還是Corel?1K數據庫，對于圖像場景復雜、目標不明確的圖像的分類性能還需要提高。

3） 實驗3：CIIP?CSID上不同融合特征以及不同融合系數的分類結果

三通道融合LBP及GIST特征不同權重的分類結果如圖3、圖4所示。

可以看出，當融合LBP特征中的三個通道特征的權重系數為1∶2∶7時比其他權重的正確率要高，在現勘圖像數據庫上平均分類正確率為84.72%。當GIST的三個通道特征的權重系數為0∶1∶9時可以獲得最高的分類正確率，在現勘圖像數據庫上平均分類正確率為91.22%。可以看出，當 GIST場景描述符分離在三個通道上時，H通道相比其他通道提供的信息少，因此H通道不參與融合后的正確率最高。

圖5是用LBP特征與GIST特征進行串聯的結果和本文融合方法進行對比。可以看出，在LBP特征與GIST特征串聯之前，對特征進行顏色空間上的加權并聯融合能提高現勘圖像每個類別的分類正確率。

3? 結? 語

為了提升現勘圖像分類的正確率，本文提出一種基于顏色通道特征融合的圖像特征提取算法。該算法有兩點創新：

1） 將LBP特征和GIST特征應用在HSV顏色通道上，使最終融合特征包含局部LBP特征和全局GIST特征的同時加入圖像顏色信息。

2） 在顏色通道中分別對LBP特征和GIST特征進行基于空間信息的加權融合及串聯融合，在保證融合特征維度不變的同時，提高了其分類正確率。在現勘圖像數據庫上，實驗結果表明本文提出的現勘圖像分類算法的有效性。

注：本文通訊作者為張倩楠。

參考文獻

[1] 劉穎，胡丹，范九倫.現勘圖像檢索綜述[J].電子學報，2018，46（3）：761?768.

[2] LIU Ying， PENG Yanan， LIM Kengpang， et al. A novel image retrieval algorithm based on transfer learning and fusion features [J]. World wide web?internet & web information systems， 2018（1）： 1?12.

[3] SARAVANAN G， YAMUNA G， NANDHINI S. Real time implementation of RGB to HSV/HSI/HSL and its reverse color space models [C]// International Conference on Communication and Signal Processing. New Jersey： IEEE， 2016： 462?466.

[4] 劉濤，周先春，嚴錫君.多通道多模式融合LBP特征的紋理相似度計算[J].計算機應用研究，2018，35（12）：289?292.

[5] LU Z， JIANG X， KOT A C. A color channel fusion approach for face recognition [J]. IEEE signal processing letters， 2015， 22（11）： 1839?1843.

[6] CUSANO C， NAPOLANTANO P， SCHETTINI R. Illuminant invariant descriptors for color texture classification [C]// International Conference on Computational Color Imaging. Berlin： Springer， 2013： 239?249.

[7] 楊昭，高雋，謝昭，等.局部Gist特征匹配核的場景分類[J].中國圖象圖形學報，2013，18（3）：264?270.

[8] KIM I， SUNG J， LEE D， et al. Fast and robust rotation invariant object detection with joint color channel and hierarchical binary pattern [C]// 2015 12th International Conference on Ubiquitous Robots and Ambient Intelligence. Goyang： IEEE， 2015： 1221?1225.

[9] RACHMADI R F， PURNAMA I K E. Vehicle color recognition using convolutional neural network [J]. Computer vision and pattern recognition， 2015（14）： 41?46.

[10] OJALA T， PIETIKAINEN M， MAENPAA T. Multiresolution gray?scale and rotation invariant texture classification with local binary patterns [C]// European Conference on Computer Vision. Dublin： IEEE， 2000： 404?420.

[11] AUDE Oliva， ANTONIO Torralba. Modeling the shape of the scene： a holistic representation of the spatial envelope [J]. International journal of computer vision， 2001， 42（3）： 145?175.

[12] DESAI R， SONAWANE B. Gist， HOG， and DWT?based content?cased image retrieval for facial images [M]. Singapore： Springer， 2017.

[13] GOWDA S N. Fiducial points detection of a face using RBF?SVM and adaboost classification [C]// Asian Conference on Computer Vision. [S.l.]： Springer， 2016： 590?598.

[14] Center for Image and Information Processing in Xian University of Posts and Telecommunications. “CIIP?CSID” Crime scene investigation image database [EB/OL]. [2017?04?19]. http：//www.xuptciip.com.cn/show.html？database?xksjk04.