超像素詞包模型與SVM分類的圖像標注

於 敏， 于鳳芹， 陳 瑩

(江南大學 物聯網工程學院，江蘇無錫 214122)

?

超像素詞包模型與SVM分類的圖像標注

於 敏， 于鳳芹， 陳 瑩

(江南大學 物聯網工程學院，江蘇無錫 214122)

為了改善基于詞包模型與支持向量機(SVM)分類一幅圖對應一個標簽的單標簽分類問題，提出了一種基于超像素詞包模型與SVM分類的圖像標注算法。將超像素分割結果作為詞包模型的基本單元，用詞包模型生成的視覺詞匯表示超像素區域特征，保留了圖像中的同質區域，很好地利用了圖像的區域特征。仿真結果表明，該方法能有效改善基于詞包模型與SVM分類的單標簽分類問題，且分類的準確性有所提高。

超像素分割； 詞包模型； 支持向量機分類； 視覺詞匯； 圖像分類； 圖像標注

0 引 言

圖像標注通過對圖像的底層特征進行語義建模，用生成的語義模型來標注圖像內容。圖像標注技術在醫學圖像標注、數字圖書館、機器人視覺場景理解、數碼相片檢索等方面具有廣泛的應用前景。按照語義學習方法不同，圖像標注可分為基于傳統的分類方法[1～5]、基于概率統計模型方法、基于圖學習算法[3]等三種方法。最典型分類模型的就是1998年Chapelle O提出的模型，該模型對一個特定的概念訓練支持向量機(SVM),屬于這個概念的訓練圖像被認為是正例。針對圖像分類標簽較少的問題，文獻[1]提出SVM多分類組的方法，使用多級分類的方法對圖像先進行多次分類，提高分類結果的準確性。文獻[2]提出融合基于多示例學習和基于全局特征的SVM分類結果對圖像進行分類，提高了SVM分類結果的準確性。由于傳統的基于SVM分類方法，一幅圖使用一個固定維數的向量進行描述，并沒有考慮圖像區域的特征和類別。文獻[4]第一次將詞包模型引入計算機視覺領域，通過對圖像特征聚類生成的視覺詞匯來描述表達圖像。文獻[5]提出空間金字塔匹配方法，對圖像進行均勻分塊，并將所有分塊的特征拼接成圖像的最終特征形式，提高了分類效果。

本文采用超像素作為圖像分類的基本單元，不同的區域用不同的標簽表示。該方法首先用詞包模型進行建模構建視覺詞匯；然后對測試圖像進行超像素分割，用視覺詞匯表示區域特征；最后對區域分別進行SVM分類，選擇圖像中出現頻率較多的類別作為該圖像分類的最終結果。

1 超像素詞包模型

1.1 生成視覺單詞

Dense Sift[5]特征是Sift特征的改進，現已經被廣泛的運用。DenseSift對圖像特征采用密集提取的方法，從左到右，從上到下依次遍歷整幅圖像，對固定網格中的特征點進行Sift描述得到大量的局部描述特征，產生128維的特征向量。對特征向量采用k-means聚類算法生成視覺詞典，然后采用向量量化編碼對圖像底層特征進行編碼，將每個局部特征只映射到與其距離最相近的視覺單詞，完成底層特征的編碼。

1.2 超像素區域生成

(1)

(2)

(3)

式中 K為聚類中心，i為聚類中心周圍的區域中的像素，dlab為像素與聚類中心的顏色距離，dxy為像素與聚類中心的空間距離，m為可變參數，用來調節顏色距離和空間距離的權值。

2 區域特征表示與分類

如某個超像素區域i中有ni個像素點，每個像素點有128維的Sift特征x，最后用ni×128維向量表示區域特征Xi=[xi,x2,…,xni]T(其中i=1,…,K，ni為第i個超像素區域中像素點的個數)。用訓練圖像建立的詞包模型，生成個數為M的視覺單詞。每個視覺單詞由128維的Sift特征表示，用M×128維向量表示視覺詞典的特征Y=[y1,y2,…,yii]T(其中ii=1,…,M，yii為第ii個視覺詞匯的128維的Sift特征)。對每個區域特征采用向量量化編碼[7]，用視覺單詞的集合來對圖像底層特征進行描述，計算區域特征Xi與視覺詞典特征Y的歐幾里得距離，找到每個像素點特征與其距離最相近的視覺單詞。統計視覺單詞出現的頻率，得到區域中單詞ii出現頻率fii，用視覺單詞直方圖BOWi(其中i=1,2,…,K)來表示超像素的區域特征。具體地區域特征Xi與視覺詞典特征Y的歐幾里得距離di為

Xi=[x1,x2,…,xni]

(4)

Y=[y1,y2,…,yii]T

(5)

(6)

超像素的區域 特征計算公式

BOWi={fi1,fi2,…，fii,…,fit-1,fit}

(7)

式中 Xi為第i個區域特征，xni為第i個超像素區域中第ni個像素點的128維的Sift特征，Y為視覺詞典特征，ii為視覺詞匯的個數，yii為第ii個視覺詞匯的128維的Sift特征，BOWi為視覺單詞直方圖，表示第i個超像素區域的特征，其中fii為區域中單詞ii出現的頻率。

將表示的K個超像素區域特征BOWi分別送入已知類的SVM分類器[9]中，得到每個區域的分類標簽。可以累積區域分類結果的每個不同標簽出現的個數，選擇圖像中出現頻率較多的類別作為該圖像分類的最終結果。

3 仿真實驗結果與分析

本仿真實驗圖庫采用微軟劍橋研究院(MicrosoftResearchCambridge,MSRC)圖像分類測試庫[10]，在Win7系統下用Matlab2010a版本進行仿真實驗。MSRC有20類圖像樣本。為了使實驗具有說服性，從這個數據庫中隨機選取10類來進行實驗。這十類圖像數據分別為：草、樹木、飛機、汽車、自行車、羊、標簽、狗、水、船。圖1中列舉了一些本文算法在MSRC圖像庫的檢測結果，其中,前3行是多標簽標注的結果，包括草、樹木和飛機等復雜背景的圖像。第4行是單標簽的圖像分類。圖2為本文算法與文獻[4]分類結果進行比較，其中,第一列為原圖，第二列為文獻[4]的仿真結果圖，第三列是本文的標注結果，由圖可知文獻[4]只能對圖像進行單個類別的分類，如圖1、圖2所示該算法實現了圖像多標簽預測，有效改善SVM的單標簽分類問題。

圖1 MSRC圖像庫標注的結果Fig 1 Annotation results of MSRC image libarary

本文采取準確率來衡量算法性能，它的范圍是[0,1]，取值越大說明識別效果越好。表1是仿真實驗的結果與算法文獻[4] 、文獻[11]與文獻[5]分別在MSRC圖像庫進行結果比較，結果表明，本文算法充分利用了超像素的區域特征，所以在準確率方面也有所提升。

圖2 本文算法與文獻[4]分類結果進行比較Fig 2 Comparison of this algorithm with classification result of literature 8

算法BOF[4]PMK[11]SPM[5]PMK[11]+SPM[5]本文準確率/%7677687981

4 結 論

仿真實驗結果表明：本文算法能有效改善分類算法的單標簽分類問題，且分類效果也有所提高。但是該算法只是利用了圖像的Sift特征，并沒有利用圖像的其他特征，有待新的研究和改進。

[1] Kingsky G,Edward Y C,Beitao L.Using one class and two class SVMs for multiclass image annotation[J].IEEE Transactions on Knowledge and Data Engineering,2005,17(10):1333-1346.

[2] Qi X,Han Y.Incorporating multiple SVMs for automatic image annotation[J].Pattern Recognition,2007,40(2):728-741.

[3] Liu J,Li M,Liu Q.Image annotation via graph learning[J].Pattern Recognition,2009,9(31):218-228.

[4] Csurka G,Dance C R,Fan L X.Visual categorization with bags of keypoints[C]∥Processing of the 8th European Conference on Computer Vision,2004:1-22.

[5] Svetlana L,Cordelia S,Jean P.Beyond bags of features:Spatial pyramid matching for recognizing natural scene categories[C]∥Proceedings of IEEE Conference on Computer Visual and Pattern Recognition,2006:2169-2178.

[6] Lowe D G.Distinctive image features from scale-invariant keypionts[J].International Journal of Computer Vision,2004,60:91-110.

[7] Andrea Vedaldi ,Brian Fulkerson.Vlfeat:An open and portable library of computer vision algorithms[C]∥Proceedings of the 18th ACM International Conference on Multimedia,2010:1469-1472.

[8] Achanta R,Shaji A,Smith K,et al.SLIC superpixels compared to state-of-the-art superpixel methods[J].IEEE Transactions on Pattern and Machine Intelligence,2012,34(11):2274-2282.

[9] Chih C C,Chih J L.LIBSVM :A library for support vector machines[J].ACM Transactions on Intelligent Systems and Technology,2011,2(27):1-27.

[10] Shotton J,Winn C R,Criminisi A.Textonboost:Joint appearance shape and context modeling for mulit-class object recognition and segmentation[C]∥European Conference on Computer Vision,2006:1-15.

[11] Grauman K,Darrell T.The pyramid match kernel:Discriminative classification with sets of image features[C]∥Proceeding of the Tenth IEEE International Conference on Computer Vision,2005:1458-1465.

Image annotation based on super-pixel bag of words model and SVM classification

YU Min, YU Feng-qin, CHEN Ying

(School of Internet of Things Engineering, Jiangnan University,Wuxi,214122,China)

In order to improve single label classification problem based on the bag of words model and SVM classification of a graph corresponding to a label,put forward an image annotation algorithm,which bases on super-pixel bag of words model and SVM classification.The algorithm uses super-pixel segmentation results as basic unit of bag of words model,super-pixel regional characteristics expressed by visual words generated by bag of words model,keeps homogeneous area in image,take well use of regional characteristics of image.Simulation results show that the algorithm can effectively improve the single label classification problem based on bag of words model and SVM classification,and classification accuracy improved.

super-pixel segmentation; bag of words model; SVM classification; visual words; image classification; image annotation

10.13873/J.1000—9787(2016)12—0063—03

2016—02—23

TP 212

A

1000—9787(2016)12—0063—03

於 敏(1988-)，女，江蘇南通人，碩士研究生，主要研究方向為圖像信號與信息處理。