一種用于圖像分類的改進的有偏特征采樣方法

徐盱衡，陳秀君

（西北工業大學 計算機學院，陜西 西安 710129）

圖像特征的提取是整個分類算法流程的開始，圖像特征的好壞，很大程度上影響著后續算法的區分力的高低。圖像特征具有多樣性，不同的圖像目標往往在顏色、紋理、幾何形狀乃至提取的興趣點等一種或若干種特征上具有很大差異，這就是圖像分類算法能夠具有區分能力的基礎。

目前常用的特征點檢測算法，能夠有效地檢測圖像的特征，但是一幅圖像中往往有多個目標，而且背景混亂、存在遮擋等問題導致圖像信息復雜，對于分類任務來說，需要有效地鑒別出圖像中的目標，最好將特征采樣點盡可能的集中于期望得到分類的目標樣本上。一個可能的途徑就是先提取圖像中感興趣的區域（Region of Interest，ROI），再對這些區域進行特征采樣。

圖像分割為我們提供了一個連接圖像低層和高層語義的工具，由圖像分割得到的同一區域，具有特征上的相似性，而且有效的圖像分割算法，能夠最大限度地將目標和背景分割開來。如果要計算圖像目標出現概率和特征的關系，可以考慮使用圖像分割作為溝通目標和區域特征的橋梁。

文中基于文獻[1]的方法做出了一些改進。文獻[1]中基于以上思想及BoF框架提出的有偏采樣方法在分割后對特征聚類之前采用了硬量化編碼的方式，量化后編碼不能有效反映圖像區域特征，本文通過使用基于局部約束的線性編碼方式[2]（Locality-constrained Linear Coding，LLC）替代硬編碼，減少了量化誤差。同時，使用VOC數據集中對目標的標注數據，以目標在某區域出現的多少作為依據計算后驗概率；使用近年來新發展的顯著性檢測算法[3]取代Itti的算法[4]，取得了較優的效果。

1 圖像特征的有偏提取

對于一幅圖像來說，要識別其中特定的目標類別，僅靠BoF模型可能會導致誤判。有多種情況可能會導致這一問題，例如目標物體過小，如果對整個圖像均勻采樣，那么代表目標的特征將只在全部特征中占據很小的部分，如見圖1所示，或者目標被其他物體所遮擋，等。

對人視覺的研究表明，人觀察外部事物是采取的是自頂向下的記憶選擇機制[5]和自底向上的顯著注意結合的方式，這啟發我們采取同樣的方式思考圖像分類算法的過程。能否同時采取兩種方法結合的方式，計算出圖像中相對最可能出現目標的區域，以便于后續的處理。文獻[1]給出了一種具體的方法，如圖2所示，下節將介紹這種方法的詳細過程及對其的改進。

圖1 全局的特征表示有時會導致判別失敗Fig.1 Global feature representation sometimes causes discrimination failure

圖2 有偏采樣算法的主要步驟Fig.2 Key steps of the biased sampling strategy

1.1 自頂向下的目標類后驗概率計算

首先使用mean-shift算法[6]分割圖像，對相應的顏色、紋理[7]、幾何特征[8]直方圖，分別聚類得到3個詞典。將所有圖像分割區域的特征都硬編碼到詞典的某一視詞。令F代表基于區域的某一種特征，Fi表示特征詞典里的某一視詞，O表示圖像中有某類目標表示圖像沒有此類目標，定義R為給定Fi而出現O的后驗概率，

假定P（O）=P（O），也就是認為目標在圖像中出現與否的先驗概率是相等的。事實上這個假設對于PASCAL VOC等數據集并不合理。以VOC2007的分類集為例，共有20類，分類時采取1對多的方式，共要訓練20次，每次正樣本和負樣本之比約為 1：19。

R（Fi）=0 表示預測為負樣本圖像，R（Fi）=1 表示正樣本圖像，R（Fi）=0.5時正好介于兩者之間。因此選擇

這樣給定一幅新圖像，就可以通過分割-提取特征-計算的步驟得到目標基于區域特征的后驗分布圖T1：

其中N（·）是歸一化運算符。

1.2 最終采樣圖的生成

Yang[1]采用Itti[4]的算法計算顯著圖。我們在實驗部分將采用Goferman[3]的算法計算顯著圖。

令計算得到的顯著圖為T2，通過加權求和的方式表示最終的采樣概率圖T：

更進一步，為了得到在（x，y）點任意尺度的概率密度函數，對T進行逐像素的積分：

那么在（x，y）點處尺度為s×s的圖像塊的采樣概率為

這樣，就可以使用上述的概率分布大小為s×s的圖像塊上利用DoG方法提取圖像特征點。

2 對有偏采樣算法的改進

在上節中敘述的有偏采樣算法中目標類后驗概率的計算方法，其中不乏可改進之處。 如前所述，（1）中假定P（O）=P（O）對VOC等數據集并不合理；其次，對每個被分割區域的特征根據視覺詞典進行硬編碼，會導致對視詞分界線附近的較大的不可避免的特征量化誤差，應該用軟編碼方式替代；最后，原方案中令O表示圖像中有某類目標，并直接與圖像某區域特征相關聯，這并不合理，因為即使待分類目標在圖像中出現，也僅僅和部分區域有關，不能將其和沒有出現該目標的區域特征聯系起來。

基于上述討論，對公式（1）做出修改。定義O′表示圖像分割區域中有某類目標，且此目標占分割區域面積一半以上，表示分割區域中沒有此類目標，或者目標占分割區域面積到一半。使用LLC編碼方法代替硬編碼方法，那么P（Fi|O′）和P（Fi′）仍然表示出現或者不出現目標時有特征的Fi概率，但由于一個區域的同一個特征直方圖被量化到若干視詞Fi上，對不同的Fi計算P（Fi|O′）和P（Fi|′）時可能會多次包含同一區域，且累加的是區域特征相對于Fi的系數值。于是（1）變為

仍然使用式（2），給定一幅新圖像，先對其進行分割，計算每個區域的特征，將特征編碼以后得到的非零系數與其對應的視詞概率相乘，求和以后作為該特征對應的目標出現的后驗概率，即

其中cij對應于第i類（i=1，2，3）區域特征編碼后的非零系數。于是得到目標基于區域特征的后驗分布圖T1′：

3 實驗結果與討論

使用Normalized Cuts[9]方法分割圖像，每幅圖像分割成10塊。使用基于BoF[10]的顏色直方圖、紋理直方圖和矩信息三種特征表示圖像區域。對于顏色直方圖，使用Lab顏色空間，每個通道有23個直方區間。對于紋理直方圖，使用一個總數為18的濾波器組 （共有6個方向，3個層次），1個高斯濾波器，1個拉普拉斯-高斯濾波器。將紋理texton通過k-means聚類量化成400個，將每個像素的對應值硬編碼量化到其中的一個，最后每個圖像分割區域中的texton視詞累積形成一個紋理直方圖。對于幾何量度，使用Hu的矩不變量[8]，對每幅圖像計算得到1個7維向量。假定各視覺特征相互獨立，通過k-means分別聚類得到3個詞典，詞典的視詞個數分別是KC=1 024，Kt=1 024，Km=512。 使用[3]提供的顯著性檢測方法提供顯著圖。圖3顯示了根據不同采樣方法進行采樣的結果。可以看到，較中列的普通SIFT檢測，右列的有偏SIFT特征在目標區域（分別是人、鳥、牛）更集中一些。在第二幅圖片中的鳥顏色和紋理與背景相似，所以采樣點也有很多在背景上面。

圖3 有偏采樣示意圖Fig.3 Illustration of biased sampling

隨后在VOC數據集上進行實驗不同的采樣點數對分類精度的影響。使用BoF模型，并采用金字塔框架[11]以增強分類精度。使用稠密興趣點檢測的方法，網格尺寸設為4×4像素，提取的圖像塊設為16×16像素。一般而言，在這個參數組合下單幅圖像的稠密SIFT特征個數都能大于7 500；如果單幅圖像總共的SIFT特征沒有達到10 000，就全部選取。

對于VOC 2007數據集，使用k-means方法聚類得到詞典，詞典基向量個數為25 000。采用LLC編碼方式與liblinear分類器，在實驗中均取α=0.5。結果如圖4所示。

圖4 采樣算法分類性能比較（VOC 2007）Fig.4 Comparison of different sampling algorithms（VOC 2007）

在VOC 2010數據集上進行實驗，詞典基向量個數為20 000，結果如圖5所示。

圖5 采樣算法分類性能比較（VOC 2010）Fig.5 Comparison of different sampling algorithms（VOC 2010）

在兩個實驗結果中可以看到，隨著每幅圖像選取采樣點數的下降，隨機選擇會導致分類性能逐漸下降（VOC2007：平均精度從采樣點數10 000時的59.3%下降到點數2 500時的58.1%；VOC2010：平均精度從采樣點數10 000時的64.7%下降到點數為2500時的63.1%）。Yang的有偏采樣算法在采樣點數為7 500時分類精度最高，在5 000時略有下降，在2 500時降到最低，改進的有偏采樣算法也顯示了同樣的效果。這一方面說明了有偏采樣算法的有效性，濾除了一部分和目標判別沒有直接關系的特征點，導致分類精度有一定的提升；另一方面也間接地證明了pooling過程在分類中的作用：能夠挑選出具有區分度的編碼系數。如果采樣點數選的太少，則pooling的區分度下降，這和Yang[1]中顯示的結果一致。另外，在兩個數據集上，我們的改進算法較Yang[1]的算法都有0.3～0.5%的性能改進。

4 結束語

文中提出了一種改進的有偏采樣算法。使用自頂向下的概率方法與自底向上的顯著性檢測方法相結合的策略，對圖像的特征點進行有偏采樣。通過用基于局部性約束的線性編碼方式替代硬編碼方式對區域特征進行編碼，并且改變計算后驗概率計算方式，實驗結果驗證了算法的有效性和改進算法的效果。

[1]Yang L，Zheng N，Yang J，et al.A biased sampling strategy for object categorization[C]//Int.Conf.on Computer Vision（ICCV）， Kyoto， Japan，2009：1141-1148.

[2]Wang J，Yang J，Yu K，et al.Locality-constrained linear coding forimage classification [C]//Proceedingsofthe Conference on Computer Vision and Pattern Recognition（CVPR），2010.

[3]Goferman S，Zelnik-Manor L，Talr A.Context-aware saliency detection[C]//Conference on Computer Vision and Pattern Recognition，2010：9-16.

[4]Itti L，Koch C，Niebur E.A model of saliency based visual attention for rapid scene analysis[J].IEEE Transactions on Pattern Analysis and Machine Intelligence，1998，20 （11）：1254-1259.

[5]Navalpakkam V，Itti L.Top-down attention selection is fine grained[J].Journal of Vision，2006，6（11）：1180-1193.

[6]Comaniciu D，Meer P.Mean shift：a robust approach toward feature space analysis[J].IEEE Trans.PAMI，2002，24（5）：603-619.

[7]Martin J， Belongie S，Shi J，et al.Leung.Textons， contours and regions：cue combination in images segmentation[C]//In Proc.ICCV’99，1999：918-925.

[8]Hu M.Visual pattern recognition by moment invariants[J].IEEE Trans.Information Theory，1962（IT-8）：179-187.

[9]Shi J，Malik J.Normalized cuts and image segmentation[J].TPAMI，2000，22（8）：888-905.

[10]Lee Y J，Grauman K.Object-graphs for context-aware category discovery [C]//In Computer Vision and Pattern Recognition （CVPR），2010：1-8.

[11]Yang J，Yu K，Gong Y，etal.Linearspatialpyramid matching using sparse coding for image classification[C]//in Proceedings of the Conference on Computer Vision and Pattern Recognition(CVPR)，2009.