基于改進LBE 特征的RGB-D顯著性檢測

袁 泉，張建峰，伍立志

(1．重慶郵電大學通信新技術應用研究中心，重慶400065; 2．重慶信科設計有限公司，重慶400065)

(*通信作者電子郵箱214665129@qq．com)

0 引言

圖像的顯著性檢測，簡單來說是指將圖片中的顯著性區域(目標)從非顯著性區域(背景)中分離出來。它作為一種圖像預處理技術，能夠幫助人們將有限的圖像處理資源分配到最重要的圖像區域上，在目標檢測［1］、圖像編碼［2］、圖像分類［3］、目標識別［4］等領域有著廣泛的應用。

過去十幾年里，國內外學者們提出了大量顯著性檢測算法，其中，最主流的方法是基于對比度的方法，對比度的計算通常基于顏色、形狀、紋理等特征。根據對比度計算區域的不同可以分為局部對比度和全局對比度:基于局部對比度的方法計算圖像區域和其鄰域間的對比度來表征該區域的顯著值［5］;基于全局對比度［6］的方法則是計算圖像區域與整個圖像的對比度。此外，根據人類視覺感知特點得到的各種先驗信息在顯著性檢測中也起著重要作用，主要有中心先驗［7］、背景先驗［8］和連通性先驗［9］等。

隨著3D傳感技術的發展，顯著性檢測算法不再局限于二維圖像，最近的研究［10－15］表明，RGB-D圖像中的深度信息能夠有效提高顯著性檢測算法的性能，特別對區分具有相似外觀不同位置的目標有很大作用。在基于深度先驗的算法中，深度信息被作為一種先驗信息直接對二維顯著圖加權［10］，此類算法只是粗略引入了深度信息，容易受到低深度背景區域的干擾。而基于深度對比度的算法受對比度在二維圖像顯著性檢測中的有效性啟發，通過計算圖像中的深度對比度并結合顏色、紋理等特征得到顯著圖［11－14］，此類方法能夠有效抑制近距離背景的干擾，但利用前景與背景間的深度對比度來計算顯著性，具有一個普遍的缺陷:在背景區域比顯著區域擁有更高的深度對比度時，算法容易產生誤檢，得到假陽性結果。為解決這一問題，Feng等［15］提出 LBE(Local Background Enclosure)特征，通過超像素分割將圖像分解為許多小區域，然后計算目標區域的鄰域內深度較大區域所占的比例來表征該區域的顯著性，有效地降低了誤檢率。但LBE特征單獨計算每個超像素區域的顯著性值，忽略了相鄰區域之間的相關性，導致一些結構或形狀復雜的目標難以被完整檢測出來。此外，LBE算法過度依賴深度信息，沒有充分利用圖像中的顏色信息，當圖像中的深度信息較少時，算法無法準確檢測顯著目標。

本文針對以上問題對LBE算法作出兩點改進:一是在計算特征之前對輸入圖像進行多級分割處理，較精細分割圖中相鄰的兩個區域在較粗略分割圖中會被融合成一個區域，因此粗略分割圖上的LBE特征可以充分利用精細分割圖中的區域相關性。二是引入顏色信息和先驗信息對深度顯著圖進行矯正，在深度信息不能很好地表征出顯著目標時，可以保證檢測結果的準確性。

1 本文方法

原始LBE算法首先對圖像進行超像素分割，然后在每個超像素上計算LBE特征，最后進行后處理得到顯著圖。本文對LBE算法進行改進，用多級分割處理替代超像素分割并引入顏色信息和先驗信息，改進后的方法包括4個步驟:1)多級分割;2)LBE特征計算;3)多級顯著圖融合;4)顏色信息和先驗信息引入。

1．1 多級分割

首先利用基于圖的分割方法［16］對輸入圖像I進行精細分割得到分割圖S。構造無向帶權圖G(V，E)，其中vi∈V為S的像素點，e∈E為相鄰像素間的連線，權重w(vi，vj)為像素間的顏色距離。定義區域RV的內部差異度為其最小生成樹MST(R，E)的最大權值:

定義R1、R2V之間的差異度為連接兩區域最小邊的權值:

定義R1，R2V之間最小內部差異度為:

當 Dif(R1，R2) ＞ MInt(R1，R2) 時，R1，R2應當合并為一個區域。將S上所有符合條件的區域合并得到下一級分割圖，重復此步驟完成多級分割。

將分割 I得到的一組分割圖記為 S={S1，S2，…，Sm}。其中:S1是最精細的分割圖，包含的區域最多;Sm為最粗略的分割圖，包含的區域最少。

1．2 LBE特征計算

計算各級分割圖的LBE特征。區域P的LBE特征由兩個分量組成(如圖1所示):一是P的局部背景在其鄰域中所占的比例，與顯著性值成正比;二是P的局部背景間的最大間隙，與顯著性值成反比。

圖1 LBE特征示意圖Fig．1 Schematic diagram of LBE features

1．2．1 局部背景在鄰域中所占的比例

對于一個區域P∈Sm，定義區域P的半徑為r的鄰域為P

其中cp和cq分別為區域P和Q的形心。定義P的局部背景為B(P，t)，表示P的鄰域Np中，比區域P的平均深度大t的區域集合。

其中D(P)表示區域 P的平均深度。定義函數f(P，B(P，t))，表示P的局部背景B(P，t)在P的鄰域中所占的比例:

其中當一條穿過P的形心且角度為θ的直線與B(P，t)相交時，I(θ，P，B(P，t)) 的值為 1，若不相交則為0。

因為不同圖像的閾值t的大小各不相同，難以確定一個固定閾值。為解決這一問題，采用分布函數的形式來表示B(P，t)在P的鄰域中所占的比例:

其中σ是B(P，t)內所有的區域平均深度的標準差:

1．2．2 局部背景間的最大間隙

定義最大間隙為g(P，Q)，當兩個區域在各自鄰域中所占比例相同時，最大間隙較小的區域將獲得更大的顯著性值:

其中ψ表示所有不包含局部背景的邊界(θ1，θ2)的集合:

與局部背景所占比例分量相似，以分布函數的形式表示最大間隙分量G(P)，因g(P，Q)與顯著性成反比，本文計算1－g的分布函數:

最終的深度特征記為S(P):

1．3 多級顯著圖融合

輸入圖像經過多級分割和LBE特征計算得到多級顯著圖像{A1，A2，…，Am}，對應的人工標記圖為T。本文利用最小二乘估計［17］訓練多級線性融合權重wm，得到融合函數如式(14)所示:

將多級顯著圖像融合得到深度顯著圖為:

1．4 引入顏色信息和先驗信息

在一些深度變化較小的場景中(如圖2(b)所示)，單獨使用深度信息很難獲得準確的檢測結果。因此，加入RGB圖像的顏色信息和先驗信息來對深度顯著圖進行矯正。

引入一個顏色相異圖。假定圖像邊界寬度為d的區域為背景，將背景區域的像素按Lab顏色空間的像素值分成k組，實驗中參數取值參考文獻［9］，取k=3，d=10像素。計算第k組的像素個數記為nk，平均像素值記為μk，Ck為協方差矩陣。計算圖像中每個非背景像素I(i)到第k組背景像素的馬氏距離(Mahalanobis distance)得到第k個顏色相異圖:

對k個顏色相異圖加權求和并歸一化得到最終顏色相異圖:

引入中心先驗信息。根據像素點到圖像中心的距離利用高斯函數G(x，y)來對顯著圖A進行加權。

將顏色相異圖和中心先驗函數融合到深度顯著圖A中，得到最終的顯著圖S為:

圖2是引入顏色信息和先驗信息前后的對比，可以看出，在輸入圖像深度變化較小的情況下，引入的顏色信息和先驗信息后的算法能夠得到更準確的檢測結果。

圖2 引入顏色信息與先驗信息前后對比Fig．2 Result of introduction of color and priori information

2 實驗結果與分析

本文實驗的硬件環境為CPU 2．3 GHz，內存8 GB的計算機。實驗在Windows10操作系統下進行，仿真平臺為Matlab R2014a。

本文實驗在RGBD數據集［11］進行，RGBD數據集共包含1000幅彩色圖片以及相應的深度圖和真值圖，所有圖片均由Microsoft Kinect在自然場景下拍攝得到。

實驗共選取5種當下流行的顯著性檢測算法進行對比。其中 LBE［15］、LMH(Low-level feature，Mid-level region，Highlevel priors)［11］、各向異性中心－周圍差異(Anisotropic Center-Surround Difference，ACSD)［12］是針對 RGB-D 圖像的顯著性檢測算法;最小生成樹(Minimum Spanning Tree，MST)［9］、分層顯著性(Hierarchical Saliency，HS)［7］是針對二維圖像的顯著性檢測算法。

實驗采用準確率－召回率(Precision-Recall，PR)曲線對本文算法的性能進行評估。以閾值t對算法輸出的所有顯著圖進行二值分割，t的取值范圍為［0，255］。將二值圖B與數據集中的真值圖T進行如下計算得到準確率(Precision)和召回率(Recall):

閾值t以10為步長在［0，255］內依次取值，分割出所有輸出顯著圖的二值圖，并計算每個t值下的平均召回率和平均準確率。以平均準確率為縱坐標，平均召回率為橫坐標，得到算法在整個數據集上的PR曲線。

圖3為本文算法與對比算法的PR曲線。可以看出圖中以虛線表示的二維圖像顯著性檢測算法性能明顯低于實線表示的RGB-D圖像顯著性檢測方法，表明深度信息能夠有效改善顯著性檢測的結果。本文算法與LMH算法、ACSD算法相比具有更高的準確率和召回率。原因在于，相比于LMH算法和ACSD算法直接利用深度對比度表征顯著性，本文算法通過計算目標區域在其鄰域中的突出程度來表征顯著性，能夠更充分地利用圖像中的深度信息;與LBE算法相比，本文算法的召回率較高，但準確率略低，原因在于，本文算法的顯著性特征由多級分割圖的特征融合得到，檢測出的目標輪廓比原始LBE算法更大，從而得到較高的召回率和較低的準確率。

圖3 不同算法PR曲線對比Fig．3 Comparison of PR curves with different algorithms

圖4是本文算法和對比算法的檢測結果對比。

圖4 不同算法結果對比Fig．4 Results comparison of different algorithms

從圖4可以看出，本文算法得到的檢測結果相比另外5種算法更接近人工標注圖。對比本文算法和LBE算法的檢測結果，在第四和第五行中，本文算法引入的顏色相異圖準確地區分了深度相近顏色不同的目標和背景。在第六和第七行，目標形狀結構復雜情況下，本文算法檢測出的目標區域更加完整清晰，這是由于加入的多級分割處理提高了本文算法對結構復雜目標的檢測能力。

3 結語

本文在LBE算法基礎上進行改進，在計算顯著性特征前對輸入圖像進行多級分割能充分利用相鄰區域間的相關性;引入顏色相異圖，與深度信息相互補充。改進后的算法能夠很好地發揮深度信息和顏色信息的作用，提高了原始LBE算法的檢測效果。