一種結合先驗知識和半監督學習的顯著性檢測方法

王祥雒，楊春蕾，劉中華，馬華紅

（1.洛陽師范學院信息技術學院，洛陽 471934；2.河南科技大學信息工程學院，洛陽 471023）

一種結合先驗知識和半監督學習的顯著性檢測方法

王祥雒1，楊春蕾2，劉中華2，馬華紅2

（1.洛陽師范學院信息技術學院，洛陽 471934；2.河南科技大學信息工程學院，洛陽 471023）

圖像的顯著性檢測被用來定位和提取能夠獲取人類視覺注意的圖像區域。為了提高復雜場景下圖像顯著性檢測的精準度，基于人類視覺注意的生物特性，位置優先、顏色優先和邊界優先等高層先驗知識作為查詢被用于半監督學習的流形排序。通過流形結構描述的圖像區域間的相關性，可得到圖像各區域的顯著性描述。實驗結果表明，先驗知識與半監督學習的結合可有效提高檢測質量。

顯著性檢測；先驗知識；半監督學習；流形排序

0 引言

隨著計算機視覺系統的廣泛應用，相關的識別與檢測技術近年來不斷快速發展，例如目標檢測、目標識別與分類、圖像檢索等[1]。然而，越來越復雜的圖像場景使得檢測與識別算法的工作效率大大降低。如果能在圖像中事先獲得目標在圖像中的大致位置，則大大縮減了這些計算機視覺任務的難度并加快處理速度。圖像的顯著性檢測為上述目標提供了可靠的支持。圖像的顯著性是指圖像中能夠快速獲取人類視覺注意的顯著特性，通常來講高顏色對比度、高紋理對比度、圖像的中心位置、物體的形狀特性等均可引起圖像中某些區域的高顯著特性。圖像顯著性檢測算法的難度在于如何快速地檢測出較為完整的包含目標的前景區域，自1998年Itti提出的第一個較為完整的顯著性檢測算法以來，研究者們已經探索出眾多檢測方法。這些方法主要分為兩個方向：視焦預測（eye fixation predication）和顯著目標分割（salient object segmentation），本文主要討論第二個致力于檢測前景區域的方向。

顯著目標分割從算法流程上可以分為自底向上（bottom-up）和自頂向下（top-down）兩種方法，自底向上的方法基于抽取的圖像底層特征生成顯著圖，自頂向下的方法往往需要一些先驗知識做引導。從對比方法上來講，顯著性檢測主要考察圖像區域（早期方法多以像素或像素塊為單位）的局部對比度（local contrast）和全局對比度（global contrast），用來對比的特征主要是lab顏色和lbp紋理直方圖，近年來，較為先進的方法會將這兩種對比方式進行合理融合，融合后的效果一般均優于僅適用一種對比度的算法。

本文受前人研究思路的激發，提出一種結合了先驗知識和半監督學習的顯著目標檢測方法。具體來講，圖像區域的位置先驗、顏色先驗和背景先驗知識被首先計算出來，整合這三種先驗知識可獲得圖像區域初步的顯著性；參照楊川[2]等人在2013年提出的圖流形排序檢測方法，可構建圖像各個區域的鄰接圖，并根據鄰居區域間的特征關系計算出相應的鄰接矩陣和度矩陣以獲得圖結構內部的流形特征；提取初步顯著值較大的那部分區域作為半監督流形學習的查詢，可獲得更為精準和光滑的顯著圖。

本文提出的算法在公開測試集SED2[3]上進行了驗證和對比實驗，實驗結果表明：結合了先驗知識和半監督學習的顯著性檢測算法在具有一定復雜度的場景條件下顯示出更好的檢測性能。下文將著重介紹該方法的檢測框架和實驗過程。

1 顯著性檢測框架

1.1 圖像過分割

為了在檢測時盡量將特征屬性相近的像素聚為一個緊致區域，我們采用了經典的Simple Linear Iterative Clustering（SLIC）[4]算法對待測圖像進行過分割，根據前人經驗，圖像被分割為n個大小基本相同但形狀不規則的圖像區域，該區域被稱為超像素。圖像因此可被表示為：

其中，Ik為圖像I的第k個超像素，k=1，2，…，n。以下步驟均基于超像素區域展開。

1.2 計算高層先驗值

可以獲得初步顯著圖的方法有很多，例如使用自底向上方法計算基于圖像區域顏色或紋理的局部或全局對比度，但人類在注視圖像時具有一定的主觀意圖，單純的對比度計算可能不足以提供足夠的線索。我們可以將這種無意識的主觀意圖解釋為人類視覺的生物特性、視覺習慣，例如，人們習慣于首先注視處于圖像中心的具有更鮮明色彩的區域，而處于圖像邊界的顏色灰暗的區域則容易被忽略。因此，我們選取了三種高層先驗知識以生成初步顯著圖，即：位置優先、顏色優先和邊界優先。

位置優先每個超像素的位置優先值為該區域中所有像素距離圖像中心的平均值：

其中，pl（k）為超像素Ik的位置優先值（k=1，2，…，n），numk為Ik中所含像素的個數，exp（-d（xm，c）/）為像素xm距離圖像中心的高斯分布距離。

顏色優先根據視覺生物學研究結果，人類更傾向于注視暖色調的區域，因此，在顏色優先計算中，我們參考了文獻[5]提供的常規圖像前景和背景顏色分布數據hS和hB，以計算每個超像素的顏色優先值：

邊界優先根據文獻[6]提供的方法，基于超像素間的測地線距離、跨區距離和距離邊界的距離計算出每個超像素的邊界優先值，記為pb（k）。

整合高層先驗值使用最簡單高效的元素點乘法（element-wised multiplication）整合三種先驗知識，整合后的高層先驗向量記為：

1.3 圖流形排序

（1）半監督流形學習

給定一個數據集X={x1，…xl，xl+1，…，xn}∈Rm×n，令f: X→Rn表示一個映射方程，該方程可根據定義的數據間的相關性和提供的查詢q=[q1，q2，…，qn]T，qk=1 or 0，（k=1，2，…，n）給出每個數據元素與查詢直接的相關值。

那么，如果給定一個查詢q，根據公式：

可得到所有結點與查詢之間的相關值。

（2）構建圖模型

參照文獻[5]的構圖方法，對于超像素Ik，每個與Ik相鄰的超像素記為Ik的鄰接點，同時，與Ik的鄰接點相鄰的超像素記為Ik的間接鄰接點。Ik與其直接和間接鄰接點之間均構建邊，邊的權值可通過上節中的仿射矩陣確定。

1.4 顯著值及顯著圖的生成

圖流形排序算法的排序結果對給定查詢是非常敏感的，因此，提供合理的查詢種子能夠生成較為準確的排序值。令查詢q=[q1，q2，…，qn]T被定義為：

其中，avg（hp）為所有高層先驗值的平均值。將查詢代入到公式（5），可得到所有超像素結點對該查詢的相關度排序值，歸一化后的相關度排序值向量被記為f=[f1，f2，…，fn]，超像素Ik將獲得其顯著值，將fk賦值給Ik所屬的所有像素，可得到圖像I的顯著圖S：

2 實驗及結果分析

2.1 性能指標

2.2 實驗數據及分析

為了說明本文算法的顯著性檢測效果，我們選用SED2[3]測試集做性能測試實驗。該測試集中包含100張選自現實場景的圖片，場景具有復雜、覆蓋面廣等特點，既包含目標突出的簡單場景，更多地包含了復雜場景，復雜性主要體現在：前背景色調相融、目標結構異常、目標靠近圖像邊緣等，這些因素使得該測試集具備很強的挑戰性。圖1展示了本文提出的算法結果與其他經典算法結果的視覺效果比較，我們選取了顯著性檢測發展過程中出現的較為經典的算法參與對比，它們是SR[8]、FT[7]、MSS[9]、GB[10]、SF[11]、MNP[12]和GS[13]算法，同時也選取了近幾年出現的性能卓越的RBD[14]、 SPLMS[15]、GBMR[2]算法比較視覺效果和檢測性能。

圖1 本文提出的算法與對比算法的顯著圖比較

圖2和表1給出了這些對比算法在SED2標準測試集上的性能指標數據。

圖2 本文提出的算法與對比算法的PR曲線比較

表1 本文提出的算法與對比算法的平均Fmeasure值比較

從圖1中可以看出，本文提出的算法在多目標場景中能夠檢出易遺漏的小目標，在前背景色調相近的場景中能檢出較為完整的目標區域，同時算法能夠減少顯著圖中的噪聲、保證較高的精準度。圖2和表1反映出該算法在復雜場景下具有較好的前景檢出能力。究其原因，主要在于：當流形結構確定后，流形排序的結果在很大程度上取決于查詢，給定充足而精準的前景線索，可通過超像素之間的相關性獲得較為完整的前景顯著性表示。

3 結語

本文提出了一種結合了先驗知識和半監督學習的顯著性檢測方法。該檢測方法首先根據人類視覺生物特征提取并整合圖像的三種高層先驗知識，并將該線索作為查詢提供給基于顏色特征構建的圖模型作流形排序，流形排序的結果顯示圖像各區域的顯著性。檢測算法在公開測試集上的實驗結果表明，本文提出的方法在復雜場景中具有較高的前景檢出精準度和較強的抗噪性。

[1]Cheng，M.M.，Mitra，N.J.，Huang，X.，et al.Salientshape:Group Saliency in Image Collections[J].Vis.Comput.2014，30（4）:443-453.

[2]Yang，C.，Zhang，L.，Lu，H.，et al.:Saliency Detection Via Graph Based Manifold Ranking[C].In:IEEE Conf.on Computer Vision and Pattern Recognition（CVPR），2013:3166-3173.

[3]Sharon，A.，Meirav，G.，Achi，B.，et al.:Image Segmentation by Probabilistic Bottom-up Aggregation and Cue Integration[J].IEEE Trans.Pattern Anal.Mach.Intell，2007，34（2）:1-8.

[4]Achanta，R.，Shaji，A.，Smith，K.，et al.Slic superpixels[R].2010.

[5]Shen，X.，Wu，Y..A Unified Approach to Salient Object Detection Via Low Rank Matrix Recovery[C].In:IEEE Conf.on Computer Vision and Pattern Recognition（CVPR），2012:2296-2303.

[6]Zhu，W.，Liang，S.，Wei，Y.，et al.Saliency Optimization from Robust Background Detection[C].In:IEEE Conf.on Computer Vision and Pattern Recognition（CVPR），2014:2814-2821.

[7]Achanta，R.，Hemamiz，S.，Estraday，F.，et al.Frequency-Tuned Salient Region Detection[C].In:IEEE Conf.on Computer Vision and Pattern Recognition（CVPR），2009:1597-1604.

[8]Hou，X.，Zhang，L.Saliency Detection:a Spectral Residual Approach[C].In:IEEE Conf.on Computer Vision and Pattern Recognition（CVPR），2007:1-8.

[9]Achanta，R.，Susstrunk，S.Saliency Detection Using Maximum Symmetric Surround[C].In:17th IEEE Int.Conf.on Image Processing（ICIP），2010:2653-2656.

[10]Harel，J.，Koch，C.，Perona，P.Graph-Based Visual Saliency[J].Adv.Neural Inf.Process.Syst.2006，19:545-552.

[11]Perazzi，F.，Krahenbuhl，P.，Pritch，Y.，et al.Saliency Filters:Contrast Based Filtering for Salient Region Detection[C].In:IEEE Conf. on Computer Vision and Pattern Recognition（CVPR），2012:733-740.

[12]Margolin，R.，Zelnik-Manor，L.，Tal，A.Saliency for Image Manipulation[J].Vis.Comput.2013，29（5）:381-392.

[13]Wei，Y.，Wen，F.，Zhu，W.，et al.Geodesic Saliency Using Background Priors[J].In:European Conference on Computer Vision，2012: 29-42.

[14]Zhu，W.，Liang，S.，Wei，Y.，et al.Saliency Optimization from Robust Background Detection[C].In:IEEE Conf.on Computer Vision and Pattern Recognition（CVPR），2014:2814-2821.

[15]Tong，N.，Lu，H.，Zhang，L.，et al.Saliency Detection with Multi Scale Superpixels[J].IEEE Signal Process.Lett.2014，21（9）:1035-1039.

A Saliency Detection Method Based on the Integration of Prior Knowledge and Semi-Supervised Learning

WANG Xiang-luo1，YANG Chun-lei2，LIU Zhong-hua2，MA Hua-hong2

（1．Department of Information Technology,Luoyang Normal University，Luoyang 471934；
2．Department of Information Engineering,Henan University of Science and Technology，Luoyang 471023）

Image saliency detection is used to locate and extract the image regions which can catch human visual attention．To enhance the precision of saliency detection in complex scenes,uses the biological characteristics of human visual attention,and fuses the location prior,color prior and boundary prior into the high-level prior knowledge．The prior knowledge is employed as the query to be offered to the semi-supervised learning based manifold ranking,and the relevancies between the regions are used to present the image saliency．The experimental results illustrate that the integration of prior knowledge and semi-supervised learning can effectively improve the detection quality of saliency maps．

Saliency Detection;Prior Knowledge;Semi-Supervised Learning;Manifold Ranking

國家自然科學基金（No.U1504610）

1007-1423（2017）11-0018-05

10.3969/j.issn.1007-1423.2017.11.003

王祥雒（1977-），男，河南洛陽人，碩士，研究方向為計算機視覺、模式識別

楊春蕾（1980-），女，河南開封人，研究方向為計算機視覺、模式識別

2017-01-18

2017-04-10