圖像中顯著物體檢測方法綜述

沙聰　朱云峰　王鴻超　顧子尖　劉釗

摘要：伴隨著科技和信息技術(shù)的發(fā)展，人們通過電腦，手機等設(shè)備獲取的圖像信息逐漸的增多，由此而產(chǎn)生的圖片數(shù)據(jù)也日益變多。如何從這些海量的圖像中找到我們需要的那些信息，是一個很重要的課題。通過運用計算機視覺技術(shù)和深度學習技術(shù)，我們可以對顯著性的物體進行檢測，從而快速地獲得需要的信息。目前常見的顯著性物體檢測方法有基于分層，像素，區(qū)域和深度學習等幾種，他們各有優(yōu)劣，本文將 對這些方法進行總結(jié)和介紹。同時還將介紹常用的數(shù)據(jù)集和評估方式。

關(guān)鍵詞：計算機視覺;深度學習;顯著物體檢測;數(shù)據(jù)集：檢測方法

1引言

圖像信息，是我們獲得外界信息的一個重要的途徑。現(xiàn)代信息技術(shù)的發(fā)展，產(chǎn)生了大量的圖像數(shù)據(jù)。這使得我們面臨這一個重大的問題，那就是如何從這海量的圖像數(shù)據(jù)之中獲得我們所需要的數(shù)據(jù)。如果我們選擇人工的方式去處理，那么這將是一個非常耗時并且無聊的工作。這時，我們可以選擇使用計算機視覺來智能地分析和處理這些圖像，從而得到與人工處理相近甚至相同的結(jié)果。而所謂計算機視覺，指的是我們通過設(shè)計相關(guān)的一些算法，在計算機上模擬人眼的視覺系統(tǒng)機理，從而使得計算機能夠像人類一樣去觀察理解事物。

人眼的視覺之所以能夠很快地找出一幅圖片中的重要信息，是因為人眼視覺有著注意機制，很多研究者對如何利用計算機來模擬這一機制，展開了大量的研究。這其中的一個關(guān)鍵問題，就是顯著性檢測。在信息化的今天，圖像的信息容量在不斷的擴大，在含有重要信息的同時，夾雜著很多無用的信息，很大地影響了信息獲取的效率。視覺顯著性，通常利用多種圖像特征來表征，例如圖像的位置特征，紋理特征，顏色特征等等。顯著性目標的這些特征，相較于其他的場景更加突出，因此，該目標會從觀察者的視覺中脫穎而出。顯著性物體檢測，可以很好地在去除這些冗余信息的同時，標記出每個圖像中的重要信息。

通過設(shè)計算法，顯著性檢測技術(shù)能夠使得計算機從給出的圖像中，區(qū)分出較強的特征來表征圖像中區(qū)域的屬性，并且采用深度學習算法來給每個像素或區(qū)域計算權(quán)值，來衡量其重要性。下文我們將對不同的算法和應用，進行介紹。

2顯著性檢測

顯著性物體檢測的研究，在很早以前就已經(jīng)有學者進行了。學者們提出了諸多的算法，雖然這些算法各有優(yōu)劣，但都對這項研究做出了貢獻。對于這些算法，Borji等人對它們進行了綜合和總結(jié)，大致可以分為三大類：基于區(qū)域的顯著性檢測方法，分層的顯著性檢測方法，基于像素的顯著性檢測方法。

2.1基于區(qū)域的顯著性檢測方法

基于區(qū)域的顯著性檢測的方法首先將圖像分割成了大量的區(qū)域，之后以每個區(qū)域為單位，去進行特征的提取，并且計算顯著值。Cheng等人認為，可靠的視覺顯著性的估計，是在沒有先驗知識的情況下也能夠?qū)δ繕诉M行處理。因此，他們提出了一種基于區(qū)域?qū)Ρ榷鹊娘@著性檢測的算法，該算法同時考慮全局對比性和空間相干性，并取得了較高的精度。Kim等人為每個區(qū)域進行提取高維顏色特征，并且采用高維顏色空間變換去計算顯著性圖，因為在高維顏色空間中，顯著性目標和背景很容易進行區(qū)分。

這類方法能夠提取到很多復雜且區(qū)分力強的特征。但是，他們的效率及效果在很大的程度上依賴著分割的區(qū)域的個數(shù)，和分割區(qū)域的方法，對于不同的圖像，顯著性目標的個數(shù)和大小會存在著很大的差異。若將其分割成固定的數(shù)量的區(qū)域時，則很難做得到去對所有的圖像進行準確的顯著性檢測。

2.2基于分層的顯著性檢測方法

分層的顯著性檢測方法，首先將圖像分層地表示為包含著不同區(qū)域個數(shù)的圖像分割結(jié)果，之后再基于這些分層的區(qū)域計算顯著性圖。Kim等人利用CNN（卷積神經(jīng)網(wǎng)絡(luò)Convolutional Neural Networks，CNN）模型為每一個區(qū)域?qū)W習一個顯著性目標的形狀，之后由此得到粗糙顯著性圖，為了在學習的過程之中能保留更多的上下文信息，利用大小不一的區(qū)域去進行學習，之后將圖像進行多水平的分割，最后基于分割的結(jié)果，進一步細化粗糙顯著性圖，得到最終的結(jié)果。Li等人將圖像在不同的水平下進行分解，從而得到多個分割結(jié)果，之后對每個圖像分割結(jié)果中的區(qū)域構(gòu)建三個不同的圖像塊，再用一個CNN模型對其進行特征提取，并且用一個神經(jīng)網(wǎng)絡(luò)進行顯著性的與預測，最后將不同水平下檢測的顯著性圖，進行線性加權(quán)融合，得到最終的檢測結(jié)果。

通過上述例子，我們能夠發(fā)現(xiàn)，這類方法利用了所有水平的信息，因此能夠得到更好的顯著性圖，但是計算的效率較低。

2.3基于像素的顯著性檢測方法

基于像素的顯著性檢測方法，以圖像中的像素為單位提取局部或者全局的特征，并用于顯著性檢測。Rosin等人先對圖像進行簡單的邊緣檢測，閾值分解，距離變換，二值化，來完成顯著性檢測，該方法簡單有效，并且是非參數(shù)的。Zhang等人認為圖像邊界處的像素基本為背景，并且利用最小障礙距離變換，來計算像素之間的距離并估計顯著性值，最后結(jié)合基于光柵掃描的方法來對算法進行加速，極大提高了計算效率。

因為這類方法以像素為單位進行顯著性檢測，通常會突出具有強對比度邊緣的顯著性值，而不是突出整個顯著目標的，或?qū)⒌玫斤@著性值對比度的檢測結(jié)果，可能得到顯著性邊緣保持不好的顯著性圖。

2.4基于深度學習的顯著性檢測方法

基于深學習的顯著性檢測方法，可以分為基于區(qū)域建議的深度學習目標檢測和基于回歸的深度學習目標檢測兩個類別。但從2015年開始，CNN開始被引入進行顯著性檢測，與基于對比線索的大多數(shù)經(jīng)典方法不同，基于CNN的方法消除了對手工特征的需求減輕了對中心偏見知識的依賴，因此被許多科研人員所采用。He S等人提出了一種新的超像素卷積神經(jīng)網(wǎng)絡(luò)方法，稱為SuperCNN，可以有效地學習顯著性的內(nèi)部表示。Hou Q等人提出了一種新的顯著性檢測方法，在HED（Holistically-Nested EdgeDetection）的基礎(chǔ)上，增加了一種高層信息指導低層信息的Skip Layer結(jié)構(gòu)，從而構(gòu)建了一種簡單，有效，快速的端對端的顯著性物體檢測網(wǎng)絡(luò)結(jié)構(gòu)。

雖然目前有很多的基于深度學習的研究方法，但目前的研究基本都是基于R-CNN系列顯著性目標檢測框架和YOLO顯著性目標檢測框架這兩個基本框架。目前研究人員基于這些框架從其他方面入手提出一系列提高目標檢測性能的方法。如：難樣本挖掘、多層特征融合、使用上下文信息、更深網(wǎng)絡(luò)學習的特征等。

3.數(shù)據(jù)集及評價準則

3.1數(shù)據(jù)集

早期的顯著性檢測研究是針對眼動圖進行的。但是，眼動圖是一些離散的人眼注視的空間點，不能表示出整個顯著的區(qū)域，因此出現(xiàn)了窗口框標注的顯著性檢測數(shù)據(jù)集。早期的帶有包圍窗的來突出物體圖像的數(shù)據(jù)集，有MSRA-A和MSRA-B等。由于這類的數(shù)據(jù)集過于粗糙，之后出現(xiàn)了一類使用像素方式的二進制掩碼來注釋顯著對象的數(shù)據(jù)集，例如ASD和DUT-OMRO。

3.2評價準則

對于顯著圖的素質(zhì)，我們有著對應的評價準則，下面將對這些準則進行介紹。用S表示歸一化為[0，255]的預測顯著圖，G是顯著對象的地面正式二進制掩模。

（1）精確召回（PR）。首先將顯著圖S轉(zhuǎn)化為二進制掩碼M，然后通過將M與地面真值G進行比較來計算Precission和Recall：

（2）F值：通常Precission和Recall都不能完全評估顯著圖的質(zhì)量，為此提出F值作為Precission和Recall的非負權(quán)重的集權(quán)跳河平均：

（3）ROC（Receiver Operating Characteristic）曲線：是以假正率（FP_rate）和假負率（TP_rate）為軸的曲線

（4）ROC曲線下面積（AUC）：AUC越大性能越好

（5）平均絕對誤差（MAE）：進行更全面的比較。

4.總結(jié)

本文主要介紹了計算機視覺，顯著性檢測，深度學習，以及數(shù)據(jù)集合和評價準則。在信息量劇增的當代，計算機視覺等技術(shù)，能夠很好地幫助我們?nèi)ヌ幚頂?shù)量巨大的圖像信息，從而提高我們處理信息的效率，獲取更多的有效信息。

目前有非常多的算法去實現(xiàn)顯著性檢測，這些技術(shù)各有優(yōu)劣，我們在進行實驗的同時，也在學習著其他優(yōu)秀的算法，探索著更為高效的實現(xiàn)方法。我們之所以進行著這些努力，是為了能夠?qū)⑦@項技術(shù)更好地運用到實際的生活之中。生活中用到的人臉檢測，圖片分類，照片美化等等，都有著顯著性檢測技術(shù)的應用。而更高效，準確的算法能夠使得這些應用有著更高的效率，為我們的生活帶來更多的便捷。

參考文獻

[1]Qin S，Manduchi R.A fast and robust text spotter[C]//IEEE Winter Conference on Applications of Computer Vision. 2016：1-8

[2]Li G，Yu Y.Visional saliency based on multiscale ?deep features [C]IEEE Conference on Computer Vision and Pattern Recognition . 2015：5455-5463

[3]Kim J，Han D，Tai Y W，et al.Salient region detection via high-dimensional color transform[C]//IEEE Conference on Computer Vision and Pattern Recognition.2014：883-890

[4]Cheng M M，Mitra N J，Huang X，et al. Global contrast based salient region detection [J].IEEE Transactions on Pattern Analysis and Machine Intelligence，2015，37（3）：569-582.

[5]Borji A，Cheng M M，Jiang H，et al.Salient object detection：A survey[J].arXivpreprint arXiv：1411.5878，2014.