一種改進的頻率調諧顯著性檢測方法

于乃昭，姚志均，楊 波

（船舶重工集團公司723所，揚州 225001）

0 引 言

人類在觀測一副圖像時，通過視覺注意機制能夠很容易地注意到感興趣的目標或圖像中的重要部分。若能將這種機制引入到計算機視覺領域中，首先找出顯著性區域，然后將計算資源優先分配給這些區域，就能顯著提高現有圖像處理和模式識別等的工作效率和性能。提取出來的顯著性圖像可以廣泛應用于計算機視覺領域，如圖像分割［1］、圖像壓縮［2］、目標識別［3］、內容感知、圖像編輯［4］、圖像檢索［5］等。

顯著性檢測方法大致可分為3類：基于生物學的方法、純計算的方法和結合這2種思想的方法。第1類方法的典型代表是Itti等人［6］于1998年提出的一種基于生物學的視覺注意模型，它提取圖像的梯度、顏色、方向等特征，用高斯差（DOG）計算中心-周圍差值得到各特征所對應的顯著圖，最后線性組合得到最終的顯著圖。受Itti模型的啟發，Frintrop等人［7］提出了一種新的方法，他們用均方濾波器計算中心-周圍差值，并用積分圖像加快計算速度。純計算的顯著性檢測方法有：Ma和Zhang［8］用中心-周圍特征距離估計顯著性；Gao和Vasconcelos［9］通過最大化中心和周圍的特征分布之間的互信息來求得圖像的顯著性；Hou和Zhang［10］提出了一種基于頻域的顯著性檢測方法——頻域殘余譜（SR）方法。第3類方法是結合生物學模型和計算模型實現的。Harel等人［11］用Itti的方法生成特征圖，然后用基于圖論的方法執行歸一化操作。

上述方法中有些方法得到顯著圖的分辨率比較低，如Itti的方法［6］得到的顯著圖是原始尺度的1／256，Hou和Zhang［10］方法得到的顯著圖為64×64像素。有些方法突出顯著目標的邊緣，而不是均勻地顯示整個顯著區域，如Ma和Zhang的方法［8］和Hou和 Zhang的方法［10］。

針對上述這些問題，Achanta等人［12］提出了頻率調諧（FT）方法，該方法采用Lab顏色空間作為圖像特征，對于每個顏色通道，計算某個像素與整幅圖像的平均色差并取平方，然后將這3個值相加作為該像素的顯著性值。由于該方法不需要下采樣，故可以輸出跟原始圖像一樣大小的顯著圖；同時該方法保留了全部空間頻率信息，從而能夠提取整個顯著區域。

然而，由于Lab顏色空間的3個分量L、a、b的取值范圍不一樣，L的取值范圍為［0 100］，而a、b的取值范圍為［-128 127］，且這3個分量的變化不一致，一副圖像中的亮度變化往往比較大，而色度的變化不大，這樣很有可能導致基于這3個分量得到的顯著性值不在同一個數量級，從而不能很好地體現出各個分量的作用。為此，本文提出一種改進的頻率調諧（IFT）方法，與文獻［12］一樣采用Lab顏色空間作為圖像特征，然后得到3個顏色通道的顯著圖，最后加權得到最終的顯著圖。

1 本文提出的方法

在討論本文提出的方法之前，先介紹一下頻率調諧方法。設給定圖像I的尺寸為H×W，其中H為高度，W為寬度。

第1步，先對圖像做高斯平滑處理，以消除噪聲、因編碼引入的誤差及精細的紋理，得到一個新的圖像Ig，其計算公式如下：

式中：（i，j）為像素坐標；符號“＊”表示卷積；G為高斯平滑濾波器，其尺度大小一般選3×3或5×5。

第2步，將圖像Ig從三原色（RGB）顏色空間轉換到Lab顏色空間，得到圖像的亮度特征L和顏色特征a、b。

第3步，計算每個特征所對應的整幅圖像的均值：

第4步，對于每個像素，計算各特征下與整幅圖像均值之間的距離：

第5步，特征融合得到每個像素的最終顯著性值：

由公式（8）得到的值往往遠大于255，故不能直接用于圖像顯示，一般會將它歸一化為［0 1］之間的實數或［0 255］之間的整數。

由于L、a、b3個分量的取值范圍和變化快慢不一樣，很有可能導致由公式（5）～（7）得到的各特征所對應的顯著性值不在一個數量級上，從而抑制了值小的分量的作用。為此，本文提出了一種改進的頻率調諧方法，改進之處在于特征融合這一環節。文獻［12］是直接將不同特征的顯著性值線性相加得到最終的顯著性值，而本文提出的方法是先對各特征的顯著性值做歸一化處理，即：

在得到新的顯著性值之后，經如下公式融合得到最終的顯著性值：

式中：ωL、ωa、ωb分別為3個特征所對應的權重（本文的實驗中取ωL＝ωa＝ωb＝1／3）。

2 實驗結果與分析

為了驗證本文提出的顯著性檢測方法的有效性和性能，進行了實驗仿真。

第1個實驗是以一個小尺寸的圖像塊作為目標，通過查看L、a、b3個分量的值及所對應的顯著性值來證明本文提出改進方法的思路是正確的，同時也與文獻［12］比較最終得到的顯著圖性能。圖1中箭頭所指方框（大小為16×11）是感興趣的目標圖像，經顏色空間轉換之后L、a、b3個分量的值分別如圖2（a）、（c）、（e）所示，由公式（5）～（7）計算得到的3個分量所對應的顯著性值分別如圖2（b）、（d）、（f）所示。

從圖2可以看出，亮度的變化比顏色特征變化大；3個特征所對應的顯著性值不在一個數量級，其中亮度特征L的顯著性值的最大值為3 948，而顏色特征a、b的顯著性值的最大值分別為163、758。

圖1 箭頭所指方框為感興趣目標

圖2 目標圖像L、a、b 3個分量的值及對應的顯著性值

這樣，在特征融合時，顏色特征很容易被亮度特征抑制，從而不能發揮顏色特征所特有的功能。圖3（a）和（b）分別是文獻［12］和本文方法得到的顯著圖，像素的亮度越亮，顯著性值越大，表明該像素越顯著。文獻［12］的結果表明人的黑色帽子和褲子是顯著性目標，本文方法的結果表明人的綠色上衣是顯著目標。而事實上，當人們觀測這幅圖像時，圖中的人物肯定是人們關注的對象，但相比于黑色帽子和褲子，更多的注意力會放在綠色上衣上面，這也就說明本文提出的方法要好于文獻［12］。

圖3 文獻［12］和本文方法得到的顯著圖

第2個實驗是從文獻［12］的數據庫（共有1 000幅圖像）中選擇了5幅不同類型的圖像，然后比較Hou和Zhang的頻域殘余譜方法、文獻［12］的頻率調諧法及本文提出的方法這3種顯著性檢測方法的性能。實驗結果如圖4所示。對于頻域殘余譜方法，由于它是在64×64像素這樣的尺度上實現的，為了方便比較，本文通過插值法將它拉伸到跟原始圖像一樣大小。由圖4（b）可以看出，頻域殘余譜方法突出目標邊緣部分，能夠檢測小目標物體；頻率調諧法能夠檢測大尺度的目標，且目標整體比較均勻，但由于它可能抑制了某些顏色分量的作用，從而不能充分檢測出顯著性區域；而本文方法既繼承了頻率調諧法的優點，同時又充分利用了各顏色分量的作用，以至于取得很好的檢測結果。

3 結束語

本文分析了頻率調諧顯著性檢測方法的不足，并對它做了相應的改進：先將每個特征所得到的顯著圖進行歸一化處理，然后再用加權平均融合得到最終的顯著圖。由于改進的方法充分利用了各顏色分量的作用，因而取得了好于原始頻率調諧法的顯著性檢測結果。

［1］ Han Junwei，Ngan King Ngi，Li Mingjing，et al.Unsupervised extraction of visual attention objects in color images［J］.IEEE Transactions on Circuit and System on Video Technology，2006，16（1）：141-145.

［2］ Christopoulos Charilaos，Skodras Athanassios，Ebrahimi Touradj.The JPEG2000still image coding system：an overview ［J］.IEEE Transaction on Consumer Electronics，2000，46（4）：1103-1127.

［3］ Rutishauser Ueli，Walther Dirk，Koch Christof，et al.Is bottom-up attention useful for object recognition？［A］.Proceedings of The IEEE Conference on Computer Vision and Pattern Recognition［C］.Pasadena，USA，2004：37-44.

［4］ Wu Huisi，Wang Yushuen，Feng Kunchuan，et al.Resizing by symmetry-summarization［J］.ACM Transaction on Graphics，2010，29（6）：1-9.

［5］ Chen Tao，Cheng Mingming，Tan Ping，et al.Sketch2photo：Internet image montage ［J］.ACM Transaction on Graphics，2009，28（5）：1-10.

［6］ Itti Laurent，Koch Christof，Niebur Ernst.A model of saliency-based visual attention for rapid scene analysis［J］.IEEE Transactions on Pattern Analysis and Machine Intelligence，1998，20（11）：1254-1259.

［7］ Frintrop Simone，Klodt Maria，Rome Erich.A real-time visual attention system using integral images［A］.Proceedings of The 5th International Conference on Computer Vision Systems［C］.Bielefeld，Germany，2007.

［8］ Ma Yufei，Zhang Hongjiang.Contrast-based image attention analysis by using fuzzy growing［A］.Proceedings of ACM International Conference on Multimedia［C］.New York，USA，2003：374-381.

［9］ Gao Dashan，Vasconcelos Nuno.Bottom-up saliency is a discriminant process［A］.Proceedings of The IEEE International Conference on Computer Vision［C］.San Diego，USA，2007：1-6.

［10］Hou Xiaodi，Zhang Liqing.Saliency detection：a spectral residual approach［A］.Proceedings of The IEEE Conference on Computer Vision and Pattern Recognition［C］.Shanghai，China，2007：1-8.

［11］Harel Jonathan，Koch Christof，Perona Pietro.Graphbased visual saliency［A］.Proceedings of The Advances in Neural Information Processing Systems 19［C］.Vancouver，Canada，2007：545-552.

［12］Achanta Radhakrishna，Estrada Sheila，Wils Francisco，et al.Frequency-tuned salient region detection［A］.Proceedings of The IEEE International Conference on Computer Vision and Pattern Recognition［C］.Lausanne，Switzerland，2009：1597-1604.