視頻圖像的顯著度提取模型分析*

韓美林 武 立 喬成芳 程峻杰 王 帆

（1.商洛學院電子信息與電氣工程學院 商洛 726000）

（2.商洛市體育運動中心 商洛 726000）

（3.商洛學院化學工程與現代材料學院 商洛 726000）

1 引言

目前由于信息資源的爆炸增長，數字視頻圖像資源不斷增大，去除冗余信息并從這些數據中提煉出有用的信息非常必要［3］。生物學方面的研究發現，人的視覺注意機制在對圖像視頻觀測時，不會將注意力平均分布，而是只會關注視頻圖像中顯著度明顯的感興趣區域［4］，所以基于視覺顯著性的算法研究具有較好的研究意義和價值。因此，本文采用了四種顯著度算法進行分析對比，對算法運行得到的結果進行分析，得出各算法的優劣勢及應用場景。

2 視覺顯著度提取經典模型

2.1 基于像素域的顯著性提取

顯著性檢測研究領域最具代表性的顯著度模型是ITTI 提出的基于特征集成理論和中心-周圍（Center-Surround，CS）機制的多尺度對比模型（It?ti's Model，IT）算法［5］。像素域的算法劣勢在于只進行像素點之間的處理計算，沒有考慮到其它方面的因素，導致像素復雜的圖片得到的結果雜亂。因為像素域是早期的一種算法，部分計算復雜度很高導致算法在對圖像進行顯著度檢是運行時間過長［6］。

2.2 基于頻率域的顯著性提取

基于頻率域的顯著度提取與基于像素域的顯著度提取不同之處在于提取特征的方式不同。通常所采用的方法是，將輸入圖像進行數學變換，把圖像從空域轉換至頻域，在對頻域中的參數計算處理，以數學方法獲得顯著性檢測圖像得到最終顯著圖［7］。由于只執行簡單的傅里葉變換和逆傅里葉變換，因此獲得的顯著性檢測效果一般，無法處理復雜度較高的模型，但在頻率域進行計算方法更加簡便，因此產生了很多以頻率域為基礎的算法［8］。

2.3 基于機器學習的顯著性提取

基于機器學習的顯著性檢測模型不像其它算法以濾波器為手段，該模型主要是以眼動跟蹤數據來訓練產生分類器，以分類器為主要工具實現性檢測［9］。機器學習的顯著性模型需要通過大量的訓練，才可能會適應各種場景下的圖像，提取出圖像的顯著區域［10］。

3 顯著度提取模型分析

3.1 四元傅里葉變換模型

一幅圖像q 可以使用四元數來表示，大部分基于傅里葉變換的圖像處理都能適用于超復數，四元數也是超復數的一種，所以可以用PQFT 檢測目標圖像［11］。程序運行結果如圖1、2所示。

3.2 譜殘差法模型

譜殘差法也屬于基于頻率域的顯著性檢測模型，通過對圖像進行二維離散傅里葉變換來對圖像及進行處理。因為譜殘差可以表示一幅圖像的異常區域，我們利用它來表示圖像的顯著性區域［12］，運行得到的結果如圖3所示。

圖1 PQFT得到的顯著圖

圖2 原圖直方圖與顯著直方圖

圖3 譜殘差法結果

3.3 ITTI模型

ITTI 算法是從像素域的角度對圖像進行計算處理，主要步驟是先輸入圖像，然后進行多個特征通道和多尺度的分解，再進行濾波得到特征圖，最后在特征圖上執行融合計算獲得最終顯著圖［13］。

實驗結果圖如圖4所示。

圖4 ITTI運行結果

3.4 HC模型

HC 算法是基于對比度的顯著性檢測，并依據像素之間的色差分配顯著性值，該方法只使用圖像中的色彩特征來計算顯著圖［14］。為了減少計算過程中消耗的時間，丟掉一些出現較低的顏色，將自然圖像中出現頻率較高的顏色保留，并確保這些顏色能覆蓋絕大部分的像素，其他的一些像素用直方圖中距離相近的顏色來代替，但是圖像因此會產生一些瑕疵，之后對圖像進行平滑改善顯著值［15］。運行結果如圖5所示。

圖5 HC算法結果

4 結語

通過對算法進行實驗結果顯示，各算法都能得到不同程度的顯著性檢測結果，但是由于算法的復雜程度和設計角度不同，算法的運行時間和實驗結果均有較大的差異。對算法提取出來的顯著圖以及顯著圖二值化結果分析，通過實驗結果，我們可以看到，本文所使用的PQFT 顯著性算法檢測模型和SR顯著性算法檢測模型都可以有效地提取出一幅圖片中人眼較為感興趣的部分區域［16］。相比來看雖然ITTI 算法模型和HC 算法模型也能較為準確的檢測出圖像中的顯著性區域，但是得到結果較差。實驗結果如圖6～9所示。

圖6 PQFT實驗結果

圖7 SR實驗結果

圖8 ITTI實驗結果

圖9 HC實驗結果

本文還采用同一圖像采用四種顯著性檢測模型進行分析，通過實驗結果，對算法效果進行實際對比，實驗結果如圖10～11。兩組圖片采用的算法由上到下依次是PQFT、SR、ITTI、HC 四種算法。基于頻域的算法在顯著圖建立時提取圖像的色彩特征、亮度特征，通過對圖像行傅里葉變換和逆傅里葉變換處理，簡單的一系列計算得到圖像的顯著圖，計算成本復雜度低，有很好的效果。

圖10 結果對比1

圖11 結果對比2

表1 算法處理100幅圖片耗時

另外可以從表1 看到不同算法對于相同數量的圖片進行處理所消耗時長，經過分析得到PQFT的效果最好，性能也比較穩定，ITTI效果次之，但是運行時間過長，SR 數據表現不是很好，但是從效果圖上來看效果還可以，HC算法性能不太穩定，優點在于運行時間不長。