基于梯度矢量方向性分析的線裁剪算法

聶棟棟 馬勤勇 馬利莊

①(燕山大學理學院 秦皇島 066004)

②(燕山大學信息科學與工程學院 秦皇島 066004)

③(上海交通大學計算機科學與工程系 上海 200240)

1 引言

圖像縮放是圖像處理領域的一個基本問題，它通過改變圖像的分辨率適應不同的顯示設備，滿足各類應用需求?；趦热莞兄膱D像適應算法成為近年來圖像縮放領域的一個新的研究熱點[1?4]，尤其是其中的線裁剪算法得到了眾多研究者的廣泛關注。該算法定義單像素寬的連續的近似水平或垂直的曲線為像素線路，然后根據圖像像素的重要性，提取對人視覺影響最小的像素線路，最后通過復制或刪除圖像中像素線路，調整圖像尺寸。算法最初由文獻[5]提出，文獻[6]將其擴展到了3維時空域中對視頻圖像進行處理。文獻[7]通過線性算法在圖像相鄰的行或列間建立完全匹配關系，加快了算法的處理速度。文獻[8]利用用戶提供的相對深度地圖，在線裁剪過程中實現對象的相互遮擋。文獻[9]通過利用雙向相似函數[10]在主顏色描述[11]及歐拉距離等基礎上定義圖像距離函數，并將圖像線裁剪與圖像縮放算法相結合。還有不少學者通過將顯著性地圖、人臉檢測等[12,13]引入像素能量圖的計算，改進算法處理效果。

本文提出了一種基于梯度矢量方向性分析的線裁剪算法，它通過對局部區域的圖像梯度矢量場進行低通濾波，能更好地利用這類存在大量視覺冗余的隨機紋理區域，進而更好地保護圖像的邊緣輪廓結構等真正視覺關注的重點區域。此外，本文還提出了新的像素能量計算方法，它在提取行、列像素線路時，對像素的梯度矢量的x,y方向的梯度分量分別賦予不同的權值。實驗結果顯示，文中算法算法的處理結果在整體視覺效果上更好，能夠更好地保護視覺敏感的邊緣輪廓結構。通過對算法處理后的目標圖像和原圖像的完整性距離和一致性距離進行分析，結果也顯示與其它幾種算法相比較，本文算法處理后的目標圖像內所保留的圖像信息最為完整，而且新引入的畸變也最小。

2 線裁剪算法

傳統線裁剪算法根據圖像梯度區分圖像像素對人類視覺感知的重要性，以此提取像素線路并進行刪除、插入處理。

一般而言，假設源圖像大小為M×N，目標圖像大小為M′×N，則線裁剪算法就需要提取條行像素線路。每條行像素線路的定義如下：

提取像素線路則根據像素線路上像素的能量和，優先選擇能量較小的，即

提取到行像素線路后，若目標圖像尺寸比原始圖像小，則刪除該像素線路就可以使圖像尺寸縮小一行。如此循環處理次即可獲得行數為M′的目標圖像。若目標圖像尺寸比原始圖像大，為了避免同時選中一條像素線路，則先記錄次提取的像素線路，再將這些像素線路拷貝后插入到圖像相應位置就可以使圖像尺寸達到目標。

當需要縮小圖像寬度時，需要提取的就是列像素線路，其處理過程與行像素線路的類似，本文就不再贅述。

3 基于梯度矢量方向性分析的線裁剪算法

大量實驗顯示，以上線裁剪算法處理后的圖像容易產生如下問題：首先是由于所提取的像素線路過度集中在某個圖像區域，造成目標圖像信息缺失，使圖像整體的視覺效果處理前后差異過大；其次是部分圖像邊緣結構處容易產生視覺敏感的畸變。

鑒于以上問題，本文提出新的線裁剪算法。它利用線裁剪算法中被忽略的梯度矢量的方向性，即利用梯度矢量方向在不同圖像區域的不同表現，以及不同梯度矢量方向在行列像素線路提取時產生的視覺影響也不同這兩個特點，改善圖像的處理效果。

研究發現，當線裁剪算法所提取的像素線路過度集中在某個圖像區域時，并不完全是因為只有該區域存在大量視覺冗余信息，更可能是因為其它視覺冗余區域存在有較雜亂的紋理細節，使得算法誤認為這些區域也是視覺關注的重點。注意到這類紋理區的梯度大小雖然會相對較大，但梯度方向卻非常雜亂。因此本文算法提出對圖像的梯度矢量場進行低通濾波，以消除這些紋理區域對像素重要性計算的影響。具體公式如下：

其中G為濾波后的梯度矢量場，?Iy, ?Ix和Gx,Gy分別表示低通濾波前后x,y方向的梯度值；*表示2維卷積運算；F為低通濾波器，考慮到算法復雜性，本文采用簡單的2維均值濾波器，其大小取經驗值為5×5。

需要說明的是本文通過Sobel算子計算圖像梯度。因此，對于灰度圖像：

其中H為Soble算子，?Ix表示Soble算子提取的灰度圖(亮度圖)上的x方向梯度值；

而且對于彩色圖像，考慮到彩色圖像轉換成灰度圖像后必然會損失部分信息，本文直接在RGB彩色圖像上提取像素梯度信息。對于彩色圖像：

其中Ir,Ig,Ib分別表示彩色圖像的紅、綠、藍3分量；表示Soble算子提取的相應分量上x方向的梯度值。

需要注意的是，本文采用Matlab中的x,y坐標方向，即x坐標表示垂直(行)方向與y坐標方向表示水平(列)方向。

與的計算類似，就不再重復說明了。

本文算法對圖像整體視覺效果的保護，如圖1所示。可以看出，由于梯度矢量的低通濾波削弱了近處大片紋理區的視覺重要性，使像素線路的提取更為合理，本文算法的整體視覺效果與原圖更相似。

研究還發現，線裁剪算法所提取的像素線路在穿過不同梯度方向的邊緣后，對視覺效果造成的影響明顯不同。比如，當行像素線路在穿過水平走向的邊緣后，會造成該邊緣的左右兩段發生顯著錯位，這是人類視覺感知非常敏感的圖像畸變。而在行像素線路在穿過垂直走向的邊緣后，雖然會改變該邊緣的高度，但這種變化很難被視覺感知。同樣，在列像素線路提取時也存在類似的情況。

這就說明，像素的重要性不僅取決于該像素梯度矢量的大小，同時與其梯度矢量的方向也有關。因此，本文對式(3)定義的像素能量函數進行修改，使算法在提取行列像素線路時，分別采用不同的像素能量計算公式：

其中ex,ey分別對應于提取行、列像素線路時的像素能量；w1,w2為經驗權值，一般取w1=w2= 0 .8。

在新的像素能量計算基礎上，算法根據式(2)提取累積能量最小的像素線路，再通過刪除或復制像素線路改變原圖像的尺寸，生成合適的目標圖像。

4 實驗結果及分析

本文算法實驗是在PC機上的Matlab環境下進行的，并著重與文獻[5]，文獻[6]和文獻[12]的算法進行了對比。為了表述的方便，本文分別以ASC, RSC,SSC表示這3種算法。

圖2，圖3顯示了本文算法與ASC, RSC, SSC算法的比較。從中可以看出，本文算法的處理結果視覺效果要明顯好于其它3種算法。如圖2中白鶴伸開的翅膀以及圖3中蘑菇的傘蓋部分其它3種算法處理后都產生了明顯的畸變，而本文算法的處理則保留了與原圖相似的輪廓結構。

圖4顯示了本文算法對其它圖像的處理結果。從中可以看出本文算法可以更好地利用圖中的草地、樹林等視覺相對冗余的信息，進而更好地保護圖像中視覺更重要的區域，如圖4(a)中的小房及樹，4(b)中的溪流，4(c)中的椰子樹。

為了客觀地衡量算法處理后的目標圖像與原始圖像間的視覺相似性距離，實驗采用了圖像的完整性距離和一致性距離這兩個指標。分別用于分析原圖像中信息在處理后的目標圖像中是否被完整保留以及目標圖像中的信息是否和原圖像一致(產生畸變的程度)。具體定義如下：

圖1 本文算法與文獻中算法對圖像整體視覺效果保護的比較

圖2 本文算法對白鶴圖的處理結果((a)為原始圖像，(b), (c), (d), (e)分別表示ASC, RSC, SSC以及本文算法對原圖寬度縮小后的處理結果，(f), (g), (h), (i)分別表示ASC, RSC, SSC以及本文算法對原圖高度縮小后的處理結果)

圖3 本文算法對黃蘑菇圖的處理結果((a)為原始圖像，(b), (c), (d), (e)分別表示ASC, RSC, SSC以及本文算法對原圖寬度縮小后的處理結果，(f), (g), (h), (i)分別表示ASC, RSC, SSC以及本文算法對原圖高度縮小后的處理結果)

圖4 本文算法對其它圖像處理結果(第1行為原始圖像，第2, 3, 4, 5行分別表示ASC, RSC, SSC以及本文算法的處理結果)

其中S,T分別表示原圖像和目標圖像；表示完整性距離，表示一致性距離；P,Q分別表示原圖像和目標圖像中的圖像塊；D(P,Q)表示多分辨率分析下兩圖像塊的歐拉距離的最小值；Ns,NT表示原圖像和目標圖像的圖像塊數目。圖5給出了實驗中當所刪除的像素線路占原圖比例的逐漸增加后，本文算法，ASC, RSC, SSC算法的處理結果與原圖像的相似性距離變化的曲線。從中可以看出，隨著所刪除的像素線路占原圖比例越來越大，4種算法的完整性距離和一致性距離都逐漸增大，但相比其它3種算法，本文算法在增長趨勢上明顯較緩。這也說明需要提取較多的像素線路時，本文算法處理后的圖像與原圖像的完整性距離、一致性距離比其它3種算法都要小，即本文算法生成的目標圖像對原圖像的信息保存最為完整，新引入的圖像畸變最小。

圖5 ASC, RSC, SSC以及本文算法處理結果的相似性距離隨像素線路占原圖比例變化的曲線

5 結束語

本文重點考慮了之前線裁剪算法中被忽略的梯度矢量的方向性，提出了一種基于梯度矢量方向性分析的線裁剪算法。實驗通過主、客觀兩方面的分析，顯示相比其它幾種算法，本文算法處理后的目標圖像與原始圖像整體視覺效果更加接近，圖像邊緣輪廓等細節保護的也較好。

[1] Kim Jun-Seong, Jeong Seong-Gyun, Joo Younghun,et al..Content-aware image and video resizing based on frequency domain analysis [J].IEEE Transactions on Consumer Electronics, 2011, 57(2): 615-622.

[2] Wang Shu-fan and Lai Shang-hong. Compressibility-aware media retargeting with structure preserving[J].IEEE Transactions on Image Processing, 2011, 20(3): 855-865.

[3] 施美玲, 徐丹. 主體大小能控的內容感知圖像縮放[J]. 計算機輔助設計與圖形學學報, 2011, 23(5): 915-922.Shi Mei-ling and Xu Dan. A prominent object size adjustable method for content-aware image resizing[J].Journal of Computer-Aided Design&Computer Graphics, 2011, 23(5):915-922.

[4] 雷勵星. 基于混合能量的內容敏感圖像縮放新方法[J]. 計算機學報, 2010, 33(10): 2016-2021.Lei Li-xing. Content-aware image resizing based on hybrid energy[J].Chinese Journal of Computers, 2010, 33(10):2016-2021.

[5] Avidan S and Shamir A. Seam carving for content-aware imageresizing [J].ACM Transaction on Graphics, 2007, 26(3):Article No.10.

[6] Rubinstein M, Shamir A, and Avidan S. Improved seam carving for video retargeting [J].ACM Transaction on Graphics, 2008, 27(3): Article No.16.

[7] Huang Hua, Fu Tian-Nan, Rosin P L,et al.. Real-time content-aware image resizing[J].Science in China Series F:Information Sciences, 2009, 52(2): 172-182.

[8] Mansfield A, Gehler P, Gool L,et al.. Scene carving: scene consistent image retargeting[C]. Proceedings of the 11th European Conference on Computer Vision: Part I. Heidelberg:Springer, 2010: 143-156.

[9] Dong Weiming, Zhou Ning, Paul J C,et al.. Optimized image resizing using seam carving and scaling[J].ACM Transactions on Graphics, 2009, 28(5): Article No.125.

[10] Simakov D, Caspi Y, Shechtman E,et al.. Summarizing visual data using bidirectional similarity[C]. Proceedings of IEEE Conference on Computer Vision and Pattern Recognition, Los Alamitos: IEEE Computer Society Press,2008: 1-8.

[11] Min Rui and Cheng H D. Effective image retrieval using dominant color descriptor and fuzzy support vector machine[J].Pattern Recognition, 2009, 42(1): 147-157.

[12] Achanta R and Susstrunk S. Saliency detection for content-aware image resizing[C]. Proc of IEEE ICIP’09,Piscataway, NJ, IEEE, 2009: 1005-1008.

[13] Chen Jianhui, Miao Lanfang, and Liu Xinguo. Balanced energy for content-aware image resizing [C]. Proc of 3rd IEEE International Conference on Ubi-media Computing,Piscataway, NJ, IEEE, 2010: 24-29.