基于邊緣顯著區域和結構相似度的圖像視覺效果評價

劉 偉，薄 華（上海海事大學信息工程學院，上海201306）

圖像與多媒體

基于邊緣顯著區域和結構相似度的圖像視覺效果評價

劉 偉，薄 華
（上海海事大學信息工程學院，上海201306）

圖像的大部分結構信息都集中在了邊緣，在進行邊緣檢測時濾除一些與圖像計算不相關的信息，可減少計算中的數據量，使得計算更加便捷；在結構屬性上也得到了很好的保留，因此邊緣檢測方法在圖像視覺效果評估上是可行的。人眼對于一幅圖像的視覺并不是每一個圖像區域都具有同等的視覺重要性。可以建立一種數學方法，提取圖像中的視覺重要區域，對這些區域進行視覺效果評價。選取基于結構相似度方法作為最終評價方法，得到了一種全參考圖像質量評價算法。最后將實驗結果與3個圖像評價庫的參考結果進行擬合，得到的結果與其他算法相比表明，該算法更加符合人眼的視覺效果特性。

邊緣檢測；Canny算子；局部方差；結構相似度

O 引言

隨著現代多媒體信息技術的快速發展，數字圖像作為多媒體技術之一在當今生活中的作用越來越受到大家的關注，圖像在獲取、壓縮、編碼、傳輸、處理等過程中產生的各種失真和誤差是無法回避的，這些不同程度的誤差和失真會直接影響到圖像的質量，從而影響了人眼對圖像觀賞效果，因此需要一種更加方便且精確的方法來評價圖像的質量。

當下圖像視覺效果評估方法主要分為兩大類：主觀評估和客觀評估。主觀評估法昂貴、耗時又不方便實時應用，不僅受到人體本身條件的影響而且還受到環境因素的影響，因此評估穩定性較差。客觀評估方法是利用計算機通過算法來算出失真圖片視覺效果值作為評估的依據，客觀評估方法可分為全參考、部分參考和無參考三種類型。本文是基于全參考下的圖像視覺效果評價方法。全參考圖像視覺效果評估方法是指擁有該失真圖像的原始圖像，運用某種數學算法將圖像某一特征進行提取，與待評價圖像進行對比分析，通過差異的大小判斷失真圖像的質量的好壞，這種模式的好處是充分運用了數學模型的穩定性，準確性較好。當前全參考圖像的研究種類基本上分為四大類：像素之間誤差統計、結構相似度、信息保真度和人類視覺系統。傳統的像素之間誤差統計客觀評估方法中，比較常見的是均方誤差（Mean Square Error，MSE）［1］和峰值信噪比（Peak Signa1 to Noise Ratio，PSNR）［2］，其計算方法都是計算原始圖像和帶評價圖像之間像素點灰度值之間差異來判斷一幅圖像的好壞。但是這類算法只考慮了像素之間的差異，其實驗結果并不能準確表達人眼的視覺。參考文獻［3］表述人眼睛的視覺功能主要是用來提取背景中的結構信息，Wang Zhou等人通過此類結論得出了新的基于結構失真的圖像視覺效果評價方法（Structua1Simi-1arity，SSIM）［4］，此方法在對某些不同類型的失真及失真敏感度不同的情況下也與人眼主觀視覺存在一定的差異。MOORTHY A K等人提出基于視覺區域利用綜合感知的改進算法［5］；王強等人［6］深入挖掘圖像的結構信息，利用圖像中鄰近像素點的相關性對圖像邊緣、紋理等結構提出了一種基于局部結構方向相似度的質量評價算法（Structua1Orientation Information，SOI）［6］。本文提出了一種新的圖像視覺效果評價算法，通過對圖像的邊緣信息進行提取，并且結合局部方差確定待評價區域，運用SSIM算法得到最終圖像的質量分數，實驗結果證明該方法與人眼主觀的視覺效果具有高度相似性。

1 基于邊緣顯著區域和結構相似度的圖像視覺效果評價

1.1 Canny邊緣檢測

本文提出的視覺效果評價算法通過Canny邊緣檢測算子來對圖像的邊緣結構信息進行提取。Canny算子首先將圖像的噪聲進行抑制，獲得平滑的圖像。最后通過精確定位得到圖像的邊緣位置。其步驟如下：

（1）用高斯濾波器平滑圖像。

高斯平滑函數H（x，y）：

其中f（x，y）是圖像數據。

（2）在Canny算子中用一階偏導的有限差分近似方法來計算圖像中的梯度的幅值和方向。

利用一階差分模板：

（3）在圖像矩陣中對梯度的幅值進行非極大值抑制。

對于整幅圖片來說其圖像矩陣中值越大的點只能表示為在此點的梯度的幅值越大，并不能將其表示成該點是圖像中的邊緣點，在邊緣點確定時應該保留其局部梯度值最大的點，但是在非極大值點上，對其進行抑制，尋找到梯度最大值點后，不是對最大值點進行抑制，而是將梯度最大值點所對應的其灰度值設置為0。

圖1中4個扇區相應的編號為0～3，與之相對應的左圖為3×3的4種可能的組合。首先要確定某一像素點的灰度值的大小并判斷在其領域中是否最大，如果得出該點不是局部的最大灰度值點，則否決該點為邊緣點。以上原理就是確定邊緣點的工作原理。

圖1 非極大值抑制

（4）使用雙閾值算法對邊緣進行檢測以及連接。

通過第三步的非極大抑制后得到的幅值如果直接顯示出結果，那么很有可能會有少量的邊緣像素包含到輸出結果中，這樣會影響邊緣檢測結果的精確性，所以采用雙閾值的方法來進行取舍。與傳統方法的一個閾值選擇相比，Canny算法中提出的雙閾值方法很好地實現了邊緣選擇，雙閾值選擇與邊緣連接方法假設兩個閾值，這兩個閾值，分為兩極，一個為高用T1表示，另一個為低用T2表示。

T2=0.4T1則有：

（1）對于任意邊緣像素低于T2的則丟棄。

（2）對于任意邊緣像素高于T1的則保留。

（3）對于任意的邊緣像素其值在T2到T1之間的，如果能通過邊緣連接到像素值大于T1而且邊緣所有像素值大于最小閾值T2的則保存，否則不保留。

本文采用了相比之前Canny算子更加細化的Canny算子。對高斯濾波器得到的圖像進行邊緣檢測，且在檢測中用Sobe1算子進行橫、豎、聯合檢測，最后得到聯合檢測圖像并對其進行非極大值抑制，在邊緣點連接的同時進行滯后閾值處理。此方法得到的邊緣檢測圖像在邊緣結構上具有很好的連續性，更好地反映了圖像的邊緣部分。圖2為原始圖像，圖3為采用此方法得到的邊緣檢測圖，具有較好的效果。

圖2 原始圖像

圖3 Canny邊緣檢測圖像

1.2 圖像顯著區域提取

在人眼視覺系統中對于整幅圖像而言，并不是每一塊區域都是人眼視覺的重要區域，因此為了提取圖像中人眼視覺重要區域，可以通過一些量化手段來實現。本文選用譜殘余（SPectra1Residua1，SR）［7］的方法來選取圖像的顯著區域。SR算法對圖像的幅度譜進行處理后獲得圖像的殘余譜，對獲得的殘余譜利用傅里葉變換得到空間域的顯著圖。

對于一幅圖像，其像素在空間上的變化各不相同，但是，如果從空間頻譜域進行分析，每幅圖像都可以分解成具有多個不同的空間頻譜的波信號。以小波分解為例，經過分解后的圖像，在圖像中具有明顯區別的部分都會集中在高頻部分，也即圖像空間域中高頻部分包含了圖像的細節或結構信息。

在描述圖像的細節和紋理信息等時，通過局部方差能獲得很好的效果，所以利用局部方差來分析圖像也是很好的方式。如果用V ar（I（x，y））表示圖像I（x，y）局部的方差，其具體含義就是把圖像中的某點（x，y）設為中心點，計算該點局部區域內的局部方差。對于局部的理解即為圖像的每一個塊，在實際計算過程中，往往將圖像采用滑動窗口將圖像分解為互不重疊的圖像塊，最終此算法算得的某一區域內的局部方差即是塊圖像的局部方差。如果每一個圖像塊I（x，y）的像素數為N，用nP來作為圖像中圖像塊的像素，那么每個圖像塊的局部方差數學表達式為：

以上即為圖像的局部方差的計算過程。

首先，將參考圖像與失真圖像分成8×8的互不重疊的圖像塊，分別用Ai和Bi表示，計算原始圖像與待評價圖像的局部方差，分別用Var_ri和Var_di表示兩者的局部方 差。然后算出原始圖像和待評價圖像的局部誤差差值，并取其絕對值：

1.3 結構相似度

MSE和PSNR只是單純地考慮了圖像之間灰度的差異，并沒有考慮像素之間的結構關系以及人眼觀察圖像的特點，針對此問題，Wang Zhou等人認為在圖像中圖像的結構信息不僅反映了圖像中物體的結構特征，并且圖片中的亮度和對比度在圖片的質量，以及人眼對圖片的某一感興趣的視覺區域的獲取具有非常大的幫助［4］。假設x、y分別為原始圖像和待評價圖像，它們的亮度、對比度、結構相似度分別為：

綜合上述三者信息構成的原始圖像x和待評價圖像y的結構相似性為：

式中μx為圖像x的灰度均值，表示其亮度信息，σx為圖像x的方差，表示其對比度信息，σxy為x、y的相關系數，反映了其圖像中結構信息的相似度。C1、C2、C3為接近于零的正常數，目的是為了防止分母為零導致計算中出現結果異常，令C1=（K1L）2，C2=（K2L）2，C3=C2/2，其中L表示圖像中其像素范圍，在計算中一般取K1=0.01，K2=0.03，L =255。

在實際應用中，采用一定大小的窗口滑窗分別從原始圖像和待評價圖像的左上角到右下角對圖像中逐個像素點進行滑動，依次算出同一區域所對應的子塊圖像的SSIM數值。

其中xj，yj表示第j個原始圖像的子塊圖，它們之間的結構相似度用SSIM（xj，yj）來表示，M表示窗口分塊后子圖像塊的個數。SSIM值的大小與1越相近則表示失真圖像，與原圖像越接近。

1.4 基于邊緣顯著區域和結構相似度的圖像視覺效果評價

本文算法的主要思想：（1）選取參考圖像和失真圖像，分別對其進行Canny算子邊緣檢測，得到邊緣檢測圖像。（2）將原始圖像與待評價圖像分成互不重疊圖像塊，并計算原始圖像與待評價圖像的局部方差，從而獲取圖像的顯著區域。（3）對原始圖像和待評價圖像的目標顯著區域運用結構相似度評價算法進行指標計算從而得到圖像的評價值。針對上述描述可得本文的算法，如下：

（1）假設x、y分別表示失真圖像和參考圖像，對其運用Canny算子進行邊緣檢測后得到x′、y′邊緣檢測圖像；

（2）對x′、y′圖像計算其V ar I（x，y），在對整幅圖像上對x′、y′分成8×8的小塊分別計算每個圖像小塊的V ar I（x，y）；

（3）分別用V ar_ri和V ar_di表示x′、y′局部方差然后計算參考圖像和待評價圖像的局部誤差差值，通過差值選擇來得到圖像特征顯著區域；

（4）原始參考圖像與待評價圖像的目標區域分別為Ath以及Bth，分別運用結構相似度計算圖像的亮度l（x，y）、對比度c（x，y）和結構相似度s（x，y）值；

（5）計算SSIM值，通過圖像塊的平均加權方法得到最終評價SSIM值。

2 實驗分析

為了驗證本文提出算法的有效性，本文通過與3個圖像庫給出的參考結果進行擬合對比來驗證本文所提出的圖像視覺質量評價算法。其分別是A57［8］、CSIQ［9］、TID2008［10］。這3個數據庫包含了壓縮效應、模糊、閃變效應噪聲和傳輸效應失真等，并且每一個圖像庫都附帶有人眼主觀評價分值，都具有很高的權威性。圖4為選取了CSIQ圖像庫的原始圖像和一組不同噪聲圖像。本文還使用了斯皮爾曼相關系數（SROCC）、皮爾遜相關系數（PLOCC）和均方誤差（RMS）評估指標來比較這些客觀結果和主觀結果。

圖4 一組CSIQ圖像庫部分圖像

最后將本文評價算法的性能結果與其他圖像評價算法進行比較，這些算法包括：PSNR、SSIM、PHVSM［11］、IFC［12］、VSNR［13］和MAD［14］，表1給出了最終的比較值。其中對于SROCC和PLOCC越接近1表示效果越好，而RMS越小則表示效果越好。

表1 多種圖像評價算法的比較結果

從實驗結果可以看出，在圖像庫TID2008和CSIQ中，本文所提出的基于邊緣顯著區域的算法，在評價結果上相對于其他算法更符合人眼的主觀評價，從而論證了本文所運用的方法在圖像評價上擁有更好的性能。從A57圖像庫中可以看到在評價效果上不是十分明顯，這是因為在計算圖像的特性顯著區域時，由于SR方法在抑制圖像非顯著信息的同時也抑制了圖像的顯著區域。A57圖像庫其特點就是強調細節的重要性，因此在算法應用的過程中，由于忽略掉了一些細節方面的信息，從而對于A57圖像庫本文的算法效果不是十分明顯。

3 結論

人眼在處理自然場景或者圖片時，并不是圖像中的每一個部分的變化都能夠引起人眼視覺系統的注意。本文正是基于這種概念的啟發，對邊緣檢測后的圖像進行顯著區域分析，并對其進行評價，從而得到評價結果。實驗證明本文的視覺效果評價算法能夠獲得一個較好的評價結果。同時，本文算法在顯著區域提取方面和結構相似性的計算上仍有待改進的空間，對顯著區域評價方法的研究將是后續工作的重點。

［1］Wang Zhou，BOVIK A C.Mean squared error：1ove it or 1eave it a new 1ook at signa1 fide1ity measures［J］.Signa1Processing Magazine IEEE，2009，26（1）：98-117.

［2］AHMET M E，FISHER P S.Image qua1ity measutes and their Performance［J］.IEEE Trans acations on Communications，1995，43（12）：2959-2965.

［3］Wang Zhou，BOVIK A C，HAMID R S，et a1.Image qua1ity assessment：from error visibi1ityto structura1 simi1arity［J］.IEEE Transactions on Image Processing，2004，13（4）：600-612.

［4］LARSON E C，CHANDLER D M.Most aPParent distortion：fu11-reference image qua1ity assessment and the ro1e of strategy［J］. Journa1 of E1ectronic Imaging，2010，19（1）：011006-1-011006-21.

［5］MOORTHY A K，BOVIK A C.PercePtua11y significant sPatia1 Poo1ing techniques for image qua1ity assessment［J］.Human Vision and E1ectronic Imaging，2009，7240：1-11.

［6］王強，梁德群，畢勝，等.基于結構方向信息的圖像質評價方法［J］.計算機應用，2010，30（6）：1622-1625.

［7］易瑜，薄華，孫強，等.基于顯著圖與稀疏特征的圖像視覺效果評價［J］.微型機與應用，2015，34（8）：41-43.

［8］LARSON E C，CHANDLER D M.Most aPParent distortion：fu11-reference image qua1ity assessment and the ro1e of strategy［J］.Journa1 of E1ectronic Imaging，2010，19（1）：143-153.

［9］Hou Xiaodi，Zhang Liqing.Sa1iency detection：a sPectra1 residua1 aPProach［C］.IEEE Conference on ComPuter Vision and Pattern Recognition，CVPR 07，IEEE，2007：1-8.

［10］HYVARINRN A，KARHUNE J，OJA E.IndePendent comPonent ana1ysis［M］.John Wi1ey&Sons，2004.

［11］PONOMARENKO N，LUKIN V，ZELENSKY A，et a1. TID2008-a database for eva1uation of fu11-reference visua1 qua1ity assessmentmetrics［J］.Advances of Modern Radioe1-ectronios，2009，10（1）：30-45.

［12］SOLOMON JA，WATSON A B，AHUMADA A.Visibi1ity of DCT basis functions：effects of contrastmasking［C］.In Proc. Data ComPression Conf.，Snowbird，UT.1994：361-370.［13］HAM ID R S，ALAN C B，GUSTAVO D V.An information fide1ity criterion for image qua1ity assessment using natura1 scene statistics［C］.IEEE Transacations on Image Processing，2005，14（12）：2117-2128.

［14］CHANDLER D M，HEMAM I S S.VSNR：a wave1et-based visua1 signa1-to-noise ratio for natura1 images［J］. IEEE Transactions on Image Processing A Pub1ication of the IEEE Signa1Processing Society，2007，16（9）：2284-2298.

劉偉（1990 -），通信作者，男，碩士研究生，主要研究方向：數字圖像處理，智能信息處理。E-mai1：1iuwei197562@163.com。

薄華（1971 -），女，博士，副教授，主要研究方向：遙感圖像處理，智能信息處理，模式識別，人工智能。

Image visua1qua1ity assessment based on edge significant regiona1and structura1 simi1arity

Liu Wei，Bo Hua
（Co11ege of Information Engineering，Shanghai Maritime University，Shanghai201306，China）

The most structura1 information of the image are concentrated on the edges，and in edge detection，fi1tering out some image information which is not re1ated to comPutation，not on1y can great1y reduce the amount of data in the image，but a1so can retain the imPortant structura1ProPerties.So the edge detection for image eva1uation is of great sign ficance.For human vision，not each image b1ock has the same visua1 imPortance.Through some mathematicsmeans to extract imPortant visua1 region from images and eva1uate these areas.At 1ast，this PaPer se-1ected a va1uation method based on structura1 simi1arity as the eva1uation method to get a fu11 reference image qua1ity assessment a1gorithm. Through the resu1ts of three tests in the standard image database comParing to othermethods，it shows that the method of this PaPer is very fit the human eye′s subjective eva1uation.

edge detection；Canny oPerator；1oca1 variance；structure sim i1arity

TP391.4

A

10.19358 /j.issn.1674-7720.2016.09.015

劉偉，薄華.基于邊緣顯著區域和結構相似度的圖像視覺效果評價［J］.微型機與應用，2016，35（9）：48-51，54.

2016-01-07）