基于邊緣結構相似性的視頻質量客觀評價

鄒 鈞，姜秀華，楊 爽

（中國傳媒大學 信息工程學院，北京 100024）

0 引言

視頻圖像質量評價方法可以分為主觀評價方法和客觀評價方法。前者憑感知者主觀感受評價圖像的質量，后者依據模型給出的量化指標或參數衡量圖像質量[1]。目前，國際上公認一個評價視頻圖像質量最可靠的方法是主觀評價方法，因為在應用過程中，人是最終的接受者，但是這種評價受觀察者的知識背景、觀測目的、觀測環境和人的視覺心理的影響，在工程應用中不但成本高、費時費力，而且很多情況下無法采用。客觀評價方法采用數學模型計算失真圖像和原始圖像的相似度得到評價結果，因而具有簡單，便于內置于圖像處理系統中等優點，是目前圖像質量評價領域的研究重點。

圖像質量客觀評價方法研究的目的是使評價結果與人的主觀感覺相符。傳統的圖像質量客觀評價方法，例如均方誤差（Mean Square Error，MSE）和峰值信噪比（Peak Signal Noise Ratio，PSNR）都是基于對應像素點間的誤差進行圖像質量評價。采用這種方法，當參考圖像與受損圖像的像素位置發生偏移時，將會帶來較大的評價誤差，因此無法對經過變換后的圖像進行質量評價，并且由于未考慮到人眼的視覺特性，評價結果與人的主觀感覺相關性也不高。

研究表明，人眼視覺系統的主要功能是提取圖像和視頻中的結構信息[2]。由于結構相似度（SSIM）模型算法具有對像素偏移不敏感、計算簡單、評價性能優于PSNR與MSE等特點，應用較為廣泛，但是SSIM算法不能較好地評價嚴重模糊圖像的質量，因此，本文提出了一種基于邊緣提取的結構相似度（ESSIM）的視頻圖像質量評價方法。

1 結構相似度方法

方法的基本理論是[3]：人眼的主要功能是從視覺區域提取圖像的結構化信息，模型框圖如圖1所示。

在圖1中，設原始圖像和失真圖像分別為x和y，分成不重疊的子塊。從結構信息出發計算塊的結構相似度，其計算公式為

式中：μx和μy表示原始子塊和受損子塊的均值，C1=(K1L)2，C2=(K2L)2，σx和σy表示原始子塊和受損子塊的標準差，σx=，σxy表示子塊的協方差，C3=，K1=0.01，K2=0.03，L=255，C1，C2和C3是為了保證分式的分母不為零而添加的常數。式（1）表示子塊的結構相似度，整幅圖像的結構相似度為

式中：N是整幅圖像的分塊數。實驗表明，相對于傳統的PSNR和MSE方法，SSIM算法所得結果能夠更好地與人的主觀評價相符合，但對嚴重模糊圖像的評價效果較差。

2 邊緣結構檢測算法改進結構相似度

邊緣就是指圖像局部亮度變化最顯著的部分[4]，如灰度、顏色、紋理結構的突變，是人眼提取視覺信息的重要依據。人眼對邊緣或輪廓信息更加敏感，特別是在觀看運動序列時。邊緣是圖像的重要信息，也是視覺感知的重要線索，不僅能夠傳遞圖像的大部分信息，而且能夠勾勒出物體的基本輪廓，尤其是當圖像的邊緣信息損傷時人眼特別容易察覺，因此邊緣信息一直是國內外研究的熱點。

ESSIM算法的核心思想是[5]：首先計算色調、飽和度、亮度等三個分量的邊緣信息，然后對三個分量進行邊緣提取合成得到總邊緣信息，最后通過非極大值抑制，得到視頻圖像的邊緣。ESSIM算法模型框圖如圖2所示。

為了保證檢測到所有的邊緣，采用改進的4方向的Sobel邊緣檢測算子，分別為水平方向、垂直方向、45°方向和135°方向。4個邊緣檢測算子為

分別對色調、飽和度、亮度按照式（6）的梯度算子進行4個方向的邊緣提取[6]，定義合成的G為4個方向的邊緣強度值，同時也作為該圖像的邊緣信息。圖3為原始圖像，圖4～圖8分別是經過4個方向邊緣提取后所得的圖像。

3 實驗結果分析

實驗中共用了3個經過H.264壓縮的高清序列（花、港口、秋葉），其中每個序列包含了（原始，8 Mbit/s，10 Mbit/s，12 Mbit/s，14 Mbit/s，16 Mbit/s，18 Mbit/s，20 Mbit/s，25 Mbit/s）等8個碼率；高清序列幀頻均為25 f/s，色度格式為4∶2∶0，GoP長度為12，GoP結構均采用廣播電視系統常用的IBBPBBPBBPBB結構。

在實驗中，對未經過邊緣提取的結構相似度客觀值與經過邊緣提取后得出的結構相似度客觀值進行主客觀相關性計算，其結果如表1所示。

表1 SSIM，ESSIM與主觀評價的相關性比較

SSIM與主觀評價值的擬合如圖9所示，ESSIM與主觀評價值的擬合如圖10所示。

從實驗數據中可分析出，經過邊緣提取后的ESSIM模型得出的客觀值與主客觀評價值具有更高的相關性，能更好地反映視頻圖像的質量。

4 小結

本文從人眼的視覺模型出發，深入研究了SSIM模型算法，分析其優缺點。并在此基礎上加入了邊緣檢測算法，綜合利用了梯度的幅度和方向信息，很好地反映了圖像的邊緣紋理結構特征，得到更好的評價結果。在實驗中，ESSIM算法的仿真效果優于SSIM算法，能更好地評價圖像質量，更符合人眼視覺系統的特性，具有廣泛的應用價值。

[1]袁飛，黃聯芬，姚彥.視頻質量客觀評價技術研究[J].電視技術，2007，31（3）：91-94.

[2]張文俊，王興國，陳國斌.一種基于視覺感知的視頻質量客觀評價方法[J].電視技術，2004，28（8）：57-59.

[3]朱里，李喬亮，張婷，等.基于結構相似性的圖像質量評價方法[J].光電工程，2007，34（11）：108-113.

[4]WANG Zhou，BOVIK A C，SHEIKH H R，et al.Image quality assessment：from error visibility to structural similarity[J].IEEE Trans.Image Processing，2004，13（4）：600-612.

[5]FAN Jianping，AREF W G，HACID M S ，et al.An improved automatic isotropic color edge detection technique[J].Pattern Recognition Letters，2001，22（3）：1419-1429.

[6]WANG Z，BOVIK A C，SHEIKH H R.Image quality assessment：from error visibility to structural similarity[J].IEEE Trans.Image Processing，2004，13（4）：600-612.