基于結(jié)構(gòu)相似度和幀間殘差四元數(shù)模型的視頻質(zhì)量評(píng)價(jià)方法

（寧波大學(xué)，浙江 寧波 315211）

基于結(jié)構(gòu)相似度和幀間殘差四元數(shù)模型的視頻質(zhì)量評(píng)價(jià)方法

艾孜麥提·艾尼瓦爾，李 綱，楊斌斌

（寧波大學(xué)，浙江 寧波 315211）

基于結(jié)構(gòu)相似度的視頻質(zhì)量評(píng)價(jià)方法（SSIM）與其他傳統(tǒng)方法相比，不僅具有較好的性能而且計(jì)算簡(jiǎn)單。本文將提出一種基于四元數(shù)模型的新度量方法，該方法將結(jié)構(gòu)相似度作為四元數(shù)的3個(gè)部分，把參考視頻和失真視頻的幀間殘差作為第4部分，然后對(duì)四元數(shù)向量進(jìn)行奇異值分解獲取評(píng)價(jià)度量。在視頻質(zhì)量專家組（VQEG）第1階段FR-TV測(cè)試數(shù)據(jù)集上的結(jié)果表明，該方法計(jì)算復(fù)雜度低，評(píng)價(jià)結(jié)果更準(zhǔn)確。

視頻質(zhì)量評(píng)價(jià) 結(jié)構(gòu)相似度 幀間殘差 VQEG

1 引言

隨著視頻圖像處理技術(shù)的不斷發(fā)展，在眾多視頻處理應(yīng)用領(lǐng)域（如視頻圖像的采集、編碼壓縮、網(wǎng)絡(luò)傳輸?shù)龋┭芯恳环N能夠自動(dòng)檢測(cè)視頻圖像質(zhì)量的方法已成為迫切的需求。

目前，視頻圖像評(píng)價(jià)方法可以分為主觀評(píng)價(jià)方法和客觀評(píng)價(jià)方法這2種。但由于主觀評(píng)價(jià)方法存在費(fèi)用昂貴、步驟復(fù)雜、實(shí)時(shí)性差等問(wèn)題，因此在視頻處理應(yīng)用中越來(lái)越多地關(guān)注和研究客觀視頻質(zhì)量評(píng)價(jià)方法?，F(xiàn)在最常用的客觀視頻質(zhì)量評(píng)價(jià)方法為均方差（MSE）和峰值信噪比（PSNR）。上述方法計(jì)算簡(jiǎn)單、具有明確的物理意義，然而評(píng)價(jià)數(shù)值與人眼視覺(jué)感知之間缺乏必然的聯(lián)系，存在著明顯的不足[1-2]。

人類視覺(jué)誤差的敏感度和掩蔽效應(yīng)是受空間和時(shí)間的頻域、通道方向等因素影響的。因此，根據(jù)人眼視覺(jué)特征（HVS），提出了基于頻域分解的視頻質(zhì)量評(píng)價(jià)方法。這些方法都建立在復(fù)雜的HVS系統(tǒng)的基礎(chǔ)上，而人類對(duì)HVS系統(tǒng)的認(rèn)識(shí)十分有限，因此這類方法仍存在明顯的缺陷。

Wang等人認(rèn)為自然圖像信號(hào)和視頻信號(hào)是高度結(jié)構(gòu)化的[3-5]，信號(hào)的樣本之間有很強(qiáng)的依賴性，尤其是他們?cè)谙噜彽目臻g中。他們針對(duì)圖像質(zhì)量評(píng)價(jià)和視頻質(zhì)量評(píng)價(jià)，分別提出了SSIM方法和VSSIM方法。實(shí)驗(yàn)結(jié)果表明，VSSIM方法不僅優(yōu)于傳統(tǒng)的視頻質(zhì)量評(píng)價(jià)方法，而且計(jì)算簡(jiǎn)單。

本文將提出一種基于結(jié)構(gòu)相似度和幀間殘差的客觀視頻質(zhì)量評(píng)價(jià)方法。該方法把參考視頻與失真視頻的結(jié)構(gòu)相似度和幀間殘差作為四元數(shù)矩陣的4個(gè)部分，對(duì)四元數(shù)向量進(jìn)行奇異值分解得到評(píng)價(jià)度量。實(shí)驗(yàn)結(jié)果表明該方法不僅優(yōu)于MSE、PSNR和VSSIM，而且計(jì)算復(fù)雜度低、運(yùn)行速度快。

2 四元數(shù)構(gòu)造及奇異值分解

四元數(shù)的概念是1843年由W R Hamiltion提出來(lái)的[6]，是對(duì)復(fù)雜數(shù)據(jù)的一種泛化表示。四元數(shù)由1個(gè)實(shí)部和3個(gè)虛部構(gòu)成，其表示形式為：

其中a、b、c和d是實(shí)數(shù)，i、j和k是虛部并且遵守以下規(guī)則：

根據(jù)QSVD（Quaternion Singular Value Decomposition）的定義[7-8]，任何一個(gè)秩為r的四元數(shù)矩陣Q，必定有2個(gè)四元數(shù)酉矩陣U和V，其關(guān)系為：

其中∑r=diag(σ1,σ2,…,σr),σi(1 ＜ i＜ r ) 是四元數(shù)矩陣A的奇異值。在圖像和視頻的質(zhì)量評(píng)價(jià)領(lǐng)域中，四元數(shù)和奇異值分解被廣泛應(yīng)用于提取圖像和視頻的特征信息[14-15]。

本文利用原始視頻和失真視頻的亮度結(jié)構(gòu)相似性和幀間殘差等信息建立四元數(shù)矩陣，并對(duì)其進(jìn)行奇異值分解求得奇異值，用于提取每幀視頻的特征信息。

3 基于結(jié)構(gòu)相似性和幀間殘差的四元數(shù)模型

3.1 幀間殘差度量（IFD）

文獻(xiàn)[9]和文獻(xiàn)[10]中，使用連續(xù)兩幀亮度像素值之差表示幀間殘差。然而在彩色視頻中，色度信息對(duì)人眼視覺(jué)也是至關(guān)重要的，比如某個(gè)視頻序列連續(xù)兩幀i和i+1之間的幀間殘差如圖1所示：

圖1 連續(xù)兩幀之間的幀間殘差

本文將連續(xù)兩幀之間的亮度和色度相結(jié)合，在視頻序列第i幀第j塊中，亮度之差diflumi和色度之差difchro的表示形式為：

其中，bsize表示塊的大小，Ypixel(i,j)和Cpixel(i,j)分別表示第i幀第j塊的亮度和色度像素值，idistance表示幀間隔，本文取值為3。

失真視頻和原始視頻序列中，亮度殘差complumi和色度殘差compchro的表示形式為：

其中，x和y分別表示失真視頻和原始視頻。

最終，每視頻塊殘差對(duì)比值residual(x,y)的表示形式為：

3.2 結(jié)構(gòu)相似性度量

文獻(xiàn)[3]中結(jié)構(gòu)相似性評(píng)價(jià)定義如下：

其中，亮度比較函數(shù)l(x,y)、對(duì)比度函數(shù)c(x,y)和結(jié)構(gòu)比較函數(shù)s(x,y)分別為：

其中，μx、μy分別表示x和y的均值，分別表示x和y的方差，σxy表示x和y的均值協(xié)方差。

常數(shù)C1和C2表示為：

其中，L代表像素值的動(dòng)態(tài)取值范圍（對(duì)于8×8的塊，L=255），K1和K2是遠(yuǎn)小于1的常數(shù)。當(dāng)和的值很小的時(shí)起作用，本文中K1=0.01、 K2=0.03。

由上述內(nèi)容可知，連續(xù)兩幀之間的幀間殘差作為四元數(shù)的一部分，并且其他3部分分別為l(x,y)、c(x,y)、s(x,y)。四元數(shù)模型的表示形式為：

其中i、j、k為四元數(shù)的虛部，residual(x,y)描述視頻序列時(shí)域上的結(jié)構(gòu)失真，l(x,y)、c(x,y)、s(x,y)描述時(shí)域上的結(jié)構(gòu)失真。

4 四元數(shù)奇異值分解及視頻質(zhì)量評(píng)價(jià)

4.1 幀度量

根據(jù)奇異值分解的定義，四元數(shù)矩陣Q(x,y)的奇異值向量為Qi，并且關(guān)系為：

其中，Q(x,y)代表公式（1）所示的四元數(shù)評(píng)價(jià)模型，Qi表示Q(x,y)的奇異值分解向量。

4.2 幀間相關(guān)性

視頻失真的能見(jiàn)度很容易受場(chǎng)景變化的影響，所以本文將幀間相關(guān)性[11]作為殘差的權(quán)重因子，其表示為：

其中，Pi(x,y)和Pi-1(x,y)分別是參考視頻中第i幀和第i-1幀的像素值。

4.3 視頻度量

文中把所有視頻幀評(píng)價(jià)結(jié)果的平均值作為整體視頻的質(zhì)量評(píng)價(jià)度量，即：

其中，F(xiàn)為視頻序列的總數(shù)。

5 實(shí)驗(yàn)結(jié)果

本文中的實(shí)驗(yàn)采用視頻質(zhì)量專家組VQEG階段FR-TV視頻測(cè)試庫(kù)[12]中的10個(gè)參考視頻和160個(gè)失真視頻進(jìn)行測(cè)試。實(shí)驗(yàn)結(jié)果采用三次多項(xiàng)式回歸，利用評(píng)估圖像質(zhì)量評(píng)價(jià)方法的3個(gè)常用客觀參量作為客觀質(zhì)量評(píng)價(jià)指標(biāo)，即Spearman相關(guān)系數(shù)（SROCC）、非線性回歸條件下的相關(guān)系數(shù)（CC）和離出率（OR）。SROCC用于反映失真視頻的客觀評(píng)價(jià)結(jié)果的單調(diào)性，CC用于反映失真視頻的客觀評(píng)價(jià)結(jié)果的準(zhǔn)確性。SROCC和CC的值越大，表示客觀評(píng)價(jià)方法的 評(píng)價(jià)結(jié)果與主觀方法的評(píng)價(jià)結(jié)果更一致。OR越小表示預(yù)測(cè)值的一致性越好。

表1給出了本文所提出方法的3個(gè)評(píng)價(jià)結(jié)果與其他模型的對(duì)比值。從中可以看出，與其他模型相比，本文所提出的方法提供了更好的CC和SROCC值。

表1 客觀方法的比較

圖2分別給出了PNSR模型、SSIM模型和本文所提出的模型在測(cè)試視頻序列上主/客觀值比較的散點(diǎn)圖。其中縱坐標(biāo)為主觀值，橫坐標(biāo)為客觀評(píng)價(jià)值。SSIM模型中視頻度量是所有幀SSIM值的平均值。

6 結(jié)束語(yǔ)

本文提出了一種基于四元數(shù)矩陣的視頻質(zhì)量評(píng)價(jià)方法。該方法將幀間殘差和結(jié)構(gòu)相似度作為四元數(shù)的4個(gè)部分，然后四元數(shù)的奇異值分解值作為最終的評(píng)價(jià)值。該方法不僅運(yùn)算復(fù)雜度低、運(yùn)行速度快而且在VQEG FR-TV階段的測(cè)試數(shù)據(jù)表明，客觀評(píng)價(jià)結(jié)果與主觀感知有比較好的相關(guān)性。

圖2 不同的視頻質(zhì)量評(píng)價(jià)模型在VQEG第1階段測(cè)試數(shù)據(jù)集測(cè)試的散點(diǎn)圖

[1] And Z W, Wang Z, Bovik A C. Why Is Image Quality Assessment So Difficult?[J]. in Proc. IEEE Int. Conf. Acoust., Speech, and Signal Processing, 2002:3313-3316.

[2] Chikkerur S, Sundaram V, Reisslein M, et al. Objective Video Quality Assessment Methods: A Classification, Review, and Performance Comparison[J]. IEEE Transactions on Broadcasting, 2011,8(2): 165-182.

[3] Wang Z, Bovik A C, Sheikh H R, et al. Image Quality Assessment: From Error Visibility to Structural Similarity[J]. IEEE Transactions on Image Processing, 2004,13(4): 600-612.

[4] Wang Z, Lu L G, Bovik A C. Video Quality Assessment using Structural Distortion Measurement[C]. International Conference on Image Processing, 2002,3(24-28): 65-68.

[5] Wang Z, Lu L G, Bovik A C. Video Quality Assessment Based on Structural Distortion Measurement[J]. Signal Processing: Image Communication, 2004,19(1): 1-9.

[6] Zhang F. Quaternion and Matrices of Quaternion[J]. Lin. Appl., 1997,215(2): 21-57.

[7] D Kahaner, C Moler, S Nash. Numerical Methods and Software[J]. Prentice-Hall, Inc, 1989,3(4): 23-30.

[8] Bihan N L, Mars J. Singular Value Decomposition of Quaternion Matrices: A New Tool for Vector-Sensor Signal Processing[J]. Signal Processing, 2004,84(7): 1177-1199.

[9] Qiang Zhang, Long Wang, Hui juan Li, et al. Video fusion performance evaluation based on structural similarity and human visual perception[J]. Signal Processing, 2012,92(4): 912–925.

[10] Ong E P, Yang X, Lin W, et al. Perceptual quality and objective quality measurements of compressed videos[J]. Journal of Visual Communication and Image Representation, 2006,17(4): 717–737.

[11] A P Hekstra, J G Beerends, D Ledermann. PVQM-A Perceptual Video Quality Measure[J]. Signal Processing: Image Communication, 2002,17(10): 781-798.

[12] Chung E T, Du Q, Zou J. Final report from the Video Quality Experts Group on the validation of objective models of video quality assessment[J]. VQEG, 2000: 37-63.

[13] Group T V Q E. Final report from the video quality experts group on the validation of objective models of video quality assessment, phase ii[J]. VQEG, 2003: 46-74.

[14] Zhang Fei-yan, Xie Wei, Chen Rong-yuan, et al. Compression Image Quality Assessment Based on Human Visual Weight and Singular Value Decomposition[J]. Journal of Electronics & Information Technology, 2010,32(5): 1061-1065.

[15] Zhang Fu-qiang, Li Jun-li, Li Gang, et al. Video Quality Assessment Based on Quaternion Singular Value Decomposition[J]. ACTA ELECTRONICA SINICA, 2011,39(1): 219-223.★

Quaternion Model Video Quality Assessment Method Based on Structural Similarity and Inter-Frame Residual

AIZIMAITI Ainiwaer, LI Gang, YANG Bin-bin

(Ningbo University, Ningbo 315211, China)

Compared with other traditional methods, the video quality assessment method based on structural similarity (SSIM) has not only better performance, but less computation. A new metric method based on quaternion model was proposed in this paper in which structural similarity is used as three parts of quaternion, while the inter-frame residual between reference video and distorted video is used as the fourth part. Then, the assessment metric is derived from singular value decomposition of the quaternion. Experimental results on VQEG Phase I FR-TV test data set show that, the proposed method has both low complexity and precise assessment result.

video quality assessment structure similarity inter-frame residual video quality expert group

10.3969/j.issn.1006-1010.2015.08.013

TP391.4

A

1006-1010(2015)08-0061-04

艾孜麥提·艾尼瓦爾,李綱,楊斌斌. 基于結(jié)構(gòu)相似度和幀間殘差四元數(shù)模型的視頻質(zhì)量評(píng)價(jià)方法[J]. 移動(dòng)通信, 2015,39(8): 61-64.

2015-01-19

責(zé)任編輯：劉妙 liumiao@mbcom.cn