基于視覺感知的網絡視頻質量評價方法研究*

周傳興，涂巧玲，張 杰，張 晗

(重慶理工大學 電氣與電子工程學院，重慶 400054)

?

基于視覺感知的網絡視頻質量評價方法研究*

周傳興，涂巧玲，張 杰，張 晗

(重慶理工大學 電氣與電子工程學院，重慶 400054)

網絡視頻在傳輸過程中，因編碼失真或丟包失真，給用戶帶來明顯的視覺影響。傳統的均方誤差和峰值信噪比的質量評價方法未考慮到人眼視覺特性。文章首先描述了人類視覺系統的基本特性，然后介紹了主客觀質量評價方法的優缺點及適用環境，最后采用LIVE視頻數據庫，對比幾種質量評價方法，結果表明，融入視覺感知的評價方法更接近于人眼效果。

視覺感知；網絡視頻；全參考質量評價；均方誤差；峰值信噪比

0 引言

WiFi和4G技術的普及，使得無線網絡的傳輸能力大大提高，網絡視頻是目前人們獲取電視、電影、新聞資訊等數字內容的重要渠道之一，深受人們的青睞。根據中國工業和信息化部的數據顯示，截止2015年6月，中國的網絡視頻的用戶數已經達到4.61億。但由于存儲容量和傳輸過程中的帶寬限制，網絡視頻除了存在編碼失真(如方塊效應、振鈴效應等)，還存在因為信道傳輸的延遲或擁塞造成的丟包失真(如局部變形、視頻圖像模糊、馬賽克現象等)。丟包失真和編碼失真的視頻會給終端用戶帶來明顯的視覺影響，使網絡視頻的優勢大打折扣。因此對網絡視頻進行質量評價尤為重要。

視頻質量評價方法主要分為兩大類：主觀質量評價方法和客觀質量評價方法[1]。主觀質量評價方法最接近人眼效果，但是受其嚴格的測試環境影響，操作性不強，很難應用到實際的場合中。客觀視頻質量評價方法因能夠自動預測感知視頻質量，成為眾多學者的研究熱點。目前比較通用的客觀評價方法有均方誤差(Mean Square Error，MSE)和峰值信噪比(Peak Signal Noise Ratio, PSNR)[2]。這兩種方法的主要思想是對比原始視頻幀與失真視頻幀間的像素間差異來進行視頻質量評價[3]，模型雖然簡單，但是不能很好地反映人的主觀感受。后有學者嘗試融入人類視覺系統(Human Visual System，HVS)到視頻質量評價方法中去，并取得了一定的成果，有些模型已經應用于實際的場合[4]。Wang Zhou提出的結構相似度量(Structure Similarity Index Measure, SSIM)[5]的評價方法，相比MSE和PSNR的方法有了提高，但是在評價嚴重模糊圖像時，效果并不理想。在SSIM的基礎上，CHEN G H提出了一種基于結構邊緣信息的圖像質量評價方法 (Edge Based Structural Similarity，ESSIM)[6]，Alan Conrad Bovik 等隨后又提出了多尺度結構相似度度量(Multi-Scale Structural Similarity，MS-SSIM)[7]。這些方法都融入了視覺感知的思想，評價的結果接近主觀質量評價方法的評價效果。

1 人類視覺系統

人眼是大腦獲取外部信息的重要感覺器官，是理解和認識世界的基礎。人眼視覺系統包括視覺生理學、視覺心理學兩個方面。

1.1 視覺生理學HVS特征

圖1 視覺心理學處理過程圖

如圖1所示，物體以光的形式通過眼睛的光系統投射到視網膜，眼睛承擔光學處理功能，實現圖像到光學信號的轉換。視網膜將光學信號轉換為電信號并進行信息初級處理，將處理后的信息轉變成神經沖動傳輸到外側膝狀體。外側膝狀體主要的功能是起到門限的作用，用來控制通過信息的數目。視皮層主要負責物體識別、感知和理解的功能。目前對于人類生理學的研究還不夠全面，各部分功能仍缺乏精準定義，該領域也是未來的研究熱點。

1.2 心理學HVS特征

1.2.1 對比度敏感函數

研究學者已經對人類心理學進行了深入研究，雖然并沒有完整地解析人類視覺心理學特性，但依然取得了階段性的成果。通過模仿人類視覺特性的敏感度模型，對比度敏感函數(Contrast Sensitivity Function，CSF)可以作為一個受到視覺刺激時的空間頻率函數。一般來說，CSF具有帶通性質，其峰值在每個視覺角度4線的空間頻率周圍，然后隨著頻率的上升或下降函數值迅速下降。也就是眾所周知的Campbell-Ronbson圖表，如圖2所示。當以對數形式調整增加空間頻率時，像素密度用水平尺幅的正弦函數調制，圖像對比度從上到下呈對數形式。圖3為一個CSF函數模型，針對不同頻率信息有著不同敏感度的特性。公式定義為：

A(f)=2.6×(0.019 2+0.114f)e-(0.114f)1.1

(1)

圖2 Campbell-Ronbson CSF圖表

圖3 CSF函數模型

1.2.2 光適應性

人類對亮度的視覺感知特性通常是對物體的絕對亮度感知較差而對亮度的相對差異卻是極其敏感。對于物體與其周圍背景的亮度對比度一般有兩種定義。

(1)亮度感知遵循韋伯(Weber)定律,表示為：

(2)

其中，I表示為背景亮度值，ΔI表示為HVS恰可察覺的在背景中增加的亮度。

(2)Michelson對比度定義表示為：

(3)

其中,Imax、Imin分別表示最大和最小亮度值。由式(2)對比度延伸的主觀亮度S可以表示為：

S=klnI+k0=klgI+k0

(4)

其中,k為常數，與整個圖像亮度平均值相關，k0=kln10,k0為常數。由此可見，人眼感知的主觀亮度并不與客觀亮度成線性關系，而是與其對數成線性關系。

2 視頻質量評估方法分類

在視頻處理程序中，人都是最終的接收者，所以最可靠的視頻質量評價應該是主觀質量評價方法[8]。主觀質量評價就是選擇一批觀測者，在特定的環境下，根據一定規則觀看測試序列，并對視頻進行評分，去掉不合理的評分之后，對剩下的評分求平均分數值(Mean Opinion Score, MOS)。通常采用5分制來進行評分，評分標準如表1所示。

表1 視頻主觀質量五分制評分

目前采用的主觀視頻質量評估方法主要是雙激勵損傷度分級法(DSIS)、雙激勵連續質量分級法(DSCQS)、單激勵連續質量分級法(SSCQE)、單刺激評價方法(SSM)及同步雙刺激連續質量評價法(SDSCE)5種[9]。各評估方法比較如表2。

表2 5種視頻主觀質量評價方法比較

主觀質量評價方法一直都被認為是最接近人眼視覺效果的評價方法[10]。但是主觀質量評價方法受觀看的距離、觀測的環境、測試序列的選擇、序列的顯示時間間隔等因素的影響，實現起來步驟復雜，代價昂貴，耗時代價高，嚴格的測試環境決定了它無法進行實時監測，因此在實際中并不能得到很好的應用。

目前的視頻質量評價方法主要集中在客觀質量評價上。客觀評價按照原參考視頻幀的可獲得程度可分為三類：全參考方法(Full Reference FR)、部分參考方法(Reduce Reference,RR)和無參考方法(No Reference，NR)[11-13]。圖4為客觀評價方法的流程圖。

圖4 客觀質量評價方法原理圖

目前常用的FR視頻質量評價方法是均方誤差和峰值信噪比[14]，其定義為：

(5)

(6)

式中：xi、yi分別表示原始圖像和失真圖像第i個像素灰度值，N為像素的總數,n為每像素比特數。MSE和PSNR的質量評價方法沒有考慮到人眼特性，Wang Zhou提出的SSIM的評價方法，通過計算失真視頻幀的亮度、對比度與結構相似性，來評價失真視頻幀的質量。定義如下：

(7)

(8)

(9)

其中，l(x,y)表示亮度，c(x,y)表示對比度，s(x,y)表示結構相似度，聯合亮度、對比度和結構相似度得到：

SSIM(x,y)=[l(x,y)α]·[c(x,y)β]·[s(x,y)γ]

(10)

假設α=β=γ=1，C3=C2/2，則上式可以簡化成：

(11)

對于所有的視頻幀求平均得：

(12)

實驗表明，SSIM的評價方法較MSE和PSNR的評價方法有了很大的提高，后來的研究學者在SSIM的基礎，又提出了MSSSIM、SSSIM、IW-SSIM等評價方法，評價效果較SSIM的方法又有了很大的提高。

3 實驗結果及分析

視頻數據為LIVE實驗室所建立的LIVE視頻質量數據庫,原始視頻是由10個幀率為 25 f/s或50 f/s，分辨率為768×432的不同場景的序列，通過無線網絡傳輸失真、IP網絡傳輸失真、H.264壓縮失真和MPEG-2壓縮失真4種失真類型得到的150個視頻。本次實驗采用無線網絡傳輸失真的其中一個視頻，原始視頻和參考視頻的第50幀如圖5所示。

圖5 失真視頻幀(第50幀)的幾種質量評價結果圖

其中，圖5(a)為原始視頻的第50幀,(b)為參考視頻幀的第50幀，(c)是利用MSE的評價方法進行評價，(d)采用PSNR的方法進行質量評價。針對PSNR值，PSNR平均值為34 dB，表示編碼失真不會被察覺；若PSNR值高于40 dB，參考視頻幀接近原始視頻幀；若PSNR值在30～40 dB,失真視頻幀能被察覺，不影響觀看；若PSNR值在20～30 dB,視頻幀質量很差；低于20 dB，圖像質量特別差，不能被接受。圖(e)、(f)分別利用SSIM和MSSSIM的方法進行評價，評價值越接近于1，表示參考視頻幀越接近于原始視頻幀，視頻的質量越好。由圖可知，MSSSIM的評價方法更優于SSIM的評價效果。

4 結束語

目前對于網絡視頻質量評價的研究還處于初級階段，在未來的研究中，仍然是一大熱點。本文針對網絡視頻在傳輸中的失真問題，在分析人類視覺系統的基礎上，利用LIVE數據庫中的無線網絡傳輸的失真視頻，就MSE、PSNR、SSIM，以及改進的MSSSIM的評價方法進行了仿真對比，結果表明，融入視覺感知的質量評價方法的效果更佳。

[1] 王一秀,韓焱.基于人眼視覺特性的X線圖像質量評價方法[J].微型機與應用，2010，29(9)：38-40.

[2] 姚軍財.基于人眼對比度敏感視覺特性的圖像質量評價方法[J].液晶與顯示,2011, 26(3):390-396.

[3] 馮欣.基于視覺顯著性的網絡丟包圖像和視頻的客觀質量評估方法研究[D].重慶:重慶大學，2011.

[4] 張慧.圖像感知哈希測評基準及算法研究[D].哈爾濱:哈爾濱工業大學，2009.

[5] Wang Zhou, BOVIK A C, SHEIKH H R, et al. Image quality assessment: from error visibility to structural similarity[J]. IEEE Transactions on Image Processing, 2004, 13(4): 600-612.

[6] CHEN G H, YANG C L, PO L M, et al.Edge-based structural similarity for image quality assessment[C].2006 IEEE International Conference on Acoustics, Speech and Signal Processing, 2006: 2181-2184.

[7] 費選.圖像結構信息驅動的壓縮感知重建算法及重建質量評測[D].杭州：南京理工大學，2014.

[8] 林翔宇.無參考視頻質量評價方法研究[D].杭州：浙江大學，2012.

[9] 朱晗江.圖像質量評價方法的研究與實現[D].西安：西安電子科技大學,2014.

[10] 王康.一種基于客戶端無線視頻傳輸質量評價系統的設計與實現[D].北京：北京郵電大學:2014.

[11] MA L,DENG C W,NGAN K N,et.al. Recent advances and challenges of visual signal quality assessment[J].China Communications,2013(5):62-78.

[12] CHANDLER D M.Seven challenges in image quality assessment:past,present,and future research[J]. ISRN Signal Processing,2013(8):1-53.

[13] 朱文斌,陳強,楊曦晨.基于人眼視覺特性的X線圖像質量評價方法[J].現代電子技術，2015,38(18)：81-88.

[14] 朱宏.基于視覺感知的視頻質量客觀評價方法研究[D].寧波：寧波大學,2014.

Research on network video quality evaluation method based on visual perception

Zhou Chuanxing, Tu Qiaoling, Zhang Jie, Zhang Han

(School of Electrical and Electronic Engineering, Chongqing University of Technology, Chongqing 400054, China)

Network video in the process of transmission, because of the coding distortion or distortion of packet loss, bring obvious visual impact to the user. The mean square error and peak signal to noise ratio of the traditional quality evaluation methods do not consider the human visual characteristics. This article describes the basic characteristics of human visual system, then introduces the advantages and disadvantages of subjective and objective quality evaluation methods and the suitable environment, using the LIVE video database, based on comparing several evaluation methods, the results show that the evaluation method of integrating visual perception is closer to the human eye effect.

visual perception; network video; full reference quality assessment;mean square error; peak signal noise ratio

重慶市教委科學技術研究項目(KJ1600937)；重慶理工大學青年科研項目星火計劃(2014XH12)

TP919

A

10.19358/j.issn.1674- 7720.2017.11.011

周傳興，涂巧玲，張杰，等.基于視覺感知的網絡視頻質量評價方法研究[J].微型機與應用，2017,36(11)：37-39,43.

2017-02-12)

周傳興(1991-)，男，碩士，主要研究方向：無線傳感器網絡。

涂巧玲(1963-)，女，碩士，教授，主要研究方向：控制技術及無線傳感器網絡。

張杰(1977-)，女，碩士，講師，主要研究方向：無線傳感器網絡，嵌入式系統。