數(shù)字圖像質(zhì)量評(píng)價(jià)綜述

張偌雅，李珍珍

（河南大學(xué)計(jì)算機(jī)與信息工程學(xué)院，開封 475000)

數(shù)字圖像質(zhì)量評(píng)價(jià)綜述

張偌雅，李珍珍

（河南大學(xué)計(jì)算機(jī)與信息工程學(xué)院，開封 475000)

數(shù)字圖像的質(zhì)量評(píng)價(jià)是當(dāng)今圖像領(lǐng)域的熱點(diǎn)問題，對(duì)質(zhì)量評(píng)價(jià)的常用方法進(jìn)行介紹，其中全參考評(píng)價(jià)方法最成熟，應(yīng)用也最廣泛，無參考評(píng)價(jià)方法有很好的研究前景。為了得到與人眼視覺系統(tǒng)HVS一致性更高的評(píng)價(jià)結(jié)果，對(duì)各種方法都在進(jìn)行不斷的完善與改進(jìn)。概述質(zhì)量評(píng)價(jià)方法的相關(guān)性能指標(biāo)，最后就評(píng)價(jià)方法的進(jìn)一步發(fā)展提出展望。

0 引言

圖像質(zhì)量指人們對(duì)圖像視覺感受的主觀評(píng)價(jià)，即目標(biāo)圖像相對(duì)于原圖像在人眼視覺系統(tǒng)中產(chǎn)生誤差的程度。在對(duì)數(shù)字圖像進(jìn)行壓縮、傳輸、顯示等操作時(shí)，由于處理過程、成像系統(tǒng)或傳輸介質(zhì)等的影響，會(huì)出現(xiàn)不同類型和不同程度的失真現(xiàn)象，如傳輸過程中，視頻產(chǎn)生的失真會(huì)導(dǎo)致圖像的模糊；醫(yī)學(xué)圖像的失真使得醫(yī)生無法準(zhǔn)確判斷進(jìn)行診斷[1]。圖像質(zhì)量評(píng)價(jià)主要通過對(duì)圖像進(jìn)行特性分析研究，然后評(píng)估出圖像質(zhì)量的優(yōu)劣即圖像失真程度。在圖像處理系統(tǒng)中，圖像的質(zhì)量評(píng)價(jià)對(duì)于評(píng)價(jià)算法的分析比較、系統(tǒng)的性能評(píng)估等方面都有著十分重要的作用。傳統(tǒng)方法主要有主觀評(píng)價(jià)和客觀評(píng)價(jià)兩種，近年來，隨著圖像處理領(lǐng)域的不斷發(fā)展，對(duì)于圖像質(zhì)量評(píng)價(jià)的研究也受到越來越多的關(guān)注，評(píng)價(jià)的指標(biāo)和方法得到了更好的發(fā)展和完善。

1 主觀圖像質(zhì)量評(píng)價(jià)方法

主觀評(píng)價(jià)方法是用來評(píng)價(jià)圖像質(zhì)量的最直觀的方法，分為絕對(duì)評(píng)價(jià)和相對(duì)評(píng)價(jià)兩種。絕對(duì)評(píng)價(jià)沒有參考圖像，根據(jù)已經(jīng)規(guī)定好的評(píng)價(jià)準(zhǔn)則或個(gè)人經(jīng)驗(yàn)對(duì)圖像做出評(píng)價(jià)。相對(duì)評(píng)價(jià)主要是在有標(biāo)準(zhǔn)圖像時(shí)，對(duì)圖像按質(zhì)量的好壞進(jìn)行比較，給出最終的評(píng)分值。國際電信聯(lián)盟(ITU)根據(jù)人眼評(píng)判時(shí)環(huán)境和條件的不同提出了若干圖像質(zhì)量評(píng)價(jià)方法，主要有雙刺激損傷分級(jí)法、雙刺激連續(xù)質(zhì)量分級(jí)法和單刺激連續(xù)質(zhì)量分級(jí)法等[2]。雙刺激損傷分級(jí)法是由評(píng)估者觀看多組圖像，每一組都先顯示參考圖像再顯示失真圖像，對(duì)“圖像對(duì)”進(jìn)行對(duì)比觀察，然后根據(jù)主觀評(píng)價(jià)的5級(jí)評(píng)分表，對(duì)應(yīng)地選擇待測(cè)圖像所在等級(jí)[2]。雙刺激連續(xù)質(zhì)量分級(jí)法與雙刺激損傷法的區(qū)別在于，觀測(cè)者不知道哪個(gè)是參考圖像哪個(gè)是失真圖像，只需對(duì)兩圖像進(jìn)行評(píng)分得到 MOS，然后計(jì)算主觀差異評(píng)分值 DMOS，DMOS的值越小，表明失真程度越小，即圖像質(zhì)量越好。單刺激連續(xù)質(zhì)量分級(jí)法由評(píng)估者在一段時(shí)間內(nèi)連續(xù)地觀察待測(cè)圖像并評(píng)分，綜合分值和評(píng)分時(shí)間等因素得到最終的結(jié)果。

主觀評(píng)價(jià)方法雖然較為直觀，符合人眼對(duì)圖像的認(rèn)知，但是想要通過這種方法得到理想的結(jié)果需要進(jìn)行多次重復(fù)試驗(yàn)，投入的人力物力較大，耗時(shí)較長(zhǎng)，而且不同觀測(cè)個(gè)體差異較大，評(píng)價(jià)結(jié)果容易受到很多客觀因素的影響。

2 客觀圖像質(zhì)量評(píng)價(jià)方法

圖像質(zhì)量的客觀評(píng)價(jià)方法模仿人眼視覺系統(tǒng)的原理建立數(shù)學(xué)模型對(duì)失真后的圖像進(jìn)行質(zhì)量評(píng)估，通過具體的數(shù)學(xué)公式計(jì)算失真前后圖像的相似度并量化為具體分值。以能夠獲取原始圖像信息的多少為依據(jù)，客觀方法分為三類，分別是全參考、半?yún)⒖己蜔o參考圖像質(zhì)量評(píng)價(jià)[3]。其中全參考方法是以一幅完整的圖像作為參考，而半?yún)⒖挤椒ㄒ岳硐雸D像的部分特征作為參考，但是在理想圖像很難獲取的情況下，以上兩種方法是不適用的，因此無參考方法是基于圖像統(tǒng)計(jì)特性對(duì)圖像質(zhì)量進(jìn)行分析。

最早的全參考圖像質(zhì)量評(píng)價(jià)方法有峰值信噪比(PSNR)和均方誤差(MSE)。MSE以衡量“平均誤差”來評(píng)價(jià)數(shù)據(jù)的變化程度，應(yīng)用到圖像質(zhì)量評(píng)價(jià)上就是計(jì)算得到兩圖像像素差的均方值，以此判斷圖像的失真程度。PSNR是一種衡量失真的常用指標(biāo)，它是兩圖像之間的均方誤差相對(duì)于信號(hào)最大值平方的對(duì)數(shù)值。兩種方法計(jì)算公式如下所示：

其中R(m.n)和I(m,n)分別代表參考圖像和失真圖像在空間位置(m.n)的灰度值。對(duì)于8位的灰度圖像，峰值信號(hào)L=255。

雖然這兩種方法計(jì)算簡(jiǎn)單，效率高，但是并沒有考慮到像素之間的相關(guān)性，沒有很好地將人眼視覺系統(tǒng)引入到評(píng)價(jià)體系中來，所得評(píng)價(jià)結(jié)果不夠理想。

部分參考方法利用能夠獲取的有限的部分參考圖像信息作為參考，以此對(duì)失真圖像的質(zhì)量進(jìn)行判斷，它需要提取各自的圖像特征，分別比較提取到的圖像信息對(duì)待測(cè)圖像的質(zhì)量進(jìn)行評(píng)估。這種方法主要有基于原始圖像特征方法、基于數(shù)字水印方法和基于Wavelet域統(tǒng)計(jì)模型的方法等。雖然減小了數(shù)據(jù)傳輸量，但是在進(jìn)行特征提取和比較時(shí)出現(xiàn)的偏差會(huì)對(duì)評(píng)價(jià)結(jié)果有很大影響。

無參考方法與其他兩種方法最大的區(qū)別在于無法獲取原始圖像的任何信息時(shí)，只能根據(jù)圖像的自身特征直接進(jìn)行判斷，有較強(qiáng)的靈活性，但圖像的特征難以定義和提取，這是此類方法評(píng)價(jià)圖像的難點(diǎn)。這種失真度量主要針對(duì)的是不同類型的失真圖像，如：模糊效應(yīng)、分塊效應(yīng)、噪聲效應(yīng)等引起的失真。無參考方法完全脫離了對(duì)原始圖像的依賴，應(yīng)用范圍廣，研究難度大。

3 常見的圖像質(zhì)量評(píng)價(jià)方法

3.1 基于結(jié)構(gòu)相似度的方法

為了提高圖像質(zhì)量的主客觀一致性，許多將HVS融入評(píng)價(jià)過程的方法相繼被提出。HVS從圖像中提取高度結(jié)構(gòu)化的信息，對(duì)這些信息的度量可以應(yīng)用到對(duì)圖像質(zhì)量的感知，而圖像質(zhì)量的好壞同時(shí)也會(huì)受到亮度信息和對(duì)比度信息的制約，在評(píng)價(jià)圖像質(zhì)量時(shí)要同時(shí)考慮這三個(gè)因素的影響。因此Wang等人提出了一種基于結(jié)構(gòu)相似度SSIM(Structural Similarity)的圖像質(zhì)量評(píng)價(jià)算法，將失真信息建模為這三種信息的組合，用均值和標(biāo)準(zhǔn)差分別作為亮度和對(duì)比度的估計(jì)，協(xié)方差作為結(jié)構(gòu)相似度的度量[4]。亮度信息l(x ,y)，對(duì)比度信息c(x ,y)和結(jié)構(gòu)信息s(x ,y)分別計(jì)算如下：

其中，μx和 μy是反映了亮度信息的亮度圖像的均值，σx和σy是反映了對(duì)比度信息的亮度圖像的方差，σxσy是反映了結(jié)構(gòu)信息相似度的兩幅圖像的相關(guān)系數(shù)，C1、C2和C3防止分母為零產(chǎn)生異常。綜合這三個(gè)函數(shù)可以得到兩幅圖的結(jié)構(gòu)相似性SSIM如下：

與MSE和PSNR相比，基于HVS的方法SSIM具有較好的相關(guān)性，計(jì)算簡(jiǎn)單快捷，因此應(yīng)用范圍較廣，但是忽略了圖像中重要的邊緣信息，對(duì)模糊失真圖像不敏感。

3.2 基于特征相似性的方法

基于特征相似性的圖像質(zhì)量評(píng)價(jià)方法FSIM在2011年被提出，它應(yīng)用了Liu[5]等人提出的相位一致性，以原始圖像和失真圖像的相位一致性作為第一特征，梯度強(qiáng)度為第二特征，以相位一致性加權(quán)，提取了與圖像相位保持高度一致性位置上的紋理結(jié)構(gòu)特征[6]。人眼主要根據(jù)圖像的底層特征來理解和評(píng)價(jià)圖像，而FSIM很好地提取了人類感興趣的特征點(diǎn)，因此能夠得到較好的評(píng)價(jià)結(jié)果。兩個(gè)圖像的特征相似性和梯度相似性分別表示如下：

其中，PC表示原始圖像和失真圖像的相位一致性信息，G表示兩幅圖像的梯度幅值，引入常量T1和T2避免分母為零。用PCm(x ,y)=max(PC(x),PC(y))對(duì)兩幅圖像的整體相似性進(jìn)行加權(quán)，則特征相似性FSIM表示如公式所示：

FSIM很好地表示了圖像底層特征，比較接近人眼視覺系統(tǒng)，但是該算法對(duì)圖像的邊緣信息不敏感，因此在評(píng)價(jià)邊緣信息比較豐富的圖像是結(jié)果不夠理想。

3.3 一些改進(jìn)的圖像質(zhì)量評(píng)價(jià)方法

Wang等人提出了多尺度結(jié)構(gòu)相似性MSSIM，把參考圖像看成尺度1，最高尺度為M，它是通過M-1次迭代，每次通過對(duì)上一次迭代的結(jié)果進(jìn)行低通濾波和下采樣得到的[3]。這種方法能夠捕獲跨越多個(gè)尺度的模糊，與HVS一致性較好，評(píng)價(jià)結(jié)果優(yōu)于SSIM。

Chen等人基于對(duì)SSIM的研究，提出了基于梯度的結(jié)構(gòu)相似度GSSIM，把對(duì)亮度之外兩個(gè)信息的度量改為對(duì)原始圖像和待測(cè)圖像的梯度信息的計(jì)算[3]。由于梯度信息能很好地表示圖像的邊緣信息，因此改進(jìn)之后的算法GSSIM對(duì)邊緣信息比較豐富的圖像評(píng)估較準(zhǔn)確。

Li等人提出了3-SSIM質(zhì)量評(píng)價(jià)方法，把SSIM中三個(gè)信息的度量改為在邊緣、紋理和平滑區(qū)域分別計(jì)算并賦予不同的權(quán)重[3]，以此計(jì)算所需的圖像評(píng)價(jià)結(jié)果。

4 圖像評(píng)價(jià)數(shù)據(jù)庫和評(píng)價(jià)指標(biāo)

理想的評(píng)價(jià)方法通常是與HVS具有較高的一致性，其結(jié)果具有單調(diào)性、準(zhǔn)確性、一致性和穩(wěn)定性[7]。常用于圖像評(píng)價(jià)的圖像數(shù)據(jù)庫主要有LIVE[8]和TID2008[9]。LIVE圖像數(shù)據(jù)庫由29幅參考圖像，779幅失真圖像組成，失真類型主要有JPEG2000失真(JP2K)圖像，JPEG失真圖像，白噪聲失真(WN)圖像，高斯模糊失真(GB)圖像和快速衰退失真(FF)圖像。LIVE數(shù)據(jù)庫中包括所有失真圖像的DMOS值，值越大表示圖像質(zhì)量越差，在用LIVE庫驗(yàn)證評(píng)價(jià)方法時(shí)，針對(duì)某一種類型的圖像就可以驗(yàn)證該方法的性能優(yōu)劣[3]。TID2008是專門用來評(píng)估全參考圖像質(zhì)量的數(shù)據(jù)庫，該數(shù)據(jù)庫包括25幅原始參考圖像，經(jīng)過17種類型和4個(gè)層次的失真處理后得到1700幅失真圖像。數(shù)據(jù)庫給出的是所有失真圖像的平均主觀分值MOS，值越大表示圖像質(zhì)量越好，用TID2008驗(yàn)證評(píng)價(jià)方法時(shí)，針對(duì)所有圖像的比較和分析要比針對(duì)單一類型的圖像更加可靠[3]。

為了驗(yàn)證所使用的評(píng)價(jià)方法與HVS的主觀一致性，VQEG[10]提出了4個(gè)常用的客觀指標(biāo)參數(shù)斯皮爾曼秩相關(guān)系數(shù)SROCC，肯德爾秩次相關(guān)系數(shù)KROCC，皮爾森線性相關(guān)系數(shù) PLCC，均方根誤差RMSE[11]。SROCC和KROCC分別研究了兩個(gè)變量的之間的相關(guān)關(guān)系和統(tǒng)計(jì)依賴性，它們都可以用來反映兩個(gè)變量之間的等級(jí)相關(guān)性，PLCC代表MOS值與非線性回歸后客觀分值之間相關(guān)性的強(qiáng)弱，RMSE是在非線性回歸條件下，客觀評(píng)分與主觀分值的誤差，很好地反映了測(cè)量的精密度。當(dāng)客觀評(píng)價(jià)結(jié)果與主觀評(píng)價(jià)結(jié)果較好時(shí)，SROCC、KROCC和PLCC的值會(huì)很高，而RMSE的值比較小。

5 結(jié)語

本文對(duì)圖像質(zhì)量評(píng)價(jià)方法進(jìn)行綜述，概述了質(zhì)量評(píng)價(jià)的主要分類和幾種典型的全參考圖像質(zhì)量評(píng)價(jià)方法及其發(fā)展，介紹了驗(yàn)證評(píng)價(jià)評(píng)價(jià)方法的幾個(gè)參數(shù)指標(biāo)。在對(duì)圖像進(jìn)行客觀評(píng)價(jià)時(shí)，全參考質(zhì)量評(píng)價(jià)是最常用也是發(fā)展最好的方法，但是放到實(shí)際應(yīng)用中，如果無法獲取圖像的完整信息，部分參考和無參考圖像質(zhì)量評(píng)價(jià)方法就有了極大的應(yīng)用和發(fā)展空間。圖像處理可以更多地應(yīng)用到視頻處理系統(tǒng)和監(jiān)控系統(tǒng)中以獲取所需的最佳圖像，根據(jù)不同需求選擇具有不同特點(diǎn)的算法。同時(shí)，如何對(duì)圖像進(jìn)行處理以消除失真還原圖像質(zhì)量也將成為未來研究的重點(diǎn)和難點(diǎn)。

[1]Mottalli M,Mejail M,Jacobo-Berlles J.Flexible Image Segmentation and Quality Assessment for Real-Time Iris Recongnition[C].Proceedings of the 2009 16th IEEE International Conference on Image Proceeding(ICIP 2009),2009:1941-1944.

[2]Rec B T.Methodology for the Subjective Assessment of the Quality of Television Picture[S]，2002.

[3]褚江,陳強(qiáng),楊曦晨.全參考圖像質(zhì)量評(píng)價(jià)綜述[J].計(jì)算機(jī)應(yīng)用研究,2014,31(1):13-22.

[4]Zhou Wang,Bovik,Sheikh H,et al.Image Quality Assessment:from Error Visibility to Structural Similarity[J].IEEE Transactions on Image Processing,2004,13(4):600-612.

[5]Liu Z,Laganire R.Phase Congruence Measurement for Image Similarity Assessment[J].Pattern Recognition,2007,28(1):166-172.

[6]Zhang L,Zhang L,Mou X Q,et al.FSIM:a Feature Similarity Index for Image Quality Assessment[J].IEEE Transactions on Image Processing,2011,20(8):2378-2386.

[7]劉書琴,毋立芳,宮玉,等.圖像質(zhì)量評(píng)價(jià)綜述[J].中國科技論文在線,2011,6(7):501-506;523.

[8]Sheikh H R,Wang Zhou,Cormack L,et al.LIVE Image Quality Assessment Database Release 2[DB/OL].http://live.ece.utexas.edu/research/quality,2006-05-10/2007-06-30.

[9]Ponomarenko N,Luhin V,Zeleensky A,et al.TID2008:a Database for Evaluation of Full-Reference Visual Quality Assessment Metrics[EB/OL].[2009].http://www.ponomarenko.info/papers/mre2009tid.pdf.

[10]VQEG.Final Report from the Video Quality Experts Group on the Validation of Objective Models of Video Quality Assessment[EB/OL].2011-04-24.http://www.its.bldrdoc.gov/vqeg/projects/frtv phaseⅡ.

[11]Sheikh H R,Sabir M F,Bovik A C.A Statistical Evaluation of Recent Full Reference Image Quality Assessment Algorithms[J].IEEE Trans on Image Processing,2006,15(11):3440-3451.

張偌雅（1993-），女，河南信陽人，碩士研究生，研究方向?yàn)閿?shù)字圖像處理

李珍珍（1996-），女，河南漯河人，碩士研究生，研究方向?yàn)閿?shù)字圖像處理

2017-07-18

2017-10-11

Image Quality Assessment;Human Visual System;Subjective Assessment;Objective Assessment

Overview of Digital Image Quality Assessment

ZHANG Ruo-ya，LI Zhen-zhen

（College of Computer and Information Engineering，Henan University，Kaifeng 47500）

Quality assessment of digital image is a hot topic in the field of image.Presents the common methods of quality evaluation,of which the full reference assessment is the most mature and no reference assessment method has a very good research prospect.Various kinds of methods get improved so much that better evaluation results consistent with human visual system can be obtained.Summarizes the related perfor?mance indexes of the quality evaluation,puts forward the further development of assessment algorithm.

圖像質(zhì)量評(píng)價(jià)；人眼視覺系統(tǒng)；主觀評(píng)價(jià)；客觀評(píng)價(jià)

1007-1423（2017）29-0078-04

10.3969/j.issn.1007-1423.2017.29.019