基于梯度方向分布的圖像質(zhì)量評(píng)估及其應(yīng)用

齊 歡 申維和 陳 曦 張洪源 崔廣濤

1.北京宇航系統(tǒng)工程研究所，北京 100076 2.空間物理重點(diǎn)實(shí)驗(yàn)室, 北京 100076 3.北京航天自動(dòng)控制研究所 北京100854

圖像質(zhì)量評(píng)估技術(shù)是其他各類(lèi)圖像處理技術(shù)的基礎(chǔ)。對(duì)于圖像處理的各階段來(lái)說(shuō)，在提出一種新的處理算法之后必然要對(duì)算法的有效性、可靠性以及實(shí)時(shí)性等進(jìn)行評(píng)定。只有準(zhǔn)確地評(píng)估圖像的質(zhì)量才能對(duì)圖像處理算法的性能做出合理的判斷。

人類(lèi)視覺(jué)系統(tǒng)感知到的圖像受干擾程度與被觀測(cè)圖像內(nèi)容的特點(diǎn)有關(guān)，主要表現(xiàn)在圖像的對(duì)比度和結(jié)構(gòu)規(guī)則度2個(gè)方面[1]。其內(nèi)在原因是人類(lèi)在觀測(cè)圖像時(shí)圖像的內(nèi)容對(duì)圖像中的干擾存在掩膜效應(yīng)。本文利用方向梯度直方圖的信息熵描述圖像結(jié)構(gòu)的規(guī)則度，比較圖像空間域灰度值得到與原始圖像亮度的相似性，通過(guò)對(duì)方向梯度直方圖標(biāo)準(zhǔn)化突出重點(diǎn)區(qū)域?qū)D像質(zhì)量變化的貢獻(xiàn)，提出了一種感知相關(guān)的全參考圖像質(zhì)量評(píng)估算法。在LIVE庫(kù)[2]上的實(shí)驗(yàn)表明，本文算法與主觀評(píng)估的一致性較高，性能明顯優(yōu)于其他同類(lèi)算法。另外，由于建立方式的優(yōu)點(diǎn)，應(yīng)用前景廣泛，適用于壓縮的衛(wèi)星圖像解壓后質(zhì)量和災(zāi)區(qū)受災(zāi)情況評(píng)估等領(lǐng)域。

1 方向梯度直方圖

方向梯度直方圖(Histograms of Oriented Gradients, HOG)[3]能夠有效描述圖像的局部特征。設(shè)計(jì)之初是為了建立用于行人檢測(cè)的描述人體形狀的特征描述子。HOG特征描述子的基本思想是圖像的局部梯度或邊緣方向可以用來(lái)刻畫(huà)圖像中目標(biāo)的外觀和形狀。該特征描述子在行人檢測(cè)方面取得了很好的效果，并被廣泛應(yīng)用于目標(biāo)檢測(cè)與識(shí)別領(lǐng)域。圖像的HOG描述子的計(jì)算步驟如圖1所示。

圖1 圖像的方向梯度直方圖計(jì)算流程

對(duì)于給定的圖像，為消除光照、陰影等對(duì)圖像或視頻中行人檢測(cè)的影響，首先對(duì)圖像進(jìn)行Gamma/色彩標(biāo)準(zhǔn)化。然后，再計(jì)算圖像的梯度。實(shí)驗(yàn)發(fā)現(xiàn)，行人檢測(cè)的效果對(duì)梯度計(jì)算方式較為敏感，其中最簡(jiǎn)單的一維檢測(cè)算子可以得到最好的檢測(cè)效果。接著將圖像劃分為若干個(gè)單元格，并以梯度大小為權(quán)值統(tǒng)計(jì)每個(gè)單元格內(nèi)像素的方向梯度直方圖。最后將多個(gè)單元格合并為一個(gè)圖像塊，并在圖像塊上進(jìn)行對(duì)比度標(biāo)準(zhǔn)化操作。因?yàn)樽詈笠徊竭M(jìn)行了對(duì)比度標(biāo)準(zhǔn)化， Gamma/色彩標(biāo)準(zhǔn)化對(duì)檢測(cè)結(jié)果的改善效果不明顯，因此在實(shí)際應(yīng)用中通常省略Gamma/色彩標(biāo)準(zhǔn)化步驟。

2 圖像質(zhì)量的表示

2.1 圖像結(jié)構(gòu)的規(guī)則度

圖像受到干擾影響后其結(jié)構(gòu)信息會(huì)發(fā)生變化[4]，進(jìn)而影響圖像結(jié)構(gòu)的規(guī)則度。圖像的HOG描述子能夠體現(xiàn)圖像中目標(biāo)的外觀和輪廓[3]。對(duì)于紋理密集而不規(guī)則的圖像區(qū)域(結(jié)構(gòu)不規(guī)則區(qū)域)，梯度方向各異，每個(gè)像素的方向比較均勻地分布于方向梯度直方圖的各區(qū)間內(nèi)；對(duì)于平坦區(qū)域以及梯度方向一致的邊緣區(qū)域(結(jié)構(gòu)規(guī)則區(qū)域)，圖像像素的梯度方向一致性較強(qiáng)，集中于方向梯度直方圖內(nèi)同一方向范圍內(nèi)。

本文利用HOG描述子描述圖像的結(jié)構(gòu)信息。為了更加細(xì)致、準(zhǔn)確地描述圖像所有細(xì)微的結(jié)構(gòu)信息，將HOG算法進(jìn)行了調(diào)整。首先，利用prewitt算子計(jì)算圖像中所有像素的梯度大小和梯度方向。然后，將0°到180°均勻劃分為3個(gè)方向區(qū)間，即[0°，60°]、[61°，120°]和[121°,180°]。最后，以圖像中的每個(gè)像素為中心劃定3×3的圖像鄰域，針對(duì)每個(gè)鄰域區(qū)域，以每個(gè)像素梯度的大小作為權(quán)值統(tǒng)計(jì)落入每個(gè)方向區(qū)間內(nèi)像素的個(gè)數(shù)，得到以圖像中每個(gè)像素為中心的鄰域區(qū)域的方向梯度直方圖。

信息熵是信息論中的重要概念。隨機(jī)變量的不確定程度越大，其信息熵越大。本文利用每個(gè)方向梯度直方圖的熵描述局部圖像結(jié)構(gòu)的規(guī)則度。

人類(lèi)視覺(jué)系統(tǒng)對(duì)圖像中梯度變化較大的區(qū)域更加敏感，并且該區(qū)域通常包含圖像的重點(diǎn)目標(biāo)，而重點(diǎn)目標(biāo)的變化比背景區(qū)域變化對(duì)圖像質(zhì)量的影響更大[5]。如果直接利用干擾圖像和原始圖像局部區(qū)域梯度方向分布的相似度衡量干擾圖像的質(zhì)量，當(dāng)重點(diǎn)目標(biāo)所在區(qū)域梯度方向分布的變化程度遠(yuǎn)小于背景區(qū)域梯度方向分布的變化程度時(shí)，干擾圖像的質(zhì)量可能會(huì)被過(guò)估計(jì)。在求取每個(gè)局部區(qū)域的方向梯度直方圖之后，利用所有圖像塊的直方圖加權(quán)頻數(shù)總和對(duì)每個(gè)直方圖進(jìn)行標(biāo)準(zhǔn)化，標(biāo)準(zhǔn)化后的頻數(shù)作為直方圖各方向區(qū)間的概率，通過(guò)此概率計(jì)算直方圖的熵得到標(biāo)準(zhǔn)化方向梯度熵圖[6]。方向梯度直方圖的標(biāo)準(zhǔn)化可以有效解決圖像各區(qū)域重要性不同的問(wèn)題。

為了計(jì)算相對(duì)于原始圖像，干擾圖像的結(jié)構(gòu)規(guī)則度的變化，需要計(jì)算干擾圖像的梯度方向熵圖與原始圖像的梯度方向熵圖的相似度

(1)

式中，Ex和Ey分別為原始圖像和干擾圖像梯度方向的熵圖；C是為了避免分母為0的常數(shù)，這里取C=0.001。

圖2給出了5幅受到不同干擾的圖像，從上至下依次為白噪聲圖像、高斯模糊圖像、快衰落圖像、

JPEG2000和JPEG圖像，每幅圖像的右側(cè)依次對(duì)應(yīng)其熵圖和結(jié)構(gòu)規(guī)則相似度圖。白噪聲給圖像加入了紊亂的信息；高斯模糊干擾減少了圖像的信息量；快衰落和JPEG2000圖像中存在模糊和振鈴現(xiàn)象；JPEG干擾向圖像引入了假邊緣和模糊干擾。從圖中可以看出，各干擾圖像的標(biāo)準(zhǔn)化方向梯度熵圖可以體現(xiàn)圖像受到各類(lèi)干擾后信息的變化。從結(jié)構(gòu)規(guī)則相似度圖中可以看出，對(duì)于白噪聲圖像，圖像中天空區(qū)域與原始圖像相似性更小，其他紋理密集的區(qū)域相似性更大。相反，對(duì)于其他存在模糊現(xiàn)象的干擾圖像，紋理密集區(qū)域的相似性更小。這恰恰反映了人類(lèi)視覺(jué)系統(tǒng)對(duì)圖像干擾感知的特點(diǎn)。

圖2 不同干擾圖像的標(biāo)準(zhǔn)化熵圖和結(jié)構(gòu)規(guī)則相似度圖

2.2 圖像的亮度相似性

圖像亮度的變化是影響圖像質(zhì)量的重要因素[8]，而圖像結(jié)構(gòu)規(guī)則度并不能體現(xiàn)出圖像亮度上的干擾。因此，本文通過(guò)以下方式計(jì)算干擾圖像與原始圖像在亮度上的相似性，用以補(bǔ)充結(jié)構(gòu)規(guī)則度相似性的不足

(2)

式中，Ix和Iy分別是原始圖像和干擾圖像的灰度值；l是圖像灰度值的動(dòng)態(tài)范圍，對(duì)于8bit灰度圖像，l=255。

3 基于梯度方向分布的圖像質(zhì)量評(píng)估

圖像結(jié)構(gòu)規(guī)則度和亮度信息從不同方面刻畫(huà)了圖像質(zhì)量的變化，兩者相互補(bǔ)充。將干擾圖像和原始圖像的結(jié)構(gòu)規(guī)則相似度圖與亮度相似度圖結(jié)合即可得到干擾圖像與原始圖像質(zhì)量的相似程度。由于結(jié)構(gòu)相似性圖與亮度相似性圖的取值范圍相同，因此質(zhì)量相似圖可以通過(guò)將兩種相似圖直接相加的方式得到。

Qs(i,j)=a·S(i,j)+(1-a)·Ls(i,j)

(3)

式中，a為調(diào)整結(jié)構(gòu)規(guī)則度和亮度對(duì)圖像質(zhì)量作用大小的權(quán)值參數(shù)。由于圖像中目標(biāo)的結(jié)構(gòu)能夠體現(xiàn)圖像傳達(dá)的主要信息，因此，在本文算法實(shí)現(xiàn)中，取a=0.8。

為了使得算法計(jì)算得到的客觀分?jǐn)?shù)與主觀分?jǐn)?shù)之間有更好的線性關(guān)系，將質(zhì)量分?jǐn)?shù)變換到對(duì)數(shù)域

Q=logaQ

(4)

根據(jù)經(jīng)驗(yàn)，當(dāng)a<1時(shí)可以得到更好的質(zhì)量評(píng)估性能，文中a=0.5。

4 實(shí)驗(yàn)結(jié)果與分析

為評(píng)定所提算法與人類(lèi)視覺(jué)感知結(jié)果的一致性，本文利用LIVE主觀評(píng)估數(shù)據(jù)庫(kù)進(jìn)行客觀算法與主觀評(píng)估的相關(guān)性驗(yàn)證實(shí)驗(yàn)。LIVE數(shù)據(jù)庫(kù)包含29幅RGB彩色原始圖像以及5種類(lèi)型干擾圖像：白噪聲(White Noise, WN)、高斯模糊(Gaussian Blur, GB)、快衰落(Fastfading, FF)和JPEG2000(JP2K)和JPEG。GB、FF干擾圖像各145幅、JP2K干擾圖像169幅和JPEG干擾圖像175幅。利用斯皮爾曼等級(jí)相關(guān)系數(shù)(Spearman rank-order correlation coefficient, SROCC)和皮爾遜線性相關(guān)系數(shù)(Pearson linear correlation coefficient, PLCC)衡量客觀算法的圖像質(zhì)量分?jǐn)?shù)與主觀評(píng)估DMOS之間的單調(diào)性和準(zhǔn)確性。

將本文算法與5個(gè)同樣通過(guò)比較干擾圖像與原始圖像相似評(píng)估圖像質(zhì)量的客觀算法：SSIM[3]、IWSSIM[7]、ESSIM[8]、GSIM[9]和GMSD[10]比較。SSIM比較圖像結(jié)構(gòu)的相似度評(píng)估圖像的質(zhì)量；IWSSIM將各區(qū)域的互信息量作為SSIM質(zhì)量圖合并的權(quán)值；ESSIM通過(guò)邊緣強(qiáng)度的相似度衡量圖像的質(zhì)量變化；GSIM和GMSD通過(guò)計(jì)算梯度的相似度評(píng)估圖像的質(zhì)量，其中GSIM將梯度相似度與亮度相似度結(jié)合得到質(zhì)量分?jǐn)?shù)，GMSD利用圖像各區(qū)域梯度相似性差異的大小評(píng)定圖像的質(zhì)量。表1和2分別列出了利用各算法計(jì)算數(shù)據(jù)庫(kù)中圖像質(zhì)量的客觀分?jǐn)?shù)與圖像主觀DMOS的SROCC和PLCC。表中既給出單一類(lèi)型干擾圖像的相關(guān)系數(shù)，也給出了數(shù)據(jù)庫(kù)中所有干擾圖像混合在一起的相關(guān)系數(shù)。

表1 客觀算法在LIVE庫(kù)上的SROCC比較

表2 客觀算法在LIVE庫(kù)上的PLCC比較

表1和2中將評(píng)估效果最好的算法結(jié)果進(jìn)行了加粗。從結(jié)果可以看出，無(wú)論SROCC還是PLCC，本文所提算法在多數(shù)類(lèi)型干擾圖像上的實(shí)驗(yàn)結(jié)果均優(yōu)于其他算法。特別是在所有干擾圖像混合情況下，本算法表現(xiàn)出最好的性能，是一種與主觀評(píng)估更加接近的客觀算法，完全可以滿(mǎn)足實(shí)際應(yīng)用的需求。

5 圖像質(zhì)量評(píng)估的應(yīng)用

圖像是人類(lèi)表達(dá)和傳遞信息的主要媒介之一。圖像處理技術(shù)在日常生活、工業(yè)以及航天等領(lǐng)域占據(jù)了重要地位。圖像質(zhì)量的客觀評(píng)估是圖像處理流程中各階段技術(shù)的基礎(chǔ)。性能優(yōu)良的圖像質(zhì)量評(píng)估算法對(duì)于推動(dòng)其他圖像處理技術(shù)乃至整個(gè)圖像應(yīng)用領(lǐng)域的發(fā)展起到關(guān)鍵性的作用。下面舉例介紹本文算法的相關(guān)應(yīng)用。

5.1 衛(wèi)星圖像壓縮回傳后的質(zhì)量評(píng)估

各類(lèi)成像技術(shù)不斷發(fā)展，所獲取的衛(wèi)星圖像尺寸和精度都大大增加，在實(shí)時(shí)性要求和現(xiàn)有傳輸方式與存儲(chǔ)硬件的限制下，獲取的圖像必須先經(jīng)過(guò)某種方式的壓縮，然后傳輸?shù)降孛妫偻ㄟ^(guò)地面接收端對(duì)其進(jìn)行解壓縮從而獲取成像目標(biāo)的情況。 雖然目前圖像壓縮技術(shù)取得了一定的進(jìn)步，但在解壓后不可避免地會(huì)使圖像出現(xiàn)干擾，直接影響了圖像的質(zhì)量，進(jìn)一步影響圖像的應(yīng)用，因此基于圖像質(zhì)量對(duì)壓縮算法進(jìn)行評(píng)估和選擇是提高圖像應(yīng)用效果的關(guān)鍵。

傳統(tǒng)方式通常采用均方誤差(Mean Square Error, MSE)和峰值信噪比(Peak Signal to Noise Ratio, PSNR)評(píng)估壓縮算法的性能。這種評(píng)估方式僅對(duì)簡(jiǎn)單的加性干擾(如加性高斯白噪聲)類(lèi)型圖像有較好的評(píng)估效果，對(duì)于其他大多數(shù)干擾圖像的評(píng)估結(jié)果與人眼感知的一致性較差。特別地，在壓縮圖像中通常包含依賴(lài)于圖像內(nèi)容的干擾(如JPEG、JP2K壓縮標(biāo)準(zhǔn))，MSE和PSNR評(píng)估壓縮圖像的效果并不理想。對(duì)于地面接收端，通常由人對(duì)圖像內(nèi)信息進(jìn)行判讀和理解。因此，壓縮圖像質(zhì)量的客觀評(píng)估效果應(yīng)適應(yīng)于人類(lèi)視覺(jué)系統(tǒng)對(duì)圖像質(zhì)量的感知。本文所提的圖像質(zhì)量評(píng)估算法充分考慮了人類(lèi)視覺(jué)系統(tǒng)的特性。因此，其對(duì)圖像質(zhì)量的評(píng)估結(jié)果與主觀評(píng)估的一致性很高。尤其對(duì)于JPEG和JP2K兩種壓縮圖像，與人類(lèi)感知分?jǐn)?shù)的相關(guān)系數(shù)高達(dá)0.98及0.96以上。通過(guò)以上分析可知，本文算法適用于衛(wèi)星圖像壓縮解壓后的質(zhì)量評(píng)估，可以根據(jù)評(píng)估效果選擇最佳壓縮算法或者改進(jìn)壓縮算法，大大提高了圖像的應(yīng)用效果。

5.2 災(zāi)區(qū)受災(zāi)情況評(píng)估

地震、洪水和臺(tái)風(fēng)等自然災(zāi)害時(shí)有發(fā)生，不可避免地威脅財(cái)產(chǎn)和人身安全。第一時(shí)間對(duì)受災(zāi)情況進(jìn)行評(píng)估，對(duì)于指導(dǎo)災(zāi)后救助至關(guān)重要。通過(guò)比較受災(zāi)前后的衛(wèi)星圖像，快速判斷房屋、橋梁等毀壞情況，進(jìn)而判斷出受災(zāi)最為嚴(yán)重的地區(qū)。人工對(duì)圖像的判讀最準(zhǔn)確[11]，但是通常需要花費(fèi)較長(zhǎng)的時(shí)間，并且每個(gè)人之間存在一定的差異，不便于自動(dòng)、實(shí)時(shí)地評(píng)估多個(gè)區(qū)域的建筑受損效果。傳統(tǒng)的圖像變化檢測(cè)方法通常直接計(jì)算圖像的差別[12]，如差值或者比值，評(píng)估結(jié)果與人工判讀差異較大。由于受災(zāi)前后的圖像質(zhì)量存在一定差異，利用本文算法通過(guò)評(píng)估毀損后圖像的質(zhì)量可以有效地評(píng)估建筑毀損的嚴(yán)重程度。本文算法將圖像中目標(biāo)的結(jié)構(gòu)信息作為評(píng)價(jià)圖像質(zhì)量的重要標(biāo)準(zhǔn)，因此其在提取毀損前后圖像中的重點(diǎn)目標(biāo)以及著重評(píng)估重點(diǎn)目標(biāo)的質(zhì)量變化方面有著更為優(yōu)秀的表現(xiàn)。

雖然在進(jìn)行算法效果驗(yàn)證時(shí)，采用的是普通光學(xué)圖像。但是由于本文算法主要是基于圖像的結(jié)構(gòu)建立，與圖像類(lèi)型的特點(diǎn)無(wú)關(guān)。因此，同樣適用于遙感圖像或雷達(dá)圖像的質(zhì)量評(píng)估。

6 結(jié)論

就結(jié)構(gòu)規(guī)則度和亮度信息對(duì)圖像質(zhì)量的影響進(jìn)行了深入探討，提出了一種基于圖像梯度方向分布的全參考圖像質(zhì)量評(píng)估算法，并介紹了該算法在實(shí)際工程中的應(yīng)用。在LIVE數(shù)據(jù)庫(kù)上的實(shí)驗(yàn)表明，本文算法無(wú)論在單調(diào)性還是準(zhǔn)確性上均優(yōu)于其他同類(lèi)型算法，與人眼感知更加一致。此外，由于建立方式上的優(yōu)點(diǎn)，該算法擁有廣闊的應(yīng)用前景。