基于多參數和極限學習機的圖像質量評價方法研究

孫榮榮

摘? ?要：現有的圖像質量評價算法大部分都是基于單個參數，評價不夠全面。提出了基于多參數和極限學習機的圖像質量評價方法，該方法融合了傳統統計參數（PSNR）、基于結構相似度的參數（SSIM）和基于自然場景分析的參數（VIF和FSIM），將這些參數作為極限學習機的輸入，擬合出這些特征參數和人類主觀評價分值的內在關系，挖掘其內在規律。本方法和采用單獨參數評價的算法進行對比分析，在TID圖像質量評價庫上的實驗結果表明，該方法得到了比單獨參數和BP方法更好的主觀感知一致性。

關鍵詞：圖像質量評價;多參數;極限學習機;函數擬合

中圖分類號：TP391? ? ? ? ? ? ? ? ? ? ? ? ? ? ? ? ? ? ? ? ? ? ?文獻標識碼：A

Research on Image Quality Assessment Method

Based on Multi-parameter and Extreme Learning Machine

SUN? Rong-rong？覮

（Shanghai Institute of Measurement and testing Technology，Shanghai 201203，China）

Abstract：Present image quality assessment methods are mostly based on single parameter，but they cannot assess the image comprehensively. This paper proposes image quality assessment method based on multi-parameter and extreme learning machine. Traditional statistical parameter（PSNR），parameter based on structural similarity（SSIM） and parameter based on natural scene analysis （VIF and FSIM） are fused. These parameters are taken as the inputs to the extreme learning machine and it can excavate the relationship and inherent law between these parameters and human subjective mean opinion score. The performance of the method in the paper and method based on single parameter and BP are compared in the TID database，the experiment results demonstrate that the method in the paper achieve better subjective perceived consistency.

Key words：image quality assessment;multi-parameter;extreme learning machine;function fitting

信息化和數字化的快速發展，日常生活和工作中對數字圖像處理技術的需求日趨增多，如圖像傳輸、存儲、壓縮、重建等，這些技術都需要對圖像的質量進行評價來優化處理算法和在同類算法中選擇較優算法，所以圖像質量評價越來越必要。圖像質量評價有兩大類方法，主觀方法和客觀方法，但主觀方法操作過程繁瑣，耗時長、費用大，且無法嵌入自動化系統中，穩定性差且很難做到實時評價，因此設計出客觀的圖像質量評價方法使之與人的視覺感知保持一致成為目標?；诮y計的方法有均方根誤差方法（MSE） 和峰值信噪比的方法（PSNR） [1]，它們意義明確，直接對圖像的像素值計算，但與人的主觀感受有一定差距。結構相似性理論（SSIM）[2]對參考圖像的亮度、對比度和結構信息進行量化，結果較好。這種方法評測失真圖像結構信息的退化程度，將其作為一個整體，得到了廣泛使用，但沒有考慮人眼的視覺特性，在一些情況下難以與主觀評價保持一致性。

隨著對人類視覺系統（HVS）研究的深入，人類視覺系統的某些特性被用來進行評價?；谧匀粓鼍胺治觯?NSS） 的方法VIF[3]通過評測參考圖像和失真圖像共同信息的多少來評價失真圖像的質量，結果較好。相位一致性（PC） 也被用于圖像質量評價[4]，因為亮度和對比度對圖像的質量的影響并不能忽略，因此實驗結果并不太好。特征相似性方法（ FSIM）[5]選取了相位一致性信息和梯度信息作為特征。但這些方法都是基于一個參數對圖像質量進行評價，不能從多角度表達圖形質量，有失偏頗[6]。針對此問題，提出了基于多參數和極限學習機（ELM）的圖像質量評價方法。該方法融合了傳統統計參數、基于結構相似度的參數和基于自然場景分析的參數，將這些參數作為極限學習機的輸入，擬合出這些特征和人類主觀評價分值（mos）的內在關系。極限學習機克服了單隱含層前饋神經網絡傳統學習算法（如BP）的缺點，如無法達到全局最小、容易陷入局部極小點，訓練速度慢、學習率的選擇敏感等。對本方法和采用單獨參數評價以及傳統BP算法進行對比分析，在TID圖像質量評價庫上的實驗結果表明，該方法得到了比相關文獻方法更好的主觀感知一致性。

1? ?多參數提取

1.1? ?基于統計的參數

對于M × N的圖像，峰值信噪比（PSNR）的定義如下：

MSE = ■? ? ? ? （1）

PSNR = 10 log10（■）? ? ? ? （2）

其中：R（m，n） 為參考圖像x在坐標為（m，n） 處的灰度值;I（m，n） 為失真圖像y在（m，n） 處的灰度值;L 為峰值信號，對8 位的灰度圖像來說，L= 28 - 1 = 255。PSNR計算簡單，但是將圖像的所有像素點對人眼提供的信息都等同對待，只是單純地計算圖像之間灰度值差異，沒有考慮像素之間的結構關系。而事實上人眼在觀察圖像時是有感興趣區域的，所以其計算結果不能與圖像的視覺效果保持一致。

1.2? ?基于結構相似度的參數

結構相似性（ SSIM）參數，比較圖像的亮度、對比度和結構信息，假設x、y分別為參考圖像和失真圖像，則

l（x，y） = ■? ? ? ? （3）

c（x，y） = ■? ? ? ? ?（4）

s（x，y） = ■? ? ? ? （5）

其中：μx、μy分別為圖像x、y的均值，反映其亮度信息;σx和σy分別為圖像x、y的方差，反映其對比度信息;σxy為x、y的相關系數，反映結構信息的相似度;C1、C2、C3為接近于零的正常數，以防止分母為零時的結果異常。x和y的結構相似性是綜合這三種信息得到的

SSIM（x，y）=[l（x，y）]α.[c（x，y）]β.[s（x，y）]γ （6）

其中：α、β、γ均大于0，用于調整這三種信息的相對重要性。

但是SSIM方法假設人眼的主要功能是提取場景中的結構信息，通過評測失真圖像的結構信息的退化程度對圖像進行評價，但視覺信息包括生理和心理，是涉及到方方面面的，所以其與理想結果有一定距離。

1.3? ?基于自然場景分析（NSS）的參數

1.3.1? ?視覺信息保真度（Visual Information Fidelity，

VIF）

如圖1所示，VIF方法通過衡量兩種共同信息來評價圖像質量，一種信息是經由HVS通道（沒有失真存在時） 得到的輸出圖像和輸入圖像的共同信息，即C和x的共同信息，稱為參考圖像信息，可以評價大腦從參考圖像中提取的信息，另一種信息是失真通道的輸入和輸出共同信息，即C和y的共同信息，稱為失真圖像信息，可以評價大腦從失真圖像中提取信息，VIF 即為這兩種信息的比值。

圖1? ?VIF示意圖

Fig 1? ?Diagram for VIF

然后建模HVS，認為圖像經過HVS后只有部分信息被接收，也就是將HVS看成一個退化通道，為了計算簡潔，把HVS的退化看成只包含噪聲項，稱為視覺噪聲，HVS噪聲在小波域建模。

VIF對于線性對比度增強的圖像，得到的VIF值大于1，而其他情況下VIF的值在0和1之間。這很符合人類的視覺感受，因為對比度增強的目的即增強圖像視覺效果。

1.3.2? ?特征相似性（Feature Similarity，FSIM）

心理和生理學研究發現，不同頻率下傅里葉級數的相位一致性和人類視覺可察覺的特征是一致的，即人類感覺到的圖像特征與相位一致性高的點是一致的，如階躍邊緣、零交叉邊緣等。相位一致性是無量綱的，可以體現局部結構信息重要性。特征相似性（FSIM）方法選取相位一致性信息作為一個特征，但考慮到對比度會影響圖像的質量，而相位一致性不受對比度的影響，因此FSIM將圖像梯度作為另外一個特征共同提取人類感興趣的特征點。

2? ?極限學習機擬合函數

綜上，基于傳統統計的參數、基于結構相似度的參數和基于自然場景分析的參數，各有利弊，以往的方法只基于一個參數評價圖像質量，難免有失偏頗，本文將多個參數PSNR、SSIM、VIF和FSIM并行輸入極限學習機，試圖擬合質量參數和主觀質量評分之間的非線性函數，挖掘其中規律，使其與人的視覺感知更好地保持一致。

單隱含層前饋神經網絡許多領域得到了廣泛的應用，但其有固有缺點，如無法達到全局最小，容易陷入局部極小點，訓練速度慢，學習率的選擇敏感等。因此能獲得全局最優解、訓練速度快，并且具有較好泛化性能的訓練算法是提升前饋神經網絡性能的主要途徑。極限學習機克服了傳統訓練方法的缺點，該算法隨機產生輸入層與隱含層間的權值及隱含層神經元的閾值，且在訓練過程中不需調整，只需設置隱含層神經元的個數，便可以獲得唯一最優解。

極限學習機僅需求解輸出權重，在本質上是一個線性參數模式。已知N組學習數據，在本文中，由PSNR、SSIM、VIF和FSIM組成的特征組即為一組數據，對包含L個隱含層節點和M個輸出層節點的極限學習機進行學習有如下步驟：

1.隨機分配節點參數：在計算開始時，節點參數會隨機生成，即節點參數與輸入數據獨立。這里的隨機生成可以服從任意的連續概率分布。

2.計算隱含層的輸出矩陣：隱含層輸出矩陣的大小為N行M列，即行數為輸入的訓練數據個數，列數為隱含層節點數。輸出矩陣本質上即是將N個輸入數據映射至L個節點所得的結果。

3.求解輸出權重：隱含層的輸出權重矩陣的大小為L行M列，即行數為隱含層節點數，列數為輸出層節點數。與其他算法不同，極限學習機算法中，輸出層可以沒有誤差節點，算法的核心是求解輸出權重使得誤差函數最小。

從多個角度反映圖像質量特征，采用極限學習機來挖掘融合由多參數組成的特征向量和人類主觀評價分值之間的關系，輸入層有四個神經元，對應四個圖像質量特征參數，隱含層單元數的選擇如下文所述，輸出層一個神經元對應mos值。

3? ?實驗結果與分析

3.1? ?評價數據庫

TID2013數據庫是專為評價全參考型圖像質量評價而建立的[7]，其參與人員廣泛、圖像數量多，有較高的可靠性和權威性，圖2給出了TID數據庫中的第六幅參考圖片和其對應的不同程度失真圖像（高斯模糊）示例。

（a）參考圖像

失真圖像的質量分數5.19

失真圖像的質量分數4.58

失真圖像的質量分數3.49

失真圖像的質量分數2.70

失真圖像的質量分數2.05

（b）失真圖像（高斯模糊）

圖2? ?TID2013數據庫的

3.2? ?評價指標

分別用斯皮爾曼等級次序相關系數（ROCC）、皮爾遜線性相關系數（LCC） 來衡量客觀評價方法測試結果與主觀評價之間的一致性[8]，斯皮爾曼等級次序相關系數用于評價結果的單調性，即不考慮數據點間的相對距離，只衡量數據點的等級次序。皮爾遜線性相關系數評價的是mos值與非線性回歸后的客觀分值的相關性，其先進行回歸分析，建立客觀分值與主觀分值的非線性映射，本文使用的非線性回歸方法為Logistic函數。主觀評價結果與客觀評價結果越相符，斯皮爾曼等級次序相關系數、皮爾遜線性相關系數的值越高。同時也給出了各方法的均方誤差（MSE）。

3.3? ?實驗結果

實驗隨機選取TID數據庫中的1000幅圖像訓練，剩余的2000幅圖像進行測試，即將整個TID數據庫作為實驗的原始數據。在此基礎上，選擇隱含層神經元個數。圖3給出了隱含層神經元個數對極限學習機性能的影響，可以看出，神經元個數并非越多越好，神經元個數從50增加時，ROCC和LCC總體是減小的趨勢，因此在50個神經元附近改變神經元個數，選擇使ROCC和LCC最大的神經元個數作為極限學習機的隱層神經元個數，即65個。

隱含層神經元個數

圖3? ?隱含層神經元個數對極限學習機性能的影響

表1和表2列出了本文方法和其他方法分別在訓練集和測試集上的評價指標。

表1? ?五種方法在訓練集上的評價指標

表2? ?五種方法在測試集上的評價指標

由表1和表2可以看出，本文方法相對于使用單獨參數的方法，ROCC和LCC值有較大提高，表明本文方法與主觀評價結果更相符，有更好的主觀感知一致性。

圖4為本文方法計算出的圖像質量得分與主觀得分的散點圖，本方法的散點更集中于對角線方向，也表明了本文方法和主觀感知取得更好的一致性。

本文方法

圖4? ?五種方法在TID數據庫上的評價值與mos的散點圖

本方法還與傳統的BP算法進行了比較，BP算法在訓練集上的ROCC和LCC為0.932和0.920，在測試集上的ROCC和LCC為 0.920和0 .903，本方法的程序運行時間為0.15s，BP算法的運行時間為2.23s，由此可見極限學習機與BP算法的預測圖像質量的性能相當，速度得到了很大提高。

4? ?結? ?論

提出的基于多參數和極限學習機評價圖像質量的方法，從不同的角度提取圖像質量參數，如傳統統計參數、基于結構相似度的參數和基于自然場景分析的參數，融合不同參數優勢，然后輸入到極限學習機挖掘這些參數和主觀評價值之間的規律，與傳統的基于單個參數的評價方法相比，可以更好地模擬人類的視覺特性，結果更符合人類視覺主觀感受。與BP算法相比，極限學習機預測圖像質量的性能與BP算法相當，速度得到了很大提高。

今后可研究不同的質量評價參數組合和不同的機器學習算法對最終評價性能的影響，另外，雖然目前對人眼的一部分心理特性和物理特性有所研究，但還處于低級階段，有必要對視覺系統進行更深入的研究。

雖然目前大多數圖像質量評價方法都是全參考方法，但最切合實際需求的還是無參考性圖像質量評價方法。因為原始圖像獲取困難和無參考模型設計困難，半參考圖像質量評價的發展得到了推動。目前全參考性圖像質量評價方法還是國內外研究最多的，半參考和無參考方法雖然取得了較多成果，但是仍然急需完善，半參考和無參考型圖像質量評價方法將會成為今后研究熱點，而無參考圖像質量評價方法將是最終的研究方向。

參考文獻

[1]? ? AVCIBASI I，SANBU B，SATOOD K. Statistical evaluation of image quality measures[J].Journal of Electronic Imaging，2002，11（ 2） ：206—213.

[2]? ? WANG Z，BOVIK A，SHEIKH H，et al. Image quality assessment：from error visibility to structural similarity[J].IEEE Transactions on Image Proc.，2004，13（4）：600—612.

[3]? ? SHEIKH H R，BOVIK A C.Image information and visual quality[J].IEEE Transactions on Image Processing，2006，15 （2）：430—444.

[4]? ?LIU Z，LAGANIERE R. Phase congruence measurement for image similarity assessment[J].Pattern Recognition，2007，28（1）：166—172.

[5]? ? ZHANG L，MOU X，ZHANG D. FSIM：a feature similarity index for image quality assessment[J].IEEE Transactions on Image Processing，2011，20（5）：2378—2386.

[6]? ? 褚江，陳強，楊曦晨，全參考圖像質量評價綜述[J].計算機應用研究，2014，31（1）：13—22.

[7]? ? PONOMARENKO N，JIN L，IEREMEIEV O，et al. Image database TID2013：peculiarities，results and perspectives，Signal Processing：[J].Image Communication，2015，30：57—77.

[8]? ? VQEG. Final report from the video quality experts group on the validation? of objective models of video quality assessment [EB /OL].（ 2003-03） . ftp：/ /vqeq. its. bldrdoc. gov /Documents /Meetings/Hillsboro-VQEG-Mar-03/VQEGII -DraftReport^v2a.pdf.