基于高維度特征分析的非局部圖像質量評價方法

丁 勇 李 楠

?

基于高維度特征分析的非局部圖像質量評價方法

丁 勇 李 楠*

(浙江大學超大規模集成電路設計研究所 杭州 310027)

傳統的圖像質量評價方法通常提取低維度特征即圖像的片面信息用來分析圖像質量。高維度特征盡管不易分析但保留了更多信息，更利于全面分析圖像質量。針對這種現狀，該文提出一種優化數據采樣后基于高維度特征分析的圖像質量評價方法。首先對圖像數據采樣分別利用塊匹配進行篩選，用主成分分析進行降維，其次利用核獨立分量分析從圖像數據采樣中提取高維度特征，最后基于自然圖像統計特性對特征進行綜合得出圖像質量。實驗結果表明所提方法與人的主觀評價較為一致。

圖像質量評價；高維度特征；非局部；核獨立分量分析

1 引言

圖像質量是圖像處理系統中重要的反饋參數[1]。隨著多媒體和互聯網技術的發展，圖像和視頻在編碼，壓縮和傳輸過程中引入的失真使得圖像質量評價的重要性日益提高。相對于主觀圖像質量評價的耗時，不可重復且昂貴的特點，客觀圖像質量評價若能設計出與人的主觀評價相一致的算法，則能夠大大降低圖像質量評價成本，具有巨大的研究和應用價值。

從原始圖像可以提供的信息量進行分類，客觀圖像質量評價可以分為全參考，半參考和無參考3類[2]。從提取的特征進行分類，客觀圖像質量評價可以分為基于誤差，基于人眼視覺特性和基于自然圖像統計3種模型。誤差模型將引入的失真作為失真信號，將失真圖像作為失真信號與原始信號的簡單疊加，得出具有一定物理意義的評價。雖然運算簡單且快捷，但是對于非加性的失真，誤差模型效果不夠理想。視覺特性模型會模擬人眼視覺特性[3]，利用濾波器或者分解方法，提取出對應特征并量化綜合得出圖像質量。自然圖像統計[4]模型認為失真的引入使得圖像的統計特性發生了改變，故可據此進行量化綜合，得出圖像質量。相比誤差模型，視覺特性模型和自然圖像統計模型更符合人的主觀感知。

鑒于對于圖像邊緣和結構信息的提取較為容易，現有的圖像質量評價方法大多基于人眼視覺特性模型。其中，結構相似度(SSIM)[5]結合了亮度，對比度和結構來模擬人眼對于圖像最直觀的評價。其他一些方法利用小波分解或者Contourlet變換[6]，來模擬人眼的多通道、多尺度或多方向特征。近些年研究者逐漸開展基于自然圖像統計模型的研究并取得了一定的成果[7]。其中比較具有代表性的研究利用獨立分量分析提取出的分量作為特征，分析統計特性與質量之間的關系[8]。以上的方法雖然能夠較有效對圖像質量進行評價，但是提取的特征都是簡單的線性特征，低維度的特征拋棄了圖像的絕大多數信息，只留下相關的片面信息用來分析質量。如果將低維空間映射到高維空間，一些原本不可分的特征在映射后可能可分，盡管不易提取和分析，但是高維特征空間中的特征分量包含更多圖片信息，能更好地解釋人眼視覺神經的非線性和復雜性，因此更有利于圖像質量的評價。

本文介紹了一種基于對高維特征進行統計特性分析的圖像質量分析方法。首先利用塊匹配方法優化了空域的數據采樣產生非局部的采樣數據，利用核方法對特征空間進行高維映射，在映射后的空間進行特征提取，最后基于自然圖像統計特性對高維度特征進行綜合并得出圖像質量。

2 數據處理和特征提取

2.1數據篩選

通常情況下圖像質量分析的特征提取自大范圍的隨機采樣或者圖像分塊后的所有數據。隨機采樣或者小窗口采樣過程產生的相似的圖像塊增加了數據的冗余。冗余可以有兩種含義，一種是圖像的冗余信息，另一種是數據采樣的重復數據。前者對于圖像質量的分析是有貢獻的，但是后者不能對于圖像質量的分析產生疊加的效果。圖像數據采樣會出現采樣結果相同的情況，雖然概率極小但是可能存在，這樣產生的冗余數據，更會影響到后續的分量分析，因為獨立分量分析問題必須滿足數據采樣滿秩。同時，圖像分塊的采樣方法雖然在數據采樣中保留了圖像的全部信息，但是產生了局部數據的相關性。本文應用塊匹配方法對采樣數據進行初步篩選，一定程度去除了局部數據的相關性，使數據采樣非局部化，一定程度上去除對圖像質量分析無用的冗余數據，以達到優化采樣過程的目的。

塊匹配常用于視頻壓縮的運動估計和運動檢測中[9]，主要作用是尋找相似的圖像塊。其基本思想在于將圖像分塊后，計算各子塊和參考塊之間的誤差，并將誤差小于一定閾值的塊歸為一組。假設圖像的任意一參考塊為ref，那么塊匹配的結果是與參考塊的距離小于一定閾值的圖像塊的集合。

(2)

2.2數據降維

圖像的采樣數據具有較大的維度，其中也包含了較大的信息量，難以直接利用高維度特征提取出有效的特征量。數據降維可以減少數據中特征量的相關關系，用稍低維度的特征表征原始數據，最大程度地保留數據的主要信息，去除次要信息，從而降低數據分析的難度[11]，避免了在高維特征空間搜索特征的復雜度，同時保證了變量的獨立性和信息的完整性。

經常用于數據降維的方法是主成分分析(Principal Component Analysis, PCA)[12]。PCA的主要目的是尋找數量更少的變量代替原變量來反映事物的主要特征，同時這些變量是原變量的線性組合。設已有個主成分，對應的權重向量為，那么第+1個主成分的權重向量定義為

限制條件為第+1個主成分與前個主成分正交。

(4)

基于上述定義，PCA的主要方法是通過對協方差矩陣進行特征分解，得出數據的特征向量和特征值，按特征值降序排序后可以得出數據從主要到次要的成分分量，并且只取排序靠前的一些特征向量作為主成分保留下來，從而達到數據降維的目的。

2.3 高維特征提取

本文使用的高維特征提取方法基于核獨立分量分析 (Kernel Independent Component Analysis, KICA)[13]。核方法是一種利用核函數進行非線性映射的方法。通過這種方式，低維度的數據被映射到高維度空間。其意義在于低維度難以分解或者分類的數據，在映射到高維空間之后會易于分解或分類。獨立分量分析應用于低維數據的分解，假設從圖像采樣得到的數據集為，代表權重，獨立分量集合，獨立分量分析可以在沒有先驗知識的情況下，估計獨立分量和分離矩陣：

KICA首先將數據映射到再生核希爾伯特空間(Reproducing Kernel Hilbert Space, RKHS)中，從而使在高維特征空間中的線性分離，變為原來低維空間的非線性分離，從而獲得高維度特征：

(6)

其中，代表輸入數據，是在上的RKHS，是特征映射，為核函數。為了使特征空間搜索到的特征統計上獨立，定義任意兩個特征的相關性為

(8)

由于對比函數為非負，當且僅當變量獨立的時候為0。通過以上步驟，這個特征空間中提取出來的特征能夠作為本文中用來分析圖像質量的特征。

3 基于高維度特征分析的圖像質量評價方法

上一節介紹了本文數據處理和特征提取的核心方法。這一節將介紹結合這些方法的圖像質量評價方法設計以及特征到質量的綜合策略。考慮到高維特征空間的稀疏性和高維特征的復雜性，本文介紹的圖像質量評價方法只考慮全參考方法的設計。

本方法首先將原始圖像和失真圖像轉化為灰度圖，在原始圖片中進行數量較大的隨機采樣，取出窗大小為的采樣的圖像塊數據。該采樣基于以下假設：圖像中的每個分塊對于圖像質量的貢獻都是同等的，大量的采樣能夠從統計上滿足大數定律，即大量重復的隨機事件會呈現必然的規律，即隨機變量對于圖像質量的貢獻會隨著數量的增大而逐漸逼近結果。之所以采用這種大小的窗是因為太小的窗會導致過多的采樣，樣本的維度本身不高，所以用于獨立分量分析的數據過分集中，會有可能產生不滿秩的問題；太大的窗雖然使得樣本維度變高，高維度的特征空間特別大，但是卻沒有足夠的樣本從特征空間中取得獨立特征，一樣不利于質量分析。

接下來利用塊匹配，通過計算頻譜的歐氏距離，去掉誤差小于一定閾值的相似的圖像塊，完成空域上的數據篩選，并按照相同的位置對失真圖像進行同樣的圖像塊采樣。通過將這些采樣數據進行主成分分析，獲得降維的數據。按照特征值大小排序后的主成分，能夠將采樣數據的維度從采樣圖像塊數量乘以窗大小的維度降低到主成分個數乘以窗大小的維度。本實驗中取用較少數量的主成分將代替原始采樣數據用作圖像質量評價分析。

最后利用核方法將數據映射到RKHS上進行獨立分量分析，提取出高維特征，并利用綜合策略將特征與質量產生映射關系。流程如圖1所示。

圖1 本文算法流程框圖

本文中采用的綜合策略基于自然圖像統計特性。自然圖像統計特性基于引入的圖像失真改變了圖像特征的統計特性的假設，所以具有較為廣泛的應用場景。考慮到高維特征的復雜性，利用自然圖像統計特性分析特征間的差異并與質量產生映射是本文提出的客觀圖像質量評價方法的主客觀一致性的根本原因。因此本文通過計算原始圖像和失真圖像的特征的相關系數的均值進行質量綜合。從相關系數的性質上來說，兩個變量的內容相似程度越高，統計特性上體現的相關系數越大；相反，如果引入的失真使得圖像內容發生了很大的變化，那么與原始圖像數據相比，統計特性上體現的相關系數越小。利用這個特點，我們可以將相關系數的差異與圖像質量產生映射關系。綜合策略為

(10)

4 實驗結果

本文設計的方法使用Matlab語言在LIVE (Laboratory for Image & Video Engineering)數據庫[14]中完成測試。實驗平臺為CentOS下的Matlab Linux 2011a。數據庫由美國德州大學奧斯丁分校開發并提出，其中包含了快衰落失真145幅，高斯模糊145幅，JPEG2000壓縮失真175幅，JPEG壓縮失真169幅和高斯白噪聲失真145幅。數據庫同時提供了每一種失真的參考圖片和每一張失真圖片的人的差分平均意見得分(DMOS)。為評價客觀圖像質量評價方法和人的主觀評價之間的一致性，我們在得出每一幅失真圖片的客觀評價結果后，采用皮爾森線性相關系數(PLCC)和均方根誤差(RMSE)來計算客觀評分和主觀評分的關系。PLCC值介于0和1之間，用來描述預測的準確性和單調性。RMSE值用來描述和主觀分數的一致性。PLCC值越接近1，RMSE值越小，代表算法的性能越好。

本文選取了PSNR, SSIM和MSDD[15]進行對比分析。PSNR是誤差模型中的典型代表，SSIM和MSDD是結構信息和分解變換模擬人眼視覺特性的方法中的典型代表。從數據庫中所有圖片得出的評價方法結果和DMOS值之間的PLCC數據為：PSNR為0.8723, SSIM為0.9449, MSDD為0.8900，而本文方法為0.9558。由此可以看出本文方法在LIVE數據庫中得出的結果具有明顯的優勢。

表1和表2分別展示了本文方法與其它方法針對各種失真類型的PLCC和RMSE比較結果。圖2為本文方法在LIVE數據庫中各失真類型，所有圖片的主觀和客觀的分數的散點圖，縱坐標為數據庫提供的人的主觀評分DMOS，橫坐標為本文方法得出的客觀評價結果。對散點圖的擬合曲線越趨近于線性，說明主客觀評價結果越一致。

表1本文方法與PSNR, SSIM, MSDD針對各種失真類型的PLCC比較

表2本文方法與PSNR, SSIM, MSDD針對各種失真類型的RMSE比較

圖2 LIVE數據庫各失真類型本文方法與主觀評價分數的散點圖和擬合結果

(1)針對JPEG2000和JPEG壓縮引入的振鈴效應和塊效應，本文方法有較好的評價結果和較好的穩定性。這是由于大范圍采樣和塊匹配方法產生的非局部的數據較好地保留了塊效應和振鈴效應的特征。

(2)針對高斯白噪聲，本文方法僅次于PSNR。由于全參考可以提供原始圖像，所以高斯白噪聲可以通過失真圖像與原始圖像相減獲得，PSNR根據其物理意義可以獲得最好的評價效果。線性可分的噪聲在經過非線性變換后也可分，所以本文方法也可以取得較理想的效果。

(3)針對高斯模糊失真，PSNR得到的結果最不符合人眼特征。由于高斯模糊是對圖像進行低通處理，MSDD由于模擬人眼的多尺度和多通道特性，可以取得相對較好的效果。本文方法可以取得僅次于MSDD的結果，說明高維度特征針對高斯模糊具有一定的效果。

(4)由于快衰落是由于信號多徑傳輸而產生的疊加，所以失真圖片增加的信息很難通過結構分析和分解進行判斷。因此，對高維特征的處理比對低維特征更合適。本文方法針對快衰落失真取得了對比之中最好的效果。

從散點圖上我們也可以看出，本文方法針對高斯白噪聲，高斯模糊和快衰落失真的擬合結果接近于線性，說明方法對于這3種失真類型與人的主觀評價較為一致。并且從總體上來看，本文方法對于一定極限閾值之外的數據處理存在著優勢，即對質量極好和極差的預測結果較為準確。圖3中展示了本文方法對整體圖像質量的預測與人眼主觀評分DMOS的擬合結果，說明本文方法對各種不同類型的失真產生的預測結果較為均勻，且與人的主觀評價有一致性。

圖3 LIVE數據庫各失真實驗結果散點圖(橫坐標為本文方法評分，縱坐標為主觀評分)

5 結束語

本文介紹了一種基于高維度特征提取的圖像質量評價方法。首先應用塊匹配的方法篩選出了頻譜不同的非局部的采樣圖像塊，通過主成分分析進行數據降維。其次應用核方法將特征空間從低維度映射到高維度的RKHS特征空間上，利用高維空間上的獨立分量分析提取的分量作為特征，最后經過綜合策略，與質量產生映射，得到預測的圖像質量。本文方法在綜合階段仍有改進的空間，并且可以在今后的研究中，挖掘原始圖像高維度特征的共性，研究基于高維度特征的半參考及無參考圖像質量評價方法。

[1] HE L, GAO F, HOU W,. Objective image quality assessment: A survey[J]., 2014, 91(11): 2374-2388. doi: 10.1080/ 00207160.2013.816415.

[2] WANG Zand BOVIK A C. Reduced-and no-reference image quality assessment[J].2011, 28(6): 29-40. doi: 10.1109/MSP.2011.942471.

[3] HU A, ZHANG R, YIN D,. Image quality assessment using a SVD-based structural projection[J].:, 2014, 29(3): 293-302. doi: 10.1016/ j.image.2014.01.007.

[4] HYVARINEN A, HURRI J, and HOYER P O. Natural Image Statistics: A Probabilistic Approach to Early Computational Vision[M]. US, Springer Science & Business Media, 2009, Chap 4. doi:10.1007/978-1-84882-491-1.

[5] HORE A and ZIOU D. Image quality metrics: PSNR vs. SSIM[C]. 2010 20th International Conference on Pattern Recognition (ICPR), Istanbul, Turkey, 2010: 2366-2369. doi: 10.1109/ICPR.2010.579.

[6] GAO X, LU W, LI X,. Wavelet-based contourlet in quality evaluation of digital images[J]., 2008, 72(1): 378-385. doi:10.1016/j.neucom.2007.12.031.

[7] DING Y, DAI H, and WANG S. Image quality assessment scheme with topographic independent components analysis for sparse feature extraction[J]., 2014, 50(7): 509-510. doi:10.1049/el.2013.4298.

[8] LUO C, WANG Y, DING Y,. Image quality assessment based on independent component analysis[C]. IEEE 2014 12th International Conference on. Signal Processing (ICSP), Hangzhou, China, 2014: 922-927. doi:10.1109/ICOSP.2014. 7015139.

[9] MANIKANDAN L C and SELVAKUMAR R K. A new survey on block matching algorithms in video coding[J]., 2014, 3(2): 121-125.

[10] ZHONG H, MA K, and ZHOU Y. Modified BM3D algorithm for image denoising using nonlocal centralization prior[J]., 2015, 106: 342-347. doi:10.1016/ j.sigpro.2014.08.014.

[11] SHLENS J. A tutorial on principal component analysis[J]., 2014, 58(3): 219-226.

[12] ABDI H and WILLIAMS L J. Principal component analysis[J].:, 2010, 2(4): 433-459. doi: 10.1002/wics.101.

[13] BACH F R and JORSAN M I. Kernel independent component analysis[J]., 2003, 3: 1-48.

[14] SHEIKH H. R, WANG Z, CORMACK L,. LIVE image quality assessment database release 2[OL]. http://live.ece. utexas.edu/research/quality, 2006.

[15] LIU M and YANG X. Image quality assessment using contourlet transform[J]., 2009, 48(10): 107201-10.

Image Quality Assessment Based on Non-local High Dimensional Feature Analysis

DING Yong LI Nan

(Institute of VLSI Design, Zhejiang University, Hangzhou 310027, China)

Traditionally, low dimensional features for partial information are extracted to analyze image quality. Though high dimensional features are difficult to be analyzed, they contain more information to fully analyze image quality. On this condition, this paper proposes an image quality assessment method based on non-local high dimensional feature analysis after optimized data sampling. Firstly, image data is filtered by using block matching method and dimensionally reduced by Principal Component Analysis (PCA). Secondly, Kernel Independent Component Analysis (KICA) is applied to extract high dimensional features. The features are finally synthesized to evaluate image quality based on natural image statistics. The experimental results show that the proposed method keeps accordance with human objective perception.

Image quality assessment; High dimensional feature; Non-local; Kernel Independent Component Analysis (KICA)

TN911.73

A

1009-5896(2016)09-2365-06

10.11999/JEIT151430

2015-12-08；

2016-04-18；

2016-06-12

國家863計劃(2015AA016704c)，浙江省自然科學基金(LY14F020028)

The National 863 Program of China (2015AA016704c), Zhejiang Provincial Natural Science Foundation (LY14F020028)

李楠 linan@vlsi.zju.edu.cn

丁 勇： 男，1974年生，副教授，研究方向為多媒體處理及可重構計算、視頻/圖像質量客觀評價、SoC設計與測試方法研究、醫學圖像處理與智能診斷.

李 楠： 男，1992年生，碩士生，研究方向為圖像質量客觀評價.