視覺顯著特征融合的圖像評價

摘? 要：針對視覺顯著（visual saliency index，VSI）圖像質量評價的不足，通過引入人眼的感知特性，提出了一種視覺特征融合（visual saliency feature pooling，VSFP）的評價方法。VSFP方法首先對失真圖像的灰度特征進行評價，作為能量補充信息，然后基于人眼的中央凹生理特性對圖像局部特征評價進行加權融合，最后基于回歸方程對多特征評價進行自適應融合。實驗表明所提方法明顯提高了VSI方法的評價性能。

關鍵詞：圖像質量評價;特征融合;視覺中央凹;回歸方程

中圖分類號：TP391.41? ? ? ? 文獻標識碼：A 文章編號：2096-4706（2019）07-0080-03

Abstract：Aiming at the shortcomings of visual saliency index（VSI）for image quality assessment，an assessment method called visual saliency feature pooling（VSFP）is proposed by introducing the perceptual characteristics of human eyes. Firstly，the VSFP method evaluates the gray level features of distorted images are assessed and viewed as energy supplement information. Secondly，the local features assessment is pooled with the weights based on the physiological characteristics of the central foveal of the human eye. Finally，the multi-features assessment is adaptively pooled based on the regression equation. Experiments show that the assessment performance of the proposed method is significantly improved compared to VSI method.

Keywords：image quality assessment;feature pooling;visual foveal;regression equation

0? 引? 言

當前，隨著圖像信號在日常生活中的應用普及，人們提出了越來越高的視覺感知體驗需求，因此，圖像質量評價方法的研究具有重大的現實意義[1，2]。相對于主觀評價方法，客觀評價方法由于具有計算機建模的一系列優點而成為了重要的研究和應用方向。峰值信噪比（Peak Signal to Noise Ratio，PSNR）方法在現實中具有最廣泛的應用領域，但各項評價指標水平低下。近些年提出的結構相似度（Structural Similarity，SSIM）方法[3]則明顯提高了PSNR方法的性能水平并成為了目前的研究熱點。其中，視覺顯著（Visual Saliency Index，VSI）方法[4]在理論上提出了較大的創新，首次將視覺顯著模型用于圖像質量客觀評價算法中，并將圖像梯度作為第二特征信息融入評價算法中。然而，通過理論分析和實驗驗證，發現VSI方法存在如下不足：

（1）沒有考慮圖像灰度特征的信息失真，這將導致評價結果無法準確判斷圖像的背景失真情況;

（2）利用視覺顯著視圖作為權重對局部評價進行了加權融合，但是這種加權算法并沒有提高VSI方法的評價準確度指標水平;

（3）對視覺顯著評價和梯度特征評價采用了局部乘積的融合策略，但這種融合策略對于整體評價性能的改進效果非常不明顯。

針對VSI方法的上述不足，通過引入人眼的主觀感知特性，本研究提出了一種改進的VSFP融合評價方法，VSFP方法引入灰度特征信息來改進圖像背景失真的評價效果，并基于人眼主觀感知和回歸方程對評價視圖進行深度融合，最后通過實驗分析了所提方法的評價性能，并與VSI方法進行了比較。

1? VSFP方法原理

VSFP方法原理可以用圖1描述，通過將人類視覺系統的視覺顯著、中央凹和自適應等特性引入圖像質量客觀評價，VSFP方法包括了視覺顯著評價、梯度評價和灰度評價三個要素，實施過程分為特征評價和加權融合兩個階段，具體包括以下步驟：

（1）基于視覺顯著模型[4]獲得失真圖像質量的視覺顯著評價視圖V（i，j）;

（2）基于梯度特征[5]獲得失真圖像質量的梯度特征評價視圖G（i，j）;

（3）基于SSIM算法[3]獲得失真圖像質量的灰度評價評價視圖L（i，j）;

（4）基于中央凹生理特性對V（i，j）、G（i，j）和L（i，j）分別進行局部加權融合，依次獲得對應的視覺顯著評價V、梯度評價G和灰度評價L;

（5）基于自適應特性構造回歸方程算法，然后對V、G和L進行融合，獲得失真圖像質量的客觀評價結果VSFP分值。

1.1? 評價視圖原理

根據VSI方法的原理，本研究采用的視覺顯著評價視圖V（i，j）算法如下：

式中Vx（i，j）、Vy（i，j）分別為參考圖像和失真圖像的視覺顯著測量視圖，ζ為調節公式穩定的常數。

根據GSM方法[5]的原理，本研究采用的梯度評價視圖G（i，j）算法如下：

式中Gx（i，j）、Gy（i，j）分別為參考圖像和失真圖像的梯度測量視圖，ζ作用同公式（1）。

根據SSIM方法[3]的原理，本研究采用的灰度評價視圖L（i，j）算法如下：

式中Lx（i，j）、Ly（i，j）分別為參考圖像和失真圖像的灰度測量視圖，ζ作用同公式（1）、（2）。

1.2? 評價視圖局部加權融合

根據人類視覺系統的中央凹生理感知特性，本研究提出的局部評價視圖加權融合算法如下：

式中τ（i，j）為中央凹生理函數，[J，I]為圖像大小。

1.3? 特征評價融合

根據人類視覺系統的自適應感知特性，本研究基于回歸方程設計了融合算法，獲得失真圖像質量的客觀評價結果VSFP分值如下：

式中，，參數γ11、γ12、γ21、γ22取值詳見表1。

2? 實驗分析

本實驗采用了該領域權威的LIVE圖像質量評價數據庫，實驗結果如表1所示。

表1數據反映出本研究所提VSFP方法相對VSI方法取得的改進效果體現在：

（1）對于JPEG2000類型失真圖像的評價，VSFP方法的RMSE和SROCC指標取得了較為明顯的優勢;

（2）對于JPEG類型失真圖像的評價，VSFP方法的PLCC和SROCC指標取得了明顯的優勢;

（3）對于WN和Gblur兩個類型失真圖像的評價，VSFP方法的RMSE和PLCC指標取得了明顯的優勢;

（4）對于Fast fading類型失真圖像的評價，VSFP方法的RMSE、PLCC和SROCC三項指標均取得了明顯的優勢。此外，所提VSFP方法的優勢還體現在對于失真圖像的整體ALL評價上，RMSE、PLCC和SROCC三項指標相對VSI方法均取得了明顯的優勢。綜上分析，所提VSFP方法相對VSI方法取得了改進效果。

3? 結? 論

針對VSI圖像質量客觀評價方法的缺點，通過引入人眼視覺系統的一系列感知特性，對VSI方法中的評價視圖局部加權融合和多特征融合等算法進行了改進，并融入了圖像灰度特征評價信息。實驗表明所提方法相對VSI方法取得了明顯的改進效果。

參考文獻：

[1] 王勇，王宇慶，趙曉暉.圖像質量客觀評價的復數矩陣結構相似度方法 [J].儀器儀表學報，2014，35（5）：1118-1129.

[2] Guo Yingchun，Hao Yuting，Yu Ming.Image retargeting quality assessment based on content deformation measurement [J].Signal Processing：Image Communication，2018，67：171-181.

[3] Wang Z，Bovik AC，Sheikh HR，et al.Image Quality Assessment：From Error Visibility to Structural Similarity [J].IEEE Transactions on Image Processing，2004，13（4）：600-612.

[4] Zhang L，Shen Y，Li H.VSI：A Visual Saliency-Induced Index for Perceptual Image Quality Assessment [J].IEEE Transactions on Image Processing，2014，23（10）：4270-4281.

[5] Liu Anmin，Lin Weisi，Narwaria M.Image quality assessment based on gradient similarity [J].IEEE Transactions on Image Processing，2012，21（4）：1500-1512.

作者簡介：王賽嬌（1977-），女，漢族，浙江人，講師，碩士，研究方向：計算機視覺，人工智能。