提高SSIM-Map分辨率的研究

林佳楠

（集美大學誠毅學院，福建廈門 361021）

提高SSIM-Map分辨率的研究

林佳楠

（集美大學誠毅學院，福建廈門 361021）

圖像質量的客觀評測對很多圖像處理應用都很重要。和其他現有的算法相比，結構相似度（SSIM）模型最大的優勢在于它是基于圖像結構失真，并且它與人類感知高度符合。通過對SSIM算法的深入研究，發現SSIM由于固有缺陷，很難清楚地找出圖像失真的詳細部分。提出了一種新的SSIM算法的改進，采用循環改變分區的方法，以此提高SSIM-Map索引圖的分辨率。試驗結果證明改進的新SSIM比SSIM更加符合人類視覺系統，對于紋理失真準確度更高。

圖像質量；結構相似度；客觀評測

德州大學Austin分校提出的結構相似度（SSIM，Structural Similarity Image Metric）理論〔1〕是當前影響力較廣的評測方法之一。它的原理是圖像的各個像素點之間的結構相關性隨著這些像素點空間距離的接近而變強。它是一種基于數理統計的客觀評價方法，原理清晰易懂，比較符合人眼的視覺感受。然而通過對SSIM算法的深入研究，我們發現SSIM由于固有缺陷，很難清楚地找出圖像失真的詳細部分。SSIM算法把整個空間區域分塊（典型8×8），一個SSIM值反映了單個區域塊中所有像素的質量，所有SSIM值組成了結構相似索引圖SSIM-Map，反映圖像的整體質量。簡單的使用分區，會引起同一個塊中的N×N個像素有相同的SSIM值，極大地降低了結構相似索引圖SSIM-Map的分辨率，很難評測圖像的具體失真形態。國內外對于SSIM算法的改進多數是將其應用于各種圖像或視頻質量的評價算法中，未見相關的提高結構相似索引圖SSIM-Map的分辨率的研究。本論文提出了一種新的SSIM算法的改進，采用循環改變分區的方法，以此提高SSIM-Map索引圖的分辨率。并通過例圖試驗證明改進的效果。

1 SSIM算法概述

SSIM稱為結構相似性或結構相似度，其值越大越好，最大為1。與傳統基于誤差敏感度的質量評測方法不同，SSIM是基于圖像信號的結構失真。SSIM最大的優點是和人類主觀性高度一致并對圖像亮度空間結構的失真很敏感〔2〕。

SSIM算法需要兩個圖像的像素信息x和y。可以用向量x，y分別定義源圖像和失真圖像的像素值。SSIM算法主要由亮度比較l（x，y），對比度比較c（x，y），和結構性比較s（x，y）組成。在固定的N×N（典型的是8×8）區域塊中計算，每一個分量定義〔3〕如下：

以向量x為例，ux是x的平均值，表示x的平均亮度，σx是x的標準差，表示x的平均對比度，σxy是x和y的協方差，表示x和y的相互關系。它們是源圖像和失真圖像最重要的特征參數。參數可以定義如下：

一般C1=(K1L)2,C2=(K2L)2,C3=C2/2，L是圖像的動態范圍，且有K1?1，K2?1，K1，K2都是極小的常量。在單獨的區域塊中結構相似度的計算式如下所示：

SSIM(x,y)=[l(x,y)]α×[c(x,y)]β×[s(x,y)]γ，

α、β、γ是用來定義3個分量相關重要性的參數。最后整個空間的SSIM值可定義如下所示：

2 SSIM缺點分析

正如我們了解的，SSIM算法把整個空間區域分塊，每個區域塊大小為N×N（典型8×8），并考慮到所有N×N個像素，重點關注亮度，對比度和結構性。特別是亮度，因為人眼對圖像的亮度失真最為敏感。在這個算法中要分別從每個區域塊中提取這3個參數，還要獲得一個小于1的正相關系數。因此，一個SSIM值反映了單個區域塊中所有像素的質量，所有SSIM值組成了結構相似索引圖SSIM-Map，反映圖像的整體質量。平均的MSSIM是失真圖像的最后評估結果，它與人類的視覺特征相符合。然而簡單的使用分區，會引起同一個塊中的N×N個像素有相同的SSIM值，極大地降低了結構相似索引圖SSIM-Map的分辨率，很難評測圖像的具體失真形態。

然而由于SSIM算法的數學基礎是基于均值和標準差這些統計特征參數，要反映圖像真實狀況準確必須有較大的分區。這與提高結構相似索引圖SSIM-Map的分辨率是一對天然的矛盾。見圖1～3。

圖1 源圖像

圖2 加椒鹽噪聲后的圖像

圖3 結構相似索引圖

3 對SSIM的改進

在SSIM算法中將空間區域分成N×N的區域塊是必要的。但是如果這個區域塊固定在特定的位置，每個像素僅和固定在本區域塊的其他像素相關。最差的情況發生在區域邊緣的像素上，這些像素被定義與其他相鄰區域的像素沒有相互關系。另外，從一個區域塊提取的普通參數不能精確的代表所有N×N個像素。為了解決上面提到的限制，我們改進了SSIM算法。

假定這個區域塊是移動的，由于區域塊改變了方向，一個特定的像素就會被放在這個區域塊的不同位置。結果這個像素總共被放在了這個區域塊的N×N個位置。也就是說每個像素將有N×N個不同的位置，每個位置產生一個SSIM。新SSIM的詳細處理過程如下所示。

首先，找到圖像的有效區域，并精確的裁剪圖像的邊界。研究發現，人眼對圖像邊界的失真不是很敏感。我們建議有效區域的寬和高應比起始圖像少N個像素。

其次，在每個區域中，估算每個區域塊的SSIM值。每當區域塊的方向改變時，區域塊中的像素就會改變。由此，一個單獨的像素將會和多個區域塊有關，這對在不同情況下估算和分析SSIM值是很重要的。詳細的處理過程如下：

第1步：把圖像的有效區域分塊，塊的大小為N×N（典型的為8×8）。

第2步：在有效區域的每個塊中算出前面提到的平均亮度和平均對比度。估算失真圖像每個塊的SSIM值，所有SSIM值組成SSIM索引圖。

第3步：以ω∕pixel（每次ω個像素）的速度，向下或向其他方向轉動區域塊，這樣就得到了一個新的區域塊，里面的像素也發生了變化。

第4步：如第2步所示重新估算每個區域塊的SSIM值。這樣就得到了一個新的SSIM圖譜，而且每個像素有多個SSIM值。

第5步：重復2～4的操作。一個區域塊需要轉動N2∕ω次。每轉動一次就得到一個新的SSIM圖譜。

第6步：如前面所述，我們用N2∕ω個SSIM來估算失真圖像。換句話說，有效區域里的每個像素會得到N2∕ω個不同的SSIM。因為一個像素在區域塊中的位置發生了改變，每個SSIM值的相關性就不同。為了提高估算的精確性，引入了每個SSIM值的相關系數。事實上，像素和區域塊中心的距離越遠，它的相關系數就越小。該系數可以用wpj（j=1， 2，….，N2∕ω）來表示。具體到我們的實驗中，具體為wpj=w/t，w、t的具體計算如下面代碼所示：

其中w_block是空間區域的水平分塊尺寸，一般取8；h_block是空間區域的垂直分塊尺寸，一般也取8。該計算的原理就是根據離區域塊中心的距離來定系數大小，距離越近系數越大。

最后，新-SSIM，SSIM的加權平均值可以用來評估像素的失真情況。

第7步：每個像素的新-SSIM值組成了新SSIMMap索引圖。由于人眼對中心區域的失真比其他區域的失真更敏感，就像wpj（j=1，2，….，N2/ω），也要引入新-SSIM的相關系數。假設，新-SSIM被16個平方窗分成16個部分，我們可以用windi（i=1，2，…16）表示，從圖的中心開始，窗分布在每個方向上，就像許多不同大小的同心矩形。假設新-SSIM圖的大小為704×576，中心窗的大小就是41×36。第二個窗為82×72，最后一個窗為704×576，那么相關系數表示為：wmi（i=1，2，…，16），wm1＞wm2＞…..＞wm16，每個wmi是每個新-SSIM窗windi的相關系數，和第6步相似，用M新-SSIM，新-SSIM的加權平均值來表示整個失真圖像的情況。

實際上，新SSIM-Map通過由區域塊轉動產生的N×N的SSIM-Map的平均值加權獲得。為了提高評估的精確度，我們建立如下模型：N=8，ω=1。因此，區域塊將被轉動64次，每旋轉一次一個特定的像素就會得到一個SSIM值。最后，每個像素一共得到了64個不同的SSIM值。一個像素的新-SSIM就是由64個SSIM的平均值加權得到的，最后的新SSIM-Map就是64個SSIM-Map的平均值。總之，新-SSIM的結構相似索引圖新SSIM-Map的分辨率要比SSIM-Map的分辨率高很多。采用改進的新-SSIM同樣對上節的圖1、圖2進行運算，如圖4所示，分辨率得到了相當大的提高。

圖4 新SSIM-Map

4 結果與分析

取參考圖像見圖5。

圖5 實驗的參考圖像

這個實驗使用了以下不同失真類型的失真圖像：JPEG壓縮圖像，引入高斯噪聲的圖像，引入椒鹽噪聲的圖像以及模糊圖像。在SSIM-Map和新SSIM-Map中，像素越亮，圖像質量就越高。因此，在像素暗的區域很容易發現失真。

在圖6中：（a）JPEG壓縮圖像。（d）高斯噪聲圖像。（g）椒鹽噪聲圖像。（j）模糊圖像。圖（b），（e），（h），（k）分別是圖（a），（d），（g），（j）的SSIM-Map。圖（c），（f），（i），（l）分別是圖（a），（d），（g），（j）的新-SSIM-Map。（m）是SSIM值的灰度等級。在兩種圖中，像素越亮，SSIM值就越接近于1，圖像的質量就越好。相反，失真發生在圖像的暗區域。

理論上，經過JPEG壓縮的圖像會有方形效應〔4〕。在圖6的新-SSIM-Map（c）中，我們可以看到圖像的背景和輪廓都有不同程度的失真，尤其是背景，方形效應會比較嚴重。

高斯噪聲，存在整幅圖像的亮度失真，尤其是背景。在上圖的新-SSIM-Map（f）中，我們可以看到背景失真很嚴重，輪廓相對好些。

圖6 5種失真類型圖像的SSIM，新-SSIM效果比較

與高斯噪聲不同，椒鹽噪聲是黑白像素，背景像素有很大的顏色對比。因而，正如圖6的新-SSIMMap（i）所示，失真主要發生在背景。

模糊圖像的特征是邊緣像素向下平滑，這就意味著輪廓失真將會很嚴重。在圖6的新-SSIM-Map（l）中邊緣的相似性要比背景低。

5 結論

本文深入分析討論了經典SSIM算法的固有缺陷，SSIM算法簡單的使用分區，會引起同一個塊中的N×N個像素有相同的SSIM值，極大地降低了結構相似索引圖SSIM-Map的分辨率，很難評測圖像的具體失真形態。針對這個問題，本論文提出了一種新的SSIM算法的改進，采用循環改變分區的方法，以此提高SSIM-Map索引圖的分辨率。試驗結果證明改進的新SSIM算法比原SSIM算法極大提高了評測結果SSIM-Map索引圖的分辨率，更加符合人類視覺系統，對于紋理失真準確度更高。

〔1〕HORE A，ZIOU D.Image Quality Metrics：PSNR vs.SSIM〔EB∕OL〕.〔2016-02-05〕.https：∕∕www.researchgate.net∕publication∕220931731_Image_quality_metrics_PSNR_vs _SSIM.

〔2〕FANG Y，ZENG K，WANG Z，et al.Objective Quality Assessment for Image Retargeting Based on Structural Similarity〔J〕.IEEE Journal on Emerging&Selected Topics in Circuits&Systems，2014，4（1）：95-105.

〔3〕MENDI E.Image quality assessment metrics combining structural similarity and image fidelity with visual attention〔J〕.Journal of Intelligent&Fuzzy Systems，2015，28（3）：1039-1046.

〔4〕王蒙，王雅潔，楊丕仁，等.基于獨立成分分析的自適應圖像濾波算法〔J〕.大理學院學報，2010，9（4）：30-33.

Research on Improving the Resolution of SSIM-Map

Lin Jianan
（Chengyi College,Jimei University,Xiamen,Fujian 361021,China）

The objective evaluation of image quality is very important for many image processing applications.Compared with other existing algorithms,the biggest advantage of structural similarity model（SSIM）is that it is based on image structure distortion,and it is highly consistent with human perception.Through in-depth study of the SSIM algorithm,it is found that it is difficult to clearly identify the details of the image distortion with SSIM's defects.In this paper,a new SSIM algorithm is proposed to improve the resolution of SSIM index map.The image resolution of SSIM-Map's index plan can be elevated with the method of changing portion circularly.The experimental results show that the improved SSIM is more consistent with human visual system than original one,and the accuracy of texture distortion is higher.

image quality;structural similarity;objective evaluation

TN919.85

A

2096-2266（2016）12-0021-05

10.3969∕j.issn.2096-2266.2016.12.005

（責任編輯 袁 霞）

福建省中青年教師教育科研基金資助項目（JA15606）

2016-10-10

2016-11-01

林佳楠，講師，主要從事通信技術、圖像視頻質量評測研究.