基于CMOS 傳感器的圖像質量評價*

齊 歡，焦淑紅，王 斌，劉 偉，申維和

(1.哈爾濱工程大學 信息與通信工程學院，黑龍江 哈爾濱150001;2.空間物理重點實驗室，北京100076;3.北京宇航系統(tǒng)工程研究所，北京100076)

0 引 言

圖像傳感器是數字成像設備的核心器件，其性能的優(yōu)劣直接影響所獲取圖像的感官效果。其中，CMOS 傳感器具有設計簡單、功耗低、速度快以及集成度高等優(yōu)點［1］，在數碼產品、醫(yī)療設備、航天航空等領域表現(xiàn)出巨大的優(yōu)勢和潛力。但CMOS 圖像傳感器的高集成度使得各元件相互干擾嚴重，大大影響圖像的質量［2］。圖像質量評價技術是圖像獲取、處理和存儲等領域的基礎，根據圖像的質量調整參數可以改進圖像算法和圖像系統(tǒng)的性能［3，4］。獲取高質量的圖像是設計成像設備的目標，通過比較相機獲取圖像的質量可以有效評估成像設備中傳感器的性能，并為改善傳感器的設計提供合理的依據。

本文充分考慮人類視覺系統(tǒng)的特性和CMOS 傳感器的工作原理，提出了一種基于CMOS 傳感器的圖像質量評價算法。實驗結果表明:該算法的評價結果與人眼感知保持較高的一致性，在CMOS 圖像傳感器的設計和性能評估等方面具有廣闊的應用前景。

1 方向梯度直方圖

方向梯度直方圖(histograms of oriented gradients，HOG)［5］是一種圖像特征的局部描述子，由Dalal N 等人在2005 年的CVPR 會議上首次提出。最初的目標是建立描述人體形狀的特征描述子并將其用于行人檢測。HOG 特征描述子的基本思想是圖像中目標的外觀和形狀可以通過圖像局部梯度或邊緣方向刻畫，該特征描述子在行人檢測方面取得了很好的效果，并被廣泛應用于目標檢測與識別領域。

對于給定輸入圖像的HOG 描述子，首先對圖像進行Gamma/色彩標準化以便消除光照和陰影等對圖像或視頻中行人檢測的影響。由于算法的后續(xù)步驟包含對比度的標準化，因此，Gamma/色彩標準化對檢測性能的改善效果并不明顯，在具體的實現(xiàn)中通常將這一步省略。其次，在每個彩色通道上計算圖像的梯度。HOG 描述子利用圖像的梯度和方向信息表達圖像中的重要目標，梯度和梯度方向的計算是建立HOG 描述子最為關鍵的步驟。接著，將圖像劃分為若干個單元格，并以梯度大小為權值建立每個單元格內像素的方向梯度直方圖。最后，將多個單元格合并成一個圖像塊，并在圖像塊上進行對比度標準化操作。

2 圖像質量的表示

2.1 圖像的亮度相似性

CMOS 圖像傳感器存在輸入上限閾值，當輸入的光信號超過該閾值時，像素單元會由于飽和而發(fā)生溢出模糊［1］。此時，像素單元無法進行光電轉換，圖像上會出現(xiàn)一片類似于過曝光的區(qū)域，過高的亮度將直接影響圖像的感知質量。因此，本文通過以下方式計算圖像在亮度上的變化［6］，用以判斷CMOS 傳感器是否出現(xiàn)溢出模糊

式中 Ix，Iy分別為原始圖像和干擾圖像的灰度值;l 為圖像灰度值的動態(tài)范圍，對于8 bit 灰度圖像，l=255。

2.2 圖像結構的規(guī)則度

結構是圖像重點目標的關鍵信息。HOG 描述子可以很好地描述目標的外觀和輪廓即目標結構［5］。對于紋理豐富的區(qū)域(結構不規(guī)則區(qū)域)，各像素的梯度方向不同，均勻地分布于方向梯度直方圖的各區(qū)間內;對于平坦區(qū)域(結構規(guī)則區(qū)域)，各像素的梯度方向一致性較強，在方向梯度直方圖中的分布較為集中。因此，圖像局部區(qū)域的方向梯度直方圖可以體現(xiàn)圖像中不同結構區(qū)域的特點。

干擾信號會改變圖像的結構信息，進而影響圖像結構的規(guī)則度［7］。本文利用與圖像結構密切相關的HOG 描述子提取圖像的結構信息。為了體現(xiàn)圖像中每一細微之處的結構情況，對原始HOG 算法做出一定的調整。首先，利用Prewitt 算子計算圖像每個像素的梯度大小和方向。然后，將0°～180°均勻劃分為3 個方向區(qū)間，即［0°，60°］，［61°，120°］，［121°，180°］。最后，以圖像中的每個像素為中心劃定3×3 的圖像區(qū)域，并針對每個區(qū)域，統(tǒng)計落入各方向區(qū)間內像素的個數。同時，以每個像素梯度的大小作為權值，得到以該像素為中心的圖像區(qū)域的方向梯度直方圖，通過這種方式描述每個像素所處區(qū)域的圖像局部梯度方向分布情況。

隨機變量的不確定程度越大，其信息熵［4］越大。因此，本文利用方向梯度直方圖的熵來衡量局部圖像結構的規(guī)則度。為了計算信息熵，首先利用每個像素所處局部區(qū)域的方向梯度直方圖，計算該區(qū)域內像素落入各方向區(qū)間的概率。由于上述方式計算的方向梯度直方圖是以每個像素的梯度大小為權值的，因此，將直方圖中各區(qū)間的加權頻數與所有區(qū)間的加權頻數和的比值作為每個區(qū)間方向發(fā)生的概率。通過計算圖像中每個像素鄰域方向梯度直方圖的熵得到與原始圖像尺寸相等的熵圖［8］。圖1 給出了一幅自然圖像及其熵圖。從圖中可以看出，熵圖可以大致描繪出圖像中目標的外觀。但值得注意的是，人眼感知平滑背景區(qū)域的熵值同樣較大。這是因為人眼在感知圖像內容變化時存在對比度閾值，只有當圖像區(qū)域的對比度大于這一閾值時，人類視覺系統(tǒng)才可以感知到圖像灰度值的變化，當背景區(qū)域的梯度值小于對比度閾值時，人類感知其為相對平滑的區(qū)域。由于上述計算熵值的方式僅與梯度方向有關，與梯度大小無直接聯(lián)系，而背景區(qū)域的梯度方向各異，因此，背景區(qū)域的熵值同樣較大。

圖1 自然圖像及其熵圖Fig 1 Natural image and its entropy map

將人眼無法感知梯度變化的區(qū)域視為完全平滑區(qū)域更能體現(xiàn)人類視覺系統(tǒng)感知圖像變化的特點。因此，當區(qū)域內各像素梯度值小于等于閾值T 時，將該點的梯度方向改為0°，然后再計算直方圖的熵。根據經驗，T=5。考慮人類視覺系統(tǒng)對比度閾值現(xiàn)象的熵圖如圖2 所示。從圖中可以看出，圖像中平滑的區(qū)域具有較小的熵，而紋理豐富的區(qū)域具有較大的熵。調整后的熵圖更能體現(xiàn)圖像中人眼可感知目標的結構。

圖2 調整后的熵圖Fig 2 Modified entropy map

為了表達干擾圖像的梯度方向分布相對于原始圖像的變化情況，計算干擾圖像熵圖與原始圖像熵圖的相似度［9］

式中 Ex，Ey分別為原始圖像和干擾圖像梯度方向的熵圖;C 為避免分母為0 的常數，這里，C=0.001。

3 全參考圖像質量評價算法

圖像質量的變化既體現(xiàn)在圖像的結構規(guī)則度上，也與圖像的亮度信息有關。將干擾圖像與原始圖像的結構相似圖與亮度相似圖結合即可得到圖像質量的相似程度

式中 a 為各部分影響圖像質量變化的權重參數。由于圖像中目標的結構能夠體現(xiàn)圖像傳達的主要信息，因此，在算法實現(xiàn)中，a=0.8。

在計算熵圖時，雖然將人眼無法感知的梯度變化區(qū)域進行了調整，但通過前面的分析可以看出，熵圖只與局部區(qū)域梯度方向分布的多樣性有關，與圖像中目標的重要性不存在任何聯(lián)系。也就是說，即使這一區(qū)域的梯度非常小(非目標區(qū)域)，但只要該區(qū)域的梯度變化超過了人類視覺系統(tǒng)可感知的閾值，熵圖中就可以體現(xiàn)出來，且梯度方向越豐富，熵值越大。為了能夠突出圖像中重點目標對圖像質量變化的影響，將原始圖像的局部方差［10］作為圖像各區(qū)域質量變化的權值

式中 (M，N)為圖像的尺寸;(i，j)為空間位置索引;σ(i，j)為(i，j)處圖像像素的局部方差

式中 wk，l為二維對稱高斯權重函數。由于在統(tǒng)計方向梯度直方圖時利用了每個像素的3×3 鄰域，因此，計算局部方差時仍選用3×3 窗口，即K=L=1。μ(i，j)為圖像的局部均值

為了使該算法得到的客觀分數與主觀分數之間有更好的線性關系，將質量分數變換到對數域

根據經驗，當b ＜1 時，可以得到更好的質量評價性能，在本文的實現(xiàn)中，b=0.5。

4 實驗結果與分析

為了系統(tǒng)、全面地評定所提算法與人眼感知的一致性，本文利用LIVE 主觀評估數據庫［11］進行客觀分數與主觀分數的相關性驗證實驗。LIVE 數據庫包含29 幅RGB 彩色自然原始圖像和五種類型的干擾圖像，其中，白噪聲(white noise，WN)、高斯模糊(Gaussian blur，GB)和快衰落(fastfading，F(xiàn)F)三種類型的干擾圖像各145 幅，JPEG2000(JP2K)干擾圖像169 幅，JPEG 干擾圖像175 幅。實驗分別利用斯皮爾曼等級相關系數(Spearman rank－order correlation coefficient，SROCC)和皮爾遜線性相關系數(Pearson linear correlation coefficient，PLCC)衡量客觀分數與主觀分數之間的單調性和準確性。

實驗選取了五種通過計算干擾圖像與原始圖像相似度來評 價 圖 像 質 量 的 客 觀 算 法:SSIM［9］，IWSSIM［12］，ESSIM［13］，GSIM［6］和GMSD［14］作為對比算法。SSIM 利用圖像間的結構相似度評價圖像的質量;IWSSIM 將干擾圖像和原始圖像各區(qū)域的互信息量作為SSIM 質量圖合并的權值;ESSIM 將圖像邊緣強度的相似度作為干擾圖像質量分數;GSIM 和GMSD 通過計算圖像間梯度的相似度評價圖像的質量。表1、表2 分別列出了各算法的客觀分數與主觀分數之間的SROCC 和PLCC。

表1 客觀算法在LIVE 庫上的SROCCTab 1 SROCC of objective algorithms on LIVE database

表2 客觀算法在LIVE 庫上的PLCCTab 2 PLCC of objective algorithms on LIVE database

從實驗結果可以看出:無論SROCC 還是PLCC，本文所提算法在大多數類型干擾圖像上的實驗結果均優(yōu)于其他幾種算法。特別是，在所有干擾圖像混合的情況下，所提算法具有最高的PLCC，就SROCC 而言，該算法也能與表現(xiàn)最好的算法相匹敵。因此，本文所提算法是一種與主觀評估接近的客觀算法，完全可以滿足實際應用的需求，并且，該算法主要基于圖像結構建立，適用于多種類型圖像。

5 結 論

本文提出了一種基于CMOS 傳感器的圖像質量評價算法。算法充分考慮了CMOS 傳感器的特點，并與人類視覺系統(tǒng)的感知特性高度契合。仿真結果顯示:無論單一類型干擾圖像還是混合類型干擾圖像，本文算法的客觀分數與主觀分數的相關系數均達到0.95 以上，能夠為評估和提升CMOS 傳感器性能提供有效依據。

［1］ 鄒義平.CMOS 圖像傳感器的圖像降噪技術的研究［D］.北京:北京郵電大學，2009.

［2］ 徐 忠，劉洪英，余 巧，等.醫(yī)用內窺鏡微型攝像模組設計［J］.傳感器與微系統(tǒng)，2014，33(10):91－103.

［3］ Demirtas A M，Reibman A R，Jafarkhani H.Full－reference quality estimation for images with different spatial resolutions［J］.IEEE Transactions on Image Processing，2014，23(5):2069－2080.

［4］ Min Z，Muramatsu C，Zhou X，et al.Blind image quality assessment using the joint statistics of generalized local binary pattern［J］.IEEE Signal Processing Letters，2015，22(2):207－210.

［5］ Dalal N，Triggs B.Histograms of oriented gradients for human detection［C］∥IEEE Computer Society Conference on Computer Vision and Pattern Recognition(CVPR)，San Diego，CA，USA.2005:886－893.

［6］ Anmin L，Weisi L，Narwaria M.Image quality assessment based on gradient similarity［J］.IEEE Transactions on Image Processing，2012，21(4):1500－1512.

［7］ 吳金建.基于人類視覺系統(tǒng)的圖像信息感知和圖像質量評價［D］.西安:西安電子科技大學，2014.

［8］ 劉 倩.基于HOG 的熵流導航方法［D］.武漢:華中科技大學，2013.

［9］ Wang Z，Bovik A C，Sheikh H R，et al.Image quality assessment:From error visibility to structural similarity［J］.IEEE Transactions on Image Processing，2004，13(4):600－612.

［10］Mittal A，Moorthy A K，Bovik A C.No－reference image quality assessment in the spatial domain［J］.IEEE Transactions on Image Processing，2012，21(12):4695－4708.

［11］Sheikh H R，Wang Z，Cormack L，et al.LIVE image quality assessment data－base release2［DB/OL］.［2009—12—14］.http:∥live.ece.utexas.edu/research/quality.

［12］Zhou W，Qiang L.Information content weighting for perceptual image quality assessment［J］.IEEE Transactions on Image Processing，2011，20(5):1185－1198.

［13］Zhang Xuande，F(xiàn)eng Xiangchu，Wang Weiwei，et al.Edge strength similarity for image quality assessment［J］.IEEE Signal Processing Letters，2013，20(4):319－322.

［14］Xue Wufeng，Zhang Lei，Mou Xuanqin，et al.Gradient magnitude similarity deviation:A highly efficient perceptual image quality index［J］.IEEE Transactions on Image Processing，2014，23(2):684－695.