基于碼書的霧天圖像質量評價方法研究

李從利， 陸文駿， 石永昌， 孫曉寧

（新星應用技術研究所，安徽 合肥 230031）

基于碼書的霧天圖像質量評價方法研究

李從利， 陸文駿， 石永昌， 孫曉寧

（新星應用技術研究所，安徽 合肥 230031）

近年來，無參考圖像質量評價發展迅速，但是對霧天圖像質量進行評價的無參考算法還鮮有報道。該文提出了一種基于碼書的無參考霧天圖像質量評價算法。目的是使該方法評價霧天圖像質量的結果與人類主觀感知相一致。尋找能反映霧天圖像質量的特征，運用這些特征構建碼書，然后用碼書對訓練圖像進行編碼得到訓練圖像的特征向量，最后用這些向量與訓練圖像的主觀評分進行回歸得到霧天圖像質量評價模型。該方法在仿真的霧天圖像庫中進行了測試，結果表明：Pearson線性相關系數和Spearman等級相關系數值都在0.99以上。并與經典的無參考算法NIQE和CONIA方法進行了比較，優于這些算法，能夠很好地預測人對霧天圖像的主觀感知。

霧天圖像；圖像質量；評價方法；無參考；碼書

霧是一種極其常見的天氣現象，由于它對可見光具有吸收和散射作用，使得圖像的對比度及紋理細節等退化的比較嚴重。霧等級的劃分可根據國標GB/T 27964-2011分為5個等級。輕霧：能見度在1～10 km之間；大霧：能見度在0.5～1.0 km之間；濃霧：能見度在200～500 m之間；強濃霧：能見度在50～200 m之間；特強濃霧：能見度小于50 m。

隨著經濟的發展，環境污染日益嚴重，導致霧霾天氣頻發，這影響了交通和人們的出行，因此對霧天圖像質量評價有著迫切的需求。目前對霧天圖像的評價主要集中于對去霧后的圖像進行評價[1-2]，這些算法的主要目的是用來評價去霧清晰化的效果。直接對含霧圖像進行質量評價，目前這方面研究還鮮有報道。直接的客觀評價霧天圖像質量對于霧的實時預報、去霧算法的研究等具有重要意義。本文的目的是尋找一種能有效評價霧天圖像的方法，目前學者們在這方面的研究較少，主要有3個原因：①霧的隨機性與流動性，導致霧是一種不同于其他失真的“特殊失真”；②由于霧的特殊性，尋找用于表示其特征比較困難；③現有的圖像質量評價數據庫不包含此類失真?？紤]到上述原因，本文選取了混合特征以及碼書方法來構建霧天圖像質量評價算法。霧天圖像質量評價在圖像處理中有著重要的意義，它給霧天圖像的處理如：去霧、增強等奠定了重要的基礎。

無參考圖像質量評價是一類不需要任何圖像的先驗知識（即參考圖像）去評價失真圖像的一類算法。霧天圖像由于其無法獲得參考圖像，因此對其評價只能使用無參考圖像質量評價方法。無參考圖像質量評價可以劃分為：基于特定失真和不基于特定失真兩類方法。基于特定失真的方法，即這類無參考算法評價的失真類型是已知的。例如：Wang等[3]提出了專門用于評價JPEG失真的算法。Sheikh等[4]提出了基于自然場景統計(natural scene statistics, NSS)的算法用來評價JP2K失真。但是在絕大部分情況下圖像的失真類型是未知的，很難確定它適用于以上的哪一種無參考算法，這就限制了這些算法的應用范圍。不基于特定失真的方法，即這類算法評價的失真類型是未知的，是通用的無參考圖像質量評價算法。同樣也可以將它分為兩類：OA-DU，OU-DU。OA-DU是指這類算法在訓練過程中需要訓練圖像的主觀評分，例如：BIQI[5]，BRISQUE[6]，CBIQ[7]，CONIA[8]等。OU-DU是指這類算法不需要訓練圖像的主觀評分。例如：QAC[9]及 NIQE[10]算法。QAC算法雖然沒有用到圖像的主觀評分，但是它利用全參考算法FSIM給出訓練圖像的客觀評價結果，這相當于給訓練圖像構造出了“主觀評分”，該算法的好處是不需要利用現有的圖像質量評價數據庫中的圖像進行訓練，可以將訓練圖像的范圍進行拓展。NIQE算法所選取的訓練圖像都是無失真的參考圖像，通過訓練相當于構造了一個“參考圖像”，它的訓練圖像也可以不從已有的圖像質量評價數據庫中選取。這類算法的好處是不依賴數據庫，適應性強。

前面提到的CBIQ，CONIA，QAC算法都是利用構建碼書進行評價的無參考算法，可見基于碼書的方法在圖像質量評價領域已經得到了成功的應用。本文首次將構建碼書的方法引入到霧天圖像質量評價領域，提出了基于碼書的霧天圖像質量評價方法，該方法將霧看成一種失真。選取碼書方法的原因：①碼書能夠很好地表示圖像的特征，它最早出現于矢量量化中，近年來被引入到圖像分類以及質量評價中，取得了很好地效果。本文使用它對霧天圖像進行特征編碼并用于質量評價；②對圖像進行分塊相比于整幅圖像能夠提取更多的圖像信息，同時它也是目前圖像質量評價算法的主流做法之一，碼書正是在圖像分塊提取特征基礎上構建的；③用碼書對圖像進行編碼使得特征維數要明顯高于圖像塊提取的特征（碼書編碼特征在本文中為1000維，而直接提取特征為39維），所以能夠更好地刻畫圖像的失真。

1 霧天圖像特征分析

霧對圖像的影響非常復雜，主要影響可分為三類：①霧濃度增大，使得原有的很多信息被掩蓋了；②霧給圖像帶來了一些附加信息；③霧失真與圖像原有信息相結合衍生出了一些新的信息。所以霧不同于以往的任何一種失真，且目前現有的圖像質量評價數據庫中均未包含霧失真。

圖 1中給出了最新的無參考算法 CONIA和NIQE對霧天圖像的評價結果（樣本獲取見3.1節）。

圖1 不同算法評價霧天圖像曲線（圖中將兩種方法的結果進行了歸一化）

從圖1中可以看出這兩種無參考算法在對霧天樣本圖像進行評價時，結果均不隨著霧濃度的增加呈現單調性變化趨勢，這與人的主觀觀測不一致，因為經典的質量評價算法無法很好適應霧天特征的變化，不能較好地評價霧天圖像的質量。

上面提到“霧失真”不同于常見的失真，究竟它影響了圖像的那些特性，從圖2中可以明顯看出霧濃度增加圖像的對比度、梯度都在發生明顯降低。說明霧對圖像的對比度和梯度影響都比較大。但是霧對圖像質量影響是一種綜合的影響，很難具體刻畫。

圖2 圖像對比度、梯度變化圖

選取自然場景統計特征主要依據是：霧對自然場景的破壞可以從一幅圖像的自然場景統計特征保留多少信息加以衡量，這是一種基于信息多少的特征與失真類型無關。

Mittal等[6]在2012年提出的BRISQUE算法中使用了 MSCN系數來表示圖像的自然場景統計特征：

式中，i ∈ 1 , 2,3,…,M , j = 1, 2,3,…,N,M, N分別代表圖像的高度和寬度；(i,j)為MSCN系數；是一個穩定參數。

圖4中可以看出，隨著霧濃度的增大，曲線向里面收縮，說明自然場景統計特征能很好地反映霧天圖像質量的下降。

先前對自然場景統計的研究表明廣義高斯分布(general Gaussian distribution, GGD)可以有效地獲得自然圖像及其失真圖像的系數變化如式(4)：

其中， Γ( ·)為以下函數：

GGD的兩個參數(α ，β )，可以用文獻[11]中的方法進行有效估計。式(4)中的系數相對來說是一種有規律的分布，但是失真改變了這種分布，這種改變可以通過計算4個方向（上、下、左、右）上的相鄰系數乘積得到。相鄰系數乘積可以用不對稱的廣義高斯分布(asymmetric generalized Gaussian distribution, AGGD)來進行擬合：

AGGD的參數(γ ,βl,βr)，可以被文獻[12]中的方法有效地估計。

分布的均值也是參數之一：

通過提取4個方向16個參數，再加上GGD的兩個參數形成18個參數，本文總共在兩個尺度上進行提取，共形成一個由36個參數組成的特征向量。

圖3 自然圖像與非自然圖像MSCN系數統計圖

圖4 不同霧濃度MSCN系數

2 算法架構

圖5給出本文的算法流程，即：特征選取、碼書構建和編碼、特征向量提取、支持向量回歸訓練。碼書的構建方法，本文參考了 Ye等[8]提出的CONIA算法，下面分4個部分對算法過程進行描述：局部特征提取、碼書構建、局部特征編碼、特征pooling。

圖5 本文的算法流程圖

2.1 局部特征提取

自然圖像具有多尺度性，失真會在不同尺度上改變圖像的結構信息。當自然圖像在兩個以上尺度提取信息時，提取的信息量將不會產生明顯變化，所以本文在選擇2個尺度（一個尺度是圖像的原始尺度，另一個尺度是下采樣之后圖像尺度）上提取圖像的特征。在每一個尺度上提取 18維特征，總共形成36維的特征向量。用這36維的特征刻畫圖像的自然場景統計特征。本文中使用的特征為自然場景統計與對比度、梯度、亮度混合特征，特征的維數為39維（簡稱為混合特征）。

將圖像分成B×B大小的塊，在每一個塊中提取分塊圖像的混合特征形成一個特征向量，整幅圖像形成其中，F1,… ,Fn表示每一個小塊中提取的混合特征，且都為列向量。

2.2 碼書構建

2.3 局部特征編碼

上節提到了編碼方式對最后算法的結果會產生較大地影響，當下主流的編碼方式有4種：hard編碼、Soft編碼、SC編碼和LLC編碼。其中前兩種是較早提出的經典編碼方式，后兩種是最新提出的編碼方式。而本文選擇了經典的Soft編碼，主要是Coates和Ng[13]指出：最新的編碼方式不一定有最好的效果，而且Soft編碼與其提出的一種最優編碼策略相似，后面實驗部分會給出選取此編碼方式與其他編碼方式的對比。編碼的具體過程如下：

計算局部特征與碼字之間的距離使用dot-products。用 sij表示第i個局部特征向量 xi與第j個碼字 Dj之間的相似度 si,j= xi·Dj，這樣圖像局部特征編碼可以表示為：

這里的相似度有正反兩個相似分量，這樣使得它們的識別度增加，提高了特征向量進行識別性。

2.4 特征pooling

最大值pooling：

這里ψmax用來求取為矩陣C在每一行中的最大值∈ R2k，它的第i個元素可以用式(10)來表示：

本文將 用于回歸訓練。

3 實驗結果與分析

3.1 霧天圖像庫

目前國際上還沒有建立霧天圖像質量評價的數據庫，為了對算法進行訓練以及實驗驗證，本文建立了專門針對霧天圖像的質量評價數據庫。數據庫選用了美國TEXAS大學LIVE庫中的29幅參考圖像，對每一幅圖像利用Photoshop cs4軟件對其從0～95%按照 5%的濃度間隔進行加霧，這樣對于每一幅參考圖像就形成1幅參考圖像和19幅失真圖像。這樣整個霧天圖像質量評價庫中含有 29幅參考圖像，551幅失真圖像，總共580幅圖像。本文將每一幅圖像的霧濃度值作為其DMOS值。其中的80%用于訓練，大約460幅，20%用于測試，大約120幅。

3.2 實驗結果

本文中將圖像分成96×96的小塊，碼書大小選取為500。采用的回歸方式為支持向量回歸(support vector regression, SVR)，為了評價實驗結果，并引入了兩個相關系數即斯皮爾曼等級相關系數(Spearman rank order correlation coefficient, SROCC)和皮爾遜線性相關系數(Pearson linear correlation coefficient, PLCC)分別用來衡量算法的單調性和準確性。表1給出了在霧天圖像庫上的評價結果。

SROCC和PLCC的計算如式(11)～(13)：

di表示第i幅圖像的主觀評分與客觀評分的差值。

式(12)中 βi為用來擬合的參數。式(13)中的 si是第i幅圖像的主觀評分。

表1 5種無參考算法在霧天圖像庫上的結果對比

3.3 實驗分析

第1種算法是基于碼書的方法，它使用的特征為 ZCA特征，此特征不能很好地反映霧天圖像特性，并且其在現有的圖像質量評價數據庫上（數據庫不包含“霧失真”）進行訓練，所以它的評價結果準確性較低。第2、3種算法是直接使用自然場景特征在現有的圖像質量評價數據庫上進行訓練的方法，可以看出雖然它們的評價結果高于CORNIA算法，但是準確性相比于本文算法較差。第4種算法是對無失真自然圖像進行訓練，取所有無失真圖像自然場景統計特征的平均值作為一個參考標準，將失真圖像的自然場景統計特征與其求取距離來表示失真圖像的質量，在求取平均值過程中會產生誤差，所以評價效果較本文結果偏低。

3.3.1 碼書大小影響

這里選擇了大小為：50、100、200、300、400、500、1000的碼書，它們在圖像庫中的表現如圖 6所示。從圖中看出當碼書尺寸大于500的時候算法性能不會再提升。因此在本文中將碼書大小定為500。

圖6 碼書大小的影響

3.3.2 編碼方式影響

碼書的編碼方式對最后的評價結果影響較大，本文選取了3種編碼方式進行對比：hard-assignment coding, LLC-assignment coding[16]和Soft-assignment coding。其中第1和第3種編碼是較早提出的兩種編碼，第2種編碼是最近提出的一種新編碼方式。本文選取了3個指標即SROCC，PLCC和算法時間進行了比較。對比時選取的碼書大小都為 500。對比結果見表2。

表2 不同編碼方式的結果對比

從上表中可以看出Soft-assignment coding從綜合指標上來看是最好的，所以本文采用這種編碼方式。

4 結 論

本文提出了一種有效地基于碼書的無參考霧天圖像質量評價算法，它比一些經典的無參考算法在評價霧天圖像方面效果好。本算法選取了最能反映霧天特性的自然場景統計特征，并且選用了分塊提取特征構建碼書的方法來提高算法的性能。在構建碼書以及編碼過程中選取了最優的碼書大小以及最優的碼書編碼方式。該算法在霧天圖像庫中獲得了與主觀感知相一致的結果。算法較好地解決了霧天圖像質量評價問題，為解決霧天問題提供了參考依據。下一步的目標是進一步尋找更能反映霧天圖像質量的特征，使算法能更準確地評價霧天圖像的質量。

[1] 郭 璠, 蔡自興. 圖像去霧算法清晰化效果客觀評價方法[J]. 自動化學報, 2012, 38(9): 1410-1419.

[2] 李大鵬, 禹 晶, 肖創柏. 圖像去霧的無參考客觀質量評測方法[J]. 中國圖象圖形學報, 2011, 16(9): 1753-1757.

[3] Wang Zhou, Sheikh H R, Bovik A C. No-reference perceptual quality assessment of JPEG compressed images [C]//IEEE International Conference on Image Processing, New York: IEEE Conference Publications, 2002: I-477-I-480.

[4] Sheikh H R, Bovik A C, Cormack L. No-reference quality assessment using natural scene statistics: JPEG2000 [J]. IEEE Trans on Image Process, 2005, 14(11): 1918-1927.

[5] Moorthy A K, Bovik A C. A two-step framework for constructing blind image quality indices [J]. IEEE Trans on Signal Process, 2010, 17(5): 513-516.

[6] Mittal A, Moorthy A K, Bovik A C. No-reference image quality assessment in the spatial domain [J]. IEEE Trans on Image Process, 2012, 21(12): 4695-4708.

[7] Ye Peng, Doermann D. No-reference image quality assessment based on visual codebook [C]//IEEE International Conference on Image Processing, Brussels: IEEE Conference Publications, 2011: 3089-3092.

[8] Ye Peng, Kumar J, Kang Le, Doermann D. Unsupervised feature learning framework for no-reference image quality assessment [C]//International Conference on Computer Vision and Pattern Recognition, IEEE Conference Publications, 2012: 1098-1105.

[9] Xue Wufeng, Zhang Lei, Mou Xuanqin. Learning without human scores for blind image quality assessment [C]// International Conference on Computer Vision and Pattern Recognition, Portland: IEEE Conference Publications, 2013: 995-1002.

[10] Mittal A, Soundararajan R, Bovik A C. Making a‘completely blind’ image quality analyzer [J]. IEEE Signal Processing Letters, 2013, 20(3): 209-212.

[11] Pascal F, Bombrun L, Tourneret J Y, Berthoumieu Y. Parameter estimation for multivariate generalized Gaussian distributions [J]. IEEE Trans. Signal Processing, 2013, 61(23): 5960-5971.

[12] Lasmar N E, Stitou Y, Berthoumieu Y. Multiscale skewed heavy tailed model for texture analysis [C]//IEEE International Conference on Image Processing, Cairo: IEEE Conference Publications, 2009: 2281-2284.

[13] Coates A, Ng A Y. The importance of encoding versus training with sparse coding and vector quantization [C]// International Conference on Machine Learning (ICML), Washington, 2011: 921-928.

[14] Liu Lingqiao, Wang Lei, Liu Xinwang. In defense of soft-assignment coding [C]//IEEE International Conference on Computer Vision, Barcelona: IEEE Conference Publications, 2011: 2486-2493.

[15] Yang Jianchao, Yu Kai, Gong Yihong, Huang T. Linear spatial pyramid matching using sparse coding for image classification [C]//IEEE Conference on Computer Vision and Pattern Recognition, Florida: IEEE Conference Publications, 2009: 1794-1801.

[16] Wang Jinjun, Yang Jianchao, Yu Kai, Lv Fengjun, Huang Thomas, Gong Yihong. Locality-constrained Linear coding for image classification [C]//IEEE Conference on Computer Vision and Pattern Recognition, San Francisco: IEEE Conference Publications, 2010: 3360-3367.

Research on Foggy Image Quality Assessment Based on Codebook

Li Congli, Lu Wenjun, Shi Yongchang, Sun Xiaoning
(New Star Research Institute of Applied Technology, Hefei Anhui 230031, China)

In recent years, no-reference image quality assessment has developed rapidly. However, algorithm about foggy image quality assessment has nearly reported. Our paper proposes an algorithm of foggy image quality assessment based on codebook. The goal of our paper is made our assessment consequence consistence with human opinion scores. Our method is to search the feature that can reflect foggy image quality, structure codebook using this feature, acquiring feature vector by encoding the training images using the codebook, the last, going the regression between the feature vector and the human opinion scores of the training images. Our algorithm have tested on foggy image database, the result shows that PLCC and SROCC both exceed 0.99 and is better than no-reference image quality assessment algorithm of NIQE and CONIA, our algorithm can predict perception of foggy image.

foggy image; image quality; evaluation methodology; no-reference; codebook

TP391.41

A

2095-302X(2014)06-0876-07

2014-05-09；定稿日期：2014-07-09

安徽省自然科學基金資助項目(1208085MF97)

李從利(1973-)，男，安徽蚌埠人，副教授，碩士。主要研究方向為圖像質量評價、顯著性檢測。E-mail：lcliqa@163.com