劉佳琪 崔紅霞 王鴻雁 劉 暢
(渤海大學信息科學與技術學院 遼寧 錦州 121000)
基于調制傳遞函數的數碼影像質量評價研究
劉佳琪 崔紅霞 王鴻雁 劉 暢
(渤海大學信息科學與技術學院 遼寧 錦州 121000)
由于高清數碼影像獲取過程中經常受到多種因素的影響,從而導致觀測到的影像質量降低,為后續的數據分析帶來諸多困難。針對這種情況,首先對傳統的客觀影像質量評價方法進行分析;然后提出一種基于調制傳遞函數的無參考型影像質量評價方法;最后通過對比試驗證明該方法的可行性與可靠性。實驗結果表明:針對高清數碼影像,基于調制傳遞函數的評價方法與人眼主觀評價結果一致,并較傳統的像質評價方法更穩定。
調制傳遞函數 像質評價 刃邊法 調制傳遞函數面積
高清數碼影像在獲取的過程中由于受到多種因素的影響,使獲得的影像質量下降,造成影像模糊,評價影像質量實際就是評價其采集、傳輸、存儲以及處理技術[1]。
傳統的主觀評價方法是通過人的視覺來檢查影像,根據評價人員的經驗對影像質量優劣做出主觀評定[2]。如果對評價結論要求較高的場合可能需要多個專家對影像質量分別進行評價,然后對每位專家的打分結果進行統計加權平均,得到最終的主觀評價的結果[3]。顯而易見,人工檢查方法不僅費時、費力,而且受到檢查者職業素質、心理、認知水平等因素的影響,越來越難以滿足不斷增長的應用需求。為了緩解以上問題,需要對影像數據進行客觀質量評價,在現有條件下選擇質量更優的數碼影像,同時過濾質量太差而無法使用的數據。傳統的像質客觀評價方法主要包括方差、信息熵、峰值信噪比、平均梯度[4]等。以上傳統的影像質量評價方法主要基于物理意義上的簡單的誤差統計分析,而較新的評價模型提出了對人類視覺感知能力進行模擬,如國外學者Sheikh等人先后提出了利用自然場景統計的評價方法[5]和基于視覺與圖像信息關系的評價方法[6];國內學者提出了一種新的利用梯度信息評價的梯度相似度模型[7];周維勛等人提出了一種利用視覺注意模型和局部特征的遙感影像檢索方法[8];沈盛彧等人提出了一種基于MapReduce的高分辨率遙感影像特征提取方法[9];豐明坤等人提出了一種基于視覺多通道梯度與低階矩自適應圖像評價的方法[10]等。但由于人類視覺系統的復雜性和未知性,目前還沒有研究出成熟的人類視覺系統模擬方法。此外,由于高清數碼影像的分辨率較高,一些評價衛星航天影像的方法并不完全適用。隨著影像獲取與處理技術的飛速發展以及人們對高清晰度的數碼影像信息的需求日益增加,能正確反映主觀評價結果的客觀評價方法就更顯其日益重要的經濟意義和使用價值。
針對上述問題,本文基于調制傳遞函數MTF的影像質量評價方法,提出了一種針對高清數碼影像質量評價的方法,通過實驗將傳統的影像質量評價方法與基于調制傳遞函數的影像質量評價方法進行對比,并參照主觀評價結果分析各評價方法的可行性與穩定性。
傳統的影響質量評價方法分為參考型和無參考型兩種,參考型評價方法是指在參考影像已知的前提下,對目標圖像進行評價的方法。由于在數碼影像的獲取過程中無法獲得參考影像,因此參考型評價方法常用于仿真實驗。下面4種評價方法中均方差和峰值信噪比屬于參考型評價方法,信息熵和清晰度屬于無參考型評價方法。
(1) 清晰度
清晰度指影像上各部分紋路以及邊界的清晰程度,是人眼主觀評價影像質量的客觀參考結果,但受噪聲影響較大,可表示為:
(1)
其中I(i,j)、ΔiI(i,j)、ΔjI(i,j)分別為影像的灰度值和其在行、列方向的梯度,M、N分別為影像的行數和列數。
(2) 信息熵
信息熵是從信息論的角度出發,是度量影像信息豐富程度的方式,其結果展示了影像所攜帶信息量的多少。一般情況下,影像的信息熵越大,代表該影像所含信息量越豐富,影像的質量也就越好。可表示為:
(2)
其中Ii為影像中灰度值為i的像素點出現的概率,L為影像像素值的動態范圍。
(3) 均方差
均方差是通過比較參考影像和目標影像像素差值的均方值的大小來確定影像的模糊程度的。通常均方值越小,影像的質量越好。可表示為:
(3)
其中I(i,j)和I(i,j′)分別為參考影像和目標影像的灰度值,M、N分別為影像的行數和列數。
(4) 峰值信噪比
峰值信噪比常用作圖像壓縮、傳輸、復原等領域中信號重建質量的測量,可表示為:
(4)
其中MAXI為影像I中可能的最大像素值。
調制傳遞函數是評價系統成像質量的準則,該準則從根本上克服了清晰、信息熵、均方差和峰值信噪比等傳統像質評價方法的不足之處[11]。MTF是空間頻率的函數,一般情況下,它的值介于0到1之間并隨著空間頻率的升高而下降,當空間頻率為光學系統的截止頻率時,其值下降到0。在實驗室環境下,原始圖像與人為模糊后影像的MTF計算結果如圖1所示。

(a) 原始影像 (b) 加入模糊后影像

(c) 調制傳遞函數圖1 模糊前后影像及MTF結果圖
在圖1(c)中,+標志曲線是通過圖1(a)得到的,o標志曲線是通過圖1(b)得到的,通過圖1可以看出原始影像的MTF值在整個頻域均優于人為模糊圖像的MTF值。因此,可以通過比較圖像MTF值的大小來評價其質量的好壞,其計算流程如下:
1) 從圖像中選取一塊計算MTF所需的均勻亮暗的具有一定反差的地物邊界。
2) 取每行灰度值的平均值,并對其進行差值擬合,得到過采樣的邊緣擴散函數ESF(Edge Spread Function)。
3) 直邊光源函數可以認為是線光源函數的積分,根據線性疊加原理,邊緣擴散函數可表示為:

(5)
4) 因此,通過邊緣擴散函數可求得線擴散函數LSF(Line Spread Function):
(6)
5) 由于線擴散函數LSF與調制傳遞函數MTF是一對一維傅里葉變換與逆變換關系,因此對其進行離散傅立葉變換和歸一化即可得到被測系統的MTF曲線[12],根據傅里葉變換的卷積原理計算可得一維調制傳遞函數為:

(7)
對于一款理想的刃邊區域,其過渡區域的寬度為0;對于一塊退化后的刃邊區域,其過渡區域是一個漸變區域。由傅里葉變換的性質可知,函數在空域的壓縮程度對應于其頻譜在頻域內的展寬,因此圖像的模糊程度可以通過該漸變區域寬度的大小來評定[13]。
調制傳遞函數面積MTFA(Modulation Transfer Function Area)[14]是用來描述一個成像系統整體分辨率的物理量,它的大小可以由MTF曲線與橫縱坐標軸圍成區域的面積來表示。在評價影像質量好壞時,MTFA常常作為一個重要的評價指標。可以表示為:
(8)
其中,f1和fN分別代表頻率的下限和上限。
基于MTF的評價方法不僅可以通過曲線的變化程度來估計影像的模糊程度,還可以將其量化,通過精確的數值來評價影像的質量。
本文實驗選用了三種不同的數碼相機拍攝影像,根據拍攝過程中可能造成影像質量下降原因的不同,設計了三組不同的實驗:(1) 評價運動模糊對影像質量影響仿真實驗;(2) 評價光圈大小對影像質量影響實驗;(3) 評價四拼相機及其拼接影像質量實驗。本文實驗一方面是驗證基于MTF的影像質量評價方法的可行性,另一方面是基于MTF的評價方法,歸納總結影像拍攝時的最優光圈大小以及人眼所能識別最大運動模糊程度。
3.1 評價運動模糊對影像質量影響仿真實驗
在拍攝過程中,因為數碼相機相對于被拍攝物是運動的,難免會產生運動模糊,因此評價由運動模糊引起的影像質量退化是至關重要的。
圖2(a)-(f)分別為在實驗室環境中所拍攝的清晰圖片和人為分別加入水平方向上5、10、15、20和30的運動模糊后的圖片。根據上文中介紹的MTF的計算方法,得到如圖3所示的六幅影像的MTF函數曲線,并通過計算得出每幅影像的MTFA值,從而判斷其影像質量。

圖2 人為加入運動模糊后的影像

圖3 各影像MTF曲線圖
原圖與加入不同大小運動模糊后各影像的均方差、峰值信噪比、清晰度、信息熵和MTFA值如表1所示。通過人眼觀察圖2中各影像可知,隨著人為加入的運動模糊越大,影像質量越差。通過分析表1中數據可得,隨著模糊不斷增大,均方差、峰值信噪比和清晰度都沒有明顯的規律,而信息熵和MTFA值呈遞減狀態。也就是說,基于MTF的影像質量評價方法同人眼的主觀評價保持一致,是可行的,并在穩定性方面優于傳統的影像質量評價方法。

表1 各影像評價指標
3.2 評價光圈大小對影像質量影響實驗
圖4(a)-(g)為在實驗室環境中不同光圈下所拍攝的扇形標志板,表2為各光圈下影像各評價指標的值。

(a) F2.8 (b) F3.2 (c) F4.5

(d) F10 (e) F16 (f) F20 (g) F22圖4 不同光圈下的扇形標志板

光圈F2.8F3.2F4.5F10F16F20F22清晰度1.98191.21502.15832.26722.01702.02972.1748信息熵5.64115.05495.62145.49295.51125.72585.8778MTFA0.08690.09930.11000.11890.10430.10320.0870
在表2的各數據中可已看出,在評價不同光圈下拍攝的影像質量時,基于MTF的影像質量評價方法明顯優于傳統的無參考型影像質量評價方法。分析表中MTFA的數據可得,在自然光環境中,光圈大小為10的時候,影像整體質量較好,因此在拍攝時,應將相機的光圈調整到10的位置。
3.3 評價四拼相機及其拼接影像質量實驗
在獲取四拼相機拍攝的高清影像后,需要對影像進行檢校、拼接,融合成一幅大影像[15-16]。圖5為通過四拼相機低空航拍獲取的真實影像中有重疊的一部分,由于此影像在拼接過程中最多只有三幅重疊,因此圖5中(a)-(d)分別為一號相機、二號相機、三號相機拍攝影像和拼接影像中重合的部分。

(a) 相機1 (b) 相機2 (c) 相機3 (d) 合成影像圖5 四拼相機航拍影像
從每幅影像中選擇一塊均勻亮暗的具有一定反差的地物邊界作為子圖像,繪制MTF曲線并求得MTFA值。圖6和表3分別為每幅影像對應的MTF曲線和MTFA結算結果。

(a) 相機1 (b) 相機2

(c) 相機3 (d) 合成影像 圖6 MTF計算結果圖

imageaerialimage1aerialimage2aerialimage3syntheticimageMTFA0.12940.14280.13940.1231
通過對比圖6中各影像的MTF曲線和表3中各影像基于MTF的評價結果可以看出,相同型號的傳感器之間因內部元件和拍攝角度等的細微差別,拍攝影像的質量略有不同;傳感器拍攝影像與拼接影像之間因合成過程中畸變糾正和合成算法等的不同,拍攝影像與合成影像的質量也存在一定的差別。此方法還可用于評價影像拼接過程中影像質量是否有退化及其退化的程度。
本文從客觀角度出發,基于MTF理論,針對高清影像評價了相機光圈大小對影像質量的影響、運動模糊大小對影像質量的影響和影像拼接處理對影像質量的影響并與傳統的影像質量評價方法進行了對比。實驗結果表明:(1) 基于MTF的影像質量評價方法更符合基于人眼觀察的主觀評價的結果;(2) 光圈大小為10時,拍攝的影像質量最好;(3) 拼接影像不同區域內同一位置的MTFA值與原圖都有一定差別,通過比較同一位置上拼接影像與原影像的MTFA值,即可判斷拼接過程影像是否退化及其退化的退化程度。
[1] Hu Q.Image quality related processing and applications based on Retinex wavelet theory[J].The International Archives of the Photogrammetry,Remote Sensing and Spatial Information Sciences,2004,35(B4):962-967.
[2] 焦冬秀.基于人眼視覺特性的全參考高清圖像質量評價[J].廣播與電視技術,2011,38(8):40,42,44-45.
[3] 卜麗靜.基于稀疏理論的星載雷達圖像超分辨率重建[D].阜新:遼寧工程技術大學,2011.
[4] 尹靈芝,朱軍,蔡國林,等.遙感影像質量評價方法綜述[J].測繪與空間地理信息,2014,37(12):32-35.
[5] Sheikh H R,Bovik A C,Veciana G D.An information fidelity criterion for image quality assessment using natural scene statistics[J].IEEE Transactions on Image Processing,2005,14(12):2117-2128.
[6] Sheikh H R,Bovik A C.Image information and visual quality[J].IEEE Transactions on Image Processing,2006,15(2):430-444.
[7] 馬旭東,閆利,曹緯,等.一種新的利用梯度信息的圖像質量評價模型[J].武漢大學學報(信息科學版),2014,39(12):1412-1418.
[8] 周維勛,邵振峰,侯繼虎.利用視覺注意模型和局部特征的遙感影像檢索方法[J].武漢大學學報(信息科學版),2015,40(1):46-52.
[9] 沈盛彧,劉哲,張平倉,等.基于MapReduce的高分辨率遙感影像特征提取方法[J].長江科學院院報,2014,31(2):91-96.
[10] 豐明坤,趙生妹,施祥.基于視覺多通道梯度與低階矩自適應圖像評價[J].儀器儀表學報,2015,36(11):2531-2537.
[11] Kuhls-Gilcrist A,Jain A,Bednarek D R,et al.Accurate MTF measurement in digital radiography using noize response[J].Medical Physics,2010,37(2):724-735.
[12] 高峰,朱慶陣,周仲興,等.基于差值數浮動的MTF精確測量方法[J].納米技術與精密工程,2014,12(2):107-116.
[13] 李鐵成.基于傾斜刃邊法的遙感圖像調制傳遞函數計算及圖像復原技術研究[D].杭州:浙江大學,2011:25-28.
[14] Choi T.IKONOS satellite in orbit modulation transfer function (MTF) measurement using edge and pulse method[D].South Dakota,USA:South Dakota State University,2002.
[15] 李婷.無人機影像拼接關鍵技術研究[D].徐州:中國礦業大學,2014:48-59.
[16] 高穎,王阿敏,王鳳華,等.改進的小波換算法在圖像融合中的應用[J].激光技術,2013,37(5):960-695.
RESEARCH ON DIGITAL IMAGE QUALITY ASSESSMENT BASED ON MTF
Liu Jiaqi Cui Hongxia Wang Hongyan Liu Chang
(CollageofInformationScienceandTechnology,BohaiUniversity,Jinzhou121000,Liaoning,China)
Digital image acquisition is often influenced by many factors,which leads to the decrease of the quality of the image and brings many difficulties to the subsequent data analysis.Thus,the theory and method of the evaluation and recovery of digital image are studied.First of all,the traditional objective evaluation method of image quality is introduced.Then,a no-reference image quality assessment method based on the modulation transfer function is described.Finally,comparison tests show that the method is feasible and reliable.The results show that the evaluation method based on the modulation transfer function is consistent with the subjective evaluation of human eyes,and is more stable than the traditional image quality evaluation methods.
MTF Image quality evaluation Knife edge method MTFA
2015-11-20。國家自然科學
41371425)。劉佳琪,碩士生,主研領域:圖像處理。崔紅霞 ,教授。王鴻雁,碩士生。劉暢,碩士生。
TP7
A
10.3969/j.issn.1000-386x.2017.03.029