圖像清晰度評價算法研究

孫紅利， 馮 旗， 董 峰

(1.中國科學院 上海技術物理研究所，上海 200083；2.上海科技大學，上海 200080)

圖像清晰度評價算法研究

孫紅利1,2， 馮 旗1， 董 峰1

(1.中國科學院 上海技術物理研究所，上海 200083；2.上海科技大學，上海 200080)

通過圖像清晰度評價函數判斷離焦圖像的清晰度是相機實現自動調焦的關鍵。使用最優離散余弦變換(DCT)系數的和作為評價圖像清晰度方法，并用該評價方法與圖像的調制傳遞函數(MTF)的變化趨勢做相關性分析，以驗證該評價方法的有效性。結果表明：基于離散余弦變換的評價方法可以得到與MTF相似的評價結果，歸一化后，最清晰圖像的判斷值都為1，隨圖像變模糊時函數的下降趨勢基本一致。

圖像清晰度； 調制傳遞函數； 離散余弦變換； 相關性

0 引 言

基于圖像處理的調焦主要通過評價圖像清晰度來判斷像平面是否在理想的成像位置上，若在理想像面上，所成圖像最清晰。在頻域方面，清晰圖像比模糊圖像所含的高頻成分更多，在空域方面，清晰圖像比模糊圖像所包含的細節特征要多，灰度變化更明顯一些。圖像的清晰度評價算法可以用于作為調焦的判據。這樣不僅提高了對焦精度，而且對成像系統的成本要求不高，因此成為調焦技術的重要研究方向。理想的調焦判定函數應是單峰的兩側下降的函數，有無偏性、單峰性、靈敏度高、信噪比好、高效性等特點[1，2]。

目前，常用的圖像清晰度算法有很多，大致可以歸結為：1)灰度梯度函數[3～6]，主要利用正焦圖像比離焦圖像的邊緣更鋒利，灰度變化更明顯等特征，包括：絕對方差函數， Roberts梯度和函數，梯度向量平方函數，Brenner函數[3]，Laplacian函數，Tenengrad函數，Variance函數等。2)熵函數，正焦圖像的信息熵比離焦圖像要多。3)頻域函數[7～9]，主要利用傅立葉變換[10]、小波變換等，通過比較正焦圖像與離焦圖像的高頻分量，高頻分量較多的是清晰圖像[2]。

本文所使用的離散余弦變換(discrete cosine transform,DCT)系數評價圖像的清晰度，通過比較高頻分量信息來區分清晰圖像和模糊圖像可以取得很好的效果，但為了使結果更加可靠，同時用斜邊刃法測量同一幅圖像的調制傳遞函數(modulation transfer function,MTF)，兩者的判斷結果相同則認為該評價方法是可靠的。

1 基于DCT的圖像清晰度評價方法

一幅圖像經過DCT，圖像的灰度值轉為DCT系數形式，在8×8的圖像中對應方向的灰度值轉為DCT系數，如圖1中低頻成分分布在左上角，高頻成分分布在右下角[11]。以DCT實系數表征圖像的清晰度時，只選擇最優的DCT實系數，因此計算復雜度比快速傅立葉變換要低。基于此優點，將M×N(M,N是8的倍數)圖像分割為8×8的小塊，則8×8圖像f(x,y)的子窗口的DCT為

Fu,v=F(u,v)

(1)

式中

(2)

一幅圖像的DCT系數和FV為

(3)

圖1 8×8圖像DCT 系數

如圖1所示，高頻成分分布在圖像的右下角，所以,在8×8窗中分別計算各圖像對角線分量即在式(3)中設u=v，得到特性較好的DCT 分量作為圖像清晰度的評價指標如式(4)。同時出現多個特性好的DCT分量，可選擇最優的分量共同作為圖像清晰度的評價指標

(4)

k=u=v，k∈[0,7]

(5)

2 計算圖像MTF方法

MTF作為國際公認光學系統的標準評價指標，光學系統的性能直接影響成像質量。但是它計算復雜難以在工程應用，但是它對圖像清晰度的變化很敏感，因此,用它和圖像清晰度評價指標做曲線吻合對比[12]，能夠更好地評價圖像清晰度。一般用分劃板進行測量MTF，但在實際應用中往往存在很多困難，因此,在圖像處理中經過用數學方法對MTF進行測量[13～15]。光學成像系統中

g(x,y)=h(x,y)*f(x,y)

(6)

式中 (x，y)為像元空間坐標，f(x，y)為輸入原始圖像，g(x，y)為系統輸出圖像，h(x，y)為系統響應函數，*為卷積。

將式(6)轉成傅里葉變換

G(u,v)=H(u,v)F(u,v)

(7)

式中 G(u，v)，H(u，v)，F(u，v)分別為輸出圖像、響應函數、輸入圖像的傅里葉變換。在經典光學成像系統中，H(u，v)也稱為光學傳遞函數(opticaltransferfunction,OTF)

OTF=H(u,v)=|H(u,v)|e-jθ(u,v)

(8)

通常傳函是復函數，幅值是指MTF，相角是指相位傳函(phasetransferfunction,PTF)。

簡化上式

MTF=|H(u,v)|

(9)

此外，MTF可以定義為

MTF(f)=Mcaptured(f)/Moriginal(f)

(10)

在式(5)中，Mcaptured(f)，Moriginal(f)是輸出圖像和原始圖像的調制。而圖像的調制定義為

(11)

式中Imax，Imin為圖像強度的最大值、最小值。

當輸入的圖像是一個沖擊函數δ(x)，得到的輸出圖像就是點擴展函數PSF[16],表示為

PSF(x,y)=δ(x,y)*h(x,y)

=h(x,y)

(12)

當輸入圖像是線型函數f(x，y),表示為

f(x,y)=δ(x)l(y)

(13)

輸出圖像就是線擴展函數

LSF(x,y)=f(x,y)*h(x,y)

=PSF(x,y)*[δ(x)l(y) ]

(14)

由式(14)得

(15)

所以，x方向的MTF是線擴展函數經過傅里葉變換的幅值

MTF(u)=MTF(u,0)=|F[LSF(x)]|

(16)

當輸入的f(x，y)是階躍函數時，即

f(x,y)=u(x)l(y)

(17)

輸出圖像g(x，y)是邊緣擴展函數

ESF(x)=f(x,y)*g(x,y)=PSF(x,y)*[u(x)l(y)]

(18)

簡化式(18)得

(19)

所以，由式(16)和式(19)可以得到MTF

MTF(u)=MTF(u,0)=|F[LSF(x) ]|

(20)

由式(20)可以看出二維圖像可通過計算某一方向的邊緣擴展函數，微分，傅立葉變換得到這一方向的MTF。實際應該中，MTF計算方法是通過斜邊刃、正弦波、矩形光柵目標以及相應測量方法來計算。本文通過提取斜邊目標，通過邊緣擴展函數(edge spread function,ESF)的微分得到線擴展函數數(line spread function,LSF)，再經過傅里葉變換得到空間頻率，亦即MTF。

3 DCT評價圖像清晰度

本文中所使用圖像是以光柵為目標成像，在正焦位置前后先等距后不等距分別采集若干圖像，最終得到排列順序為離焦逐漸到正焦，再到離焦的15幅圖像，如圖2所示，最清晰圖像為從左到右，從上到下的第8幅圖標記為圖2(a)，是在正焦位置所得。然后依次選擇每幅圖像中視場中心的相同位置截取合適256×256(長寬都是8的倍數)圖像作為圖像清晰度評價目標如圖3，且圖3 中每幅子圖都是由圖2中圖像一一對應截取得到。

圖2 原圖序列

圖3 256×256圖像

在圖像中通過8×8子窗口計算DCT，在8×8的窗口中分別計算DCT分量FV00～FV77(如圖1)，再按式(3)求和，最終得到圖4所示的曲線，本文按照圖4 所示的8分量的曲線，選擇最優分量的和即FV66作為圖像清晰度的評價指標，即式(4)中k=6。

圖4 圖像序列的8個DCT分量和

最終由圖4中FV66作為圖像序列中圖像清晰度的評價指標，對應于圖2(a)最清晰，且逐漸變得模糊，評價指標能夠雖然由兩個小次峰，但是在一定范圍內只有一個最大值，仍然可以得到圖像清晰度的正確判斷。

4 斜邊刃測量圖像MTF

在圖2中各圖像目標周邊截取小尺寸的包含斜邊刃的小圖像作為本次圖像的輸入，如圖5，首先提取刃邊點并按照最小二乘法刃邊輪廓擬合，然后獲取距離-灰度數據，最后費米函數擬合得到ESF，如式(20)求導得到LSF，經過離散傅立葉變換并歸一化得到MTF。最終得到各圖像MTF曲線如圖6所示。

圖5 提取刃邊區域

圖6 15幅圖像的MTF

本文中所采用探測器在奈奎斯特頻率(fNyquist)為110 lp/mm，總MTF是0.16～0.18，而圖像中測得，在fNyquist=100 lp/mm時，MTF最高為0.17。在fNyquist=100 lp/mm時，各圖像的MTF值變化趨勢如圖6所示，圖2中第8幅圖的MTF值最高，則代表此圖最為清晰。

5 結果分析

圖3中所示的15幅圖像中，第二排的5幅圖像都比較清晰，其他圖像則比較模糊。基于DCT 系數的變換趨勢分析即如圖4所示，只有FV66的曲線比較好，其他的DCT系數和因為噪聲的影響，沒有很好的變化趨勢，最終圖4中FV66 所示作為圖像清晰度評價指標，該指標認為圖2中第8幅圖最清晰，兩邊逐漸在變模糊。

同時，圖6中(a)中MTF曲線的變化趨勢代表MTF下降的越快圖像越模糊，下降的越慢圖像越清晰，因此圖2 中第1幅到第7幅圖像逐漸變清晰，(b)所示第8幅到第15幅圖像逐漸變模糊，正好是與圖4中FV66的最大值兩側曲線的變化趨勢相同。在圖6中所示圖2中第8幅圖在fNyquist=100 lp/mm時，MTF最高為0.17，表明此圖最清晰，且在探測器MTF范圍內。基于DCT的評價指標和MTF得到的最清晰圖像是同一幅，雖然有個別毛刺，如圖7，同時FV值變化的較為均勻而MTF在第5幅圖到第6幅圖的變化很快，但是FV在清晰圖像附近變化明顯，而它兩的變化總趨勢是相同的，說明該評價方法與MTF有很好的正相關性。

圖7 MTF與本文算法對比

6 結 論

通過基于DCT圖像清晰度算法的分析，特別地，與利用斜邊刃法測得的MTF做對比分析，結果表明:該評價指標能夠反映圖像清晰度的變化，與MTF有很好的正相關關系。 同時該算法又有計算簡單，不需要像計算MTF一樣手動截取帶有斜邊的目標，但是可以得到和MTF相當的圖像清晰度評價結果。

[1] 朱孔鳳,姜 威,王端芳,等.一種新的圖像清晰度評價函數[J].紅外與激光工程,2005,34(4):464-468.

[2] 金 雪,馬衛紅.圖像調焦過程的清晰度評價函數研究 [J].光學儀器,2012,34(1):59-64.

[3] 王 健,陳洪斌,周國忠,等.改進的Brenner圖像清晰度評價算法[J].光子學報,2012,41(7):855-858.

[4] 王 蔚,寧新寶,張 勝.基于圖像清晰度的自動聚焦算法[J].計算機應用與軟件,2003,12:17-18.

[5] 曹茂永,孫農亮,郁道銀.離焦模糊圖像清晰度評價函數的研究[J].儀器儀表學報,2001,22(3):259-260.

[6] 錢 青,臧冬菊.一種改進的Sobel算子圖像清晰度評價函[J].計算機與數字工程,2015,43(10):1865-1870.

[7] 陳國金,朱妙芬,張克松.圖像調焦過程的清晰度評價函數研究[J].數據采集與處理,2009,24(2):165-169.

[8] 王培茂.離散余弦變換與小波變換的比較[J].河北理工學院學報,2005,27(3):53-56.

[9] Lee S Y,Kumar Y,Cho J M,et al.Enhanced autofocus algorithm using robust focus measure and fuzzy reasoning[J].IEEE Tran-sactions on Circuits and Systems for Video Technology,2008,18(9):1237-1246.

[10] Yousefi S,Rahman M,Kehtarnavaz N.A new auto-focus sharpness function for digital and smart-phone cameras[J].IEEE Transactions on Consumer Electronics,2011,57(3):1003-1009.

[11] Jeon J,Lee J,Paik J.Robust focus measure for unsupervised auto-focusing based on optimum discrete cosine transform coefficient-s[J].IEEE Transactions on Consumer Electronics，2011,57(1):1-5.

[12] 王鴻南,鐘 文,汪 靜,等.圖像清晰度評價方法研究[J].中國圖象圖形學報,2004,9(7):828-831.

[13] 聞人青青.基于CMOS傳感器的全視場MTF測量系統的研究[D].杭州：浙江大學,2002.

[14] Frank C O.Measuring the modulation transfer function of image capture devices:what do the numbers really mean[C]∥IS&T/SPIE Electronic Imaging，International Society for Optics and Photonics,2012:829307-829311.

[15] Ikonos Choi T. Satellite on orbit modulation transfer function(MTF)measurement using edge and pulse method[D].Brooking:South Dakota State University,2002.

Research on algorithm for image clarity evaluation

SUN Hong-li1,2, FENG Qi1, DONG Feng1

(1.Shanghai Institute of Technical Physics,Chinese Academy of Sciences,Shanghai 200083,China;
2.Shanghai Tech University,Shanghai 200080,China)

Determine defocus image sharpness through image sharpness evaluation function is the key to realize camera auto-focusing,using sum of optimal discrete cosine transform(DCT)coefficients as method for evaluating image sharpness,and do correlation analysis using this method with the image modulation transfer function(MTF),in order to verify the effectiveness of evaluation method,the results show that evaluation method based on discrete cosine transform coincide with the MTF.After normalization,the best image values are 1,the function decrease with the image becomes hazing.

image sharpness; modulation transfer function(MTF); discrete cosine transform(DCT); correlation

10.13873/J.1000—9787(2017)02—0067—04

2016—03—25

TP 751.1

A

1000—9787(2017)02—0067—04

孫紅利(1991-)，女，碩士,研究方向為計算機圖像處理。