周思羽,包國琦,劉 凱*
(1.四川大學電氣工程學院,成都 610065;2.廣東省公安廳,廣州 510050)
(?通信作者電子郵箱kailiu@scu.edu.cn)
隨著離軸距離的增加,光線經過光學系統的有效孔徑減小,導致了從中心到邊緣非線性的緩慢的光衰減,圖像呈現出中心亮四周較暗的特征,稱為漸暈效應,它會影響圖像質量,增大目標檢測的難度。因此,在計算機視覺應用和圖像處理領域需要進行漸暈校正,尤其在航拍圖分析[1-3]、圖像分割[4-7]、顯微圖分析[8-10]、圖像的拼接[11-13]等領域。
目前漸暈校正方法分為兩大類:參考目標法和基于圖像的方法。
參考目標法需要一個白色的平面作為參考圖像以及光照均勻的拍攝環境,再利用參數模型擬合漸暈,如多項式模型[14]、雙曲余弦模型[15]、指數多項式模型[16]、拋物線模型[17]。該方法精度高,但需要校準[18],只適用某一固定的鏡頭參數設置和孔徑大小,當使用不同的鏡頭參數設置或者光圈大小,需要重新估計漸暈。
基于圖像法則可以分為多幅圖像和單個圖像兩類。基于多幅圖像的漸暈校正[1,19-21]利用相同場景點在不同圖像中的像素差異計算暈影,但是多幅圖像并不易得,實用性較差。單個圖像的漸暈校正[14,22-24]更具靈活性,其中:Zheng等[6]提出基于圖像分割的校正方法,但校正效果受到分割精確度的影響;Cho 等[23]提出了基于徑向亮度通道校正漸暈,它在一維中工作,提高了計算速度和減少了存儲成本;He 等[25]把最速下降法運用到Gauss 二次曲面參數估計中,不需要相關的光學和幾何參數,該校正方法可廣泛應用于工程中;Lopez-Fuentes等[26]通過最小化圖像的對數強度熵來校正漸暈,盡管該方法已被證明比Zheng 等[22]提出的算法更快更精確,但該方法存在易過度校正的缺點。
受文獻[26]的啟發,本文在多項式模型的基礎上提出了低通濾波[27]下約束對數強度熵的圖像漸暈校正。對漸暈圖像進行低通濾波能獲取目標對數強度熵,該熵作為漸暈圖像校正過程中對數強度熵最小化的底線,從而控制校正的力度。使用偶數項的六階多項式函數建立漸暈模型,在既滿足漸暈的變化規律又使圖像的對數強度熵最小化的情況下求得漸暈模型的最優參數解。在該最優解下能有效消除漸暈現象,完成圖像漸暈校正。
相機在遠距離成像時,隨著視場角的增大,通過照相物鏡的斜光束的截面面積將逐漸減小,從而導致獲取影像中間亮、邊緣暗,這就是光學系統中的漸暈現象。根據光學理論的相關知識,軸外像點的照度Eω近似表示[28]為:

式中:E0為軸上像點的照度;ω為半視場角;l為像點處的漸暈系數。
漸暈的變化規律如圖1 所示,對比漸暈校正前后圖像中某行像素的變化,觀察圖1(c)和圖1(d):校正圖像的亮度均勻分布,同行像素值在同水平線上上下波動;而漸暈圖像的同行像素值由漸暈中心向兩端衰減。

圖1 漸暈校正前后對比Fig.1 Contrast before and after vignetting correction
根據漸暈的變化規律,總結漸暈校正的過程為:擬合漸暈,通過求出每個像素點對應的漸暈系數校正漸暈。漸暈的擬合可以是局部方式:逐行擬合每個像素的漸暈系數;也可以是全局方式:直接擬合整個圖像平面的像素的漸暈系數。文獻[14]采用的是局部方式,本文是全局方式。
圖像的對數強度熵通常用來衡量圖像所包含信息量的多少。文獻[29]中證明了圖像對數強度熵可以作為漸暈校正的判據,該方法的基本假設是,在不存在漸暈時,均勻物體應以均勻的強度成像,并且對應于具有單一峰值和低熵的尖銳直方圖。空間上變化的亮度會改變直方圖的單峰區域,比如漸暈的加入,會擴寬這一高峰,說明漸暈引入了額外的信息量,導致對數強度熵增大。因此,可以通過減少對數強度熵達到減少漸暈的目的。對數強度熵H由下面的公式計算得到:

其中:k代表灰度值(0 ≤k≤255),pk表示灰度k在圖像中出現的概率。
文獻[26]方法存在過度校正的現象,如圖2 所示:與圖2(b)相比較,圖2(c)的對數強度熵大大減小,漸暈被校正;但圖2(c)遠小于圖2(a)的對數強度熵,因此校正過度。理想的校正圖像應與原圖像的色調保持一致,則需要校正圖像與原圖像的對數強度熵十分接近。

圖2 文獻[26]方法的過度校正結果Fig.2 Overcorrection results of method in literature[26]
Goldman 等[30]提出所有顏色通道的漸暈相應都相同,并且圍繞圖像漸暈中心徑向對稱,故漸暈函數fv可以由徑向距離參數化,這里使用偶數項的六階多項式函數來描述漸暈:

其中:αn(n=1,2,3)是擬合漸暈的參數。對于圖像中的某一點(i,j),其徑向距離r(i,j)為:

其中:(ic,jc)和(t1,t2)分別是圖像的漸暈中心、離漸暈中心最遠的圖像頂點。漸暈中心與圖像中心不一定重合[31],圖3 展示了漸暈中心不在圖像中心的情況。
通常,漸暈fv與漸暈圖像Iv之間的關系可以表示為:

其中:Io是無漸暈的原圖像。那么,對漸暈圖像采用fv的逆向補償便可得到校正圖像Ic:

結合式(3)和式(6)可知漸暈校正結果的好壞取決于擬合漸暈是否準確,因此,漸暈模型參數αn(n=1,2,3)的選取至關重要。

圖3 圖像中心(+)與漸暈中心(*)Fig.3 Image center(+)and vignetting center(*)
根據式(3)可知,fv是依賴于三個實際參數α1、α2和α3的函數,不是所有的參數都能滿足漸暈的變化規律。由此可知:參數α1、α2和α3必須滿足在0 <r<1 區間使得fv為嚴格單調遞減函數,即滿足以下條件(a)~(i)之一:

α1、α2和α3最優值的判定準則:滿足條件(a)~(i)之一并使圖像的對數強度熵最小化,其中,通過對漸暈圖像進行低通濾波來約束對數強度熵最小化的范圍。
將漸暈圖像Iv與高斯核G卷積來提取漸暈v,這個過程被稱為低通濾波:

對圖像任意點(i,j)有:

其中:(ic,jc)是圖像漸暈中心;σ是標準偏差。
取不同σ值時,漸暈圖像通過低通濾波提取的漸暈如圖4所示。由圖4 可以看出,當σ值足夠大時,圖像中的物體和結構可以被平滑地去除并獲得v。
根據低通濾波提取到的v,經過以下計算得到圖像Ie:

Ie與原圖像Io的對數強度熵非常接近,因此,在校正過程中,將Ie的對數強度熵作為Iv的對數強度熵最小化過程中的約束,解決了文獻[26]方法因無限制地最小化Iv的對數強度熵導致的過度校正的問題。

圖4 提取的漸暈Fig.4 Extracted vignetting
本文方法的具體步驟如下:

在本文方法的具體步驟中,步驟6)~21)是漸暈校正的過程,始終以低通濾波后步驟5)計算的圖像熵Ho作為最小化圖像熵的底線,以一個常數量δ控制參數α1、α2和α3值,最終求得滿足漸暈變化規律和使得圖像熵減少的最優參數,從而得到最優漸暈模型并校正漸暈。
圖5 展示了本文方法的校正過程。校正過程中,對數強度熵逐漸減少的同時伴隨著漸暈也在減少,最終校正結果圖5(f)不僅均勻地消除了漸暈,還保持了原圖像的色調。

圖5 本文方法的校正過程以及對應的對數強度熵Fig.5 Correction process of proposed method and corresponding log-intensity entropy
本章通過對自然漸暈圖像、人造漸暈圖像校正的實驗來驗證本文算法的有效性,仿真實驗基于Matlab R2014a 版。圖6 顯示了本文方法校正自然漸暈圖像的結果,自然漸暈圖像均由攝像機拍取。對比漸暈校正前后,校正圖像灰度均勻分布,消除了漸暈對圖像質量的影響。

圖6 自然漸暈圖像校正Fig.6 Natural vignetting image correction
為了探討本文方法對不同漸暈程度的圖像的校正效果,對無漸暈的圖像數據集添加多種程度的漸暈生成人造漸暈圖像數據集,獲取共計250 張漸暈圖。分別采用定性和定量的方式將本文方法與另外兩種具有代表性的圖像校正方法進行校正結果比較,其中:文獻[14]方法通過局部方式逐行擬合漸暈系數,因此精度較高,缺點是速度一般;文獻[26]方法通過全局方式直接擬合整個圖像平面的漸暈系數,速度較快,但易發生過度校正的情況。
從南佛羅里達大學的圖像數據集選取50 張無漸暈的原圖像,然后用Kang?Weiss 簡化模型[22,32]中的離軸光衰因子A(r)對原圖像添加漸暈:

式中:f和r分別是相機的等效焦距、像素到光學中心的徑向距離。
首先要保證澳斯麥特爐系統微負壓,控制在-20 Pa左右,這樣才能及時把爐中物料及粉煤燃燒產生的煙氣及時排出,縮短煙氣在爐中的停留時間,降低反應幾率。但是負壓也不能太大,如果過大會帶走大量熱量,增加燃料消耗,出現其他問題。澳斯麥特爐合理的負壓可以控制在-30 Pa左右。
輸入原圖像Io,通過Iv=Io A(r)得到漸暈圖像Iv,漸暈中心隨機生成,可以選取圖像中的任意點,該點作為應用該因子A(r)的原點。選取5 種不同的焦距:f為200 mm、300 mm、500 mm、800 mm、1 000 mm,分別對原圖像添加了5 種不同程度的漸暈。圖7展示了原圖像和其5種不同漸暈程度的圖像,圖7(b)~(f)是利用不同焦距產生的不同漸暈程度的圖像,值得注意的是焦距越小,漸暈程度越大。
圖8 為文獻[14]方法、文獻[26]方法以及本文方法的校正結果。文獻[14]方法通過逐行擬合漸暈,得到較好的校正效果,但存在校正力度不均勻的情況,例如第四行第三列圖像底部的漸暈校正效果比頂部好;文獻[26]方法在搜索對數強度熵的最小值時魯棒性較差,易導致過度校正,結果呈現明顯的亮度偏高和輕度模糊的情況。與文獻[14]的局部擬合方法相比,本文采用全局擬合方法,保證了圖像整體校正力度的一致性,校正圖像的亮度更為均勻;與文獻[26]方法相比,本文方法魯棒性更好,體現在校正結果更接近原圖像。
為了進一步驗證本文方法的有效性,本文采用結構相似性指標(Structural SIMilarity index,SSIM)和均方根誤差(Root Mean Square Error,RMSE)作為評價指標,與文獻[14]方法、文獻[26]方法進行量化評估。原圖像作為校正圖像的比較基準,計算的數值結果如表1所示。
測試圖像根據不同的f分為5 組,每組由漸暈程度一致的不同圖像組成,分別計算每組測試圖像的RMSE 與SSIM 值的平均值。RMSE值越低、SSIM值越大說明校正結果越好。
由表1 可知,文獻[14]方法、文獻[26]方法以及本文方法對高焦距、低漸暈的圖像均有較好的校正能力,漸暈程度越低,校正結果越接近原圖像。本文方法與文獻[14]方法相比,在RMSE、SSIM 指標上略有優勢;而在與文獻[26]方法的對比中,本文方法的校正結果優勢更為明顯,每組結果在RMSE 上有明顯的縮小,在SSIM上有明顯的提高。
表1 中“時間”指標表示漸暈圖像通過校正方法得到校正圖像結果這一過程在Matlab 中的運行時間。由表1 的時間數據可知,本文方法校正效率最高,校正速度與文獻[14]方法相比有明顯優勢,也比文獻[26]方法更快。
總體來說,本文方法在RSME、SSIM 和時間三個指標上均優于文獻[14]方法和文獻[26]方法,具有較好的魯棒性和簡便性。

表1 各個方法在不同漸暈程度中的實驗結果比較Tab.1 Comparison of experimental results of different methods in different degrees of vignetting

圖8 不同方法的漸暈校正結果對比Fig.8 Comparison of vignetting correction results of different methods
為了得到更加真實、自然的無漸暈的圖像,本文提出通過低通濾波獲取最小目標圖像對數熵,從而控制了校正力度,找到最優漸暈模型參數解,有效地校正了漸暈。實驗在客觀數據集上進行的測試結果表明,本文方法不僅有效地恢復了圖像的灰度信息,而且與多種經典算法結果對比,校正各種程度漸暈的圖像的能力在像素的均方根誤差以及結構相似性上均能夠得到較好的成績,校正效率也更高。