超分辨率重建影像Wallis勻光拼接算法

范 鈾，陳旭帥，王丹丹，白明亮，周 敏,4

(1. 廣東南方數(shù)碼科技股份有限公司，北京 100055; 2. 湖南暢圖信息科技有限公司，湖南 長沙 410012; 3. 中南大學(xué)地球科學(xué)與信息物理學(xué)院，湖南 長沙 410083; 4. 中國葛洲壩股份有限公司測繪工程院，湖北 宜昌 443000)

圖像的超分辨率重建于20世紀(jì)60年代由Harris[1]和Goodman[2]首次提出，是指從一幅或相關(guān)的多幅低分辨率圖像中重建出高分辨率圖像或圖像序列的過程。在遙感影像超分辨率重建過程中，為了提高運(yùn)算效率，減小對計算機(jī)內(nèi)存的消耗，一般采用分塊重建后再將分塊影像拼接的方法,分塊處理提高了計算速度，但忽略了塊與塊之間的連續(xù)性與相關(guān)性，特別是在塊與塊的交界處，往往會出現(xiàn)灰度分布不連續(xù)的情況，導(dǎo)致拼接后的大幅面影像整體色調(diào)不一致[3]，即出現(xiàn)影像亮度和反差分布不均勻現(xiàn)象，導(dǎo)致相鄰影像間存在明顯的拼接縫，因此需要先對圖像進(jìn)行勻光處理，再進(jìn)行無縫拼接。

目前的勻光算法可分為單幅影像和多幅影像間的勻光處理算法。單幅影像勻光處理方法主要有MASK勻光法[4]、背景擬合勻光法[5]、同態(tài)濾波勻光法[6]、Retinex勻光法[7]和LRM(局部尺度修正)勻光[8]等。影像間的勻色算法主要有直方圖匹配法[9]和Wallis勻光算法[10]。直方圖匹配法可能會改變灰度級之間的相對距離，導(dǎo)致不同內(nèi)部特征的影像產(chǎn)生偏色。Wallis濾波器的目的是將影像的灰度均值和方差(即影像灰度的動態(tài)范圍)映射到給定的灰度均值和方差值，張力等對Wallis變換在影像匹配中的應(yīng)用作了充分的研究，發(fā)現(xiàn)Wallis濾波可以在增強(qiáng)影反差的同時壓制噪聲，具有局部自適應(yīng)功能[11]。李德仁等基于這一特點(diǎn)提出了利用Wallis濾波器對多幅影像進(jìn)行勻光的處理方法，通過調(diào)整影像的均值與方差實現(xiàn)調(diào)節(jié)曝光的效果，但該方法依靠線性傳遞關(guān)系調(diào)整色調(diào)容易出現(xiàn)誤差累積，使離基準(zhǔn)影像較遠(yuǎn)的影像出現(xiàn)偏色現(xiàn)[4]。王密針對大型無縫影像數(shù)據(jù)庫的特點(diǎn)，提出了一種兼顧整體與局部信息的Wallis勻光方法，可以保持影像的輻射分辨率，減少信息損失[12]。張燈榮等在色調(diào)調(diào)整步驟中，基于Wallis變換進(jìn)行整體色調(diào)調(diào)整，依據(jù)重疊區(qū)域大小分別采用基于最優(yōu)接縫線的加權(quán)平滑處理和強(qiáng)制改正方法實現(xiàn)接縫線色調(diào)調(diào)整[13]。周麗雅等采用影像分塊的方法，以分塊影像中光照充足且分布均勻、具有最高亮度均值的影像為參考影像，提出了一種用于單幅影像勻光的Wallis算法[14]。王燁、張漢松針對Wallis濾波勻光中的“分塊效應(yīng)”問題，采用波段最佳指數(shù)(optimal index factor,OIF)選擇Wallis勻光參數(shù)，提出了一種基于矩匹配的改進(jìn)Wallis勻光算法[15],這種算法的實質(zhì)是進(jìn)行兩次Wallis濾波處理，會造成影像信息的損失。羅思提出了一種基于Wallis原理改進(jìn)的勻光算法，在消除光照不均的情況下也能改善反差不均勻現(xiàn)象，處理結(jié)果影像有效地實現(xiàn)了光照與反差一致[16]?，F(xiàn)有Wallis勻光算法對于兩幅或少數(shù)幾幅影像勻光處理可達(dá)到比較理想的效果，但對于超大面積分幅遙感影像的勻光效果并不是很好，不能完全消除影像的亮度和反差不均勻現(xiàn)象，還有可能造成圖像失真。鑒于此，本文提出一種改進(jìn)的加權(quán)Wallis勻光算法，主要對算法進(jìn)行以下兩個方面的改進(jìn): ①為避免計算過程中誤差的空間傳播與累積，提出一種相鄰影像逐一加權(quán)迭代的調(diào)整方法；②為了同時兼顧待校正影像與相鄰的左影像和上影像間的色彩差異，采用加權(quán)法求取每幅影像的Wallis勻光參數(shù)。

1 Wallis濾波勻光原理

Wallis濾波器實際上是一種局部影像變換，它使影像不同位置處的灰度方差和均值都具有近似相等的數(shù)值，即影像反差小的區(qū)域的反差增大，影像反差大的區(qū)域的反差減小，使影像中灰度的微小變化信息得到增強(qiáng)[17]。上述特性使Wallis濾波器對低反差影像的反差不均勻影像有特殊的作用。Wallis勻光算法用于多幅影像間亮度和反差調(diào)整，首先選擇參考影像，統(tǒng)計其均值和方差參數(shù)，利用Wallis濾波器調(diào)整待處理影像灰度的線性分布。其線性變換式為

f(x,y)=(k(x,y)-mk)α+β

(1)

式中，k(x,y)為待處理影像在(x,y)處的灰度值；f(x,y)為Wallis變換后影像在(x,y)處的灰度值；mk為待處理影像的均值；α和β分別為乘性系數(shù)和加性系數(shù)，表示為

(2)

式中，mk、sk為待處理影像的灰度均值和方差；mf、sf為參考影像的灰度均值和方差；c∈[0,1]為影像方差的擴(kuò)展系數(shù)；b∈[0,1]為影像亮度的擴(kuò)展系數(shù)。在式(2)中，當(dāng)b趨向于1時，影像均值接近mf，當(dāng)b趨向于0時，影像均值接近mk，為保證兩幅影像的灰度均值與方差均接近，經(jīng)典Wallis濾波器參數(shù)c和b均取1，即

(3)

2 改進(jìn)的加權(quán)Wallis勻光算法

2.1 調(diào)整順序的確定

對于大幅面多幅遙感影像的勻光調(diào)色方法中，現(xiàn)有調(diào)整順序主要有4種[18](如圖1所示)：左影像基準(zhǔn)調(diào)整(圖1(a))是以每一行最左邊的影像為基準(zhǔn)影像，按行逐幅調(diào)整。上影像基準(zhǔn)調(diào)整(圖1(b))是以每一列的第一張影像為基準(zhǔn)影像，按列逐幅調(diào)整。這兩種方法只考慮了每行(列)之間的差異，卻忽略了不同列(行)之間的關(guān)聯(lián)性，隨著影像數(shù)量的增多會導(dǎo)致條帶的產(chǎn)生。左影像交叉調(diào)整(圖1(c))是在每一次調(diào)整中以當(dāng)前影像為基準(zhǔn)影像，分別調(diào)整其右方和下方的影像，除了位于邊界的部分分塊影像外，其余影像在不同循環(huán)中既作為參考影像又作為待處理影像參與計算，這樣既增加了運(yùn)算量，也造成了灰度信息的損失。基于四叉樹的多次調(diào)整方法(圖1(d))是根據(jù)四叉樹編碼的思想，將4幅相鄰影像定義為子節(jié)點(diǎn)，通過4個子節(jié)點(diǎn)構(gòu)成父節(jié)點(diǎn)，然后4個父節(jié)點(diǎn)再進(jìn)行計算，從而完成整幅影像的勻光處理，此方法受分幅影像數(shù)量的局限，還會因過度計算造成灰度信息損失。

針對現(xiàn)有調(diào)整順序存在的問題，本文提出一種新的加權(quán)調(diào)整方法(如圖1(e)所示)，其基本思想是：除首行、首列采用左影像基準(zhǔn)和上影像基準(zhǔn)調(diào)整外，其余影像全部以左邊和上邊的影像為原始參考標(biāo)準(zhǔn)，求取加權(quán)閾值，調(diào)整目標(biāo)影像，依此類推，直到整個大幅面影像的色調(diào)調(diào)整為一致。例如，首先以影像11分別調(diào)整影像12和影像21，然后再以影像12和21為參考影像，通過加權(quán)系數(shù)調(diào)整目標(biāo)影像22，以此類推，直至所有影像調(diào)整完為止。這樣可以有效避免條帶現(xiàn)象的產(chǎn)生，而且可以減小誤差在調(diào)整過程中的空間傳遞和累積，同時還能避免過度計算問題。

圖1 不同影像調(diào)整順序示意圖

2.2 參數(shù)計算

傳統(tǒng)的Wallis勻光涉及一幅參考影像和待處理影像，然而，在改進(jìn)的調(diào)整方法中，一幅待處理影像的參考影像可能會是兩幅影像，因此Wallis勻光參數(shù)需要采用加權(quán)法求取。本研究采用邊界搜索和加權(quán)法計算勻光參數(shù)，其基本思想如下：將相鄰兩幅影像定義為a和b(如圖2所示)，水平相鄰邊界區(qū)域分別為a_right、b_left，垂直相鄰邊界區(qū)域分別為a_bottom、b_top，采用搜索邊界區(qū)域影像方差最小時的行列數(shù)m、n為閾值。如果待校正影像位于首行或首列，可以直接計算參考影像和待校正影像閾值范圍內(nèi)的均值mk、mf和方差sk、sf，并采用式(3)進(jìn)行勻光處理。若待校正影像以其左影像和上影像為參考，則需求取待校正影像與左影像局部閾值范圍內(nèi)的均值mk1、mf1和方差sk1、sf1，以及待校正影像與上影像局部閾值范圍內(nèi)的均值mk2、mf2和方差sk2、sf2，然后采用式(4)求取加權(quán)Wallis勻光參數(shù)。

圖2 局部閾值選取

(4)

式中，P1、P2是權(quán)重系數(shù)，它們與相鄰影像取到的局部閾值區(qū)域有關(guān)。因為Wallis勻光的目的是將原始影像的均值調(diào)整到目標(biāo)影像的均值，二者的均值差反映了調(diào)整的程度，以均值差計算權(quán)重系數(shù)可以確保調(diào)整后影像的灰度與相鄰兩幅影像的灰度值最接近，具體計算公式如下

(5)

3 試驗與分析

資源三號(ZY-3)衛(wèi)星是我國第一顆自主的民用高分辨率立體測繪衛(wèi)星，搭載了4臺光學(xué)相機(jī)，其中包括一臺地面分辨率2.1 m的正視全色TDI CCD相機(jī)、兩臺地面分辨率3.6 m的前視和后視全色TDI CCD相機(jī)、一臺地面分辨率5.8 m的多光譜相機(jī)。試驗將前后視資源三號影像分割成512×512像素的影像塊，采用盲超分辨率重建算法進(jìn)行2倍的超分辨率重建[18]，重建后影像分辨率為1.8 m，大小為1024×1024像素。本部分采用Matlab編程實現(xiàn)不同的勻光算法，對超分辨率重建后的影像進(jìn)行勻光處理并進(jìn)行評價分析。

3.1 不同勻光算法的勻光試驗

對于多幅影像間的勻光處理，所有勻光算法均會受影響調(diào)整順序的影響。因此，采用直方圖匹配和Wallis濾波兩種方法對兩幅影像(如圖3(a)和(b)所示)進(jìn)行勻光試驗，對比分析兩種方法的勻光效果。直方圖匹配方法雖然在一定程度上削弱了兩幅影像的色彩差異，但是拼接結(jié)果仍然有拼接縫現(xiàn)象(如圖3(d)所示)，而且由于影像灰度級相對距離的改變，影像產(chǎn)生了色彩偏差。Wallis勻光算法很好地實現(xiàn)了整幅影像的色彩一致性，影像拼接結(jié)果觀察不到拼接縫(如圖3(e)所示)，取得了理想的勻光拼接效果。

圖3 不同勻光算法效果對比

3.2 不同調(diào)整順序的Wallis勻光效果

本文選取反差突出的64幅影像進(jìn)行對比分析，采用所提方法進(jìn)行勻光拼接試驗，并將拼接結(jié)果與現(xiàn)有4種調(diào)整順序(如圖1所示)的效果進(jìn)行對比，試驗結(jié)果如圖4所示。從目視效果來看，左影像基準(zhǔn)和上影像基準(zhǔn)的圖像出現(xiàn)了明顯的條帶，沒有達(dá)到勻光的目的；左影像交叉方法沒有明顯的拼接縫；四叉樹方法由于過度計算出現(xiàn)了信息損失和拼接縫現(xiàn)象，效果不太理想；本文方法有效減少了影像之間的亮度和反差差異，拼接影像整體色調(diào)一致，沒有拼接縫現(xiàn)象，表明該方法對超分辨率重建影像有較好的勻光效果和能力。

圖4 各影像局部比較

3.3 大幅面影像的勻光試驗

為了更進(jìn)一步驗證本文方法對大幅面超分辨率重建影像的勻光能力，本文采用900幅影像進(jìn)行勻光拼接試驗，最終結(jié)果如圖5所示?？梢钥闯觯航?jīng)過改進(jìn)的加權(quán)Wallis勻光算法處理后，拼接結(jié)果整體圖幅達(dá)到了亮度和反差一致性，沒有明顯的拼接接縫，取得了比較好的勻光拼接效果。為了能夠定量地分析試驗效果，統(tǒng)計比較初匹配后各分塊影像和勻光后各分塊影像的均值和標(biāo)準(zhǔn)差，初匹配后各分塊影像均值最小值為36.44，最大值為216.5，方差最小值為10.14，最大值為49.79，勻光后各分塊影像亮度均值最小值為107.5，最大值為217.5，方差最小值是4.18，最大值是32.26。通過比較數(shù)據(jù)可以得知:經(jīng)加權(quán)Wallis勻光算法處理后，各分塊影像的亮度均值和方差變化范圍明顯縮小，表明分塊影像的亮度在整體上趨于一致，影像之間的反差明顯減小。

為了更加直觀地說明本次試驗的勻光效果，將各分塊影像統(tǒng)計參數(shù)繪制成亮度均值分布曲線和方差分布曲線(如圖6所示)。由圖6可以看出：勻光處理前各分塊影像的亮度均值和方差變化非常劇烈，表明影像的亮度和反差分布非常不均勻；勻光后影像的亮度和反差分布變化緩慢，說明所提勻光算法使影像基本實現(xiàn)了亮度、反差一致性，取得了較好的勻光效果。

圖5 加權(quán)Wallis勻光拼接結(jié)果

圖6 分塊影像勻光前后均值和方差分布曲線

4 結(jié) 語

Wallis勻光算法的意義在于消除區(qū)域范圍內(nèi)不同影像之間色調(diào)、亮度、反差等存在的不同程度的差異，但現(xiàn)有算法只能適用于小范圍、少數(shù)圖幅的勻光處理。針對大幅面超分辨率重建影像亮度不一致、反差不一致的現(xiàn)象，本文提出了一種改進(jìn)的加權(quán)Wallis勻光拼接算法，對影像調(diào)整順序做出了一定的改進(jìn)，避免了誤差在空間上的傳播與累積，具有更廣泛的適用能力，可應(yīng)用于大型影像數(shù)據(jù)庫的入庫、制圖等。

在影像云光處理過程中，圖像中大面積的水域、霧靄等對勻光效果影響較大，應(yīng)先將其除去再進(jìn)行勻光計算。但如何高效、準(zhǔn)確地檢測這些特殊區(qū)域，提高勻光效果，仍需進(jìn)一步的研究與探索。此外，針對超大幅面遙感影像勻光一致性的客觀評價標(biāo)準(zhǔn)亟待提出，以更有效地評價本文算法的精度和準(zhǔn)確性。

[1] HARRIS J L. Diffraction and Resolving Power[J]. JOSA, 1964, 54(7): 931-936.

[2] GOODMAN J W. Introduction to Fourier Optics[M]. 2nd ed. New York: McGraw-Hill, 1969.

[3] 沈煥鋒,李平湘,張良培,等. 圖像超分辨率重建技術(shù)與方法綜述[J].光學(xué)技術(shù), 2009, 35(2):194-199.

[4] 李德仁, 王密, 潘俊. 光學(xué)遙感影像的自動勻光處理及應(yīng)用[J]. 武漢大學(xué)學(xué)報 (信息科學(xué)版), 2006, 31(9): 753-756.

[5] 程培英, 沈會良. 一種光照不均勻圖像的恢復(fù)增強(qiáng)方法[J]. 計算機(jī)應(yīng)用與軟件, 2008, 25(10): 52-54.

[6] PAN X B, BRADY M, BOWMAN A K, et al. Enhance-ment and Feature Extraction for Images of Incised and Ink Texts[J]. Image and Vision Computing, 2004, 22(6): 443-451.

[7] OR SINI G,RAMPONI G,CARRAI P,et al. A Modified Retinex for Image Contrast Enhancement and Dynamics Control[C]∥Proceedings of ICIP 2003.Barcelona: IEEE, 2003: 14-17.

[8] 朱寶山, 張振, 因倩. 采用 LRM 均值-方差規(guī)定化的遙感影像不均勻性校正[J]. 測繪科學(xué)技術(shù)學(xué)報, 2010, 27(2): 105-108.

[9] KIM M, CHUNG M G. Recursively Separated and Weighted Histogram Equalization for Brightness Preservation and Contrast Enhancement[J].IEEE Transactions on Consumer Electronics, 2008,54(3): 1389-1397.

[10] 王博,張永軍,陳奇. 一種改進(jìn)的自適應(yīng)Wallis濾波算法[J].測繪科學(xué). 2015,40(5):95-98.

[11] 張力,張祖勛,張劍清. Wallis濾波在影像匹配中的應(yīng)用[J].武漢測繪科技大學(xué)學(xué)報, 1999, 24(1):24-27.

[12] 王密, 潘俊. 面向無縫影像數(shù)據(jù)庫應(yīng)用的一種新的光學(xué)遙感影像色彩平衡方法[J]. 國土資源遙感, 2006(4): 10-13.

[13] 張登榮,俞樂,張漢奎,等. 光學(xué)遙感影像快速鑲嵌方法[J].浙江大學(xué)學(xué)報(工學(xué)版),2009,43(11):1988-1993.

[14] 周麗雅, 秦志遠(yuǎn), 尚煒, 等. 反差一致性保持的影像勻光算法[J]. 測繪科學(xué)技術(shù)學(xué)報, 2011, 28(1): 46-49.

[15] 王燁,張漢松. 面向地圖制圖的Wallis勻光算法研究[J].科技創(chuàng)新與應(yīng)用,2014(22):32-33.

[16] 曹彬才, 朱寶山, 李潤生, 等. 用于單幅影像勻光的 Wallis 算法[J]. 測繪科學(xué)技術(shù)學(xué)報, 2012, 29(5): 373-377.

[17] 易堯華, 龔健雅, 秦前清. 大型影像數(shù)據(jù)庫中的色調(diào)調(diào)整方法[J]. 武漢大學(xué)學(xué)報(信息科學(xué)版), 2003, 28(3): 311-314.

[18] CRISTOBAL G, SROUBEK F, FLUSSER J. Multi-frame Blind Deconvolution Coupled with Frame Registration and Resolution Enhancement[J]. Blind Image Deconvolution (Theory and Applications), 2007(3):3.