多幀距離選通圖像點(diǎn)擴(kuò)散函數(shù)估計(jì)的超分辨率重建

許廷發(fā)，羅　璇，蘇　暢，卞紫陽(yáng)

(北京理工大學(xué) 光電學(xué)院 光電成像技術(shù)與系統(tǒng)教育部重點(diǎn)實(shí)驗(yàn)室，北京 100081)

?

多幀距離選通圖像點(diǎn)擴(kuò)散函數(shù)估計(jì)的超分辨率重建

許廷發(fā)*，羅璇，蘇暢，卞紫陽(yáng)

(北京理工大學(xué) 光電學(xué)院 光電成像技術(shù)與系統(tǒng)教育部重點(diǎn)實(shí)驗(yàn)室，北京 100081)

為了解決水下激光距離選通圖像成像過(guò)程中退化模型復(fù)雜的難題，提出了利用連續(xù)幀圖像估計(jì)點(diǎn)擴(kuò)散函數(shù)的距離選通超分辨成像方法。首先，從連續(xù)幀圖像中選取一幀為參考幀作為初始清晰圖像，下一幀圖像為模糊圖像，用梯度約束的方法求出點(diǎn)擴(kuò)散函數(shù)，用于優(yōu)化清晰圖像；然后，依次將后續(xù)幀圖像當(dāng)作模糊圖像與清晰圖像交替迭代求取點(diǎn)擴(kuò)散函數(shù)并優(yōu)化更新清晰圖像；最后獲得的清晰圖像與參考幀圖像用乘法更新的方法估計(jì)點(diǎn)擴(kuò)散函數(shù)，結(jié)合凸集投影法算法進(jìn)行超分辨率成像重建。仿真實(shí)驗(yàn)結(jié)果表明，改進(jìn)的算法重建圖像分辨率和質(zhì)量明顯優(yōu)于原始的算法。

水下圖像；超分辨率重建；點(diǎn)擴(kuò)散函數(shù)；凸集投影法

1　引　言

江河、海洋和地下水資源的勘探、開(kāi)發(fā)和利用以及領(lǐng)海主權(quán)的防衛(wèi)需要水下高分辨力的成像裝備。水下光電成像技術(shù)分辨力高，且成像直觀快速，是水下設(shè)備的必需技術(shù)。為提高水下成像的作用距離，人們提出了6類探測(cè)技術(shù)：時(shí)間區(qū)分/距離選通光電成像技術(shù)、空間區(qū)分/激光同步線掃描技術(shù)、結(jié)構(gòu)光成像技術(shù)、調(diào)制/解調(diào)去除散射光技術(shù)、偏振區(qū)分技術(shù)和多視角圖像構(gòu)造技術(shù)[1]。其中水下激光距離選通成像技術(shù)是水下最有效的光電成像技術(shù)。然而，水下激光距離選通成像技術(shù)噪聲量大、對(duì)比度差、照明不均勻，需要后期的超分辨率圖像處理技術(shù)改善圖像質(zhì)量[2-4]。

近年來(lái)，人們一直在研究超分辨率重建技術(shù)[5-7]。然而關(guān)于超分辨率重建技術(shù)在水下應(yīng)用的研究相對(duì)較少，Sun Xiaodan[8]等人使用稀疏表示的方法，對(duì)水下圖像同時(shí)進(jìn)行增強(qiáng)和超分辨率重建處理，取得了一定的效果；羅濤、楊宗元[9]等人根據(jù)水下光束傳播理論、水下湍流特性、傳感器衍射極限等因素建立了水下成像模型，并用于傳統(tǒng)的超分辨率重建算法中，實(shí)現(xiàn)水下圖像重建；諶雨章、楊悅[10]等人將幾種經(jīng)典的點(diǎn)擴(kuò)散函數(shù)模型以及基于光線傳播的點(diǎn)擴(kuò)散模型結(jié)合到凸集投影法(POCS)中，實(shí)現(xiàn)了水下圖像重建。

退化函數(shù)在超分辨率算法中是重要的先驗(yàn)知識(shí)。然而在不同的水域和光照條件下，水下圖像的退化程度差異很大，退化函數(shù)具有不確定性。目前對(duì)于水下圖像的退化模型尚鮮見(jiàn)系統(tǒng)定量的研究。本文針對(duì)水下激光距離選通圖像成像過(guò)程中退化模型復(fù)雜難題，提出了利用連續(xù)幀圖像估計(jì)點(diǎn)擴(kuò)散函數(shù)的方法。通過(guò)水下激光距離選通拍攝的連續(xù)幀圖像估計(jì)點(diǎn)擴(kuò)散函數(shù)，并結(jié)合到POCS算法中，提高水下圖像的分辨率。

2　多幀點(diǎn)擴(kuò)散函數(shù)估計(jì)的超分辨成像

2.1水下激光距離選通成像基本原理

激光距離選通成像的原理如圖1所示。水體的光學(xué)窗口大致在480～550 nm，所以水下距離選通成像方式常以Nd∶YAG固體脈沖激光器作為照射光源[11]，T0時(shí)刻激光發(fā)射入射光照明目標(biāo)物體，由于ICCD探測(cè)器上的選通門關(guān)閉，水體的大量后向散射光不能進(jìn)入探測(cè)器，探測(cè)完整目標(biāo)所需時(shí)間ΔT，T1時(shí)刻目標(biāo)反射光到達(dá)探測(cè)器，選通門開(kāi)啟ΔT的時(shí)間，ICCD對(duì)探測(cè)目標(biāo)完整成像，由此可屏蔽掉大部分的水體后向散射光，增加水下光電成像系統(tǒng)的作用距離。水下距離選通成像技術(shù)的應(yīng)用，可以將水下光電成像設(shè)備的探測(cè)距離提高3～5倍[12-13]。

圖1　激光距離選通成像的原理 Fig.1　Principle of laser range-gated imaging

2.2改進(jìn)的POCS算法

POCS算法可以分為以下幾步[14]：

(1)選擇觀測(cè)序列圖像(低分辨率圖像)中的一幀作為參考幀，并對(duì)其采用雙三次線性插值，使其作為高分辨率圖像的初始估計(jì)。

(2)對(duì)觀測(cè)序列作運(yùn)動(dòng)估計(jì)并在運(yùn)動(dòng)向量場(chǎng)中找到該像素映射到當(dāng)前估計(jì)的高分辨率圖像中的像素位置，以及PSF作用下的像素。

(3)模擬圖像獲取過(guò)程，得到該像素的估計(jì)值，并計(jì)算估計(jì)值與實(shí)際像素值之間的殘差。如果殘差超出給定的殘差限，則需對(duì)估計(jì)值進(jìn)行修正。

(4)修正迭代當(dāng)前的高分辨率估計(jì)，直至達(dá)到可以接受的范圍。

其中PSF表示點(diǎn)擴(kuò)散函數(shù)，它是許多光學(xué)成像系統(tǒng)中常見(jiàn)的降質(zhì)函數(shù)，其可以表達(dá)成

(1)

式中，σ為標(biāo)準(zhǔn)差，決定了模糊程度；Sh為h(x,y)的支撐域；C為歸一化常數(shù)，用來(lái)使模糊的PSF的系數(shù)之和等于1，通常也通過(guò)這種特性求解常數(shù)C。

(2)

式中，ω×ω為h(m1,m2;n1,n2)支撐域的大小。于是，觀測(cè)幀中實(shí)際像素值與估計(jì)的高分辨率圖像像素值之間的殘差可以表示為:

(3)

如果殘差r超出設(shè)定的誤差限σ，則對(duì)當(dāng)前估計(jì)圖像按下式修正：

(4)

傳統(tǒng)的POCS方法中，點(diǎn)擴(kuò)散函數(shù)h的支撐域一般采用5×5的矩陣塊:

(5)

然而，在水下成像環(huán)境中，成像的退化模型較復(fù)雜，僅僅使用固定的PSF模型并不能很好地表示圖像的退化。因此，本文提出一種用連續(xù)的圖像序列估計(jì)PSF。

假定a表示點(diǎn)擴(kuò)散函數(shù)PSF，圖像的退化同樣可以看作是一個(gè)線性的過(guò)程:

(6)

式中，x表示清晰圖像，y表示模糊圖像，A表示圖像線性變化的矩陣，*表示卷積運(yùn)算。同樣存在一個(gè)矩陣X，使得這個(gè)線性過(guò)程可以表示為：

(7)

則如果已知A和y則可以通過(guò)min‖Ax-y‖2，求解x；同樣，已知x和y可以通過(guò)min‖Xa-y‖2求解a。這兩個(gè)求解最小化問(wèn)題本質(zhì)上是非負(fù)最小二乘問(wèn)題的特殊情況，z=argminZ≥0‖Bz-y‖2。本文使用一種盲解卷積的方法求解z[15-16]，具體方法如下：

(1)利用z的梯度約束優(yōu)化： 2BT(Bz-y)

(2)使用乘法更新迭代:

(8)

式中⊙，表示矩陣中對(duì)應(yīng)元素相乘。

在已知模糊圖像和清晰圖像的情況時(shí)，可以使用梯度約束優(yōu)化的方法求取點(diǎn)擴(kuò)散函數(shù)；在已知點(diǎn)擴(kuò)散函數(shù)和模糊圖像時(shí)，可以通過(guò)乘法更新的方法復(fù)原得到清晰圖像。

通過(guò)連續(xù)的觀測(cè)圖像序列y(0),…,y(s-1)和對(duì)應(yīng)噪聲n，利用公式:

(9)

可以復(fù)原得到圖像x，求得A。式中，噪聲n(t)假定為均值為0的高斯型噪聲。改進(jìn)的算法步驟：

(1)將第一幀觀測(cè)圖像作為參考幀，并作為清晰圖像的初始值x(1)，用x(1)和第2幀觀測(cè)圖像y(2)用梯度約束的方法求得PSF、A(1)。

(2)此時(shí)，將清晰圖像x(1)當(dāng)作模糊圖像，用求得的A(1)和x(1)用乘法更新迭代求得清晰圖像x(2)。

(3)用清晰圖像x(2)和第3幀觀測(cè)圖像y(3)梯度約束求得PSF、A(2)。用A(2)和x(2)乘法更新求得清晰圖像x(3)。

(4)重復(fù)這個(gè)過(guò)程直到最后一幀圖像y(n)，用y(n)和清晰圖像x(n-1)梯度約束求得PSF、A(n-1)并用乘法更新求得最終的清晰圖像x(n)。

這樣即可通過(guò)連續(xù)的圖像序列求取得到復(fù)原圖像。

(5)將參考幀x(1)作為模糊圖像和最終求得的清晰圖像x(n)用梯度約束即可求得全局的點(diǎn)擴(kuò)散函數(shù)a(n)。

(6)將a(n)帶入到POCS算法中替換點(diǎn)擴(kuò)散函數(shù)模型h，改進(jìn)POCS算法。

3　評(píng)價(jià)指標(biāo)的選取

圖像灰度平均梯度是將圖像長(zhǎng)度、寬度方向上相鄰像素灰度值求差后再平方求均方根，能反映圖像的紋理變化特征，值越大表示圖像越清晰，質(zhì)量越好：

(10)

式中，M和N分別表示重建結(jié)果圖像的行和列，g(i，j)表示圖像在(i，j)點(diǎn)上的像素。

拉普拉斯梯度模是在每個(gè)像素點(diǎn)的3×3領(lǐng)域內(nèi)使用拉普拉斯算子進(jìn)行8領(lǐng)域微分，最后求和。LS值越大，則像素點(diǎn)附近灰度值變化越大，輪廓越清晰:

(11)

4　仿真實(shí)驗(yàn)及效果

根據(jù)實(shí)驗(yàn)原理搭建水下距離選通實(shí)驗(yàn)平臺(tái)，如圖2所示。

圖2　距離選通實(shí)驗(yàn)平臺(tái) Fig.2　Range-gated experiment platform

各部分具體參數(shù)如下：

(1)激光器參數(shù):

a) 法國(guó) Quantel公司的Brilliant燈泵浦 Nd:YAG調(diào) Q 激光器;

b) 波長(zhǎng)為532 nm;

c) 脈沖能量為160 mJ;

d) 激光脈寬為4 ns。

(2)ICCD參數(shù):

a) 相增強(qiáng)器分辨率為72 lp/mm;

b) 重頻為1～50 MHz;

c) 亮度增益為30 000 lm/m2/lx;

d) 光纖耦合方式。

(3)CCD相機(jī)在數(shù):

a) 韓國(guó) GENICAM 型號(hào)為MV-B(C)U10G的 CCD網(wǎng)口相機(jī)；

b) 像元大小為4.4 μm；

c) 最大幀頻為20 fps；

d) 最大采集1 628×1 236像素的24位RGB圖像。

模擬水下環(huán)境的管道以及實(shí)驗(yàn)靶標(biāo)如圖3、圖4所示。

圖3　水下環(huán)境管道 Fig.3　Pipeline of underwater environment

圖4　實(shí)驗(yàn)靶標(biāo) Fig.4　Experimental target

實(shí)驗(yàn)一：

在清水(衰減長(zhǎng)度約3AL)環(huán)境下，對(duì)距離相機(jī)12 m處的靶標(biāo)進(jìn)行拍攝，選取其中連續(xù)的4幀圖像，如圖5所示。

圖5　連續(xù)的4幀觀測(cè)圖像 Fig.5　Four frames of consecutive observation images

圖6　重建結(jié)果 Fig.6　Reconstruction results

對(duì)得到的圖像分別采用原始的POCS算法和改進(jìn)的POCS算法進(jìn)行處理，重建效果如圖6所示。 對(duì)圖像中紅色區(qū)域進(jìn)行放大，放大后的圖像如圖7所示。

圖7　放大部分圖像對(duì)比 Fig.7　Images contrast of enlarged region

可以看到改進(jìn)后的算法圖像分辨率明顯高于原始算法，并且圖像質(zhì)量更好，選用灰度平均梯度、拉普拉斯梯度膜、圖像質(zhì)量統(tǒng)計(jì)參數(shù)作為圖像的評(píng)價(jià)標(biāo)準(zhǔn)，評(píng)價(jià)結(jié)果如表1所示。

表1　實(shí)驗(yàn)一算法效果對(duì)比Tab.1　Comparation with two methods in the experiment Ⅰ

改進(jìn)算法重建結(jié)果各項(xiàng)指標(biāo)均高于原始算法。可以得出，改進(jìn)后的算法重建效果明顯由于原算法。

實(shí)驗(yàn)二

在渾濁水體(衰減長(zhǎng)度7-8AL)環(huán)境下，對(duì)距離相機(jī)20 m處的靶標(biāo)進(jìn)行拍攝，選取其中連續(xù)的4幀圖像，并對(duì)其分別采用原始的POCS算法和改進(jìn)的POCS算法進(jìn)行重建，如圖8所示。

圖8　算法效果對(duì)比 Fig.8　Comparation of obtained images with two methods

同樣選用圖像灰度平均梯度、拉普拉斯梯度膜、圖像質(zhì)量統(tǒng)計(jì)參數(shù)作為圖像的評(píng)價(jià)標(biāo)準(zhǔn)，結(jié)果如表2所示。

表2　實(shí)驗(yàn)二算法效果對(duì)比Tab.2　Comparation with two methods in the experiment Ⅱ

對(duì)比表2中的數(shù)據(jù)可知，改進(jìn)的POCS算法處理得到的高分辨率圖像的圖像質(zhì)量明顯優(yōu)于原始的POCS算法處理得到的圖像。

4　結(jié)　論

本文針對(duì)水下激光距離選通圖像成像過(guò)程中退化模型復(fù)雜的難題，提出通過(guò)連續(xù)幀圖像求解點(diǎn)擴(kuò)散函數(shù)的方法，介紹了該方法的原理和求解過(guò)程，并將算法運(yùn)用到POCS算法中，改進(jìn)了POCS算法。實(shí)驗(yàn)結(jié)果證明：改進(jìn)的后的算法重建圖像分辨率和質(zhì)量明顯優(yōu)于原算法。

[1]張平,邱衛(wèi)根,劉效東,等.一種遠(yuǎn)距離水下光電成像的方法[J].應(yīng)用光學(xué),2014,35(5):756-760.

ZHANG P,QIU W,LIU X D,etal.. Method for enhancing distance in photoelectronic imaging under water[J].J.AppliedOptics,2014,35(5):756-760.(in Chinese)

[2]宋建中.圖像處理智能化的發(fā)展趨勢(shì)[J].中國(guó)光學(xué),2011,4(5):431-441.

SONG J ZH. Development trend of image processing intelligence[J].ChineseOptics,2011,4(5):431-441.(in Chinese).

[3]鄧建青,劉晶紅,劉鐵軍.基于DSP系統(tǒng)的超分辨率圖像重建技術(shù)研究[J].液晶與顯示,2012,27(1):114-120.

DENG J Q,LIU J H,LIU T J. Super-resolution image reconstruction technology based on DSP system[J].ChineseJ.LiquidCrystalsandDisplays,2012,27(1):114-120.(in Chinese)

[4]徐美芳,劉晶紅.基于邊緣保持的航拍圖像凸集投影超分辨率重建算法[J].液晶與顯示,2010,25(6):873-877.

XU M F,LIU J H. Super-resolution image reconstruction of aerial photography based on projection onto convex sets[J].ChineseJ.LiquidCrystalsandDisplays,2010,25(6):873-877.(in Chinese)

[5]趙欣慰.水下成像與圖像增強(qiáng)及相關(guān)應(yīng)用研究[D].浙江:浙江大學(xué),2015.

ZHAO X W. The research on underwater imaging underwater image enhancement and relevant applications[D]. Zhejiang:Zhejiang University,2015.(in Chinese)

[6]劉妍妍,張新,張建萍.超分辨重建技術(shù)及其研究進(jìn)展[J].中國(guó)光學(xué),2009,2(2):102-111.

LIU Y Y,ZHANG X,ZHANG J P. Super resolved reconstruction technologies and recent evolution[J].ChineseOptics,2009,2(2):102-111.(in Chinese)

[7]陳健,高慧斌,王偉國(guó),等.超分辨率復(fù)原方法相關(guān)原理研究[J].中國(guó)光學(xué),2014,7(6):897-910.

CHEN J,GAO H B,WANG W G,etal.. Correlation theory of super-resolution restoration method[J].ChineseOptics,2014,7(6):897-910.(in Chinese)

[8]SUN X D,ZHANG ZH,ZHANG X W. Image processing and sparse resolution for under water imaging[J].AppliedMechanicsandMaterials,2014,599:1544-1547.

[9]羅濤,楊宗元,諶雨章,等.基于水下成像系統(tǒng)模型的水下圖像超分辨率重建技術(shù)研究[J].光學(xué)與光電技術(shù),2013(3):35-40.

LUO T,YANG ZH Y,SHEN Y ZH,etal.. Underwater imaging super-resolution reconstruction based on imaging model[J].OpticsandOptoelectronicTechnology,2013(3):35-40.(in Chinese)

[10]諶雨章,楊悅,譚海燕.基于點(diǎn)擴(kuò)散函數(shù)模型的激光水下圖像重建[J].科技視界,2015,(1):86-87+95.

SHEN Y ZH,YANG Y,TAN H Y. Underwater laser imaging restoration based PSF model[J].ScienceandTechnologyVision,2015,(1):86-87+95.

[11]趙陽(yáng)，蓋志剛，趙杰,等.距離選通水下激光成像技術(shù)研究[J].物流工程與管理,2014,(7):269-270.

ZHAO Y,GAI ZH G,ZHAO J,etal.. Research on range-gated underwater laser imaging technology[J].LogisticsEngineeringandManagement,2014,(7):269-270.

[12]KOCAK D M,DALGLEISH F R,CAIMI F M,etal.. A focus on recent developments and trends in underwater imaging[J].MarineTechnologySocietyJournal,2008,42(1):52-67.

[13]金偉其,王霞,曹峰梅.水下光電成像技術(shù)與裝備研究進(jìn)展(下)[J].紅外技術(shù),2011,33(3):125-132.

JIN W Q,WANG X,CAO F M. Review of underwater opto-electrical technology and equipment(Ⅱ)[J].InfraredTechnology,2011,33(3):125-132.

[14]楊婷.基于POCS的紅外圖像超分辨率重建算法研究[D].西安:西安電子科技大學(xué),2013.

YANG T. Research on the algorithm of super-resolution reconstruction of infrared images based on POCS[D]. Xi′an:Xidian University,2013.

[15]HIRSCH M,SRA S,SCHOLKOPF B,etal.. Efficient filter flow for space-variant multiframe blind deconvolution[C]. IEEE Conference on Computer Vision and Pattern Recognition,San Francisco,CA,USA,June 13-18,2010:607-614.

[16]HARMELING S,HIRSCH M,SRA S,etal.. Online blind deconvolution for astronomical imaging[C]. Computational Photography(ICCP),2009 IEEE International Conference on. IEEE,2009:1-7.

[17]JOBSON D J,RAHMAN Z,WOODELL G A. The Statistics of visual representation[C]. Proceedings of the International Society Optical Engineering Visual Information Proceeding. Washington DC,USA:SPIE Press,2002:25-35.

Super-resolution reconstruction of multiformat laser range-gated image by the estimate of point-spread function

XU Ting-fa*, LUO Xuan, SU Chang, BIAN Zi-yang

(KeyLaboratoryofPhotoelectronicImagingTechnologyandSystemofMinistryofEducation,SchoolofOptoelectronics,BeijingInstituteofTechnology,Beijing100081,China)

,E-mail:xutingfa@163.com

In order to solve the problem of complicated degeneration model of underwater laser range-gated imaging system,a method to estimate point spread function(PSF) by continuous image sequence is presented. At first, a reference image is selected from continuous image sequence as initialized clear image and next sequence image is used as blurred image. PSF can be estimated by constrained optimization using its gradient . The clear image can be optimized and updated by PSF. Then following images are all defined as blurred image to calculate PSF with clear image. Clear image is updated by the PSF. At last, a final clear image can be got from continuous image sequence. PSF of the whole sequence can be estimated by multiplicative updates of reference image and the final clear image. Projection onto convex sets(POCS) can be optimized by the PSF and the super resolution reconstruction can be made. The stimulation results show that the resolution and quality of reconstruction image obtained by improved algorithm are much better than that of orginal ones.

underwater image;super resolution reconstruction;point spread function;projection onto convex sets

2015-12-03；

2016-01-08

國(guó)家國(guó)際科技合作專項(xiàng)資助項(xiàng)目(No.2014FR10960)

2095-1531(2016)02-0226-08

TP751.1

A

10.3788/CO.20160902.0226

許廷發(fā)(1968—)，男，黑龍江肇東人，博士，教授，博士生導(dǎo)師，1992年、2000年于東北師范大學(xué)分別獲得學(xué)士、碩士學(xué)位，2004年于中國(guó)科學(xué)院長(zhǎng)春光學(xué)精密機(jī)械與研究所獲得博士學(xué)位，2006年于華南理工大學(xué)電子與信息學(xué)院完成博士后工作，主要從事光電成像探測(cè)與識(shí)別等方面的研究。E-mail:xutingfa@163.com

Supported by National International Cooperation Special Project of Science and Technology of China(No.2014FR10960)