多尺度水下偏振成像方法?

韓平麗劉飛張廣陶禹邵曉鵬

1)(西安電子科技大學物理與光電工程學院,西安 710071)

2)(中國科學院長春光學精密機械與物理研究所,應用光學國家重點實驗室,長春 130033)

3)(陸軍炮兵防空兵裝備技術研究所,北京 100012)

4)(北京理工大學,北京 100081)

(2017年9月11日收到;2017年11月14日收到修改稿)

1 引 言

水下光學成像技術因結構簡單、圖像分辨率高、易解析等優點,在海洋資源勘探、海底環境監測、海洋搜救及軍事偵察領域具有重要應用價值[1?3].由于水中懸浮的微小粒子、可溶性有機物等混沌介質及氣泡等非均勻性因素對光波產生嚴重的散射作用[4],背景散射光疊加在目標彈道光上形成噪聲,使得圖像產生一層“霧”的感覺,導致圖像對比度大幅降低,細節信息嚴重丟失[5].因此,有效去除背景散射光,提供清晰的高對比度圖像在水下光學成像領域具有重要研究價值.

近年來,國內外許多學者均對水下成像技術開展了研究[6?9],其中水下偏振成像技術由于結構簡單,性價比高等特點備受關注[10?12].以Huang等[13],Schechner等[14]以及Gilbert和Pernicka[15]的研究為代表,利用散射光的偏振特性分離場景中目標信息光和背景散射光,可獲取清晰的目標圖像.水下偏振成像技術的研究重點普遍集中于背景散射光和目標信息光分離算法的改進,但重建圖像受限問題長期困擾水下偏振成像技術的廣泛應用,究其原因,與上述兩部分光分離過程中產生的噪聲放大現象不無關系.本研究針對以上問題,利用圖像分層思想,結合小波變換的多尺度特性,全面考慮散射光的空間特性和頻譜特性,提出多尺度水下偏振成像方法,用以解決傳統水下偏振成像技術中存在的噪聲放大問題及其導致的成像質量受限問題.

多尺度水下偏振成像方法的核心在于對于目標和背景差異較明顯的高對比度基礎層利用聯合雙邊濾波進行處理;而對目標本身對比度較低但細節信息豐富的細節層進行多尺度小波收縮處理,最后通過小波逆變換進行圖像重建.大量水下偏振成像實驗結果證明該方法不僅有效抑制了偏振成像過程中的噪聲放大,而且能夠顯著提高重建圖像對比度,豐富圖像細節,提供更多有效的目標信息.

2 水下偏振成像方法

2.1 水下偏振成像模型

水體的吸收作用主要導致光波能量的損失,散射才是影響成像質量的主要原因[16].水下偏振成像技術通過提取光波偏振信息并利用其分離背景散射光和目標信息光,獲得清晰的目標圖像[17].由圖1所示水下偏振成像原理示意圖可知,探測器所接收到的總光強ETotal由兩部分構成,分別為經水中粒子散射并被探測器接收到的背景散射光EBS和經目標反射最終到達探測器的目標信息光ETI,二者之間存在如下所示的物理關系:

其中目標信息光ETI的圖像形式為目標場景清晰圖像,可知獲取水下清晰圖像的關鍵在于將背景散射光EBS從總圖像中分離,得到目標信息光ETI.結合光波的偏振特性,ETotal,EBS和ETI間的關系可以細化為如(2)式所示的形式[18]:

結合(1)—(3)式,可以將背景散射光EBS和目標信息光ETI的分布情況分別表示為偏振度的函數:

圖1 水下偏振成像原理示意圖Fig.1.Schematic of underwater polarization imaging.

因此,目標信息光與背景散射光能夠有效分離取決于二者偏振度的準確計算.針對這一問題,本文通過改變偏振片透光軸方向采集兩幅偏振子圖像后,選取場景中背景散射光均勻且不含目標的背景區域估算背景散射光偏振度pBS[11].由(4)式可知,任何對目標信息光偏振度pTI的錯誤估計,都會使背景散射光EBS和目標信息光ETI的分離效果變差,使得分離出的背景散射光存在部分目標信息光,增加了背景散射光和目標信息光的相關性,進而影響重建圖像質量.為保證目標信息光偏振度的準確計算,采用互信息IM(mutual information)來衡量背景散射光和目標信息光之間的相關性[20]:

其中,m和n分別為背景散射光圖像EBS和目標信息光圖像ETI的灰度級;prob(m,n)表示聯合概率分布函數;prob(m)和prob(n)為邊緣分布函數.根據互信息的定義,當互信息取最小值時,背景散射光和目標信息光之間相關性最低,此時分離出的背景散射光EBS中將不再包含目標信息光ETI,達到二者的最佳分離效果.在此條件下目標信息光的偏振度pTI能夠取得最佳估計值.圖2(a)為利用互信息估計目標信息光偏振度的示例,圖2(b)為實驗采集的原始水下強度圖像,通過上述背景散射光偏振度估算方法計算得pBS為0.51,此時根據圖2(a)所示互信息計算可得目標信息光偏振度pTI為0.24.在此基礎上,利用水下偏振成像技術分離背景散射光和目標信息光,重建圖像如圖2(c)所示.圖2(d)和(e)分別為原始強度圖像和重建圖像的局部放大結果,相比原始圖像,重建圖像對比度顯著提高,背景散射光得到有效移除,包括細節紋理信息及清晰度在內的圖像整體成像質量得到有效提升.

圖2 目標信息光偏振度計算及重建結果示例 (a)互信息隨目標信息光偏振度的變化;(b)水下原始強度圖像;(c)水下偏振成像算法重建圖像;(d)原始強度圖像局部放大結果;(e)偏振重建圖像局部放大結果Fig.2.pTIcalculation and an example of reconstructed images:(a)MI of EBSand ETIversus pTI;(b)raw image of an underwater scene;(c)reconstructed result of(b)by polarization imaging method;(d)zoomed-in view of the region of interest in(b)marked with a red rectangle;(e)zoomed-in view of the region of interest in(c)marked with a red rectangle.

2.2 水下偏振成像模型噪聲分析

水下偏振成像方法中圖像重建效果依賴于兩幅相互正交的偏振子圖像如(4)式所示,而正交子偏振圖像作為兩個獨立的測量值,與重建圖像呈線性關系.因此,重建圖像中的噪聲方差與兩偏振子圖像的噪聲方差存在如下關系[5]:

式中ETI為重建圖像,為重建圖像的噪聲方差,分別為兩偏振子圖像的噪聲方差.

圖3 噪聲放大倍率隨偏振度pBS和pTI變化示意圖Fig.3.Noise amplification ratio as a function of pBSand pTI.

當背景散射光偏振度和目標信息光偏振度相等時,重建圖像ETI的噪聲方差趨于無窮大,此時水下退化圖像無法得到有效恢復.假設噪聲只與成像系統有關,即σa=σi=σ0成立,此時重建圖像的噪聲方差為

重建圖像噪聲放大倍率σT/σ0和σB/σ0隨偏振度pBS和pTI的變化情況如圖3所示.總體來看,噪聲放大倍率均隨pBS和pTI的增大而減小,但當背景散射光偏振度pBS=1且目標信息光偏振度pTI=0時,重建圖像的噪聲放大倍率達到最小值隨著二者偏振度值越來越接近,噪聲放大倍率逐漸接近,表現為重建圖像中的噪聲增大,目標信號湮沒于噪聲中.因此,水下偏振成像過程中,重建所得的清晰目標圖像中的噪聲方差σT是恒被放大的,且在pBS=pTI時,重建圖像噪聲達到無窮大,此時清晰場景圖像將無法被復原.以圖4所示的原始強度圖像和傳統偏振處理結果的頻譜分布為例,處理后圖像的整體頻譜分布波動明顯增強,這表明在目標得到有效突出的同時,重建圖像中的噪聲被嚴重放大.

圖4 (a)原始圖像(圖2(b))的頻譜分布圖;(b)傳統水下偏振成像算法重建圖像(圖2(c))的頻譜分布圖Fig.4.(a)Spectral distribution of a raw underwater image(2(b));(b)spectral distribution of the reconstructed image(2(c)).

3 多尺度水下偏振成像方法分析

根據2.2節的分析,水下偏振成像中噪聲放大現象是一個不可避免的問題.分析發現,水下偏振圖像主要分為包含目標但與背景差異較明顯的高對比度區域,以及目標本身對比度較低但含有豐富細節信息的低對比度區域兩部分.基于兩部分信息的差異性,本文采用圖像分層處理的思想建立多尺度水下偏振成像方法,重建高對比度、高信噪比的水下圖像.在高對比度的基礎層,利用聯合雙邊濾波法來對噪聲進行相應抑制[21];而在低對比度細節層,結合小波變換的多分辨率特性[22],對其進行多尺度小波收縮處理,最后結合小波逆變換對水下退化圖像進行高質量重建.

清晰的目標場景圖像ETI可以表示為

其中BTI為圖像基礎層,DTI為圖像細節層.基礎層BTI利用

所示的聯合雙邊濾波來進行提取[23],其中ETI(ξ)表示目標場景圖像ETI在ξ處的像素值;w(x,ξ)為雙邊濾波的內核函數,

σs和σr分別表示空間域和變換域的核尺寸,通過控制核尺寸的變化來獲取圖像基礎層;g為導向圖[24].由于雙邊濾波綜合考慮了圖像空間域核和變換域核的信息,故當圖像中像素點x與ξ的歐氏距離或像素值距離增大時,雙邊濾波內核函數都會隨之改變,進而影響圖像基礎層的提取精度.因此,為保證在基礎層的良好保邊去噪效果,同時有效保留原始圖像的紋理信息,通過導向圖g實現對原始圖像的迭代處理,以精確提取圖像基礎層.

通過(8)—(10)式獲取圖像的基礎層和細節層后,結合小波變換的能量集中性和多分辨時頻特性,對細節層圖像進行小波變換處理[25],

其中a為尺度因子,b為反應因子.通過改變尺度因子和反應因子可以獲得任意中心頻率、任意帶寬和任意時間所對應的信號.此外,由于小波變換后的小波系數中幅值較大的部分包含了圖像的重要信息;而幅值較小的部分則被認為是噪聲變換后的系數,故通過選擇雙邊濾波器的核函數w(x,f)作為窗口函數對導向圖和細節層圖像進行變換,保留或收縮小波變換系數,去除圖像噪聲,得到

ψ為小波基函數,GT(x,f)與是定義在時頻窗口Fx中頻率f、尺度因子a及反應位移b的函數;窗口Fx的大小和Np的大小相同.此外,由于直接使用變換域內核會保留均值為零的噪聲信號,丟棄頻率幅值較大的有用信號.而與無用的噪聲信號相比,有用的目標信號在某些頻譜處的幅值比較高.因此,為實現丟棄噪聲信號、保留目標信號的目的,對頻譜系數距離取倒數,定義收縮因子w(x,f),

式中γf主要用來調控變換域像素值核形狀,而在(14)式所示的收縮因子中,導向譜G(x,f)主要起引導作用.對于幅值較高的頻譜(對應原圖像有用的目標信息),導向譜會引導收縮因子保留該部分變換系數;而對于幅值較低的頻率(對應的噪聲信號),導向譜就會引導收縮因子丟棄該信號.通過在變換域窗口Fx內平均所有收縮變換后的小波系數,并通過逆變換獲得低對比度細節層信號結合高對比度基礎層信號BTI,獲取下次迭代的導引圖像g,

通過對導引圖像的迭代更新,修正小波變換系數,在有效抑制目標場景圖像噪聲的同時對受損細節信息進行不斷完善,使最終圖像逐漸逼近原始清晰目標場景圖像.

4 實驗結果與分析

為驗證和說明多尺度水下偏振成像方法的有效性,根據圖1所示的水下偏振成像原理搭建實驗,采集偏振子圖像.通過脫脂牛奶和自來水溶液模擬實際海洋環境中懸浮粒子對光波的散射和吸收情況[14],溶液配比為30 mL脫脂牛奶(分子大小約為0.040.3μm)和60 L自來水,二者均勻混合于體積為55 cm×55 cm×30 cm的水槽中.

為直觀地表示實驗介質的光學特性,計算其光學厚度.根據光學厚度的定義,光學厚度為介質透過率的自然對數,

式中τ為介質光學厚度,T為介質透過率.光學厚度的計算可以通過介質散射系數和成像距離實現[26],

式中τ為介質光學厚度,μs為介質散射系數(其大小與介質粒子類型和濃度有關[27]),d為物體與探測器之間的物理距離.結合(16)及(17)式可知,光學厚度可以反映介質透過率與成像距離的關系.經計算,實驗中所用介質光學厚度為1.155.

圖5為實驗結果,其中圖5(a)為實驗采集的原始水下圖像,圖5(b)為傳統偏振成像結果,相比原始圖像,圖5(b)背景散射光得到有效移除,對比度明顯提高.但圖5(h)中的圖像頻譜圖頻譜波動較大,說明處理結果中圖像細節信息增加的同時,噪聲信息也被放大.圖5(c)所示的多尺度水下偏振成像結果不僅視覺效果明顯改善,對比度顯著提升,細節信息增加,圖5(i)所示頻譜圖表明圖像噪聲得到明顯抑制,圖5(d),(e)和(f)所示的局部放大結果進一步對圖像細節進行了直觀展示.

圖5 (a)原始強度圖像;(b)傳統偏振成像方法處理結果;(c)多尺度水下偏振圖像處理結果;(d),(e)和(f)分別為圖(a),(b)和(c)的局部放大圖;(g),(h)和(i)分別為圖(a),(b)和(c)的頻譜強度分布圖Fig.5.(a)A raw underwater image;(b)and(c)reconstructed image by traditional polarization imaging method and multi-scale polarization imaging method;(d),(e)and(f)zoomed-in view of the region of interest in(a),(b)and(c);(g),(h)and(i)spectral distributions of(a),(b)and(c).

圖6 (a),(b)和(c)分別為圖5(a),(b)和(c)的R,G,B三通道像素強度值統計;(d)為圖5(a),(b)和(c)第210行像素強度值統計曲線Fig.6.(a),(b)and(c)are the pixel intensity distribution of channel R,G,and B of Fig.5(a),(b)and(c);(d)horizontal line plot at the vertical position pixel 210 for Fig.5(a),(b)and(c).

圖6對應原始水下圖像(即圖5(a)),傳統水下偏振重建圖像(即圖5(b))和多尺度水下偏振方法處理圖像(即圖5(c))的R,G,B三個色彩通道的像素強度統計值.對比發現,圖6(c)中像素強度統計分布較其他兩組結果均有明顯提高,對應圖像動態范圍增大,即對各色彩通道均起到了一定的拉伸作用,增強了圖像的層次感.此外,圖6(d)所示為分別選取圖5(a),(b)和(c)中穿過背景和目標的第210行(由上至下)像素的強度分布曲線,該曲線直觀地表征了成像場景中背景散射光和目標信息光之間的差異情況及圖像對比度變化情況.經多尺度水下偏振成像方法重建結果(藍色曲線)與傳統水下偏振成像結果(紅色曲線)在背景區域強度的像素強度值(接近于0)基本相當,均小于原始強度圖像(綠色曲線)的像素強度值(約為130).與此同時,三幅圖像在目標位置的像素強度值大小相近(約為180),說明傳統偏振成像結果對比度較原始強度圖像得到有效提升.此外,如圖6(d)右上角局部放大圖所示,在目標位置處,經多尺度水下偏振成像方法重建后圖像的像素強度值曲線波動明顯增大,說明圖像的細節輪廓及紋理信息得到了凸顯.

在此基礎上,為驗證所述方法的普遍適用性和有效性,實驗中選取了多個不同類型的目標,結果如圖7所示.以圖7(a)為例,目標物體上“我們d”幾個字受光波強散射的影響,細節不易分辨;而重建圖像中同一目標上“e一輩”幾個字卻能直接辨識.圖7(e)所示的書簽左側強度圖像中三列漢字幾乎完全無法被識別,但圖7(e)右側經多尺度水下偏振成像方法處理之后的圖像中右邊三列漢字清晰可見.圖7中其余圖像存在類似的結論,也充分證明本文所述方法的普遍適用性.

圖7 不同目標的多尺度水下偏振成像方法重建圖像Fig.7.Reconstructed images of different underwater scenes utilizing multi-scale underwater polarization imaging method.

表1所列為四種常用的圖像質量客觀評估參數計算數據,其中平均梯度可以反映圖像的邊緣和細節等高頻信息,其值越大,表明圖像邊緣越清晰,細節越明顯;標準差反映圖像灰度等級的離散程度,其值越大,表明圖像反差越大,圖像越清晰;圖像對比度則表示圖像整體亮暗區域之間的比率,其值越大,亮暗漸變層次越多,圖像信息越豐富;而峰值信噪比則直觀地反映出了圖像信噪比的變化情況.總體看來,多尺度水下偏振成像圖像的質量顯著提升.如平均梯度較原始強度圖像普遍提升了3.5倍左右,圖像標準差提升了1.2倍左右;與此同時,圖像對比度相比于原始強度圖像提升了4倍左右,圖像信噪比也有較為顯著的提升.這都表明經多尺度水下偏振成像方法重建后,圖像質量尤其在圖像對比度和圖像細節的改善以及噪聲抑制方面有顯著提升,且與圖像主觀評價和分析結果一致.

表1 水下成像結果的客觀評價參數Table 1.Objective evaluations of underwater images.

5 結 論

水下偏振成像技術能夠有效利用光的偏振特性解決水下圖像質量退化問題,提高圖像對比度.但在傳統偏振處理方法中,目標信息光和背景信息光偏振度估算對重建圖像質量存在顯著影響,尤其在兩者偏振度相等時,由于傳統偏振處理產生的噪聲放大,幾乎無法有效復原圖像.本文利用圖像分層思想,結合小波變換的多尺度特性,提出了多尺度水下偏振成像方法,用以抑制噪聲影響,重建高對比度的清晰圖像.實驗結果表明,該方法能夠有效提升圖像的對比度,抑制噪聲放大,獲得高對比度、高信噪比的清晰的水下場景圖像,為水下偏振成像技術的應用提供了理論支持.與此同時,本文方法也存在不足,該方法實現過程中仍需對同一場景先后采集兩幅偏振方向正交的圖像,對運動目標的可行性較低.

[1]Panetta K,Gao C,Agaian S 2016IEEE J.Ocean.Eng.41 541

[2]George M J R,Kattawar W 1999Appl.Opt.38 6431

[3]Harvey E S,Shortis M R 1998Mar.Technol.Soc.J.32 3

[4]Zhao X W,Jin T,Chi H,Qü S 2015Acta Phys.Sin.64 104201(in Chinese)[趙欣慰,金韜,池灝,曲嵩 2015物理學報64 104201]

[5]Schechner Y Y,Averbuch Y 2007IEEE Trans.Pattern Anal.Mach.Intell.29 1655

[6]Guan J G,Zhu J P,Heng T 2015Chin.Phy.Lett.32 074201

[7]Lewis G D,Jordan D L,Roberts P J 1999Appl.Opt.38 3937

[8]Schechner Y Y,Karpel N 2005IEEE J.Ocean.Eng.30 570

[9]Miller D A,Dereniak E L 2012Appl.Opt.51 4092

[10]Kattawar W,Gray D J 2003Appl.Opt.42 7225

[11]Treibitz T,Schechner Y Y 2009IEEE Trans.Pattern Anal.Mach.Intell.31 385

[12]Han J,Yang K,Xia M,Sun L,Cheng Z,Liu H,Ye J 2015Appl.Opt.54 3294

[13]Huang B J,Liu T G,Han H F,Han J H,Yu M X 2016Opt.Express24 9826

[14]Dubreuil M,Delrot P,Leonard I,Alfalou A,Brosseau C,Dogariu A 2013Appl.Opt.52 997

[15]Gilbert G D,Pernicka J C 1967Appl.Opt.6 741

[16]Schettini R,Corchs S 2010EURASIP J.Adv.Signal Process2010 1

[17]Liu F,Shao X P,Gao Y,Xiang L B,Han P L,Li G 2016J.Opt.Soc.Am.A33 237

[18]Han P L,Liu F,Yang K,Ma J Y,Li J J,Shao X P 2017Appl.Opt.56 6631

[19]Liu F,Shao X P,Xiang L B,Gao Y,Han P L,Wang L 2015Chin.Phys.Lett.32 114203

[20]Zhao L Y,Lü B Y,Li X R,Chen S H 2015Acta Phys.Sin.64 124204(in Chinese)[趙遼英,呂步云,厲小潤,陳淑涵2015物理學報64 124204]

[21]Knaus C,Zwicker M 2013Proceedings of the 20th IEEE International Conference on Image ProcessingNew Jersey,USA,September 15–18,2013 p440

[22]Liu F,Cao L,Shao X P,Han P L,Xiang L B 2015Appl.Opt.54 8116

[23]Li J C,Huang S X,Peng Y X,Zhang W M 2012Acta Phys.Sin.61 119501(in Chinese)[李金才,黃思訓,彭宇行,張衛民2012物理學報61 119501]

[24]Papari G,Idowu N,Varslot T 2017IEEE Trans.Image Process26 251

[25]Myint S W,Zhu T,Zheng B J 2015IEEE Geosci.Remote Sens.12 1232

[26]Dubreuil M,Delrot P,Leonard P,Alfalou A,Brosseau C,Dogariu A 2013Appl.Opt.52 997

[27]Piederrière Y,Boulvert F,Cariou J,Jeune B L,Guern Y,Brun G L 2005Opt.Express13 5030