基于散射模型的水下渾濁圖像增強(qiáng)方法

張偉， 高賽博， 李子軒， 宮鵬， 伍文華 (哈爾濱工程大學(xué) 水下機(jī)器人技術(shù)重點(diǎn)實(shí)驗(yàn)室，黑龍江 哈爾濱 150001)

近年來，水下無人航行器技術(shù)發(fā)展迅速，應(yīng)用于海底環(huán)境監(jiān)測(cè)、海底地形探測(cè)、水下管道檢查等領(lǐng)域，這些海洋探索依賴于先進(jìn)的水下探測(cè)技術(shù)，其中水下圖像處理是其中重要的一部分，但水下的浮游生物、可見顆粒物等物質(zhì)會(huì)對(duì)太陽光有吸收和散射作用[1]，針對(duì)不同波長的太陽光水的吸收程度不同，其中水對(duì)紅色光的吸收作用最強(qiáng)，水下圖像多呈藍(lán)綠色調(diào)，與陸地上的圖像相比水下圖像會(huì)存在顏色畸變、對(duì)比度低、噪聲大等問題，因此水下圖像增強(qiáng)對(duì)于水下圖像的信息恢復(fù)、質(zhì)量提升有重要意義[2]。水下圖像增強(qiáng)技術(shù)分為基于物理模型的方法和基于非物理模型的方法2種[3]，基于非物理模型的方法不考慮水下圖像退化的物理過程，經(jīng)典方法是基于Retinex的增強(qiáng)方法[4]，融合對(duì)比度和顏色校正的方法[5]，這類方法通常是直接改變像素值，容易發(fā)生過度校正和過飽和。基于物理模型的方法對(duì)水下成像過程建模，文獻(xiàn)[6]利用水下圖像的散射模型對(duì)水下圖像增強(qiáng)，因其需要對(duì)背景光預(yù)先標(biāo)定而不適用于背景光變化的水下場景。He等[7]提出的針對(duì)空氣中有霧圖像的暗通道去霧方法(dark channel prior，DCP)可應(yīng)用于水下圖像，但由于水下光的散射和吸收傳統(tǒng)暗通道方法作用不明顯。謝昊伶等[8]利用波長和散射系數(shù)的關(guān)系分別估計(jì)了三通道的透射率，通過導(dǎo)向?yàn)V波細(xì)化透射率，但該方法需獲得相機(jī)的拍攝深度，限制了其實(shí)際應(yīng)用。湯忠強(qiáng)等[9]改進(jìn)了DCP方法，通過亮暗通道的視差估計(jì)背景光和透射率。以上均是基于物理模型的方法，在先驗(yàn)信息的基礎(chǔ)上估計(jì)模型參數(shù)，反向計(jì)算出未退化的水下圖像。在圖像去霧中，He等[7]提出了暗通道先驗(yàn)構(gòu)建透射率的方法；Park等[10]提出利用熵信息和保真率結(jié)合的方式構(gòu)建霧天透射率；Zhu等[11]提出利用亮度和飽和度之差構(gòu)建透射率。

借鑒霧天圖像增強(qiáng)的分析方法，本文對(duì)水下渾濁圖像直接進(jìn)行分析。考慮物理模型法增強(qiáng)圖像會(huì)獲得更好的效果，同時(shí)減少模型參數(shù)估計(jì)帶來的復(fù)雜程度，本文對(duì)水下渾濁圖像直接進(jìn)行分析。考慮物理模型法增強(qiáng)圖像會(huì)獲得更好的效果，同時(shí)減少模型參數(shù)估計(jì)帶來的復(fù)雜程度，本文提出的水下圖像增強(qiáng)方法僅通過單幅圖像，不需要模型先驗(yàn)參數(shù)就能實(shí)現(xiàn)水下渾濁圖像的自適應(yīng)增強(qiáng)，以恢復(fù)水下圖像損失的細(xì)節(jié)，實(shí)現(xiàn)水下渾濁圖像清晰化。

1 水下視覺成像模型建立

水下圖像受光照不足、亮度不均、水體的散射和吸收、懸浮顆粒物等因素的影響損失了很多信息，針對(duì)水下的特殊環(huán)境，Jaffe-McGlamery定義的水下光傳播經(jīng)典模型[12]，到達(dá)相機(jī)的光是前向散射、后向散射和直接光三部分的線性疊加，前向散射是水下物體的反射光又經(jīng)散射的光，后向散射是環(huán)境光被水中的顆粒、生物等散射后進(jìn)入相機(jī)的光，直接光是相機(jī)直接接受到的光。在距離較短時(shí)可以忽略前向散射，用直接光和后向散射近似描述到達(dá)相機(jī)的總光：

An(x,λ)=A∞(λ)(1-e-α(λ)x)

(1)

式中：x為光傳播距離；A∞(λ)為背景光；λ為波長；α(λ)為由于吸收和散射的總的衰減系數(shù)。場景直接光散射Ad(x,λ)可以表示為：

Ad(x,λ)=J0(λ)e-α(λ)x

(2)

式中：x表示傳播的距離；λ表示波長；為由于吸收和散射的總的衰減系數(shù)；J0(λ)是未被水下環(huán)境衰減的光，就是需要被恢復(fù)的清晰圖像。水下攝像機(jī)成像模型為：

I=Ad(x,λ)+An(x,λ)=J0(λ)e-α(λ)x+

A∞(λ)(1-e-α(λ)x)

(3)

近距離下，認(rèn)為水對(duì)光的吸收和散射作用相同，將α視為常數(shù)，忽略波長的影響，水下成像模型為：

I=J0e-αx+A∞(1-e-αx)=J0t(x)+A∞(1-t(x))

(4)

式中t(x)為透射率。將等式兩邊對(duì)距離x求導(dǎo)，可得：

(5)

當(dāng)背景光大于自然光，光強(qiáng)隨距離增加而減小且衰減速度越來越慢，當(dāng)背景光小于自然光，光強(qiáng)隨距離增加而增加且增加速度越來越慢，符合人眼觀察到的水下圖像景深越深場景越模糊大的特點(diǎn)。

2 圖像增強(qiáng)算法設(shè)計(jì)

依據(jù)式(4)，進(jìn)行移項(xiàng)可得水下圖像復(fù)原公式：

(6)

式中：A∞為背景光；t(x)為透射率。式(6)可以得到增強(qiáng)后的水下場景清晰圖像。隨著相機(jī)離物體距離的增加，觀察到的信息越少，圖像越模糊，通過一些評(píng)價(jià)指標(biāo)如熵、平均梯度、逼真度等可以量化水下圖像的信息。

2.1 背景光估計(jì)

文獻(xiàn)[7-9]將傳統(tǒng)的暗通道先驗(yàn)去霧方法改進(jìn)后估計(jì)水下圖像背景光用于水下圖像復(fù)原，但暗通道先驗(yàn)去霧方法是基于一種統(tǒng)計(jì)規(guī)律，水下圖像的統(tǒng)計(jì)規(guī)律和空氣中圖像有差異。本文針對(duì)水下圖像的特性對(duì)背景光的大小進(jìn)行分析，利用水下圖像的局部區(qū)域熵信息估計(jì)背景光。

通過式(5)和前文的分析，水下物體模糊的一部分原因?yàn)榫吧畹脑黾樱吧钤黾訋砹烁鼑?yán)重的吸收、散射、顏色畸變等問題，背景光的區(qū)域景深最大因而信息也最少，視覺上看起來是最模糊的，用熵來衡量水下圖像的信息，局部區(qū)域信息熵越大證明信息越多。后向散射帶來的水下圖像的模糊主要是因?yàn)榫嚯x遠(yuǎn)的物體在光的傳播過程中造成了熵大的衰減，用熵描述景深為：

(7)

式中P(i)某個(gè)灰度在該圖像中出現(xiàn)的概率，可由灰度直方圖計(jì)算。

對(duì)圖2的背景光進(jìn)行估計(jì)，在計(jì)算信息熵前先將圖像分成互不重疊的小塊，局部區(qū)域塊的大小會(huì)影響最后的估計(jì)結(jié)果。本文選取4組不同的局部區(qū)域塊尺寸(5×5，20×20，35×35，50×50)，按區(qū)域塊統(tǒng)計(jì)熵，不同尺寸區(qū)域塊的熵統(tǒng)計(jì)圖如圖3所示。

圖2 水下原始圖像Fig.2 Underwater original image

圖3 不同尺寸熵統(tǒng)計(jì)結(jié)果Fig.3 Entropy statistical results of different block sizes

根據(jù)圖3的熵統(tǒng)計(jì)結(jié)果可知，水下圖像不同區(qū)域塊信息熵的大小隨景深而變化，熵和光在水下的吸收和散射程度密切相關(guān)。觀察4種分塊尺寸的熵值圖，分塊大小為50×50的熵值圖較模糊，由于分塊過大已經(jīng)不能完整地描述景深，局部區(qū)塊大小為5×5的熵統(tǒng)計(jì)圖因?yàn)閰^(qū)塊選取過小又弱化了水下散射和熵值的相關(guān)性，使相同景深下物體的不同細(xì)節(jié)熵值有較大差異(例如潛水員衣服上的細(xì)節(jié))，故局部區(qū)域塊尺寸為20×20，35×35能較好地描述景深，綜合對(duì)景深的細(xì)化處理和算法的快速性，本文選取的局部區(qū)域塊大小為35×35。

利用局部區(qū)域塊大小為35×35的熵值圖估計(jì)背景光，參照熵對(duì)水下信息的表述能力，熵值越大代表圖像的信息越多，景深越小，而背景光區(qū)域出現(xiàn)在景深較大處，相對(duì)于整幅圖像熵值最低，因此選取熵值較低的20%的區(qū)域作為估計(jì)背景光的候選區(qū)域，在候選區(qū)域中選擇出現(xiàn)頻率最高的灰度作為水下圖像的背景光，這樣就能在候選區(qū)域中降低誤判的可能性，提高背景光估計(jì)的準(zhǔn)確性。

具有較低強(qiáng)度的前20%的熵統(tǒng)計(jì)圖如圖4所示，原圖中此區(qū)域?yàn)樗w背景，由此可以看出本方法估計(jì)背景光較為合理，背景光候選區(qū)域的灰度直方圖如圖5所示，選取出現(xiàn)頻率最高的灰度值作為背景光，數(shù)值為122。

圖4 具有較低強(qiáng)度的前20%熵的統(tǒng)計(jì)量Fig.4 Statistics of the first 20% entropy with higher intensity

圖5 具有較低強(qiáng)度的前20%熵的直方圖統(tǒng)計(jì)Fig.5 Histogram statistics of the first 20% entropy with higher intensity

2.2 透射率估計(jì)

假設(shè)水下圖像局部區(qū)域透射率連續(xù)不變且水下圖像的真實(shí)場景與透射率無關(guān)，為準(zhǔn)確估計(jì)水下圖像的局部透射率，本文根據(jù)圖像的平均梯度和圖像的逼真度提出了一個(gè)代價(jià)函數(shù)。圖像的局部區(qū)域清晰度可以用梯度衡量，具有最大平均梯度的局部區(qū)域?qū)?yīng)局部最佳透射率，衡量圖像的平均梯度的代價(jià)函數(shù)為：

(8)

由式(6)復(fù)原后的清晰圖像可能會(huì)出現(xiàn)失真的像素，即像素值大于255或小于0，在計(jì)算平均梯度之前通過閾值處理先去除掉一些失真像素，當(dāng)像素大于255時(shí)上界取255，當(dāng)像素小于0時(shí)取下界0。逼真度為：

(9)

(10)

式中：δ(p)表示在透射率為r時(shí)當(dāng)前區(qū)域塊內(nèi)沒有失真的像素占總像素的比例。δ(p)越小圖像的逼真度越低，δ(p)越大失真像素比例越小，圖像的逼真度越高，圖像增強(qiáng)的效果越好。因此需最大化代價(jià)函數(shù)以獲得好的圖像增強(qiáng)效果。綜合水下圖像清晰度和逼真度兩方面，計(jì)算透射率的代價(jià)函數(shù)為：

ffinal(r)=fgradient(r)·ffidelity(r)

(11)

計(jì)算該代價(jià)函數(shù)的最大值可計(jì)算出最佳透射率，透射率為：

r=argmax(ffinal(r))

(12)

如圖6所示，圖中顯示了ffidelity(r)、fgradient(r)和ffinal(r)的結(jié)果，最佳透射率為最大化ffinal(r)所對(duì)應(yīng)的結(jié)果，透射率為0.48。

圖6 最優(yōu)透射率計(jì)算函數(shù)Fig.6 The graph of the function for calculating the optimal transmission

2.3 細(xì)化透射率

通過計(jì)算可以得到局部區(qū)域的透射率，由于透射率是分塊計(jì)算的，所以在區(qū)塊的連接處透射率圖不夠連續(xù)，恢復(fù)出的水下圖像在塊的連接處也會(huì)出現(xiàn)塊效應(yīng)，因此需要減弱透射圖區(qū)塊邊緣的影響，利用改進(jìn)的最改進(jìn)加權(quán)最小二乘的保邊濾波算法細(xì)化透射圖。未改進(jìn)的最小二乘保邊濾波算法為[12]：

(13)

(14)

式中：wx(g)為原圖像經(jīng)高斯濾波后x方向梯度值；wy(g)為原圖像經(jīng)高斯濾波后y方向梯度值。改進(jìn)后的最小二乘保邊濾波算法可通過增大λ平滑透射圖的區(qū)塊邊緣，同時(shí)也能起到增強(qiáng)原圖邊緣細(xì)節(jié)的作用，但λ過大也會(huì)削弱不同局部塊之間透射率的差異，需在合理范圍內(nèi)。

改進(jìn)后的最小二乘保邊濾波算法細(xì)化前后的透射圖如圖7所示，從圖中可以看出未處理前的透射圖局部區(qū)塊連接處不夠平滑，細(xì)化后的透射圖局部區(qū)塊間平滑過渡，物體的邊界也被增強(qiáng)。

圖7 細(xì)化前后的透射圖像Fig.7 Transmission image before and after refining

2.4 圖像復(fù)原自適應(yīng)調(diào)節(jié)

通過2.3節(jié)方法計(jì)算出背景光和透射率可以用于圖像增強(qiáng)，但在進(jìn)行透射率計(jì)算時(shí)設(shè)計(jì)的代價(jià)函數(shù)權(quán)衡了圖像細(xì)節(jié)和圖像失真，仍然存在一些失真的像素，為解決此問題設(shè)計(jì)自適應(yīng)調(diào)節(jié)因子μ，經(jīng)式(6)計(jì)算出增強(qiáng)后的圖像為J0，統(tǒng)計(jì)增強(qiáng)圖像中相對(duì)于原始圖像像素的失真比μ，設(shè)計(jì)新的圖像復(fù)原為：

(15)

式中：A∞為背景光；t(x)為透射率；μ是原始像素失真比。

該自適應(yīng)調(diào)節(jié)方法可以減少圖像復(fù)原后部分像素的失真情況。算法總體流程如圖8。

圖8 算法整體流程Fig.8 Algorithm overall flow chart

3 圖像增強(qiáng)算法實(shí)驗(yàn)結(jié)果

為了驗(yàn)證本文所提算法的有效性，本為選取水下灰度圖像作為測(cè)試圖像，按照本文方法進(jìn)行圖像增強(qiáng)，計(jì)算客觀評(píng)價(jià)指標(biāo)驗(yàn)證所提算法的有效性，并與傳統(tǒng)暗通道先驗(yàn)去霧算法和文獻(xiàn)[6]所提方法進(jìn)行比較。

3.1 客觀評(píng)價(jià)指標(biāo)

圖像的客觀評(píng)價(jià)方法主要有2種，一種是全參考，一種是無參考，本文采用全參考評(píng)價(jià)，可視化邊角比率[13]。可視化邊角比率是增強(qiáng)圖像中恢復(fù)的可見邊與原始圖像中可見邊的比率，對(duì)于水下的圖像，由于光的吸收和散射效應(yīng)等問題而丟失了一些可見邊，采用這個(gè)度量可以衡量給定圖像增強(qiáng)方法所帶來的可見邊數(shù)量以及圖像細(xì)節(jié)的改變，僅僅計(jì)算增強(qiáng)圖像的可見邊并不能反映算法的有效性，系數(shù)e為：

(16)

式中：nr是增強(qiáng)圖像Ir中可見邊的數(shù)目；n0是原始圖像I0中可見邊的數(shù)目,圖像中的邊可以定義為找到一組連接像素的2個(gè)相鄰區(qū)域之間的邊界，如果e>1則圖像的可視邊緣增加，這里使用的邊緣檢測(cè)算法是Sobel邊緣檢測(cè)器。e的值可以評(píng)估該方法恢復(fù)在I0中不可見但在Ir中不可見的邊的能力。

對(duì)于非周期目標(biāo)，其可見度與發(fā)光對(duì)比度相關(guān)，其定義為：

(17)

式中：ΔL是目標(biāo)和背景的亮度差；Lt是目標(biāo)亮度；Lb是背景的亮度。當(dāng)目標(biāo)和背景之間的亮度差是閾值亮度差ΔLthreshold時(shí)，目標(biāo)以高概率被感知，目標(biāo)的可見性水平可通過以下比率量化：

(18)

式中：Cactual為實(shí)際對(duì)比度；Cthreshold為閾值處的對(duì)比度。

在閾值處，目標(biāo)的可見性水平為：

(19)

對(duì)于復(fù)雜圖像計(jì)算ΔLthreshold并不簡單，有必要檢測(cè)和分割多個(gè)目標(biāo)對(duì)象，這對(duì)于復(fù)雜對(duì)象的圖像是十分困難的。為了評(píng)估圖像增強(qiáng)算法的性能不需要分割圖像，對(duì)于可見邊緣的每個(gè)像素，計(jì)算恢復(fù)圖像和原始圖像梯度的比率：

(20)

式中：ΔIr是恢復(fù)圖像中的梯度；ΔI0是原始圖像中的梯度。

圖9 不同方法恢復(fù)的可見邊Fig.9 Corresponding visible edge maps of the recovered images

(21)

結(jié)構(gòu)相似性理論從高層次上模擬人眼視覺系統(tǒng)的整體功能，因此對(duì)結(jié)構(gòu)信息的度量可以作為圖像感知質(zhì)量的近似，文獻(xiàn)[14]提出了結(jié)構(gòu)相似度指數(shù)SSIM，但傳統(tǒng)的SSIM指數(shù)存在一些缺點(diǎn)，本文采用改進(jìn)的SSIM算法，計(jì)算基于結(jié)構(gòu)信息提取的SIExt指數(shù)作為圖像增強(qiáng)的評(píng)價(jià)指標(biāo)。

3.2 實(shí)驗(yàn)效果比較

表1 不同場景下的參數(shù)結(jié)果Table 1 Coefficient e, compared on four images

圖10 不同算法的圖像增強(qiáng)效果Fig.10 Image enhancement with different algorithms

在場景2中，DCP方法的暗背景幾乎隱藏了后方的對(duì)象，地面上的細(xì)小物體周圍均存在光暈，對(duì)于目標(biāo)過多的圖像DCP方法明顯會(huì)帶來較多光暈，本文所提方法并不存在此問題。在場景3中DCP方法左上角的對(duì)象十分模糊，本文所提方法很好地復(fù)原了原始圖像中的該部分。場景4中雖然目標(biāo)輪廓的光暈不明顯，但是位于中間和右側(cè)的對(duì)象幾乎看不到任何細(xì)節(jié)，從e參數(shù)也可以看出場景4的可見邊數(shù)目相比原圖沒有增加反而減少，雖然對(duì)比度相差不大，但是由于可見邊的丟失使得視覺效果遠(yuǎn)不如本文所提方法。

該方法能夠評(píng)估基于視覺描述的圖像增強(qiáng)算法的性能，但是并不能評(píng)價(jià)圖像增強(qiáng)算法的保真度，只測(cè)量對(duì)象的可見性。相應(yīng)地，計(jì)算基于結(jié)構(gòu)信息提取的圖像質(zhì)量評(píng)價(jià)，在頻域不同頻率的成分對(duì)圖像信息起到了不同的作用，局部區(qū)域的基本灰度等級(jí)主要由低頻成分決定，中頻部分影響著圖像的結(jié)構(gòu)，高頻部分構(gòu)成圖像的一些邊緣細(xì)節(jié)。并且同一頻率成分，能量越大,重要程度越大，視覺注意力也就越大，基于以上分析，本文將結(jié)構(gòu)信息解釋為圖像中能量足夠大的中高頻成分。SIExt各部分參數(shù)設(shè)置如下：wl=0.1，ws=0.8，wn=0.1，表2給出了SIExt評(píng)價(jià)結(jié)果。

表2 不同場景SIExt結(jié)果Table 2 The SIExt compared on four images

從實(shí)驗(yàn)結(jié)果獲得的數(shù)據(jù)可以看到本文所提方法的結(jié)構(gòu)相似性優(yōu)于DCP方法，在場景2中，DCP方法的結(jié)構(gòu)相似性優(yōu)于本文方法。中頻成分是人眼所能感知的主要成分，是圖像中最重要的頻率成分，故結(jié)構(gòu)信息系數(shù)設(shè)置為最大，根據(jù)文獻(xiàn)[8]的結(jié)論，SIExt在各分量取不同權(quán)重時(shí)變化并不敏感，故基于結(jié)構(gòu)信息提取的圖像質(zhì)量評(píng)價(jià)準(zhǔn)則更好地驗(yàn)證了前文的結(jié)論。

本文對(duì)文獻(xiàn)[6]中的圖像進(jìn)行處理，計(jì)算標(biāo)定后的背景光和透射率，將本文方法與文獻(xiàn)[6]方法、暗通道先驗(yàn)去霧算法[9](DCP)比較，實(shí)驗(yàn)結(jié)果如表3和圖11所示。

圖1 水下光散射模型Fig.1 Underwater light scattering model

表3 不同方法的參數(shù)比較Table 3 Coefficient e, compared on different algorithms

圖11 不同算法的圖像增強(qiáng)效果Fig.11 Image enhancement with different algorithms

4 結(jié)論

1) 本文所提出的算法合理地估計(jì)了水下圖像的背景光和透射率，通過實(shí)驗(yàn)對(duì)比分析，有良好的效果，恢復(fù)圖像丟失的可見邊，提升了水下圖像對(duì)比度。

2) 解決了水下渾濁圖像失真的問題，恢復(fù)了場景信息。算法有更廣泛的適用性，針對(duì)陸地上的霧天圖像可考慮應(yīng)用本文算法去霧。在未來的研究中，可對(duì)散射模型研究和改進(jìn)。

3) 本文算法建立在忽略前向散射的模型基礎(chǔ)上，若能較準(zhǔn)確地建立前向散射模型，可以更好地解決光照不均勻的問題，增強(qiáng)算法的普適性。