基于圖像融合的自適應(yīng)水下圖像增強

顏 陽，王 穎，丁雪妍，王 玨，付先平

(大連海事大學(xué) 信息科學(xué)技術(shù)學(xué)院，遼寧 大連 116026)

0 引 言

受到水中介質(zhì)的散射、吸收等影響，光線在水中傳播時會產(chǎn)生衰減現(xiàn)象，這使得水下圖像存在著細節(jié)模糊、顏色失真、對比度低下等問題。傳統(tǒng)的水下圖像增強方法如Chang等[1]提出的限制對比度自適應(yīng)直方圖均衡(contrast limited adaptive histogram equalization，CLAHE)算法實現(xiàn)簡單，在實際工作中解決了水下圖像對比度低下的問題，但仍存在顏色失真、放大噪聲等缺陷。為了更好地消除色偏對水下圖像的影響，諸如白平衡等[2,3]的色彩校正方法被應(yīng)用于水下圖像增強，但該方法復(fù)原結(jié)果的細節(jié)和對比度方面都不夠理想。Ghani等[4]在RGB和HSV兩個模型中分別拉伸顏色通道和亮度通道。其效果有了明顯的改進。Fu等[5]提出了水下圖像增強的兩步方法：第一步使用色彩校正策略來處理色偏，第二步采用最優(yōu)對比度改進方法減少偽影，有效處理低對比度。近年來基于有監(jiān)督深度學(xué)習(xí)的圖像增強方法表現(xiàn)突出。Cai等[6]提出了一種名為 DehazeNet 的端到端的網(wǎng)絡(luò)進行圖像增強，將該方法應(yīng)用在水下圖像增強中時需要大量包括水下原始圖像及其對應(yīng)的ground-truth圖像的訓(xùn)練集，使得該方法存在時效性問題。而無論是基于傳統(tǒng)還是深度學(xué)習(xí)方法，在同時兼顧圖像增強的健壯性、有效性等方面仍有欠缺。為此本文提出了一種基于圖像融合的自適應(yīng)水下圖像增強方法。實驗結(jié)果表明，該方法能對水下圖像進行自適應(yīng)處理，有效解決色偏、細節(jié)模糊、低對比度的問題。

1 基于圖像融合的自適應(yīng)水下圖像增強方法

考慮到水下圖像的固有特性和成像特點，本文提出一種基于圖像融合的自適應(yīng)水下圖像增強方法。具體方法如圖1所示。首先，對原始水下圖像用顏色校正算法[7]進行顏色均衡化預(yù)處理去除色偏，并獲得優(yōu)化后的亮度分量；然后對L進行Gamma校正，提升亮度圖像的對比度；接著，對兩個亮度分量執(zhí)行三級小波分解，分別得到兩組低頻和高頻分量，對低頻分量進行線性融合，同時對高頻分量進行基于L2范數(shù)的自適應(yīng)融合，得到融合后的亮度圖像。最后，將其結(jié)合顏色通道A和B并轉(zhuǎn)化到RGB空間輸出最終結(jié)果。

圖1 整體方法結(jié)構(gòu)

值得一提的是，本文提出了一個基于融合的水下圖像增強方法，實驗驗證該方法相比于現(xiàn)有的方法可以達到更好的水下圖像增強效果。

1.1 基于改進白平衡算法的顏色校正

(1)

其中，C代表RGB這3個通道。如式(1)分別對RGB這3個通道進行拉伸，得到顏色校正后的圖像IC C。

1.2 Gamma校正

顏色校正將各通道像素值拉伸至[0，255]范圍，雖去除了色偏，圖像中仍存在著亮度過大的問題。因此在L通道上應(yīng)用Gamma校正[8]，通過對輸入的亮度圖像灰度值進行指數(shù)變換s，進而校正亮度偏差。表達式定義為

LG=A*Lγ

(2)

其中，L是IC C的亮度通道。A是常數(shù)，這里取A=1。 指數(shù)γ是Gamma值，其大小可以影響圖像的亮度。當(dāng)γ<1時，照射強度變強，相反，當(dāng)γ>1時，光強度變?nèi)酢４罅繉嶒灧治霰砻鳎瞀?2時，可以使結(jié)果圖像達到最合適的亮度。

1.3 多尺度融合策略

(1)小波分解

對上述步驟得到的兩個亮度通道L和LG分別采用小波分解得到高頻和低頻信息作為融合的輸入。本文選擇Db4小波基[9]對L和LG做三層小波分解，第一層小波分解將圖像分解為低頻信息和高頻信息，第二層小波分解是在第一層的基礎(chǔ)上把低頻信息部分再分解為低頻與高頻兩部分，依此類推，直至分解到第三層。若分解層次過少，會導(dǎo)致亮度圖像的輪廓信息分解不完全，若分解層次過多則會導(dǎo)致低頻部分過度丟失，同時還伴隨著計算量越來越大的問題。綜合考量以上原因，既要保證結(jié)果圖像的細節(jié)增強又要避免算法計算復(fù)雜度的問題，本文對兩個亮度圖采取三層小波分解。

(2)融合規(guī)則

圖像融合的一般思想是多個特征圖通過一定的融合規(guī)則，使其重要的特征信息在結(jié)果圖像中得以保留，起到圖像增強的效果。為了達到自適應(yīng)增強圖像的目的，本文提出了一種融合規(guī)則，對亮度LL和LLG分別進行三級小波分解，得到的高頻帶特征圖采用基于L2范數(shù)[10]的自適應(yīng)融合，以達到增強細節(jié)，提高對比度的作用；同時，為了防止細節(jié)過度校正產(chǎn)生過多噪點對低頻帶進行線性融合。最后將融合結(jié)果重構(gòu)得到最終的融合亮度通道，具體步驟如下：

1)高頻帶融合規(guī)則：L和LG小波分解后的每一層高頻帶都包含亮度在垂直、水平以及對角線方向的信息，為了保留其中重要的特征信息，對高頻帶分量采用基于L2范數(shù)[10]的自適應(yīng)融合策略。該融合策略要達到的目的是計算出L和LG每一層各個方向所包含信息的最優(yōu)融合解，相當(dāng)于結(jié)合了L和LG每一層的重要特征信息。公式描述為

(3)

為了更容易對式(3)進行求解，可以將其看作是一個最小二乘的問題，使用快速傅立葉變換(fast fourier transformation，F(xiàn)FT)得到式(3)的近似解如下

(4)

2)低頻帶融合規(guī)則：對小波分解后的低頻分量LL和LLG采用線性融合規(guī)則，引入兩個權(quán)重系數(shù)λ1，λ2， 對LL和LLG進行加權(quán)操作，得到融合后的低頻分量，公式如下

LL′=λ1LL+λ2LLG

(5)

其中，λ1+λ2=1， 且λ1=λ2=0.5時融合效果最佳。對低頻分量線性融合可達到防止高頻分量融合產(chǎn)生過度校正的目的。

經(jīng)過上述步驟，得到了亮度L和LG融合后的高頻和低頻信息，將這兩組信息分別重構(gòu)，便得到校正后的亮度通道L′。 然后結(jié)合亮度通道，并轉(zhuǎn)換圖像為RGB空間，得到最終的增強圖像。亮度通道優(yōu)化前后的結(jié)果對比如圖2所示，可以看出，優(yōu)化后的結(jié)果在圖像細節(jié)與對比度方面都明顯加強。

圖2 亮度通道優(yōu)化結(jié)果

2 實驗與結(jié)果分析

2.1 實驗數(shù)據(jù)與分析

為了驗證本文方法的有效性，本文以水下圖像作為實驗對象精心設(shè)計了一系列實驗，水下圖像色偏嚴重， 對比度低且細節(jié)模糊。在運行本文算法的同時，使用文獻[1，2，6]幾種算法對水下圖像進行處理，為了保證實驗過程的公正性，所有圖像均無損地預(yù)處理為600*400像素大小，實驗所用處理器：Intel Core i7-7700K@4.2 GHz，內(nèi)存8.00 GB，在Matlab R2017a環(huán)境下進行實驗。

2.2 定性分析

圖3所示是本文方法和文獻[1，2，6]的增強結(jié)果的視覺比較。圖中可以明顯看出，對于不同種類的水下圖像，Shades-of-grey對水下圖像進行了有效的顏色校正，但處理后的圖像仍然很模糊。CLAHE實際上可以很好地增強水下圖像的對比度，但在去除色偏和增強細節(jié)方面表現(xiàn)不佳。而 DehazeNet 的結(jié)果對水下圖像只有一點增強。可以看出，與這些方法相比，本文方法處理的圖像細節(jié)更豐富，色彩失真更小，對比度更好。

圖3 不同方法增強結(jié)果比較

圖4是水下采集到的原始圖像與文獻[1,2,6]以及本文方法增強后的圖像的RGB這3個通道的直方圖對比結(jié)果。直方圖是一種統(tǒng)計報告圖，圖像各個通道的直方圖可以直觀顯示圖像各通道的灰度分布情況，通過直方圖分析圖像的質(zhì)量是對圖像的一種常用評價方法。圖中從上到下3行分別代表RGB這3個通道，可以看出，在水中直接獲取到的退化圖像的每個通道像素值的大小相差較大，且只分布在集中區(qū)域，這表示原始圖像存在對比度低和色偏的問題；Shades-of-grey恢復(fù)了色彩偏差；CLAHE和DehazeNet只對直方圖起到了拉伸的作用；而本文方法對每個通道的灰度值進行了拉伸，且3個通道的像素值大小均衡，與其它3種方法的結(jié)果圖相比，增強效果明顯更好。

圖4 RGB通道直方圖對比結(jié)果

SURF(speeded up robust features)[11]是一種高效而穩(wěn)健的局部特征點檢測和描述算法，本文采用SURF算法對原始圖像和幾種方法增強后的圖像進行特征點提取，并對提取后的圖像進行特征點匹配。質(zhì)量高的圖像細節(jié)清晰，特征點明顯，因此對特征點的檢測與匹配結(jié)果可以用來評估圖像的質(zhì)量，提取的特征點越多，匹配到的特征點比例越高，驗證圖像質(zhì)量越高。如圖5所示是各方法結(jié)果圖像的SURF匹配結(jié)果。

圖5 各方法SURF匹配結(jié)果

圖5中可以看出，前面評估中在去除色偏方面表現(xiàn)比較優(yōu)秀的Shades-of-grey方法檢測到的特征點卻最少；CLAHE方法由于大大加強了原始圖像的對比度，其結(jié)果圖5(b)檢測出的特征點明顯增多；DehazeNet的結(jié)果圖5(c)表明該方法在匹配特征點上沒有明顯的增強；而本文檢測到的特征點圖5(d)是幾種方法中最多的，且匹配到的特征點成功率也極高。該對比實驗結(jié)果表明本文算法對水下圖像處理效果的有效性，在顏色保真的同時恢復(fù)了對比度并突出了圖像的細節(jié)。

2.3 定量分析

從人眼視覺角度分析得到本文結(jié)果在這些方法中都獲得了最好的增強效果。在此基礎(chǔ)上，使用PCQI(patch-based contrast quality index)[12]和Blur Metric[13]定量評估指標進一步支持上述主觀結(jié)論，表1為圖3中4組圖像的評價指標對比結(jié)果：其中PCQI是用于評估圖像對比度的度量，其值越大，代表圖像對比度越高；Blur Metric則是一種估計圖像模糊效果的度量，其值越小，表示圖像視覺越好。從表1中可以看出，在圖像對比度和模糊程度上本文方法所得到的增強后的圖像質(zhì)量在這幾種方法中幾乎可以達到最好，也就是可以得到最適應(yīng)于人類視覺效果的圖像。

表1 增強結(jié)果評估

3 結(jié)束語

由于水中環(huán)境復(fù)雜，水下圖像都呈現(xiàn)出較差的視覺效果，本文方法主要從顏色校正與亮度調(diào)節(jié)兩方面入手，自適應(yīng)提升水下圖像的清晰度。與現(xiàn)有的水下圖像增強方法相比，本文方法的融合策略可以自適應(yīng)的對不同類型的水下圖像起到恰當(dāng)?shù)脑鰪娦Ч罱K獲得清晰的水下圖像。定性與定量分析可以看出本文方法有效提高了水下圖像的清晰度，增強了圖像細節(jié)。盡管本文方法獲得了良好的增強效果，但是仍然在以下方面存在不足：本文方法提出的自適應(yīng)融合策略雖然可以達到去除色偏、增強細節(jié)的目的，但是如果采集到的圖像過于暗淡，本文方法則不能達到最優(yōu)效果。