基于對比實驗的水下圖像質(zhì)量提升方法研究

于亦飛，李 煊，賀榆珊，謝金城，朱蕭偉，楊如白

（中國計量大學 質(zhì)量與安全工程學院，浙江 杭州 310018）

0 引言

海洋是生命的搖籃、資源的寶庫、交通的命脈、戰(zhàn)略的要地，合理開發(fā)和利用海洋資源與國家的興衰緊密相連[1]。海洋開發(fā)離不開各種視覺傳感器，常見的水下成像傳感器包括聲成像、激光成像和可見光成像（全文簡稱“光成像”）。相對于聲成像和激光成像，光成像傳感器具有分辨率高、信息獲取全面且不易受干擾等特點，尤其在近距離水下目標和環(huán)境信息獲取中，具有不可比擬的優(yōu)勢。

然而，不同于陸上光成像，水下光成像過程中，受水介質(zhì)對光線散折射及吸收作用、光照條件變化和成像距離等因素影響，水下圖像往往存在模糊嚴重、對比度低等問題[2]。

針對這些問題，學者們研究了一系列的水下圖像質(zhì)量提升方法，如王馬華等人[3]考慮內(nèi)外尺度對波結(jié)構(gòu)函數(shù)影響，結(jié)合折射率譜，改進水下湍流退化模型以提高復原方法先驗知識的完備性，并采用約束最小二乘濾波法進行退化圖像復原；張赫等人[4]提出了基于大氣湍流模型獲取水下圖像退化函數(shù)的方法，通過反復實驗對比圖像的復原效果，獲得模型參數(shù)；TRUCCO E 等人[5]基于簡化的Jaffe-McGlamery 模型提出了自校準恢復濾波器，該濾波器基于兩個假設(shè)，一是假設(shè)均勻照明（淺水中的直射陽光），另一個是前向散射作為主要的衰減成分而忽略后向散射和直接成分，對每一幅圖像，其中的光學參數(shù)由優(yōu)化一個基于全局對比度評價函數(shù)估計得到。這些方法都是通過降低模糊、提高對比度來實現(xiàn)水下圖像質(zhì)量的提升。

本文選用不同的圖像質(zhì)量提升方法，通過水下對比實驗分析不同方法對水下圖像質(zhì)量提升的效果優(yōu)劣，以確定效果較好的方法，作為進一步研究的方向。另外，為便于開展方法研究，設(shè)計并編寫完成軟件界面。

1 方法介紹

本文按照空間域、變換域和典型方法這3 類，選取對應(yīng)圖像質(zhì)量提升方法。

1.1 空間域類方法

空間域類方法中，本文選用了3 種方法，包括高斯濾波、二維順序統(tǒng)計量濾波及直方圖均衡化法。

（1）高斯濾波去噪就是對整幅圖像像素值進行加權(quán)平均，針對每一個像素點的值，都由其本身值和鄰域內(nèi)的其他像素值經(jīng)過加權(quán)平均后得到。

（2）二維順序統(tǒng)計量濾波則是中值濾波的推廣，是將n 個非零數(shù)值按從小到大排序后處于第k 個位置的元素作為濾波器的輸出。

（3）直方圖均衡化法是把原始圖像的灰度直方圖從比較集中的某個灰度區(qū)間變成在全部灰度范圍內(nèi)的均勻分布。

1.2 變換域類方法

變換域類方法中，本文選用了3 種方法，包括維納濾波、二維快速傅里葉變換以及BM3D。

（1）維納濾波是使原始圖像和復原圖像之間均方誤差最小的復原方法。

（2）二維快速傅里葉變換是將圖像的灰度分布函數(shù)變換為圖像的頻率分布函數(shù)，即傅里葉變換提供了另外一個角度來觀察圖像。

（3）BM3D 模型由KOSTADIN D 等人[6-7]提出，通過將二維圖像轉(zhuǎn)換成三維圖像，并進行塊堆疊和協(xié)同濾波，來改進圖像的峰值信噪比和圖像主觀視覺。模型主要包含兩大步驟：基礎(chǔ)估計和最終估計，每個步驟可通過相似塊匹配、協(xié)同濾波和整合三步完成。

1.3 典型方法

典型方法是指在近幾年水下圖像質(zhì)量提升研究中采用較多的方法。本文選用3 種方法，包括基于視網(wǎng)膜理論的一種方法、暗通道先驗法及引導濾波。

（1）基于視網(wǎng)膜理論[8]（Retinex-based theory）的圖像增強目的就是從原始圖像中估計出入射光，從而分解出反射率，消除光照不均的影響，以改善圖像的視覺效果，正如人類視覺系統(tǒng)那樣。

（2）暗通道先驗法[9]中，統(tǒng)計大量無霧圖像后發(fā)現(xiàn)每幅圖像的R、G、B 3 個顏色通道中，總有一個通道的灰度值很低，幾乎趨向于0。基于此，提出了暗通道先驗的去霧算法。

（3）引導濾波是通過一張引導圖，對輸入圖像進行濾波處理，使最后的輸出圖像大體上與輸入圖像相似，但紋理部分與引導圖相似，是在保持邊緣情況下，達到平滑效果的一種濾波算法。

2 水下圖像質(zhì)量提升對比實驗及結(jié)果分析

2.1 實驗圖像的選取

本節(jié)對上述3 類方法中選取的幾種代表性方法進行指標測試與比較，基于水下圖像復原的特殊性，質(zhì)量提升后的圖像沒有真實圖像可以作為參考，故只針對質(zhì)量提升后圖像本身和原始實驗圖像進行對比。

實驗圖像的選擇：從Fish4Knowledge[10-11]數(shù)據(jù)庫中擇選了2 組水下實驗圖像樣本，從ANCUTI C O 等人[12]的水下圖像增強中的色彩平衡與融合研究中擇取1 組實驗圖像樣本，以物體在視野中成像的距離遠近為依據(jù)，每組樣本中各選取3 幅圖像用于實驗。

2.2 評價指標介紹

由于目前有關(guān)水下圖像質(zhì)量提升性能客觀評價的指標很少，本文在對比和分析其他類型圖像質(zhì)量提升的指標后，采用耗時、圖像峰值信噪比（PSNR）、結(jié)構(gòu)相似度（SSIM）、平均梯度、熵值和標準差6 個指標來衡量不同方法對圖像復原的優(yōu)劣情況。

2.3 實驗結(jié)果

2.3.1 空間域類方法實驗結(jié)果

本節(jié)采用空間域類的高斯濾波、二維順序統(tǒng)計量濾波以及直方圖均衡化法對選取的9 幅圖像分別處理，并將處理結(jié)果列于圖1 中。隨后采用6 種評價指標對實驗結(jié)果進行分析，獲得的實驗數(shù)據(jù)列于表1 中。

表1 空間域類方法定量比較結(jié)果

圖1 空間域類方法處理結(jié)果圖像

圖1（a）～（d）分別表示原始水下圖像，以及高斯濾波、二維順序統(tǒng)計量濾波和直方圖均衡化法處理的結(jié)果圖像。

表1 每個方法下的9 行數(shù)據(jù)分別表示圖1 中該方法自上而下對應(yīng)9 幅處理結(jié)果圖像的指標數(shù)據(jù)值。

綜合圖1 和表1 的實驗結(jié)果和數(shù)據(jù)可知：二維順序統(tǒng)計量濾波和直方圖均衡化的耗時整體最少；高斯濾波的峰值信噪比、結(jié)構(gòu)相似度指標值最高，這說明該方法造成的圖像失真最少；直方圖均衡化的平均梯度、熵值與標準差增值最高，說明該方法能有效增大圖像的清晰度并提高圖像的信息覆蓋率。

綜合上述分析可知：空間域類方法進行水下圖像增強時，直方圖均衡化效果最好，高斯濾波其次，二維順序統(tǒng)計量濾波效果一般。

2.3.2 變換域類方法實驗結(jié)果

本節(jié)采用變換域類的維納濾波、二維快速傅里葉變換以及BM3D 方法對選取的9 幅圖像分別處理，并將處理結(jié)果列于圖2 中。隨后采用6 種評價指標對實驗結(jié)果進行分析，獲得的實驗數(shù)據(jù)列于表2 中。

圖2（a）～（d）分別表示原始水下圖像，以及維納濾波、二維快速傅里葉變換和BM3D 的處理結(jié)果圖像。

圖2 中9 張圖像和表2 中數(shù)據(jù)的對應(yīng)關(guān)系與上文圖1 和表1 的對應(yīng)關(guān)系相同。

圖2 變換域類方法處理結(jié)果圖像

綜合圖2 和表2 的實驗結(jié)果和數(shù)據(jù)可知：維納濾波的耗時整體最少；維納濾波和BM3D 的峰值信噪比、結(jié)構(gòu)相似度指標最高，這說明這兩種方法造成的圖像失真最少；二維快速傅里葉變換的平均梯度、熵值與標準差增值總體來說最高，說明該方法能有效增大圖像的清晰度和提高圖像的信息覆蓋率。

表2 變換域類方法定量比較結(jié)果

綜合上述分析可知：變換域類方法進行水下圖像增強時，二維快速傅里葉變換效果最好，維納濾波其次，BM3D 效果一般。

2.3.3 典型方法實驗結(jié)果

本節(jié)采用了典型方法的Retinex-based、暗通道先驗法以及引導濾波對選取的9 幅圖像分別處理，并將處理結(jié)果列于圖3 中。隨后采用6 種評價指標對實驗結(jié)果進行分析，獲得的實驗數(shù)據(jù)列于表3 中。

圖3（a）～（d）分別表示原始水下圖像，以及Retinexbased、暗通道先驗法和引導濾波的處理結(jié)果圖像。

圖3 中9 張圖像和表3 中數(shù)據(jù)的對應(yīng)關(guān)系與上文圖1 和表1 的對應(yīng)關(guān)系相同。

綜合圖3 和表3 的實驗結(jié)果和數(shù)據(jù)可知：引導濾波的耗時整體最少；引導濾波的峰值信噪比、結(jié)構(gòu)相似度指標整體最高，這說明這種方法造成的圖像失真最少；Retinex-based 的平均梯度、熵值與標準差增值總體最高，說明該方法能有效增大圖像的清晰度和提高圖像的信息覆蓋率，但適用圖像較少；暗通道先驗法的平均梯度、熵值與標準差增值也能一定程度增高，適用圖像更多，但指標增值不明顯，不能更為有效地改善圖像質(zhì)量。

表3 典型方法定量比較結(jié)果

圖3 典型方法處理結(jié)果圖像

綜合上述分析可知：典型方法進行水下圖像增強時，引導濾波效果最好，Retinex-based 和暗通道先驗法次之。

綜上所述，對水下圖像質(zhì)量提升而言，在空間域類方法中，直方圖均衡化的效果最好；在變換域類方法中，二維快速傅里葉變換效果最好；在典型方法中，引導濾波效果最好。

在上述幾種最好的方法中，耗時最少的是直方圖均衡化；峰值信噪比、結(jié)構(gòu)相似度指標整體最高的是引導濾波，這表明引導濾波造成的圖像失真最少；平均梯度更好的是二維快速傅里葉變換；熵值與標準差增值總體來說最高的是直方圖均衡化，表明它能有效提高圖像的清晰度和信息覆蓋率，但適用圖像較少。

整體數(shù)據(jù)表明，直方圖均衡化與引導濾波所具有的優(yōu)勢更為明顯，二維快速傅里葉變換雖在變換域類方法中效果較好，但在處理水下圖像時優(yōu)勢明顯不如另外兩個方法。

3 軟件界面與說明

3.1 編寫目的

編寫圖像處理界面的目的是為了將圖像處理結(jié)果和數(shù)據(jù)更直接地顯示出來，減少方法研究的時間，也有利于后續(xù)在此基礎(chǔ)上進行更深入的方法研究。

3.2 軟件界面總體結(jié)構(gòu)

根據(jù)目的，本設(shè)計界面總體結(jié)構(gòu)如圖4 所示。

圖4 總體結(jié)構(gòu)圖

3.3 軟件界面運行環(huán)境及編程語言

該界面是基于MATLAB2018a 的Windows 窗體應(yīng)用程序，是由MATLAB 中的GUIDE 工具設(shè)計而成的GUI界面，軟件系統(tǒng)支持Microsoft Windows XP/Windows 7 等多種平臺。

3.4 界面各模塊設(shè)計

（1）方法選擇模塊：用于選擇圖像處理方法，其中包含上述9 種方法。

（2）圖像顯示模塊：用于顯示原始水下圖像和處理后的結(jié)果圖像。

（3）數(shù)據(jù)顯示模塊：用于顯示實驗評價指標數(shù)據(jù)結(jié)果，包括耗時、峰值信噪比、結(jié)構(gòu)相似度、平均梯度、熵值和標準差。

（4）保存模塊：將生成的結(jié)果圖像保存到對應(yīng)文件夾中。

界面圖像處理流程圖如圖5 所示，能夠直觀地展示各個模塊的功能以及模塊之間的相互聯(lián)系。

圖5 界面圖像處理流程圖

3.5 軟件界面

圖6 所示為軟件操作具體界面。

圖6 軟件界面

4 結(jié)論

針對水下光成像往往存在的模糊嚴重、對比度低等問題，并結(jié)合國內(nèi)外學者關(guān)于水下圖像質(zhì)量提升方法的研究現(xiàn)狀，本文共選取9 種空間域類、變換域類和典型方法進行水下圖像質(zhì)量提升對比實驗，以3 個圖像集為對象，并采用耗時、峰值信噪比、結(jié)構(gòu)相似度、平均梯度、熵值和標準差6 個評價指標對實驗結(jié)果圖像進行分析，完成對現(xiàn)有方法的對比研究。實驗結(jié)果表明：在提升（包括增強和復原）水下圖像質(zhì)量的方法中，直方圖均衡化和引導濾波的圖像效果最佳，且獲得了整體較好的數(shù)據(jù)結(jié)果，二維快速傅里葉變換次之，而高斯濾波、二維順序統(tǒng)計量濾波、維納濾波、BM3D、Retinex-based 和暗通道先驗法則相對較差。

根據(jù)本文研究，后續(xù)將基于直方圖均衡化和引導濾波展開進一步研究工作，編寫的軟件界面也為方法研究提供了便利。