基于常散射假設和同態濾波的水下圖像增強算法

王 丹, 張子玉, 趙金寶, 楊謝柳*, 范慧杰, 唐延東

基于常散射假設和同態濾波的水下圖像增強算法

王 丹1, 張子玉1, 趙金寶1, 楊謝柳1*, 范慧杰2, 唐延東2

(1. 沈陽建筑大學 機械工程學院, 遼寧 沈陽, 110168; 2. 中國科學院沈陽自動化研究所 機器人學國家重點實驗室, 遼寧 沈陽, 110016)

針對水下圖像視覺增強技術存在低對比度和色偏的問題, 文中提出一種基于常散射假設和同態濾波的水下圖像增強算法。首先, 假設整幅圖像的后向散射為常量, 在圖像的前景區域分別搜索紅綠藍三通道的最小像素值, 將各通道與其對應的最小像素值作差, 以實現去除后向散射的目的。然后, 將圖像轉為灰度圖像并進行同態濾波處理, 以抑制圖像低頻信息和增強圖像高頻成分。最后, 采用顏色校正方法消除離群點對圖像的干擾。實驗結果表明, 文中方法可有效改善圖像的對比度和亮度, 提升圖像的整體視覺效果。

水下圖像; 視覺增強; 散射; 同態濾波

0 引言

隨著對深海資源的深入開發, 水下機器人越來越多地被應用于海洋生物跟蹤和實時導航等領域[1-2]。圖像作為獲取信息的媒介, 在海底探索時發揮著重要的作用。由于水下環境與陸地之間的差異, 水體會對光產生散射和吸收效應[3]。散射是光與水中懸浮顆粒碰撞后方向發生改變的現象, 散射會導致圖像的模糊和低對比度。吸收是指懸浮粒子吸收光的現象, 水對光的吸收取決于光束的波長[4], 在水下紅光衰減得最快, 因此水下圖像往往呈現出藍綠色的特點, 獲取正確的圖像信息是探索海洋的必要前提, 為保證水下探索工作的順利進行, 對水下圖像的增強極為重要。

目前, 圖像復原與圖像增強廣泛應用于水下圖像處理[5-6], 以提高能見度、對比度和糾正由水體吸收所造成的顏色偏差。水下圖像的復原常常利用相關退化函數和噪聲特性并基于圖像形成模型(image formation model, IFM)從觀測圖像中恢復原始圖像[7]。圖像復原的方法通常基于先驗信息, 如暗通道先驗[8](dark channel prior, DCP)方法通過估計大氣透射率并結合成像模型, 實現單幅圖像的去霧, 具有良好的去霧效果, 但將其直接應用于水下圖像時效果不明顯。對此, Wen等[9]提出了一種描述水下成像過程的水下成像模型; Yang等[10]提出一種基于DCP的低復雜度水下圖像增強方法。此外, 還有基于景深信息的方法[11-12]和基于紅通道先驗的方法[13]等。

圖像增強方法不考慮物理的成像模型, 而是通過主觀和定性分析提高圖像的整體質量, 如直方圖均衡化[14](histogram equalization, HE)方法、對比度限制的自適應直方圖均衡化[15](contrast li- mited adaptive histogram equalization, CLAHE)方法、對比度拉伸方法[16]、基于Retinex的方法[17]、基于融合的方法[18]以及概念簡單且處理性能較好的白平衡(white balance, WB)方法等。同態濾波也是一種常見的圖像增強方法, 通過對圖像的高低頻信息分別進行處理, 可實現照度不均、低照度和低對比度圖像的視覺改善[19-22], 但目前同態濾波主要用于大氣圖像的增強, 在水下圖像中的應用較少, 王永鑫等[23]利用同態濾波進行水下圖像低頻提取, 用于估計后向散射去除模糊, 并未直接增強圖像高頻信息。

基于先驗信息的方法一般都有其局限性, 先驗信息和目標場景間的不匹配可能導致顯著的估計誤差, 導致結果失真[3]。傳統的圖像增強方法對空氣中拍攝的圖像具有顯著的增強效果, 而對水下圖像并不能很好去除色偏等影響, 增強后的圖像往往仍具有較低的對比度和存在色偏現象。

針對此, 文中提出一種基于常散射假設和同態濾波的水下圖像增強方法。考慮到前景區域(即感興趣區域)場景深度的變化幅度通常較小, 提出常散射假設; 基于DCP提出常散射估計方法, 通過差值運算去除后向散射; 將直接分量圖像進行同態濾波處理以抑制光照增強前景細節; 對濾波后的圖像進行異常點剔除, 擴大圖像的動態范圍, 提升圖像對比度。在水下多個場景中對該方法進行了測試, 實驗結果表明, 該方法可以有效地去除色偏對水下圖像的干擾, 并改善圖像的亮度和對比度, 凸顯場景細節。

1 方法設計

1.1 后向散射去除

水下成像模型一般表達式為[24]

由于同一圖像上不同場景點處的后向散射量主要取決于其場景深度(場景點與相機之間的距離), 而前景區域中場景深度的變化幅度通常較小, 因此, 前景區域的后向散射量近似為常量。背景部分并非關注重點, 所以可簡單認為整幅圖像上的后向散射是常量, 這對于場景深度變化不大的圖像是一個合理的假設。而對于場景深度變化較大的圖像, 主要關心的前景區域也滿足這一假設。因此, 文中定義前景區域RGB各通道的最小值為疊加在零值上的后向散射量。

考慮到對于常規場景和拍攝角度, 前景區域往往出現在圖像下部, 因此, 文中首先在圖像的底部%的區域內搜索RGB各通道的最小像素值

在得到各通道最小像素值后, 將各通道分別減去對應的最小像素值, 即可實現后向散射去除

為驗證該方法可行性, 對水下圖像增強基準(underwater image enhancement benchmark, UIEB)數據集[25]中的圖像進行處理, 示例結果如圖1~圖3所示。由圖中可見, 無論是對于后向散射引起的模糊還是色偏, 使用該方法后都有較明顯的改善。尤其是針對圖3中場景深度變化不大、具有加性模糊或色偏的圖像, 該方法效果顯著。

圖1 水下模糊圖像去散結果

圖2 藍色調水下圖像去散結果

圖3 綠色調水下圖像去散結果

1.2 同態濾波處理

圖像中的高頻信息對應于物體信息, 低頻信息對應于光照信息, 同態濾波通過采用合適的濾波函數, 將高低頻分別處理以達到高頻增強、低頻抑制的目的, 其主要流程如圖4所示。

圖4 同態濾波流程圖

為實現低頻抑制和高頻增強, 將sigmoid函數引入同態濾波器, 得到如下高通濾波器

1.3 彩色圖像校正

為進一步進行顏色校正和對比度拉伸, 進行如下計算[17]

2 實驗結果與分析

在UIEB數據集[25]上將原圖與利用CLAHE、DCP、水下暗通道先驗(underwater dark channel prior, UDCP)[11]和同態濾波等方法處理后的圖像進行對比。采用主、客觀相結合的評價方法, 對以上方法處理后得到的圖像進行橫向比較, 并以UIEB的數據集為參考進行定性和定量評估。所有的算法均在MATLAB R2018b環境下編程實現, 算法執行的PC平臺配置為: Inter(R) Core(TM) i5- 4210H CPU@2.90 GHz 2.90 GHz, 12 GB。

2.1 實驗參數

圖5 sigmoid高通濾波器頻率響應圖

實驗中, CLAHE、DCP和UDCP采用了Wang等[26]提供的源程序, 參數未做改變。同態濾波方法即為文中的同態濾波部分, 參數同文中方法。

2.2 客觀評價算法

進行客觀分析時, 采用峰值信噪比(peak sig- nal to noise ratio, PSNR)和結構相似度(structural similarity index, SSIM)2種指標[27]。其均方誤差為

PSNR計算公式

SSIM計算公式

2.3 實驗結果分析

為了更好地驗證所提算法的有效性和穩定性, 對UIEB數據庫中的5類圖像分別進行處理, 包括藍色調圖像、綠色調圖像、俯視圖像、前視圖像和存在陰影區域的圖像。結果的主、客觀比較如圖6~圖10和表1~表3所示。

圖6 藍色調水下圖像主觀比較

圖7 綠色調水下圖像主觀比較

圖8 水下俯視圖像主觀比較

圖9 水下前視圖像主觀比較

圖10 亮度不均水下圖像主觀比較

表1 藍/綠色調水下圖像PSNR和SSIM結果比較

表2 水下俯視/前視圖像PSNR和SSIM結果比較

從圖中可看出, DCP方法的去除霧樣模糊效果良好(見圖8和圖9), 但其對色彩偏差和亮度不均問題無效(見圖5、圖6和圖10), 這是由于其主要針對的是不存在波長消光差異的霧天圖像, 而對水下圖像適用性差。UDCP方法能夠有效減弱散射提高對比度(見圖8), 但其色偏校正不充分(見圖7)、對亮度不均問題無效(見圖10)且易產生偽影(見圖10場景2)。CLAHE方法在去除霧樣模糊、改善亮度不均方面表現良好(見圖6和圖8), 但在顏色校正方面效果不佳(見圖7的場景1), 且結果圖偏亮致使色彩略有丟失(見圖8和圖10的場景1)。直接對水下圖像應用同態濾波, 可增強圖像細節, 改善亮度不均(見圖10), 但其色偏校正效果不明顯且易引起色彩丟失(見圖6、圖8和圖9)。文中提出的基于常散射假設和同態濾波的水下圖像增強算法, 不僅能夠增強圖像細節, 改善亮度不均, 而且能夠有效去除霧樣模糊和色偏, 對于相機設置和波長消光差異引起的加性均勻色偏和深度變化較小場景圖像中的均勻模糊均表現良好(見圖7)。這主要由于其常散射假設在此類圖像中基本成立, 去除常散射即可去除主要模糊和色偏。文中方法在前視圖像遠景部分的模糊和色偏校正并不理想(見圖9的場景2), 但如前所述, 大多數情況下近景部分是感興趣區域, 對遠景的關注度較低。

表3 亮度不均水下圖像PSNR和SSIM結果比較

客觀比較方面, 如前所述, PSNR值越高或SSIM值越接近于1, 表明增強圖像與參考圖像越接近。由表1和表2可看出, 文中方法在藍色調場景1圖像和水下前視圖像上的PSNR和SSIM值最優。但在藍色調場景2和水下俯視場景上的PSNR和SSIM值略遜于CLAHE方法。從圖6和圖8可看出, 藍色調場景2和水下俯視場景的參考圖像和CLAHE方法的結果圖亮度較高, 但在高亮部分有色彩丟失現象; 文中方法結果圖亮度偏低且略帶土黃色, 但圖像色彩更豐富, 可推斷亮度差異是PSNR和SSIM值偏低的主要原因。由表1可看出, 綠色調場景中文中方法的PSNR值最優, 但SSIM稍遜于CLAHE方法, 這表明此2種指標也并非總會出現完全一致的結果。同時, 由圖7的場景1可看出, 文中方法的結果明顯優于CLAHE方法, 故可推測PSNR的可靠度更高。由表3可看知, 文中方法在亮度不均水下圖像中的PSNR和SSIM值最優, 且遠優于CLAHE方法, 這主要歸功于同態濾波。總的來講, PSNR和SSIM基本能夠反映圖像的相似程度, 但對圖像亮度敏感, 應結合主、客觀綜合評價。

3 結束語

針對水下圖像的色偏和低對比度問題, 提出了一種基于常散射假設和同態濾波的水下圖像增強算法。通過常散射假設簡化散射估計模型, 避免復雜先驗與實際情形不符引起的偽影; 通過同態濾波增強直射分量圖像中的高頻物體信息, 抑制低頻分量; 通過異常點剔除進行動態范圍擴展和對比度增強。主、客觀比較均顯示文中算法在對水下圖像進行增強時具有良好的性能。該算法簡單穩定、計算量小, 適用于實時處理的應用場合。然而, 若圖像中存在背光面、背光洞穴等不能接收散射光的暗區域, 由于散射光被低估, 并未得到有效去除, 該算法效果不明顯, 這是未來研究的關注點之一。

[1] Lee D J, Redd S, Schoenberger R, et al. An Automated Fish Species Classification and Migration Monitoring System[C]//IECON’03 29th Annual Conference of the IEEE Industrial Electronics Society. Roanoke, VA, USA: IEEE, 2003.

[2] Chen C L P, Zhou J, Zhao W. A Real-time Vehicle Navigation Algorithm in Sensor Network Environments[J]. IEEE Transactions on Intelligent Transportation Systems, 2012, 13(4): 1657-1666.

[3] Schettini R, Corchs S. Underwater Image Processing; State of the Art of Restoration and Image Enhancement Methods[J]. EURASIP Journal on Advances in Signal Processing, 2010, 746052: 1-14.

[4] Galdran, Adrian P, David P, et al. Automatic Red-channel Underwater Image Restoration[J]. Journal of Visual Com- munication and Image Representation, 2015, 26(1): 132- 145.

[5] Mangeruga M, Bruno F, Cozza M, et al. Guidelines for Underwater Image Enhancement Based on Benchmarking of Different methods[J]. Remote Sensing, 2018, 10(10): 1652.

[6] Han M, Lyu Z, Qiu T, et al. A Review on Intelligence Dehazing and Color Restoration for Underwater Images[J]. IEEE Transactions on Systems, Man, and Cybernetics; Systems, 2020, 50(5): 1820-1832.

[7] Wang N, Zheng H Y, Zheng B. Underwater Image Restoration Via Maximum Attenuation Identification[J]. IEEE Access, 2017, 5: 18941-18952.

[8] He K M, Sun J, Tang X O. Single Image Haze Removal Using Dark Channel Prior[J]. IEEE Transactions on Pattern Analysis and Machine Intelligence, 2010, 33(12): 2341-2353.

[9] Wen H C, Tian Y H, Huang T J, et al. Single Underwater Image Enhancement with a New Optical Model[C]//2013 IEEE International Symposium on Circuits and Systems (ISCA-S2013). Peking University, Beijing, China: IEEE, 2013: 753- 756.

[10] Yang H Y, Chen P Y, Huang C C, et al. Low Complexity Underwater Image Enhancement Based on Dark Channel Prior[C]//2011 Second International Conference on Innovations in Bio-inspired Computing and Applications. Guangdong, China: IEEE, 2011: 17-20.

[11] Drews Jr P, do Nascimento E, Moraes F, et al. Transm- ission Estimation in Underwater Single Images[C]//Pr- oceedings of the IEEE International Conference on Co- mputer Vision Workshops. Sydney, Australia: IEEE, 2013: 825-830.

[12] Peng Y T, Cosman P C. Underwater Image Restoration Based on Image Blurriness and Light Absorption[J]. IEEE Transactions on Image Processing, 2017, 26(4): 1579-1594.

[13] Cheng C Y, Sung C C, Chang H H. Underwater Image Restoration by Red-dark Channel Prior and Point Spread Function Deconvolution[C]//2015 IEEE International Co- nference on Signal and Image Processing Applications (ICSIPA). Kuala Lumpur, Malaysia: IEEE, 2015: 110-115.

[14] Singhai J, Rawat P. Image Enhancement Method for Underwater, Ground and Satellite Images Using Brightness Preserving Histogram Equalization with Maximum Entropy[C]//7th International Conference on Computational Intelligence and Multimedia Applications. Piscataway, USA: IEEE, 2007: 507-512.

[15] Hitam M S, Yussof WNJHW, Awalludin, E A, et al. Mi- xture Contrast Limited Adaptive Histogram Equalization for Underwater Image Enhancement[C]//2013 Interna- tional Conference on Computer Applications Technology (ICCAT), Kuala Lumpur, Malaysia: IEEE, 2013: 1-5.

[16] IQBAL, Kashif, et al. Enhancing the Low Quality Images Using Unsupervised Colour Correction Method[C]//2010 IEEE International Conference on Systems, Man and Cybernetics. Istanbul, TURKEY: IEEE, 2010: 1703-1709.

[17] Fu X, Zhuang P, Yue H, et al. A Retinex-based Enhancing Approach for Single Underwater Image[C]//2014 IEEE International Conference on Image Processing(ICIP). Paris, French: IEEE, 2014: 4572-4576.

[18] Ancuti C O, Ancuti C, Philippe B. Effective Single Image Dehazing by Fusion[C]//2010 IEEE International Conference on Image Processing. Atlanta, USA: IEEE, 2010: 3541-3544.

[19] 蔡秀梅, 馬今璐, 吳成茂, 等. 基于模糊同態濾波的彩色圖像增強算法[J]. 計算機仿真, 2020, 37(6): 342-346.

Cai Xiu-mei, Ma Jin-lu, Wu Cheng-mao, et al. Color Image Enhancement Algorithm Based on Fuzzy Homomorphic Filtering[J]. Computer Simulation, 2020, 37(6): 342-346.

[20] 陶勝. 光照不均勻圖像的頻域增強方法[J]. 新余學院學報, 2020, 25(1): 12-15.

Tao Sheng. Enhancement and Adjustment for Non-unif- orm Illumination Image Based on Frequency Domain[J]. 2020, 25(1): 12-15.

[21] Suganthi K, Zaheeruddin S. Image Contrast Enhancement by Homomorphic Filtering Based Parametric Fuzzy Tran- sform[J]. Procedia Computer Science, 2019, 165: 166- 172.

[22] 鄔才斌, 王愛平, 宗輝, 等. 基于小波變換和模糊隸屬度的紅外圖像增強算法[J]. 電氣自動化, 2019, 41(5): 115-118.

Wu Cai-bin, Wang Ai-ping, Zong Hui, et al. Infrared Image Enhancement Algorithm Based on Wavelet Transform and Fuzzy Membership[J]. Electrical Automation, 2019, 41(5): 115-118.

[23] 王永鑫, 刁鳴, 韓闖. 基于同態濾波的水下圖像增強與色彩校正模型[J]. 計算機工程與應用, 2018, 54(11): 30- 34, 80.

Wang Yong-xin, Diao Ming, Han Chuang, et al. Underwater Image Enhancement and Color Correction Model Based on Homomorphic Filter[J]. Computer Engineering and Applications, 2018, 54(11): 30-34, 80.

[24] Akkaynak D, Treibitz T. Sea-thru: A Method for Removing Water from Underwater Images[C]//Proceedings of the IEEE Conference on Computer Vision and Pattern Recognition.Long Beach,USA: IEEE, 2019: 1682-1691.

[25] Li C, Guo C, Ren W, et al. An Underwater Image En- hancement Benchmark Dataset and Beyond[J]. IEEE Transactions on Image Processing, 2019, 29: 4376-4389.

[26] Wang Y, Song W, Fortino G, et al. An Experimental-based Review of Image Enhancement and Image Restoration Methods for Underwater Imaging[J]. IEEE Access, 2019, 7: 140233-140251.

[27] Wang Z. Image Quality Assessment from Error Visibility to Structural Similarity[J]. IEEE Transactions on Image Processing, 2004, 13(4): 600-612.

Underwater Image Enhancement Algorithm Based on Constant Scattering Assumption and Homomorphic Filtering

WANG Dan1, ZHANG Zi-yu1, ZHAO Jin-bao1, YANG Xie-liu1*, FAN Hui-jie2, TANG Yan-dong2

(1. School of Mechanical Engineering, Shenyang Jianzhu University, Shenyang 110168, China; 2. State Key Laboratory of Robotics, Shenyang Institute of Automation, Chinese Academy of Sciences, Shenyang 110016, China)

Aiming at the problem of low contrast and color deviation in underwater image visual enhancement technology, an image enhancement algorithm based on constant scattering assumption and homomorphic filtering is proposed. Firstly, assuming the backscattering of the whole image is constant, the minimum pixel value of red, green and blue (RGB) three channels is searched in the foreground area of the image, and the difference between each channel and its corresponding minimum pixel value is determined to avoid backscattering. Subsequently, the image is transformed into a gray image and homomorphic filtering is performed to suppress the low-frequency information and enhance the high-frequency component of the image. Finally, color correction method is used to eliminated the interference of outliers to the image. Experimental results show that the proposed method can effectively improve the contrast and brightness of the image, and enhance the overall visual effect of the image.

underwater image; visual enhancement; scattering; homomorphic filtering

TJ630; TP391

A

2096-3920(2021)02-0210-08

; 10.11993/j.issn.2096-3920.2021.02.012

王丹, 張子玉, 趙金寶, 等. 基于常散射假設和同態濾波的水下圖像增強算法[J]. 水下無人系統學報, 2021, 29(2); 210-217.

2020-07-01;

2020-08-04.

國家自然科學基金(61991413, 61973224); 道路施工技術與裝備教育部重點實驗室開放基金(300102259506); 遼寧省重點研發計劃(2019JH2/10100014); 遼寧省自然科學基金(2019-ZD-0673, 2019-ZD-0655, 2019-KF-01-15).

楊謝柳(1985-), 女, 博士, 副教授, 主要研究方向為計算機視覺、圖像處理及機器學習.

(責任編輯 楊力軍)