排水管道圖像霧氣及光斑干擾去除方法研究

李夷進(jìn)， 閆睿， 楊峰*， 喬旭， 李梵若， 劉文

(1.中國礦業(yè)大學(xué)(北京)機(jī)電與信息工程學(xué)院, 北京 100083； 2.北京城市排水集團(tuán)有限責(zé)任公司科技研發(fā)中心, 北京 100083)

隨著中國城市化發(fā)展，排水管網(wǎng)的范圍日益增大，然而隨著排水量的增加以及管道使用時(shí)間的增長管道內(nèi)部極易出現(xiàn)腐蝕、破裂、滲漏等病害。目前，管道內(nèi)窺攝像檢測(close circuit television inspection, CCTV)[1]是應(yīng)用最普遍的管道缺陷檢測方法。管道機(jī)器人代替維護(hù)人員進(jìn)入危險(xiǎn)管道進(jìn)行檢修，提高了安全性。基于管道內(nèi)窺攝像檢測通過人眼目測管道缺損等病害的發(fā)生以及發(fā)展程度，然而獲取的視頻圖像往往容易受到排水管道中的水氣以及雜物的干擾，出現(xiàn)白霧現(xiàn)象，且管道機(jī)器人在前行的過程中，水氣及污水易附著在鏡頭上，會(huì)導(dǎo)致光斑現(xiàn)象，嚴(yán)重影響維護(hù)人員對管道病害的判讀。

目前圖像去霧的主要方法包括基于圖像增強(qiáng)的方法以及基于大氣散射模型的方法。基于圖像增強(qiáng)的方法，直接使用某種圖像增強(qiáng)的算法進(jìn)行去霧，也會(huì)帶來一些噪聲,丟失圖像局部細(xì)節(jié)，主要有小波分析的方法[2]、直方圖均衡化[3]、同態(tài)濾波算法[4]和Retinex算法[5]等；基于大氣散射模型的方法，其利用模型，估計(jì)模型參數(shù)，然后還原圖像。暗通道先驗(yàn)法成為了最經(jīng)典的去霧算法[6]，然而在排水管道的背景下，并不適合大氣散射模型，并且會(huì)產(chǎn)生色偏。近年來，隨著深度學(xué)習(xí)的發(fā)展，基于神經(jīng)網(wǎng)絡(luò)的圖像去霧方法也取得了巨大的進(jìn)展。Zhang等[7]提出了一種密集連接金字塔除霧網(wǎng)絡(luò)，可以共同學(xué)習(xí)透射率圖，大氣光值和去霧。Chen等[8]利用生成對抗網(wǎng)絡(luò)，可實(shí)現(xiàn)端到端的圖像去霧。Dong等[9]提出了一種基于U-Net的具有密集特征融合的多尺度增強(qiáng)去霧網(wǎng)絡(luò)，然而，訓(xùn)練需要大量的管道數(shù)據(jù)，獲取管道場景相匹配的有霧和無霧的圖像是十分困難的，耗時(shí)長。而且這些算法都無法去除鏡頭上附著的霧氣帶來的光斑問題。

為此，基于大氣散射模型提出了適合管道的霧氣退化模型并結(jié)合暗通道先驗(yàn)法去霧，使用一種多尺度Retinex色偏恢復(fù)算法[10]校正圖像色偏，最后將RGB顏色空間轉(zhuǎn)換為HSV顏色空間，使用改進(jìn)的二維伽馬函數(shù)[11]調(diào)整亮度，降低鏡頭污染導(dǎo)致的圖像光斑問題，提高排水管道圖像的可視度和清晰度，解決傳統(tǒng)算法中存在的色偏與光斑現(xiàn)象，并進(jìn)行實(shí)驗(yàn)驗(yàn)證。

1 暗通道先驗(yàn)算法

排水管道霧氣的產(chǎn)生是由于管道中懸浮粒子對目標(biāo)反射光的吸收與散射，導(dǎo)致成像亮度低，光源受到介質(zhì)的散射形成背景光，造成的圖像不自然。大氣散射模型[12]是在自然光條件下，所有位置的光照強(qiáng)度默認(rèn)是由最遠(yuǎn)處的太陽光提供，將光照強(qiáng)度近似為一個(gè)常數(shù)。在排水管道中并無自然光，使用LED燈作為光源，光照強(qiáng)度隨著與光源的距離的增大而減小，而并非如大氣散射模型中始終近似于常數(shù)。因此使用管道霧氣退化模型，并結(jié)合暗通道先驗(yàn)法來解決管道水霧造成的圖像模糊。

在真空中，光強(qiáng)不隨距離衰減，然而在散射介質(zhì)中，光在傳播的會(huì)隨著傳輸距離的增加光強(qiáng)逐漸衰減，霧天衰減模型即平行光經(jīng)過散射介質(zhì)，假設(shè)其具有單位橫截面積，得到平行光在距離為d處的光照強(qiáng)度，可表示為

E(d,λ)=E0(λ)e-β(λ)d

(1)

式(1)中：E0(λ)為初始的光強(qiáng)；E(d,λ)為衰減后的光強(qiáng)；β(λ)為散射系數(shù)；λ為光源的波長。

點(diǎn)光源的衰減遵循負(fù)二次方定律，隨著距離光源距離增加，因?yàn)楣饩€要覆蓋的區(qū)域成倍增加，根據(jù)能量守恒定律，其表達(dá)式為

(2)

探測器接收到目標(biāo)體的反射光以及空氣介質(zhì)中的漫反射光，假設(shè)將體積微元dv內(nèi)的介質(zhì)被看做成一個(gè)光源，則其光強(qiáng)為dI(x,λ)，如圖1所示。

w為立體角；x為與探測器的距離；dx、dw分別為距離x與立體角w的微分單元

LED光源雖為點(diǎn)光源，在管道這一特殊背景下，光線只有在初始很短的一段距離球面?zhèn)鞑ィ蠊饩€要覆蓋的面積幾乎不變，為管道的橫截面積，因此可近似地看作平行光，若LED光源光強(qiáng)為L0，則根據(jù)光源的損耗公式，結(jié)合式(1)可得到達(dá)探測器后的光強(qiáng)dL為

dL(x,λ)=dI(x,λ)e-β(λ)xdx

=kβ(λ)e-β(λ)xdx

=L0β(λ)e-2β(λ)xdx

(3)

式(3)中：k為LED光源在x處的光照強(qiáng)度。

積分可得散射光強(qiáng)的值為

(4)

因此成像系統(tǒng)的總光強(qiáng)為

(5)

(6)

暗通道先驗(yàn)原理為：在非天空區(qū)域，對于一個(gè)無霧圖像，每個(gè)局部區(qū)域很可能至少一個(gè)顏色通道會(huì)有很低的值，可表示為

(7)

式(7)中：C為顏色通道；Ω(x)表示x的領(lǐng)域內(nèi)；y為像素。

對式(6)變形，假設(shè)在圖像中一定大小的矩形窗口內(nèi)透射率的值為定值，化簡得

(8)

(9)

基于管道模型的暗通道先驗(yàn)去霧結(jié)果如圖2所示。

millisecond表示毫秒;distance表示距離

2 MSRCR算法

由于水霧的影響，光在到達(dá)相機(jī)前，被排水管道中的懸浮粒子吸收和散射，不同波長的光衰減速度不同，紅色光波長較長衰減較快，藍(lán)色光波長較短傳播距離較遠(yuǎn)，因而暗通道先驗(yàn)得出的結(jié)果存在藍(lán)色色偏，使用帶顏色恢復(fù)的多尺度Retinex算法對色偏圖像進(jìn)行圖像增強(qiáng)。多尺度視網(wǎng)膜增強(qiáng)算法(multi-scale Retinex，MSR)[13]是由Retinex[14]改進(jìn)而來的，其原理可表示為

r(x,y)=lgR(x,y)

=lgS(x,y)-lg[F(x,y)*S(x,y)]

(10)

式(10)中：r(x，y)為反射圖像R(x，y)求對數(shù)的結(jié)果；S(x,y)為觀察者獲取的圖像；R(x,y)為反射圖像；F(x,y)為中心環(huán)繞函數(shù)；*表示卷積。

(11)

式(11)中：wk為k個(gè)尺度下的權(quán)重；Fk(x,y)為k尺度下的中心環(huán)繞函數(shù)。

帶色彩恢復(fù)的多尺度視網(wǎng)膜增強(qiáng)(multi-scale Retinex with color restoration, MSRCR)算法是計(jì)算出的各個(gè)通道的min和max值，其表達(dá)式分別為

min=Mean-DynamicVar

(12)

max=Mean+DynamicVar

(13)

式中：min為各個(gè)通道的最小值；max為各個(gè)通道的最大值；Mean與Var分別為各通道數(shù)據(jù)均值與均方差；Dynamic表示實(shí)現(xiàn)無色偏的調(diào)節(jié)過程。

最終結(jié)果為

R(x,y)=[r(x,y)-min]/(max-min)(255-0)

(14)

圖3為MSRCR增強(qiáng)的結(jié)果，與原圖相比，不僅恢復(fù)了管道圖像的色彩，保持了圖像的邊緣特性。

millisecond表示毫秒;distance表示距離

3 二維伽馬函數(shù)

在機(jī)器人前進(jìn)的過程中，由于大部分管道內(nèi)部具有一定污水充滿度，鏡頭極易受到管道中的水氣或污水的干擾而污染，從而造成場景中出現(xiàn)部分過于明亮的區(qū)域，即光斑現(xiàn)象，破壞了正常的圖像。

3.1 光照分量的提取

由于HSV(色調(diào)：hue、飽和度：saturation、明度：value)色彩空間更接近人眼對色彩的感知，不會(huì)出現(xiàn)失真現(xiàn)象，因此首先將圖像轉(zhuǎn)變到HSV色彩空間。

目前常用提取光照分量的方法有基于線性引導(dǎo)濾波、雙邊濾波、Top-hat、高斯濾波等[15]，為了更好的保持光照分量的邊緣特性，選用多尺度高斯濾波算法，其有效地壓縮動(dòng)態(tài)范圍并準(zhǔn)確地估計(jì)排水管道圖像的光照分量，高斯濾波的表達(dá)式為

(15)

式(15)中：σ為尺度因子；λnorm為歸一化常數(shù)，確保高斯函數(shù)滿足歸一化條件。

利用高斯函數(shù)和輸入圖像做卷積，即可得到光照分量的估計(jì)值，可表示為

(16)

式(16)中：kscale為尺度的數(shù)量；V(x,y)為輸入圖像的亮度；Gi(x,y)為i尺度下的高斯濾波；I(x,y)為估計(jì)出來的光照分量。

3.2 構(gòu)造改進(jìn)的伽馬函數(shù)

由圖4(a)可以看出，出現(xiàn)光斑的位置普遍亮度偏高，飽和度偏低，故選取感興趣區(qū)域，校正亮度，去除明亮區(qū)域。根據(jù)亮度分量構(gòu)造校正函數(shù)，改進(jìn)的二維伽馬函數(shù)可以依據(jù)亮度分量自適應(yīng)的調(diào)整參數(shù)，解決排水管道圖像光斑現(xiàn)象。改進(jìn)的二維伽馬函數(shù)表達(dá)式為

millisecond表示毫秒;distance表示距離

(17)

V′=Vgamma

(18)

改進(jìn)的二維伽馬函數(shù)校正前后圖像亮度圖細(xì)節(jié)對比如圖4所示，分別為去霧圖象、初始的亮度、圖像的光照分量、經(jīng)過伽馬變換后的圖像亮度和經(jīng)過伽馬變換后的圖像。可觀察到原圖中光斑區(qū)域的亮度得到了明顯降低，良好地解決了圖像因鏡頭污染造成的光斑問題，提高了圖像的質(zhì)量，使其更符合人類的視覺感知系統(tǒng)。

4 算法流程與實(shí)現(xiàn)

基于管道內(nèi)窺攝像檢測的傳統(tǒng)缺陷檢測方法，獲取的管道圖像往往會(huì)受到光照、水霧等影響，造成霧氣與光斑等干擾，破壞了正常的圖像。因此使用暗通道先驗(yàn)法對圖像去霧處理并進(jìn)行色彩校正，并在HSV色彩空間對排水管道圖像進(jìn)行亮度校正，總體算法流程如圖5所示。

圖5 算法流程圖

5 實(shí)驗(yàn)結(jié)果與分析

實(shí)驗(yàn)視頻數(shù)據(jù)來自中國礦業(yè)大學(xué)(北京)自主研發(fā)的管道機(jī)器人，如圖6所示。通過建立排水管道視頻圖像數(shù)據(jù)集來驗(yàn)證本方法的有效性。實(shí)驗(yàn)中排水管道圖像數(shù)據(jù)集截取自北京市不同區(qū)域的排水管道。實(shí)驗(yàn)所用的計(jì)算機(jī)配置為CPU Intel(R) Core(TM) i7-8700 3.0 GHz, RAM 16 GB。實(shí)驗(yàn)算法編程使用vs2015。

圖6 管道機(jī)器人

利用信息熵、峰值信噪比PSNR以及水下圖像質(zhì)量評(píng)價(jià)UIQM[16]質(zhì)量評(píng)估指標(biāo)對本文算法處理過程進(jìn)行評(píng)估。信息熵反映圖像信息豐富程度，信息熵越大，圖像越清晰。峰值信噪比是被處理圖像與參考圖像之間的均方誤差，數(shù)值越大代表保留圖像質(zhì)量信息越高，失真越小。水下圖像的退化機(jī)理主要包括光線吸收導(dǎo)致的顏色偏差，光線前向散射導(dǎo)致的細(xì)節(jié)模糊和光線后向散射造成的低對比度，與排水管道霧氣圖像的衰退機(jī)理相似，因此用UIQM作為作為評(píng)價(jià)依據(jù)，包含圖像的色度評(píng)價(jià)指標(biāo)UICM、清晰度評(píng)價(jià)指標(biāo)UISM和對比度評(píng)價(jià)指標(biāo)UIConM，數(shù)值越大表示圖像效果越好，UIQM計(jì)算公式為

UIQM=c1UICM+c2UISM+c3UIConM

(19)

式(19)中：c1、c2、c3為各個(gè)分量的權(quán)重，c1=0.028 2，c2=0.295 3，c3=3.575。

在實(shí)驗(yàn)驗(yàn)證中，選取6幅不同區(qū)域的排水管道，如圖7所示，其中圖7(a)～圖7(c)為無缺陷排水管道，圖7(d)包含輕度腐蝕缺陷，圖7(e)包含中度腐蝕缺陷，圖7(f)中包含中度腐蝕以及異物侵入缺陷。

millisecond表示毫秒;distance表示距離

如表1所示，Retinex算法雖然具有較高的PSNR值，提升了視覺效果，但圖8整體去霧效果不佳，大部分霧氣無法去除。DCP算法去能夠達(dá)到去霧的目的，然而無法去除光斑，并且背景信息丟失嚴(yán)重有嚴(yán)重的色偏現(xiàn)象，如圖9所示，管道腐蝕區(qū)域缺陷不明顯，嚴(yán)重影響管道病害研判。

表1 Retinex算法評(píng)價(jià)指標(biāo)

millisecond表示毫秒;distance表示距離

millisecond表示毫秒;distance表示距離

EPDN算法相較于前兩種算法，其能夠達(dá)到較大范圍的去霧目的，同時(shí)對于背景信息的保存也較為完整。但圖10中該算法無法去除光斑，且使得圖像“暗處更暗”的現(xiàn)象更加明顯，從而影響管道病害研判的精度。

millisecond表示毫秒;distance表示距離

如圖11所示，本文算法在去霧的同時(shí)糾正了色偏，能壓制了圖像中的光斑現(xiàn)象，提高了對比度和清晰度，顏色飽滿，細(xì)節(jié)清晰，具有良好的視覺效果并且相較于原圖與其他算法，本文算法的結(jié)果可以更清晰的觀察到管道缺陷。如表1和圖12所示，本文算法在UIQM指標(biāo)最具優(yōu)勢，同時(shí)具有較高的信息熵和PSNR值，意味著相比于其他算法圖像具有更好的清晰度和對比度，信息熵和峰值信噪比占較大優(yōu)勢，圖像信息豐富、失真小。

millisecond表示毫秒;distance表示距離

圖12 各算法在數(shù)據(jù)集上評(píng)價(jià)指標(biāo)的均值

6 結(jié)論

針對目前大多數(shù)去霧算法在排水管道中的應(yīng)用存在的去霧不徹底，存在色偏以及光斑問題，本文提出了一種排水管道圖像霧氣及光斑干擾去除方法。方法結(jié)合管道霧氣特征，構(gòu)建暗通道先驗(yàn)法去霧算法，使用一種多尺度Retinex色偏恢復(fù)算法恢復(fù)色彩，最后改進(jìn)二維伽馬函數(shù)，通過降低鏡頭污染，實(shí)現(xiàn)對圖像光斑的壓制。本文算法在排水管道有霧圖像樣本中信息熵、PSNR、UIQM指標(biāo)優(yōu)于文中其他去霧算法，主觀上具有良好視覺效果，在去霧的基礎(chǔ)上，能更好地處理顏色和細(xì)節(jié)特征，從而提高排水管道病害解譯準(zhǔn)確度。