基于多尺度細節(jié)優(yōu)化的MSRCR 圖像去霧算法

王小芳，方登杰，何海瑞，鄒倩穎

（1. 電子科技大學(xué)成都學(xué)院 云計算科學(xué)與技術(shù)系，四川 成都 611731；2. 西華師范大學(xué) 計算機學(xué)院，四川 南充 637002）

霧天是自然界最常見的一種天氣現(xiàn)象，也是影響可見度的最直觀的因素，如何提高霧天圖片可見度，提高霧天圖片檢測精度，降低危險情況發(fā)生概率，是各類圖像去霧專家探索的目標(biāo)。其中，何凱明等[1]提出采用物理成像原理實現(xiàn)圖像去霧，首先利用通道處理方法計算大氣光強，再通過計算透射率實現(xiàn)圖像去霧。曹永妹等[2]提出基于三邊濾波的Retinex 圖像去霧方法，該方法在繼承經(jīng)典 Retinex 算法的同時，利用三邊濾波器對圖像照射分量進行降噪處理，消除邊緣問題，進而實現(xiàn)圖像去霧。劉海波等[3]提出基于暗通道先驗和 Retinex 理論的快速單幅圖像去霧方法，該方法以大氣散射模型為基準(zhǔn)，先利用暗通道原理和Retinex 模型進行粗略估算，然后進行像素級融合，最后使用簡化版的大氣散射模型和色調(diào)調(diào)整實現(xiàn)圖像去霧。

已有研究都側(cè)重于圖像去霧效果，對去霧過程的圖像細節(jié)關(guān)注不多，基于以上問題，本文提出基于多尺度優(yōu)化的改進 MSRCR 算法，該算法首先利用MSRCR 算法進行圖像整體去霧，在該過程的像素分類上，使用KNN 算法進行像素快速分類，然后使用雙邊濾波實現(xiàn)邊緣降噪處理，最后使用多尺度細節(jié)優(yōu)化算法對降噪后圖片進行細節(jié)優(yōu)化，以提升圖片檢測精度。

1 相關(guān)技術(shù)簡介

多尺度的圖像細節(jié)提升理論（multi-scale detail boosting，MsDB）發(fā)表于 IEEE 2015[4]。MsDB 采用同Retinex MSR 算法相似的思想架構(gòu)，將輸入的照片與3個不同尺度的高斯核進行濾波操作，并生成3 個不同模糊程度的圖像矩陣。再將3 類不同模糊尺度的像素矩陣及原圖像素矩陣依次做差，得到3 層不同細節(jié)，分別是精準(zhǔn)細節(jié)、中間細節(jié)和粗略細節(jié)。最后通過加權(quán)算式操作，將得到的3 層不同細節(jié)圖像矩陣與原圖像進行融合得到最終想要的增強效果的圖像。

2 算法實現(xiàn)

2.1 總體架構(gòu)

本算法實現(xiàn)過程分為KNN 的MSRCR 整體去霧、雙邊濾波降噪處理和MsDB 細節(jié)優(yōu)化3 階段，其實現(xiàn)的具體流程如圖1 所示。

圖1 算法流程圖

首先使用 KNN 算法和 MSRCR 融合算法進行第一次去霧，該過程使用 KNN 的分類方法將圖像中的像素點分類為需要進行處理和不需要進行處理的2 個集合，并在 RGB 色彩空間中，分別對需要進行處理的 R、G、B 3 個分量集合同時進行處理，再將集合融合為RGB 圖像；然后使用雙邊濾波器保持住邊緣細節(jié)，緩解去霧后輕微邊緣鋸齒化現(xiàn)象；最后使用MsDB算法對圖像細節(jié)進行提升，得到細節(jié)優(yōu)化的圖像。

2.2 實現(xiàn)過程

2.2.1 融合 KNN 的 MSRCR 算法

融合KNN 的MSRCR[5]算法實現(xiàn)過程為首先將圖片進行RGB 色彩通道分離，分離后得到R、G、B 3個顏色通道，然后每個通道使用 KNN 對像素點進行分類，再進行濾波操作，最后合成圖像再對色彩過程進行修復(fù)，其算法在RGB 空間如式（1）所示。

其中：k是尺度的個數(shù)；為第i個尺度的加權(quán)系數(shù)；是待處理的原始圖像，即接收到的反射光圖像；是高斯卷積函數(shù)；*表示濾波操作。

其中：c是高斯環(huán)繞尺度，β是一個尺度系數(shù)常量，i是高斯環(huán)繞函數(shù)的總數(shù)。在平衡增強效果與處理速度情況下，本文選取i值為3，代表將圖像分為大中小3個尺度。

色道分離后，分別對 R、G、B 3 個分量進行濾波操作，去除霧點，在濾波過程中，引入KNN 聚類[6]算法對像素點進行2 次快速分類，第一次分類是確定濾波模板中的像素點是否濾波，第二次分類是確定模板中心是否濾波，而 KNN 分類算法采用歐氏距離公式得到待處理點最近的K個像素點，然后進行快速分類，其計算公式如下：

通過第一次 KNN 算法分類后，通過計算隸屬度函數(shù)確定濾波模板中的點是否濾波，而在計算過程中需要計算相似度s1：

其中，gray 是某近鄰點的灰度值，aver 是由歐氏距離找到的K個近鄰點的平均像素值，得到相似度s1后，計算隸屬度函數(shù) 1μ：

其中，a是一個相似性度量標(biāo)準(zhǔn)，本文使用0.3[5]來進行計算。

進行第二次分類，通過計算隸屬度函數(shù)判斷模板中心是否需要濾波，其計算與上一步中計算隸屬度[7]公式相同，同樣需要先計算相似度：

其中：filter 是進行濾波后的像素值，origin 是圖像的原始像素值，s2是濾波操作的相似度。

然后進行隸屬度函數(shù)計算，確定是否濾波，不斷循環(huán)，直至無濾波操作為止。通過濾波后，得到3 個處理后的顏色通道然后使用色彩恢復(fù)因子C[8]進行色彩修正，其計算過程如下：

其中，k是圖像波段的總數(shù)，Ii是圖像在第i個波段的像元值。

2.2.2 平滑處理

經(jīng)過融合 KNN 的 MSRCR 算法處理后得到整體去霧圖像，該圖像存在相對多的噪聲以及邊緣損失。為消除處理后圖片所產(chǎn)生的噪聲和邊緣損失，本文使用雙邊濾波[9]進行處理：

2.2.3 MsDB 算法

經(jīng)雙邊濾波處理后，得到一幅整體降噪去霧的RGB 圖像。該圖像在細節(jié)方面表現(xiàn)粗糙，處理效果不佳，針對以上情況本文提出改進，將處理后的圖片使用MsDB 進行細節(jié)優(yōu)化。

首先選取低、中、高3 個模糊尺度對圖像處理，得到3 個不同模糊程度的圖像B：

其中，*表示濾波操作，G1、G2、G3分別表示高中低3 個尺度的高斯核。高斯核標(biāo)準(zhǔn)差的值參考文[3]，分別選取

高斯濾波是由2 個標(biāo)準(zhǔn)差σ相同的一維高斯進行乘積所得，其計算如式（12）所示。

其中，高斯核表示與中心距離負相關(guān)的權(quán)重，σ表示周圍像素對模板中心的影響程度。σ越大，周圍像素對模板中心的影響越大，濾波出來的圖片越平滑。因而式（11）中B1是最接近原圖的，B3是最模糊的。

經(jīng)高斯率濾波運算后得到3 個不同模糊程度的圖像，再對3 個圖像做差值運算從而得到特征差，計算如式（13）所示。

其中，D1代表精準(zhǔn)細節(jié)，由原圖像I與B1作差得到。表示中間細節(jié)，D3表示粗略細節(jié)，分別是B1與B2、與B3作差得到。此算法的多尺度細節(jié)體現(xiàn)在將 4種不同清晰度圖像依次作差得到的細節(jié)涵蓋3 個不同清晰尺度，再利用加權(quán)的方式進行計算，得到最后的細節(jié)優(yōu)化圖，其計算如式（14）所示。

其中，ω參考文[4]，分別取值為0.5、0.5和0.25 為最優(yōu)。

3 實驗結(jié)果分析

3.1 實驗環(huán)境

本文采用MATLAB R2018b 對實驗進行復(fù)現(xiàn)，使用 4 核 Intel Core i5-7200U2.50 GHz 處理器，8 G 內(nèi)存，64 位Windows10 環(huán)境。

本文在此實驗環(huán)境下分別對自然霧天圖像和合成霧天圖像進行處理。處理后采用圖像處理評價體系對圖片進行分析和評價，采用平均梯度、信息熵和Vollaths 客觀質(zhì)量評價指標(biāo)評價圖像在細節(jié)清晰度方面的效果。采用結(jié)構(gòu)相似性和峰值信噪比客觀質(zhì)量評價指標(biāo)評價圖片處理效果。

3.2 合成霧天分析

3.2.1 實驗結(jié)果

本文采用合成算法[10]分別對玉米田圖和黃瓜圖進行霧天合成，對合成霧天圖片分別使用SSR 算法[11]、MSR 算法[12]和改進算法進行處理，處理結(jié)果如圖 2和3 所示。

圖2 玉米田效果對比圖

圖3 黃瓜效果對比圖

由上圖可知，SSR 算法圖片偏綠，而改進算法圖片偏黃，MSR 算法色彩取其中。此外，改進算法能明顯看清圖片輪廓的紋理，而SSR 算法和MSR 算法細節(jié)輪廓較糊，改進算法在細節(jié)去霧處理上有明顯優(yōu)勢。

3.2.2 結(jié)果分析

峰值信噪比和結(jié)構(gòu)相似性是數(shù)字圖像處理的評價模型之一，也是評價合成圖片處理效果的標(biāo)準(zhǔn)。其中峰值信噪比是峰值信號的能量與噪聲的平均能量之比[13]，用于評判信號重建質(zhì)量好壞，其計算公式如式（15）所示。

其中，fi表示清晰無霧圖像，fo表示去霧圖像，峰值信噪比值越大，圖像效果越佳，去霧性能越好，圖像失真越小。

而結(jié)構(gòu)相似性是通過亮度、對比度和結(jié)構(gòu)3 個方面來對兩幅圖像的相似性進行評估，是客觀評價圖片處理效果指標(biāo)[14]。其計算公式如式（16）所示。

本文對圖3 和4 結(jié)果采用圖像處理評判體系的峰值信噪比和結(jié)構(gòu)相似性對3 種算法進行評價，其評價結(jié)果如表1 所示。

由表1 可知，對玉米田圖像而言，峰值信噪比最低的是SSR，較高的是MSR，最高的是改進算法；結(jié)構(gòu)相似性最低的是MSR，較高的是SSR，最高的是改進算法。對黃瓜圖像而言，峰值信噪比最低的是MSR，較高的是SSR，最高的是改進算法；結(jié)構(gòu)相似性最低的是MSR，較高的是SSR，最高的是改進算法。改進算法較SSR 算法而言，峰值信噪比平均提升23.76%，相似度結(jié)構(gòu)平均提升9.14%；較MSR 而言，峰值信噪比平均提升20.3%，結(jié)構(gòu)相似性平均提升34.01 %，改進算法效果佳。

表1 合成霧天圖片PSNR 與SSIM 分析

3.3 自然霧天分析

3.3.1 實驗結(jié)果

分別選擇霧天拍攝的石階圖、車輛圖用 SSR 算法、MSR 算法和改進算法進行處理，處理結(jié)果如圖4和5 所示。

由圖4 所知，SSR 算法處理結(jié)果較原圖而言，有一定的去霧效果，但臺階遠處的植物仍然模糊不清，MSR 算法處理結(jié)果較 SSR 而言，效果稍差，而改進算法較SSR 和MSR 而言，圖像更清晰，且能明顯看清遠處的植物，圖片中石階上的去霧效果明顯。

圖4 石階效果對比圖

圖5 車流對比圖

由圖5 可知，原圖車輛比較模糊，而SSR 和MSR處理后的圖片，車輛和車牌效果不佳，但是改進算法處理的圖片，前面車輛比較清晰，車牌能清晰看清，但是由于圖片像素太低，圖片存在像素問題引起的噪聲。

3.3.2 結(jié)果分析

自然霧天而言，平均梯度、信息熵和 Vollaths[15]函數(shù)評價是圖像處理的有效評價方法。三者其值越高，細節(jié)程度越高，效果越佳。

平均梯度代表此圖像灰度值變化的程度，是用于評判對圖像細節(jié)特征處理好壞的標(biāo)準(zhǔn)之一。其計算如式（17）所示。

其中，m×n表示圖像的大小，表示圖像水平方向梯度，表示圖像垂直方向梯度。

信息熵代表圖像中信息豐富度的一種度量，是評價圖像去霧質(zhì)量的標(biāo)準(zhǔn)之一。其計算如式（18）所示。

其中，X表示圖像處理過程中的隨機變量，與之相對應(yīng)的是所有可能輸出的集合，P(X) 表示圖像處理的輸出概率函數(shù)。

本文對自然霧天的圖 5 和 6 就 SSR 算法、MSR算法和改進算法采用平均梯度、信息熵和 Vollaths 函數(shù)進行分析，分析結(jié)果保留三位小數(shù)點，如表2 所示。

表2 自然霧圖片平均梯度、信息熵和Vollaths 分析

由表2 可知，對于石階圖像，改進算法較SSR 而言，平均梯度、信息熵、Vollaths 值分別提升146.56%、4.57%、139.22%；較 MSR 而言平均梯度、信息熵、Vollaths 值分別提升122.15%、12.25%、161.98%。而對于車流圖像，改進算法較SSR 而言，平均梯度、信息熵、Vollaths 值分別提升118.18%、6.34%、270.09%；較MSR 而言平均梯度、信息熵、Vollaths 值分別提升123.61%、4.67%、250.56%。兩幅圖片經(jīng)改進算法處理結(jié)果較傳統(tǒng)算法而言其平均梯度、信息熵、Vollaths值平均分別提升127.62%、6.96%、227.61%。改進算法處理后的石階圖片去霧后物體輪廓更突出，圖片信息更多。改進算法在處理霧天圖片上細節(jié)更突出，邊緣更銳利，圖片細節(jié)效果更佳。

4 結(jié)語

本算法體系先對圖片整體進行去霧操作，而后對圖片進行濾波降噪，最后對圖片進行多尺度的細節(jié)去霧優(yōu)化。本算法在后面對圖片采用Fast-RCNN[16]算法進行作物目標(biāo)檢測與車輛車牌檢測[17]中，其檢測精準(zhǔn)度較傳統(tǒng)去霧算法而言，整體提高2.5%。本算法除可以應(yīng)用于車輛檢測、作物檢測外，還可應(yīng)用于滲漏檢測、建筑掃描、智能安防、目標(biāo)追蹤等領(lǐng)域。本算法雖在處理圖片細節(jié)上有一定優(yōu)化，但圖片存在一定的偏紫現(xiàn)象，這也是Retinex 算法體系存在的弊端，是后期改進的方向。