基于低秩分解與像素置亂的圖像去霧方法

王國棟，邵鵬，王國宇，劉少禹，張建濤

（中國海洋大學信息科學與工程學部 電子工程學院，山東青島 266100）

0 概述

在濃霧、霾等惡劣天氣條件下，受空氣中懸浮粒子的影響，圖像中的目標信息被嚴重遮擋，場景能見度相比晴朗天氣大幅降低，對主觀視覺效果和后續的處理應用都會產生很大的影響。因此，對霧天降質圖像的清晰化處理具有重大的科研價值和廣泛的應用前景。使用合適的圖像去霧算法對霧霾天氣中拍攝得到的降質圖像進行處理，可以去除其中因后向散射產生的霧化背景，恢復出被掩蓋的目標圖像細節信息和色彩紋理信息，進而提高圖像質量，便于后續處理。

近年來，眾多研究者提出了許多霧天圖像清晰化方法，這些方法大致分為兩個方向：一是圖像增強，二是圖像復原。基于圖像增強的常見算法主要有直方圖均衡化［1］、小波變換［2］、偏微分方程［3］、Retinex［4-5］等，這些算法不考慮有霧場景下圖像退化的物理模型，而是對圖像整體或細節進行增強以改善視覺效果，從而實現圖像去霧。基于圖像復原的去霧方法本質上是基于散射介質成像模型，依據霧天圖像降質的物理成因，描述圖像降質與光在霧氣中傳輸產生的散射效應之間的關系，逆向恢復出清晰的目標場景圖像。典型的基于圖像復原的去霧方法包括文獻［6］提出的暗通道先驗方法以及其他基于先驗的算法［7-9］，在很多場景下取得了良好的去霧效果。文獻［10］基于中值濾波思想求出大氣耗散函數，進而得到透射率，恢復出無霧圖像。文獻［11］利用改進的窗口大小計算出雙透射率圖，消除了霧圖邊緣處的光環狀偽影，使得恢復圖像中的景觀更加真實自然。區別于傳統的圖像去霧方法，近年來隨著計算機性能的提升，大量基于深度學習的新興圖像去霧方法被陸續提出。文獻［12］提出一種神經網絡模型用以估計透射率圖，然后結合已知的先驗信息計算出質量更好的清晰目標圖像。文獻［13］提出一種不以先驗信息作為恢復約束的去霧網絡，可以直接得到清晰的無霧圖像。文獻［14］提出一種輕型多導向雙邊學習的霧天圖像清晰化方法，能夠實現實時高分辨率圖像的去霧。雖然上述方法可以在一定程度上實現常見有霧圖像的清晰化，但是在濃霧場景中卻難以取得較好的效果。

隨著稀疏分解［15］與壓縮感知理論［16］的提出，低秩矩陣分解在文本主題分析［17］、圖像去非均勻光照［18］、壓縮感知信號的分離重構［19］等方面得到廣泛的應用，然而在圖像去霧中的應用仍然比較少。本文將低秩分解與像素置亂結合，提出一種針對濃霧場景的圖像去霧方法。為解決直接低秩分解會產生水平和豎直條紋的問題，先對原始圖像進行像素置亂，在去除場景相關性的同時保持霧化背景的低秩屬性，再對置亂后的圖像低秩分解，最后將高秩成分像素歸位，獲得去霧后的復原場景。

1 相關工作

1.1 低秩矩陣分解模型

自然場景中圖像像素的相關性使得圖像矩陣本身存在一定的低秩特性，根據文獻［20］提出的低秩矩陣分解模型，原始圖像矩陣D可以被分解為一個低秩矩陣L與一個稀疏矩陣S，該模型的求解過程可以表示為：

其中：rank(L)代表低秩矩陣L的秩；‖‖S0代表矩陣S的l0范數；λ是控制低秩部分與稀疏部分比例的參數，取值范圍是（0，1］。

式（1）中的最小化秩問題并不能直接求解，常用方法是將其轉化為求解核范數的問題［21］，變換后的表達式如下：

其中：‖L‖*為矩陣L的核范數；‖S‖1為矩陣S的l1范數。

通常使用增廣拉格朗日乘子法（Augmented Lagrange Multiplier，ALM）作為式（2）的求解算法［22］，ALM 又可以進一步分為精確的拉格朗日乘子法（Exact ALM，EALM）和非精確的拉格朗日乘子法（Inexact ALM，IALM）。由于IALM 在運算過程中只需要執行替代關系運算就可以得到低秩矩陣L和稀疏矩陣S，收斂速度比EALM 算法更快［23］，因此本文使用IALM 作為低秩矩陣求解的算法。

1.2 散射介質成像模型

光在霧、霾等散射介質中傳輸時，受介質中微小雜質粒子的影響會產生散射效應，這種散射效應產生的雜散光被傳感器接收后，會在目標物體表面形成一種霧化背景，降低拍攝所得圖像的對比度，影響后續的圖像處理。散射介質中成像的經典模型可以用下式描述：

其中：E代表總輻射強度，對應霧天降質圖像；Ed代表入射光，對應清晰目標場景；Eb代表散射光，對應霧化背景。提取并消除霧天降質圖像中的霧化背景，提高圖像的對比度和視覺效果，始終是主流的研究方向。

2 基于低秩分解結合像素置亂的圖像去霧

2.1 低秩分解與圖像去霧

結合前面提到的兩個模型，將霧天降質圖像看成兩部分的疊加：一部分是具有低秩特性的霧化背景，另一部分是具有高秩特性的清晰目標場景。利用IALM 算法進行優化求解，可實現目標場景與霧化背景的分離，最終得到清晰的目標場景圖像。

直接應用IALM 算法對霧天降質圖像進行低秩分解的結果如圖1 所示。由圖1 可以看出，直接進行低秩分解能夠在一定程度上去除霧圖中分布較為均勻的霧化背景，但是也存在明顯的缺陷，比如在分解結果中出現了位置不定的水平和豎直條紋，這主要是由于目標場景本身含有一定的低秩成分，對霧化背景的去除造成了干擾。

圖1 直接使用低秩分解去霧的結果Fig.1 Defogging results by directly using low-rank decomposition

2.2 結合像素置亂的去霧方法

為消除低秩分解后出現的水平和豎直條紋，最大限度保留目標場景信息，本文提出一種基于低秩分解結合像素置亂的霧天圖像去霧方法。

在霧天降質圖像中，目標場景本身具有局部相關性和非局部相似性，從而含有一定程度的低秩成分，因此，在進行低秩分解的過程中，一部分目標場景會被當做霧化背景分離出去，進而導致低秩分解結果中出現豎直和水平條紋。本文考慮對原始霧天圖像進行像素置亂，以破壞目標場景的局部相關性和非局部相似性，增加目標場景的秩，從而達到場景去相關的目的。同時，霧化背景因其全局緩變特性而仍保持低秩屬性，這樣在進行低秩分解時就可以最大限度地保留場景信息。最后，對低秩分解所得的高秩成分進行像素歸位，即可獲得去霧后的復原場景。

對圖像的置亂操作需要達到增大圖像秩的目的，因此，不能使用初等變換對圖像置亂。本文采用抽取重放的置亂方法，對原始圖像矩陣進行隨機無規律打亂。像素置亂結合低秩分解的具體操作步驟如下：

步驟1生成隨機列向量R。設原始霧天圖像矩陣D的大小為m×n，將1～mn共mn個整數隨機打亂，得到一個長度為mn的列向量R。

步驟2像素置亂。將矩陣D按列展開為一個列向量D'，使D'中的元素與列向量R中的元素一一對應，取R的元素值作為矩陣D'打亂和復原的索引，即選取D'中的第R[i]個元素作為置亂后新矩陣Y的第i個元素，得到置亂后的矩陣Y。

步驟3低秩分解及像素歸位。對置亂后的矩陣Y進行低秩分解，得到低秩矩陣L和稀疏矩陣S，遍歷矩陣S，選取其中的第i個元素作為重建矩陣Sr的第R[i]個元素，所得的重建矩陣Sr即為去霧后的清晰目標圖像。

在實際操作中，先對原始霧天圖像矩陣的R、G、B 3 個通道分別進行像素置亂，再根據原始霧天圖像的霧氣濃度選擇不同的參數λ，使用IALM 算法對3 個通道分別進行低秩分解，最后將3 個通道所得的去霧結果合并，即可得到無霧的彩色清晰目標圖像。值得注意的是，由于低秩分解去霧本質上是將霧化背景作為低秩部分直接從原始霧圖中去除，相較于其他算法，恢復后圖像存在亮度降低的問題，因此本文對結果圖像的亮度進行了調整。

結合像素置亂后的低秩分解去霧結果如圖2 所示。對比圖1 可以看出，像素置亂后的去霧結果與直接進行低秩分解所得結果相比有顯著提升，其在有效去除霧化背景的同時，消除了原始霧圖中目標物體局部結構信息對霧化背景估計造成的干擾，去除了直接低秩分解結果中的水平和豎直條紋，更完整地保留了圖像的細節。

圖2 像素置亂后使用低秩分解去霧的結果Fig.2 Defogging results by using low-rank decomposition after pixel scrambling

3 實驗結果與分析

本文實驗環境為Windows 10 操作系統、AMD Ryzen5 4600H 處理器、16 GB內存、使 用Matlab R2019a 的PC 機。為驗證本文所提方法的有效性，從RESIDE 數據庫［24］、O-HAZE 數據庫［25］以及網絡中選取了不同場景下的濃霧霾天降質圖像，使用文獻［6，11］圖像復原去霧方法和文獻［12，14］深度學習去霧方法進行去霧測試實驗，并與本文方法作定性與定量對比。為達到良好的去霧效果，本文實驗中根據霧天降質圖像的實際霧氣濃度選取控制低秩部分與稀疏部分比例的參數λ。

3.1 主觀評價

圖3 所示為各方法分別對消防員圖、摩天輪圖、環衛工人圖和機場圖這4 幅真實霧天圖像的去霧效果。由圖3 可知：對于消防員圖，其目標信息被濃霧嚴重遮擋，文獻［12，14］方法未能去除霧氣，文獻［6］方法的去霧結果出現大面積的過飽和現象，文獻［11］雖然在一定程度上實現了去霧，但是消防員身體部分的去霧結果存在塊狀效應，而本文方法較為清晰地恢復出消防員及水槍的細節和色彩信息；對于摩天輪圖，文獻［12，14］方法未能有效去霧，文獻［6，11］方法雖然在一定程度上去除了霧化背景，但是產生了嚴重的塊狀色偏現象，并未真實還原場景信息，而本文方法而效去除霧化背景，同時整體去霧結果更加清晰自然；對于環衛工人圖，文獻［12］方法的去霧效果不明顯，文獻［6，11］方法雖然去除了場景中的霧氣，但是產生了大面積的色偏現象，而本文方法能在去除場景中霧氣的同時，更真實自然地還原圖像的色彩信息；對于機場圖，文獻［6，11］方法都產生了一定程度的色偏現象，文獻［14］方法雖然去除了近景中的霧氣，但在遠景中產生了團狀色斑，文獻［12］方法和本文方法在未產生大面積顏色失真的同時，去除了圖像中的霧氣成分，但本文方法在全局霧氣濃度不一致的情況下會出現一定的失真，比如去霧后摩天輪圖中的座艙與機場圖中的人物存在一定程度的失真，消防員圖中有一圈黑色的環繞光暈。

圖3 各方法對真實霧天圖像的去霧效果Fig.3 Defogging effects of each method on the real foggy images

圖4 所示為各方法對游樂場圖和滑梯圖這2 幅模擬霧天圖像的去霧效果。由圖4 可知：對于游樂園圖，場景中的霧氣濃度很高，文獻［12，14］方法未能有效去除霧氣，文獻［6，11］方法雖然一定程度上去除了濃霧，但是所得圖像顏色偏暗，且存在色偏現象，而本文方法能有效去除場景中的霧氣且未產生色偏，去霧效果更好；對于滑梯圖，文獻［12，14］方法未能去除霧氣，文獻［6，11］方法的去霧結果存在很大的色偏，而本文方法的去霧結果真實自然，效果優于其他方法，但存在少量霧氣殘留。

圖4 各方法對模擬霧天圖像的去霧效果Fig.4 Defogging effects of each method on the imitated foggy images

3.2 客觀評價

針對主觀視覺評價易受評估者專業知識等主觀因素影響、可靠性差的缺點，本文選取包括新增可見邊緣比e、可見邊緣的梯度均值rˉ、過飽和程度σ、峰值信噪比（Peak Signal-to-Noise Ratio，PSNR）、結構相似性（Structural Similarity，SSIM）這5 個評價指標對最終去霧結果進行對比。對于真實霧天圖像，由于無法獲取其對應的無霧圖像作為對比，因此采用e、σ指標對其去霧結果進行評價，e值和值越大，σ值越小，去霧后的圖像恢復質量就越好。表1 為各方法對真實霧天圖像的去霧結果。由表1 可知：文獻［12，14］方法的e和值偏小，未能有效去除濃霧場景中的霧氣；文獻［6，11］方法雖然新增可見邊緣最多，但是去霧后的圖像顏色失真過大，場景恢復不夠真實自然；本文方法雖然在細節上有一定失真，但在濃霧場景下具有較大的e值，較好地實現了霧景分離。

表1 各方法對真實霧天圖像的去霧結果Table 1 Defogging results of each method on the real foggy images

對于模擬霧天圖像，可以獲得對應的無霧圖像作為對比，因此，使用PSNR 和SSIM 比較各方法的去霧結果，這2 個指標的值越大，去霧效果越理想。同時，本文比較了各個方法的去霧速度，以便從時間角度衡量各方法的性能。表2 為各方法對模擬霧天圖像的去霧結果對比。

表2 各方法對模擬霧天圖像的去霧結果Table 2 Defogging results of each method on the imitated foggy images

由表2 可知：在濃霧場景下，本文方法可以獲得比其他方法更高的PSNR 值和SSIM 值，其中最佳PSNR 值較文獻［6］方法從18.42 dB 提高到20.36 dB，且SSIM 值均高于對比算法；雖然文獻［14］方法在游樂園圖中的PSNR 值高于本文方法，但其所需去霧時間更長；本文方法的去霧速度相比其他方法提升了約70%。綜合看來，本文方法在去除濃霧圖像中的霧化背景上具有較好的表現。

4 結束語

本文提出一種基于低秩分解結合像素置亂的霧天圖像去霧方法。將霧天降質圖像看成低秩霧化背景和高秩目標場景的疊加，先對原始霧天圖像進行像素置亂，再對置亂后的霧天圖像進行低秩分解，最后將所得的高秩成分進行像素歸位，得到去霧后的清晰目標圖像。實驗結果表明，該方法可以消除直接使用低秩分解進行圖像去霧時產生的水平和豎直條紋，且恢復出的無霧圖像真實自然，霧景分離效果更佳。本文僅以像素灰度值在圖像中的整體分布情況作為去霧標準，未考慮霧天圖像成像和退化機制，所提方法更適合濃霧及全局霧氣相對均勻的場景。下一步將對此進行改進，提高算法在霧氣濃度劇烈變化場景下的圖像去霧質量。