基于透射率漸變的彈載圖像去霧算法

田宗浩，張 航，張 杰

(陸軍炮兵防空兵學院， 合肥 230031)

1 引言

從古至今，氣象對作戰(zhàn)的影響不可避免，《孫臏兵法·月戰(zhàn)》有云：“天時、地利、人和”，其“天時”指的就是作戰(zhàn)的時令、氣候等，由此看出氣象是指揮員做出作戰(zhàn)決策的重要考慮因素。陸、海作戰(zhàn)條件下，霧是最為常見的氣象環(huán)境，霧的濃度嚴重影響目標的辨識度，在目標識別檢測過程中產(chǎn)生漏檢和虛警，大大降低目標的檢測精度。當霧濃度較低情況下，圖像目標輪廓可見，對比度較低；當霧濃度較大情況下，目標輪廓出現(xiàn)缺失，目標紋理細節(jié)特征損失嚴重，甚至無法判別目標類別。特別對于海面場景，水面和空氣溫差較大時，極易出現(xiàn)大面積霧氣，在海域作戰(zhàn)中嚴重影響目標識別的準確率，增加指揮員戰(zhàn)場決策難度。尤其是霧的存在，會導致距離判斷偏差，對智能彈藥跟蹤、制導控制產(chǎn)生不可逆轉(zhuǎn)的影響，大大降低命中精度。因此本文基于圖像復原的原理，針對特定的彈載攝像機應(yīng)用環(huán)境，提出了一種透射率漸變的暗通道去霧算法，有效地提高了目標識別的準確率。

2 理論分析

2.1 大氣散射物理模型

霧對人眼和圖像采集設(shè)備成像的影響主要來自于大氣中各種粒子對反射光的散射、折射等造成的光信號損失，由此降低圖像對比度、銳度、亮度以及飽和度等信息。圖1為霧天成像散射模型示意圖，主要考慮了各種粒子對光路傳播產(chǎn)生的光信號直接衰減項和大氣光參與成像造成的圖像對比度降低兩方面影響。

圖1 霧天成像散射模型示意圖Fig.1 The degenerated model of fog-sky imaging

文獻[1]將上述霧天成像退化模型用式(1)表示：

I(x)=J(x)t(x)+A(1-t(x))

(1)

其中，I(x)和J(x)分別為觀測圖像和所期望的無霧圖像，A為大氣光值或稱為天空光，t(x)為介質(zhì)透射率，可以表示為

t(x)=e-β·d

(2)

其中，β為大氣散射系數(shù)，d為場景深度。式(1)中第一項為大氣粒子導致的光信號直接衰減項，反射光強度隨著場景深度的增大而指數(shù)衰減。第二項為環(huán)境光模型，描述了大氣光參與成像的過程，場景深度d越大，大氣光的影響程度越大。

2.2 彈載圖像去霧算法分析

彈載圖像去霧的目的是降低霧霾惡劣天氣對彈載相機成像質(zhì)量的影響，恢復圖像細節(jié)，捕獲更多的戰(zhàn)場信息。目前，圖像去霧算法大致可以分為3個方向：基于增強的圖像去霧[2-4]、基于圖像復原的去霧[5-7]以及基于深度學習的圖像去霧算法[8-10]。其中，基于圖像增強的去霧算法不是真正意義上的去霧，只是通過改變圖像的對比度提高人眼的視覺效果，使其更加容易看清細節(jié)，理解圖像，如直方圖均衡法、Retinex模型、對比度增強以及濾波類算法等。此類方法效果直觀，實現(xiàn)簡單，但其在改變圖像對比度時容易出現(xiàn)信息丟失、色彩失真以及Holo效應(yīng)。

基于圖像復原的去霧算法是在大氣散射物理模型的基礎(chǔ)對霧氣產(chǎn)生的機理進行研究，建立數(shù)學模型(式(1)所示)，充分分析圖像退化的具體原因，在不同場景深度情景下獲得較好的圖像去霧效果。但是式(1)為一個不定方程，為了獲得去霧圖像，需要對式中的某些未知量進行假設(shè)。例如，基于差異的圖像去霧算法需要對比分析多幅圖像的差別，獲取圖像場景深度，此類方法為靜態(tài)圖像去霧，不適合場景動態(tài)多變和對實時性要求較高的戰(zhàn)場環(huán)境。文獻[6]提出了一種基于暗通道先驗的去霧方法(dark channel prior，DCP)，通過最小值濾波提取圖像中的暗通道值，估計出帶霧圖像中的大氣光強和透射率，去霧效果與大氣光值A(chǔ)和透射率t(x)的估計密切相關(guān)，許多場景內(nèi)往往因估計不準而導致圖像去霧效果較差，如圖2所示。

圖2 暗通道去霧效果圖

由圖2可以看出：圖像中暗通道估計對于車燈等亮度較高的位置估計出現(xiàn)錯誤，并且利用圖像中0.1%的高亮區(qū)域作為大氣光值也與文獻[6]假設(shè)不一致，最終導致去霧效果較差。

基于深度學習的去霧算法在近年來的圖像去霧中嶄露頭角[11]，例如DehazeNet、AODNet、DCPDN等，該類方法通過對大量有霧和無霧圖像訓練，學習得到透霧系數(shù)圖，再按照大氣退化模型恢復無霧圖像。首先，模型訓練過程中需要同一場景的有霧和無霧圖像，樣本集數(shù)據(jù)量龐大，并且收集真實霧天圖像采集困難。目前，常用的數(shù)據(jù)集大多基于暗通道特征合成，室內(nèi)/室外場景下存在較大差異，訓練出的透霧系數(shù)圖對場景的適應(yīng)性不高。另外，基于深度學習的去霧算法復雜度高，在嵌入式硬件平臺部署困難，尤其是對于體積小、資源少以及實時性要求高的彈載硬件平臺。

彈載相機在距離目標3～5 km的降弧段開始工作，為高空成像，視場內(nèi)出現(xiàn)天空區(qū)域的情況很少；彈丸工作時長較短，視場中目標尺度小，目標和背景的融合度較高，對于單一場景圖像(圖3)中霧氣的透射率具有漸變規(guī)律。另外，對于海河湖泊等水面目標，環(huán)境濕氣重，海上場景圖像對比度低，并且海面目標和背景相對單一。為此，需要針對不同的彈載應(yīng)用場景，分析暗像素的分布情況，對DCP去霧模型進行適應(yīng)性調(diào)整，提高該方法對彈載應(yīng)用場景的針對性。

圖3 彈載相機高空拍攝場景圖

3 基于透射率漸變的暗通道去霧算法

上文對彈載相機的成像特點進行了分析，對于高空成像，視場內(nèi)目標和背景相對單一，目標占視場內(nèi)像素較少，在霧圖中透射率存在漸變現(xiàn)象。為此，針對特定的彈載相機應(yīng)用環(huán)境，建立基于透射率漸變的暗通道去霧模型，獲得適合人眼視覺特性的去霧圖。

3.1 暗通道先驗基本原理

基于暗通道先驗的去霧模型是何凱明實驗團隊通過對大量的無霧圖像統(tǒng)計分析發(fā)現(xiàn)，在大氣散射模型基礎(chǔ)上準確估計出霧氣的濃度分布，并且獲得較高的去霧效果。文獻[6]統(tǒng)計分析發(fā)現(xiàn)，在RGB色域空間中，大多非天空的圖像區(qū)域內(nèi)某些像素點在某一通道上的強度值趨于0，其圖像的暗通道定義為：

(3)

式(3)中，Ω(x)為圖像中以x為中心的局部區(qū)域，Jc(y)為對應(yīng)圖像區(qū)域某一通道的強度值，Jdark(x)為某一像素在R、G和B三個通道中的最小值，利用式(3)可以得到與原圖大小相同的暗通道圖。

通過對式(1)分析可知，除相機拍攝的有霧圖像I(x)已知外，其余參數(shù)均為未知量，對類超定方程，無法求解出有霧圖像透射率和無霧圖像。結(jié)合何凱明團隊提出的暗通道先驗理論，假設(shè)大氣光值A(chǔ)已知，將式(1)可以變形為

(4)

對式(4)取兩次最小值濾波為

(5)

其中，J為待求的無霧圖像，由此結(jié)合圖像的暗通道定義式(3)可得：

(6)

通過式(5)可以在暗通道先驗知識的前提下粗略得到有霧圖像的透射率。而對于大氣光值A(chǔ)的假設(shè)，何凱明團隊將圖像中0.1%亮度最大像素的亮度均值作為當前圖像的大氣光值，由此可以得到無霧圖像為

(7)

式(7)中，t(x)為式(6)求得的透射率。另外，文章為了增加景深和消除透射率過小等問題，對式(7)變形為

(8)

其中，一般ω=0.95，以此保留一定程度的霧，滿足人眼對景深的感覺；t0=0.1，防止透射率圖過小而導致圖像整體向白場過度現(xiàn)象。

3.2 透射率漸變理論

本節(jié)以海面場景為實驗背景，研究霧天高空成像透射率特性。海面場景色彩單一，俯視條件下圖像中的亮度最高值一般存在于浪花和艦體表面，圖4(a)紅框所示，這與暗通道中0.1%的天空區(qū)域亮度值存在很大差別；海水偏藍，其R通道的值一般較小，經(jīng)過對大量真實海水圖像的統(tǒng)計發(fā)現(xiàn)，海水像素R通道的值在50～150之間變化，與暗通道先驗理論中的某通道像素值趨向0不符合；另外，圖像中距離較近的兩個像素之間，大概率屬于同一物體，它們到攝像機的距離一般不會存在明顯的差異，物體透射率幾乎不發(fā)生變化，因此可以參考周邊一定范圍內(nèi)其他暗像素來判斷該像素是否可以作為暗像素。暗通道先驗?zāi)Ｐ途筒捎绵徲蛩阉鞑呗垣@得非暗像素點的透射系數(shù)，但是對于近景與遠景交接處(圖4(a)綠框)及鄰域不在同一個物體表面的情況(圖4(a)紅框)透射率計算容易出現(xiàn)偏差，導致去霧效果較差，直接采用暗通道先驗理論的去霧效果如圖4(b)所示。

圖4 海面場景示意圖

從圖4可以看出：暗通道去霧后海面成為深藍，圖像黃色方框處出現(xiàn)色彩塊，嚴重影響視覺效果。為此，為了防止相鄰的行的暗像素影響亮度漸變規(guī)律的分析，逐像素分析圖4(a)的暗像素分布，如圖5所示。

圖5 逐像素暗通道提取圖像

通過對圖5分析發(fā)現(xiàn)，圖中波浪起伏引起的亮度值變化、白色浪花以及艦船白色表面等干擾因素會引起透射率提取誤差，造成去霧效果變差。為獲得真正當前像素位置的暗通道值，必須將這些干擾因素去除，為此對圖5中各行暗通道值進行統(tǒng)計分析，代表性行暗通道值分布如圖6所示。

圖6 特定行暗像素通道值曲線

其中前3行對應(yīng)的圖像，都受到艦船或者浪花的干擾，因此曲線的變化很大，這對于計算該行真實暗像素亮度值干擾很大。第四行主要都是海面，沒有雜質(zhì)干擾，因此亮度曲線平緩得多。采用隨機采樣一致性方法[12](RANSAC)與最小二乘擬合算法[13-14]，對當前行亮度曲線進行擬合，得到最終的每一行的暗像素亮度值，如圖7所示。

圖7發(fā)現(xiàn)，高空成像條件下，擬合出的某行暗通道像素亮度值的變化曲線相對平直，為此利用擬合曲線的中點作為當前行的暗通道亮度值，以此消除干擾因素對暗通道的提取的影響。

圖7 暗像素擬合曲線Fig.7 Dark pixel fitting

得到每行暗通道的真實亮度值后，將各行亮度值按照從上到下的順序進行排列(圖像左上角為坐標起始位置)，并且繪制曲線，如圖8。由于海面的顏色并不是理想的完全一致，因此圖7中的曲線，只是近似直線，大致接近線性漸變。

圖8 暗通道擬合曲線

為此，通過上述的假設(shè)分析，對于彈載高空成像條件，霧圖中存在的圖像透射率具有漸變規(guī)律，可以用式(9)表示：

ti=a×i+b

(9)

其中，ti為第i行透射率，a、b是用于對透射系數(shù)進行線性建模的2個參數(shù)。

3.3 本文算法

上文對彈載相機暗通道先驗理論進行了豐富補充，提出了高空成像霧圖投射率漸變理論。針對上述過程，建立基于透射率漸變的彈載相機暗通道去霧模型，如式(10)所示：

(10)

其中，J為去霧后圖像真實亮度值，對于高空成像而言，背景亮度通常占據(jù)較大比例，特別是海面場景，背景亮度值基本維持一致；A為大氣光值，在俯視成像條件下無法通過搜索天空像素得到，只能通過后續(xù)步驟求解。a、b是上面提到的透射系數(shù)的線性參數(shù)，Ii是每一行的暗通道亮度值擬合曲線中值。為了對式(10)中J、A、a和b4個參數(shù)求解，構(gòu)建式(11)能量方程，利用粒子群算法求解最優(yōu)值：

(11)

式中，N是暗通道圖像的行數(shù)，E為在最優(yōu)的J、A、a、b四個參數(shù)值的情形下，每一行暗通道圖中的亮度理想值與真實值Ii的計算誤差，E最小時的參數(shù)值就是最優(yōu)參數(shù)值。基于透射率漸變的暗通道去霧模型流程如圖9所示。

圖9 基于透射率漸變的暗通道去霧模型流程框圖

圖9中，通過隨機采樣和最小二乘擬合獲得每行暗通道的真實亮度值，并且依據(jù)粒子群算法解決式(12)最優(yōu)解問題(粒子群算法流程見文獻[15])，經(jīng)過上述求解過程后，獲得式(12)的4個最優(yōu)參數(shù)值，由此可以獲得去霧后各通道的像素值為

(12)

式(12)中，Ji(x)為每一行各像素位置的無霧圖，Ii(x)為每行的霧圖。

3.4 結(jié)果分析

按照上述流程，對圖4(a)海面場景去霧后的效果如圖10。

圖10 本文算法去霧效果圖

圖10表明，本文所用方法處理后的效果，海面區(qū)域更接近真實顏色，圖像頂部區(qū)域沒有明顯色彩偏差。同理將其應(yīng)用到不同場景的效果如圖11所示。

圖11 不同場景去霧效果圖

從圖11不同場景的去霧效果可以看出，本文算法對于俯視場景的適應(yīng)性較好，能夠在濾除圖中部分霧氣的條件下保存一定的景深，滿足人眼視覺感知特性；并且對于遠近景交界的位置，本文算法亮度、顏色能較好的過度，不會出現(xiàn)暗通道先驗?zāi)Ｐ椭写嬖诘纳适д鎲栴}。

4 結(jié)論

分析了幾種常見彈載圖像去霧算法的特點，梳理了基于圖像復原的去霧方法存在的問題。利用隨機一致性采樣和最小二乘擬合算法確定彈載圖像每行像素的暗通道值，提出透射率漸變理論。為解決傳統(tǒng)暗通道先驗算法參數(shù)假設(shè)估計帶來的色彩失真，利用粒子群算法求解超正定方程，建立了基于透射率漸變的暗通道去霧模型，獲得了適合人眼視覺特性的去霧圖，有效提高了有霧天氣的目標清晰度。