基于動態卷積模板的非均勻光線圖像復原算法研究

劉星辰，朱晉

（1.吉林省氣象信息網絡中心，長春130062；2.延邊大學，延吉133002）

0 引言

圖像復原（Restoration）是將所觀測到的退化圖像恢復到退化前的原始圖像[1]。經典圖像復原算法如代數法、頻域法、正則化法等一般認為點擴展函數（PSF）是空間移不變的[2]，并且需要一定的先驗知識。但在實際應用中，退化信息往往是完全未知的，因此將未知點擴展函數（PSF）和梯度、強度先驗的情況下，從退化圖像恢復出原始圖像的過程稱為盲圖像復原[3]。盲圖像復原以擴散函數（PSF）是否已知分為盲去卷積和非盲去卷積。

實際生活中盲去卷積具有更高的實用價值，目前大量研究集中在各類去噪聲、去運動模糊的圖像復原算法上，針對曝光時間長短導致的非均勻光線圖像的研究非常少。文獻[4]中對低頻和高頻系數分別提出改進雙邊濾波的Retinex圖像增強算法和改進閾值去噪算法，在有效去除噪聲的基礎上改善了圖像的對比度。文獻[5]利用自適應加權最小二乘濾波算法改進了Retinex算法，保持圖像自然度的同時增強了對比度。文獻[6]針對弱光圖像提出了一種圖像融合算法解決圖像模糊及光線不足問題。文獻[7]提出了一種高曝光圖像統計信息的亮度通道先驗方法，經過曝光校正、非均勻去噪和細節增強后，得到曝光良好的無噪聲圖像。本文針對實際問題中非空間移不變點擴展函數（PSF），提出了一種動態盲反卷積核的構造函數，用于對非均勻光線圖像進行盲圖像復原。

1 圖像復原理論

1.1 圖像退化模型

在成像過程中，像平面上的點是物平面上各點經混合疊加的反映，在不考慮加性噪聲的前提下，假設圖像退化模型為：

其中為g( x,y)觀測到的降質圖像，h( x,y)為描述成像系統對物點的擴散程度，即點擴散函數（PSF），f( x,y)為輸入圖像，*運算符表示卷積，（α，β）和（x，y）分別是物面和像面的坐標。假設用近光軸的點擴散函數近似代替整個像場的點擴散函數,那么光學成像系統的點擴散函數就是與自身位置無關的，是空間移不變的[8]。目前已經有很多有效的算法用于解決這類圖像的復原問題，但實際上受光學成像系統視場像差、物平面離焦量等影響，PSF是變化的。因此，一些假設PSF不變或者已知先驗信息的圖像復原算法不適用實際問題。

1.2 圖像處理中的卷積運算

二維連續函數的卷積定義為：

二維離散函數的卷積定義為：

如果f(i,j)，g(i,j)為大小為M×N的兩個函數，則它們的離散卷積定義如下：

其中，h(i,j)為輸出圖像矩陣本文中為復原圖像，f(i,j)為原始圖像矩陣本文中為待復原圖像，沖激函數g(i,j)為卷積模板。h( i ,j)矩陣內點(i,j)輸出的響應值是通過平移卷積模板g(i,j)得到的，與(i,j)的值及(i,j)鄰域值有關。卷積模板g(i,j)一般為固定的，如均值濾波是用(i,j)的值和領域值的平均值替換卷積后圖像中的每個像素值。無論卷積模板大小，模板內的值均為同一平均值。

2 圖像復原算法

2.1 曝光過度退化模型

現有的圖像退化研究主要針對模糊退化[1]，幾乎沒有用于模擬光學成像系統光線變化的退化算子。因此本文根據光學成像模型內非均勻光圖像的分布特點，設計如公式（5）所示的過度曝光退化模型，利用高斯分布模擬圖像的過度曝光過程。曝光過度退化模型定義為：

其中f( x,y)為原圖像，μ是f( x,y)的均值，σ是f( x,y)的均方差，H( x,y)為曝光過度處理后的圖像。

2.2 動態卷積模板的構造

卷積模板和圖像像素點的值共同決定了卷積后圖像的像素值，現有的卷積模板如均值濾波、最大值濾波、最小值濾波、中值濾波等，卷積模板大小確定的情況下，卷積模板內的值是固定的。例如大小為3的均值卷積模板內9個值是相同的，均值模板雖然可以噪聲，但忽略了圖像的局部信息，沒有利用好待復原圖像像素點與其鄰域之間具有強相關性的信息，而本文提出的動態卷積模板是根據像素點及其鄰域像素構造出系數變化的局部卷積模板。利用相鄰像素點之間的強相關性對圖像進行卷積運算，可最大化利用待處理圖像中的先驗信息。動態模板Hij構造算公式如下：

其中f(i,j)表示圖像f中的某一像素點，a,b是動態模板Hij的坐標，且a=1,2,…,N,b=1,2,…,N為模板規模且N為奇數。

2.3 基于動態模板的圖像復原算法

根據2.2小節的動態卷積模板構造公式計算動態模板后可以用于對圖像的復原，算法如下：

算法開始

Step 1：讀取一張待處理圖像；

Step 2：判斷是否遍歷完非邊框點，是則進入Step 6，否則進入Step 3；

Step 3：對于每一個要處理的點，利用公式（6）求取卷積模板；

Step 4：對該點利用Step 3產生的卷積模板進行卷積運算，得到該點新像素值；

Step 5：轉到Step 2；

Step 6：對圖像進行[0,255]的線性映射，得到修復后的圖像；

算法結束

3 實驗結果及分析

當白天拍攝天空中的云時，太陽光線強，易導致局部過亮，或者逆光造成圖像光線不均勻，影響圖像細節。本文實驗采用了PyCharm作為實驗環境，根據2.2小節中的動態卷積模板構造算法構造模板，設置模板大小N=3。圖1（a）為曝光過度的原始圖像，圖1（b）為使用本文算法復原后的圖像，修復后的圖像展現出了原始曝光過度圖像中沒有體現的局部細節，整體光線變得更加均勻，圖像對比度增強。對過度曝光的非均勻光線圖像進行修復后，利用文獻[9]中方法進行天空分割。圖2（a）為原始圖像天空分割后的結果，可以看到有部分天空被作為地面錯誤地分割了，圖2（b）為圖像復原后的分割結果，錯誤區域明顯減小。

圖1 天空圖實驗結果

圖2 天空圖分割結果

在圖像復原研究中，需要可靠的圖像評價標準才能正確評價圖像復原的效果。目前的圖像復原評價方法分為主觀評價和客觀評價。圖像復原的主觀評價是通過人眼觀察圖像，對復原效果進行主觀評價。主觀評價受到人的心理因素影響，穩定性、實時性較差。客觀評價是根據數學模型計算得出的量化指標，穩定性好，具有一定的可靠性。利用信噪比（SNR）、峰值信噪比（PSNR）以及均方誤差（MSE）等評價方法來驗證本文提出的基于動態卷積模板的非均勻光線圖像復原算法的復原效果。實驗使用1.1小節介紹的曝光退化模型，將原始圖像退化為曝光過度的情況，然后使用本文提出的圖像復原算法對退化后的圖像進行盲去卷積復原。實驗結果如圖3-圖8所示。表1分別記錄了圖3-圖8實驗的、信噪比（SNR）、峰值信噪比（PSNR）、均方誤差（MSE）及原始圖像信息熵和復原圖像信息熵。

表1 客觀評價指標

圖3 紋理圖

圖4 人類圖

圖5 荷花圖

圖6 貓類圖

圖7 白云圖

圖8 犬類圖

表1中E_I表示原始圖像的信息熵，E_R表示修復圖像的信息熵。信噪比SNR和峰值信噪比PSNR的值越大表示與原始圖像的偏差越小，在本文的實驗結果中SNR的值均在53以上，PSNR均在7.5以上，表示經過本文提出的基于動態卷積模板的非均勻光線圖像復原算法復原后的圖像質量良好。實驗結果中均方值誤差較小，其值均在在0.1左右，其中人類圖和貓類圖的均方值誤差在0.08左右，說明經過本文提出的算法復原后的圖像和原始圖像差異非常小，本文算法能夠很好地復原原始圖像的像素值。綜上，本文提出的圖像修復算法客觀評價指標均表現優異，對曝光過度圖像有良好的復原效果。

4 結語

本文提出了一種非靜態卷積模板的盲圖像復原算法，用于修復曝光過度的非均勻光圖像具有良好的復原效果，在氣象地基云圖處理領域、衛星圖像處理領域、大氣科學等領域有著廣闊的應用范圍。另外，本文還提出了一種曝光過度退化模型，能夠有效模擬真實情況下的曝光過度圖像，可用于非均勻光線圖像數據集的建立。