運動模糊圖像PSF 參數估計方法改進及圖像復原

高海韜，李丹寧，2，王 彬，唐鑫鑫

（1.貴州大學 大數據與信息工程學院，貴陽 550025；2.貴州科學院，貴陽 550001）

0 概述

圖像運動模糊是相機在曝光時被攝物體和相機間發生相對位移導致的一種圖像退化現象［1］，成像時相機和被攝物體間發生的相對位移會使得不同位置的像素發生疊加，從而導致成像質量下降。運動模糊作為最常見的圖像退化現象之一，廣泛存在于眾多視覺處理任務中，而高質量的清晰圖像是高效完成此類任務的關鍵，因此，運動模糊圖像復原問題一直是國內外學者們關注的焦點。

根據退化圖像的點擴散函數（Point Spread Function，PSF）是否已知，可以將圖像復原算法分為圖像非盲復原算法和圖像盲復原算法兩類。圖像盲復原是在PSF 完全未知的情況下進行圖像復原，如基于正則化的方法和基于深度學習的方法?；谡齽t化的圖像復原方法通過設立正則項約束，以引導復原模型在迭代的過程中向符合圖像先驗和真實清晰圖像的方向進行優化。TU 等［2］對圖像復原算法的邊緣保留正則化項進行改進，減少了由運動模糊引起的邊界誤差，并通過模糊映射法和下采樣插值技術有效提高了算法效率。為了解決多幀超分辨率（Multi-Frame Super-Resolution，MFSR）中的運動模糊問題，MA 等［3］設計一個EM 框架來引導PSF 估計和高分辨率圖像重建，并加入L2 正則化項來抑制噪聲。基于深度學習的方法利用預先收集的大量訓練數據隱式地學習一個從降質圖像到清晰圖像的映射。王偉鵬等［4］提出一種結合卷積變換與細節優化的圖像去霧算法，其采用卷積變換的思想和分段映射后處理操作，并結合大氣散射模型實現霧化圖像的細節提升。繆斯等［5］提出一種可微分神經網絡架構搜索方法，該方法可用于圖像盲去模糊時神經網絡的參數調節。此外，文獻［6-8］首先從退化圖像中提取出模糊參數，然后用估計出的PSF 復原出清晰圖像。

本文通過分析運動模糊圖像的頻譜特征，提出一種改進的PSF 參數估計方法，以提高估計結果的精度和有效估計范圍，并通過PSF 參數估計和運動模糊圖像復原實驗來驗證所提方法的有效性。

1 相關工作

PSF 求解是圖像復原的關鍵步驟。LEE 等［9］通過運動模糊圖像的頻域周期性估計PSF 參數，并利用圖像后處理技術改善重建圖像的質量。ZHU等［10］提出一種利用多幅圖像間接估計PSF 的方法，其通過結合多通道PSF 正則項和L1 圖像稀疏正則化的最小化代價函數來粗略估計PSF，然后根據PSF的稀疏性和正確率將估計結果進行細化并輸出解卷積。MOGHADDAM 等［11］引入模糊集概念，以對基于Radon 變換的PSF 參數估計算法進行改進。

由于實際中相機成像尺寸有限引起的邊緣截斷破壞了卷積的連續性，使得運動模糊圖像的頻譜圖像中心位置會出現一道十字亮線，如圖1 所示，這種十字亮線會對模糊參數的估算造成極大干擾，可能導致估算結果誤差過大甚至不可信。

圖1 運動模糊圖像和十字亮線Fig.1 Motion-blurred image and cross bright line

針對十字亮線干擾問題，研究人員提出了不同的解決方案［12-13］。胡發煥等［14］利用骨架化變換操作細化暗條紋，有效提高了條紋檢測精度。樂翔等［15］通過頻譜分塊切除亮線干擾，將暗亮條紋對比最明顯的塊圖反色后再進行Radon 變換以提取PSF 參數。胡碩等［16］對頻譜圖像進行自適應形態學濾波以消除亮線干擾，但是，該方法需要設定閾值以對中心亮條紋進行迭代腐蝕，導致其效率和估計精度有限。

2 運動模糊圖像退化模型及其頻譜特性分析

圖像復原［17］是一個病態的反問題，在數學定義上，圖像退化是圖像與PSF 的卷積過程，圖像復原則是這一過程的逆過程［18-19］。若要恢復出清晰的真實圖像，必須先建立圖像退化模型。圖2 所示為空不變系統中運動模糊圖像的退化模型。

圖2 運動模糊圖像退化模型Fig.2 Degradation model of motion-blurred image

圖像退化模型的時域表示為：

其中：g（x，y）表示退化圖像；f（x，y）表示原始圖像；h（x，y）表示引起圖像模糊的PSF（退化函數）；n（x，y）表示噪聲函數；“*”表示卷積運算。

當n(x,y)=0 時，即圖像除產生運動模糊外不受噪聲干擾，根據卷積定理，式（1）的傅立葉變換（頻域表達）可簡化為：

在實際運算時，圖像分析是二維離散域的處理過程。設圖像尺寸為M×N，則原始圖像的傅立葉變換為：

運動模糊圖像的PSF 主要由模糊角度和模糊尺度這2 個重要參數定義。假設在曝光時間T內，目標物體相對于攝像機在θ角（運動方向與水平軸正向的夾角）方向上勻速運動，產生的位移為L，則運動模糊圖像的PSF 可描述為：

設a和b分別為曝光時間T內像素點在水平和垂直方向上的位移，則h（x，y）的傅立葉變換為：

由式（7）可知，|H(u,v)|的表達式中包含sin 函數，由sin 函數性質可知，|H(u,v)|在（ua/N+vb/M）=0時有最大值，|H(u,v)|在（ua/N+vb/M）取非零值時為零。因此，模糊圖像的頻域上會呈現以下特征：模糊圖像頻譜圖上呈現出亮暗相間的平行條紋，且條紋方向隨著模糊角度的變化而相應改變。

設lu和lv分別為運動模糊長度L在垂直和水平2 個方向上的分量，則：

設亮暗條紋相對水平軸正向的傾斜角度為φ，則：

可得條紋的傾斜角度φ與運動模糊角度θ間的關系為：

由式（10）可知，通過檢測模糊圖像頻譜圖像中的亮暗條紋傾角φ可以得出運動模糊角度θ。設頻譜圖中相鄰條紋的間距為d，則頻譜圖像中心第一個條紋的方程式為：

由式（13）可知，當圖像尺寸一定時，條紋間距d與模糊長度L呈反比，隨著模糊長度的增加，條紋間距減小，條紋數量變多；反之，條紋間距增大，條紋數量變少。

3 運動模糊圖像PSF 參數估計方法

根據上文分析可知，通過運動模糊圖像的頻域周期性特征與模糊參數間的關系，可以估算圖像的PSF 參數。但是，由于存在外界限制和環境干擾，對運動模糊圖像直接進行傅立葉變換獲得的頻譜圖像往往會存在大量毛刺、噪點以及十字亮線干擾。為了解決這一問題，現有方法一般通過濾波或頻譜分塊的方式來消除十字亮線和冗余信息干擾，但是，這種方式存在重要信息丟失和殘留干擾的問題?，F有PSF 參數估計方法主要存在以下2 個方面的局限性：

1）根據Radon 變換原理，在檢測中心亮條紋獲得條紋傾角時會因亮條紋本身的寬度而導致角度誤差，如圖3（a）所示，從而使得參數估計結果不夠精確。

2）由式（13）可知，當運動模糊圖像的模糊長度變小時，相應地，頻譜圖中的條紋間距變大，條紋數量變少，此時對頻譜圖像進行分塊得出的塊圖可能沒有足夠可用的條紋信息可供Radon 變換檢測，如圖3（b）所示。

圖3 亮條紋和頻譜分塊示例Fig.3 Examples of bright stripe and spectral blocking

綜上所述，現有PSF 參數估計方法在消除十字亮線和噪點、毛刺干擾時，出現了重要信息丟失和殘留干擾的問題，因此，本文提出一種改進的PSF 參數估計方法，該方法的具體步驟如下：

1）獲取運動模糊圖像的頻譜圖。圖4（a）所示為模糊長度L=30、模糊角度θ=120°的運動模糊圖像，圖像分辨率大小為720×720 像素。對圖4（a）作傅立葉變換后得到其頻譜圖，將頻譜圖像動態范圍壓縮且居中，可以直觀地觀測到模糊圖像的頻譜條紋特征，如圖4（b）所示。

2）頻譜圖像增強處理。為了突出條紋特征，對頻譜圖像進行直方均衡化（如圖4（c））后再將頻譜圖像二值化。通過直方圖均衡化拉伸像素值，增強亮暗條紋的對比度，突出條紋特征，便于后續條紋檢測。然后，根據圖像整體灰度值和最大類間方差法設定閾值［20］，對頻譜圖像進行灰度閾值轉換，將灰度圖像轉換為二值圖像，如圖4（d）所示。二值圖像的冗余信息更少，同時保留了必要的條紋結構，亮暗條紋的特征也更明顯［21］。

圖4 運動模糊圖像變換過程Fig.4 Transformation process of motion-blurred image

3）形態學變換。為了消除二值圖像中十字亮線以及噪點、邊緣毛刺等干擾，保留形態合適的條紋圖像以供參數估計檢測，對二值圖像進行形態學開運算，如圖4（e）所示。形態學開運算可以去除比結構元素更小的明亮部分，為了控制圖像開運算操作的精度以保留形態合適的中心亮條紋，需要選擇合適的結構元素作形態學開運算［22］。頻譜圖中的亮條紋形狀大致呈長方形，因此，將結構元素的形狀類型定義為矩形。同時，為了保證算法的魯棒性，根據二值化圖像自適應選擇合適的結構元素大小，設置程序以二值化圖像中心為原點，從上、下、左、右、右上、右下、左上、左下這8 個不同方向尋找相鄰的暗條紋，將找到的圖像中心點與暗條紋間的最短距離作為定義結構元素大小的基準尺度。搜索相鄰條紋的方式如圖5 所示。

圖5 相鄰暗條紋搜索示意圖Fig.5 Schematic diagram of searching for adjacent dark stripes

4）條紋圖像邊緣測定。為了避免亮條紋自身寬度導致的角度檢測誤差（圖3（b）），對開運算后的圖像進行邊緣檢測。具體操作是對測定圖像分別進行一次膨脹和腐蝕操作，然后將膨脹后的圖像與腐蝕后的圖像相減，獲取到的邊緣圖像如圖4（f）所示。相比使用Canny、Soble 等微分算子對圖像進行邊緣檢測的方法，形態學方法對邊緣方向性的依賴更小，能檢測出更加完整的條紋邊緣。

5）運動模糊角度估算。Radon 變換是一種經典的特征提取技術，對圖像作Radon 變換是在特定方向上對圖像沿直線作線性積分運算，通過這種方式將包含線條的圖像變換為相應的含有峰值的參數場。對條紋邊緣線條圖像（圖4（f））進行1°～180°的Radon 變換，提取出條紋傾角φ后由式（10）計算出模糊角度θ。圖4（g）和圖4（h）分別為直接檢測頻譜和本文方法的Radon 變換結果。圖4（g）中亮點面積較大，Radon 變換的角度檢測結果存在較大的波動（大概在118°～122°），與直接檢測的方法相比，本文方法的角度估算結果更精確。

6）運動模糊長度估算。為了降低模糊長度估算的誤差，將圖4（b）所示的頻譜圖像按估算出的角度θ順時針旋轉后作垂直投影，可得到圖6 所示的頻譜圖像垂直投影圖，此時得出的垂直投影曲線在各個峰上的峰值點分別對應頻譜圖像中各條紋所在位置，投影圖中相鄰負峰值點間的像素距離即為暗條紋間距。為了保證測算精度，根據頻譜投影結果，選取投影圖中與中心主峰左右相鄰的2 個負峰值點間的總距離作為間距d值的估計度量（中心主峰值點距離為2d，取到的總距離為4d），求出條紋間距d后代入式（13）可得模糊長度L。

圖6 頻譜圖像垂直投影曲線Fig.6 Spectrum image vertical projection curve

利用上述方法估算出模糊參數后，根據式（4）構造PSF，然后通過維納濾波去卷積算法復原模糊圖像。

4 實驗結果及分析

4.1 PSF 參數估計實驗

為了驗證本文PSF 參數估計方法的有效性，將其與MOGHADDAM 等提出的經典方法［11］、胡發煥等［14］提出的改進方法進行對比實驗，所有算法均使用MATLAB R2018b 編程，計算機操作系統為Windows10，CPU 為Intel Core i5-5200U 2.20 GHz，內存為8 GB。

以圖4（a）為標準測試圖像，該圖像來源于公開圖像數據集GOPRO［23］，該數據集包括真實拍攝的1 111 張模糊圖像。PSF 參數估計實驗的模糊參數設置參照文獻［14］，將模糊尺度L設置為10 px、20 px和30 px 這3 組，模糊角度θ在0°～180°范圍內每間隔15°取一個測試角度。表1 所示為3 種對比方法對同一運動模糊圖像的PSF 參數估計結果。

表1 3 種方法的PSF 參數估計結果Table 1 PSF parameter estimation results of three methods

從表1 中的參數估計精確度對比結果可以看出，在不同的模糊條件下，本文方法的最大誤差和平均誤差均小于其他2 種估計方法。本文利用二值頻譜圖像條紋特征自適應地控制形態學運算精度，盡可能地消除十字亮線和冗余噪聲干擾，并且通過邊緣測定來避免因中心條紋自身寬度導致的角度估計誤差，此外，由于本文方法未對頻譜進行分塊處理，在模糊長度較小時處理后的待估頻譜圖像中仍保留足夠的條紋線條，在進行模糊長度估算時對頻譜圖像進行直方圖均衡處理，提高了亮暗條紋的對比度，由此檢測的相鄰條紋間距更加準確，從而保證了模糊長度估算精度。因此，本文方法在不同大小的運動模糊圖像中都能得到更精確的估計結果。

在實驗中發現，在模糊長度分別為10 px、20 px、30 px 的3 組參數估計實驗中，當L=10 px 時，參數估計結果的誤差波動明顯，且誤差主要集中在模糊角度為75°、90°和105°附近。分析原因有以下2 點：1）中心十字亮線的2 條線分別呈180°和90°，當十字亮線效應嚴重時，殘留部分會干擾相鄰角度的檢測結果；2）當模糊長度較小時，一些暗條紋會被中央亮條紋掩蓋，從而導致對2 個相鄰暗條紋間的距離估計誤差變大。

圖7 所示為不同PSF 參數估計方法在模糊長度為10 px時的模糊角度估計誤差。從中可以看出：文獻［11］方法的參數估計結果開始出現極大偏離值，參數估計結果絕度誤差超過1，估計結果基本超出可信的有效范圍；文獻［14］方法的估計結果準確度明顯優于文獻［11］方法，誤差波動也較小，但是在模糊角度為75°、90°和105°附近時，估計結果絕度誤差仍大于0.5，影響了估計結果的可信度；本文方法在不同大小的運動模糊圖像中都能得到更精確的估計結果，參數估計有效范圍可達0～180°且誤差更小，在參數估計誤差波動明顯的情況下仍能保證估計結果的可信度?？傮w而言，本文PSF 參數估計方法在精度和有效估計范圍方面均能取得良好的性能表現。

圖7 模糊長度為10 px 時的模糊角度估計誤差Fig.7 Estimation error of fuzzy angle when fuzzy length is 10 px

4.2 圖像復原實驗

維納濾波法是一種經典且簡單高效的線性復原算法，其以原始圖像和復原圖像之間的均方誤差最小為約束條件對原始圖像進行求解。根據PSF 參數估計結果可以構造出運動模糊圖像的點擴散函數，當確定了模糊圖像的點擴散函數后，采用維納濾波器可以快速復原模糊圖像。維納濾波器在對原始圖像進行函數求解時表現為如下形式：

其中：e2為統計誤差；E表示數學期望。

根據式（14）及圖像退化模型，維納濾波器可表示為：

其中：S為噪聲功率譜與圖像功率譜的比值。

圖像復原結果可以直觀地體現PSF 參數估計方法的準確性。為了進一步驗證本文方法的可信度以及泛化性能，在測試圖像中加入GOPRO 數據集中的更多圖像，圖像分辨率為720×720 像素，運動模糊核為隨機大小。圖8 所示為不同方法所構建的點擴散函數結合維納濾波的運動模糊圖像復原實驗結果，為了便于描述，將圖8 中的圖像由上至下分別命名為“ 汽 車”“ 花 紋”“ 人 群”和“行人”。

圖8 運動模糊圖像復原實驗結果Fig.8 Experimental results of motion-blurred image restoration

對比圖8（c）、圖8（d）與圖8（e）可以看出，本文方法得出了更接近原始圖像的清晰圖像，圖8（c）、圖8（d）的一些復原圖像中不僅沒有完全消除模糊效果，且有嚴重的振鈴效應和偽影殘留，相比之下，本文方法的復原圖像偽影殘留更少，振鈴效應更小，保留了更多的圖像細節。

4.3 圖像質量評價

為了客觀評價復原圖像的質量，本文引入峰值信噪比（Peak Signal-to-Noise Ratio，PSNR）和結構相似性（Structural Similarity，SSIM）2 種客觀評價指標。PSNR 和SSIM 的值越大，表明圖像的保真度越高。PSNR 根據圖像對應像素點間的誤差來進行圖像質量評價，定義式為：

其中：MMSE表示2 幅圖像間的均方誤差；I(x,y)和分別是圖像復原前后在像素點（x，y）處的灰度值；M、N分別為圖像長度與寬度。

SSIM 從亮度（Luminance）、對比度（Contrast）和結構（Structure）三方面度量圖像間的相似性，相比PSNR 等傳統圖像質量評價指標，SSIM 更加符合人眼對圖像的視覺感知。SSIM 的取值范圍為-1～1，定義式如下：

其中：I、J為輸入圖像；μ為圖像的均值；σ為圖像的標準差；σIJ為2 幅圖像的協方差；C1=（K1L）2、C2=（K2L）2為常數；L為像素值的范圍。本文設置K1=0.01，K2=0.03。

表2 所示為圖9 中4 個不同的運動模糊圖像在不同方法下的復原圖像質量評價結果，從中可以看出，本文方法取得了最大的PSNR 和SSIM 值，表明在PSNR 和SSIM 客觀評價指標上，本文方法結合維納濾波復原出的圖像質量最優，證明本文方法精度更高，且對不同特征、不同模糊程度的圖像的PSF 參數估計結果穩定保持在可信范圍內。

表2 3 種方法的復原圖像質量評估結果Table 2 Evaluation results of restored image quality by three methods

5 結束語

成像時相機抖動或目標物移動等會使圖像產生運動模糊，從而導致圖像清晰度大幅下降。為了提高運動模糊圖像PSF 參數估計結果的精度，本文提出一種改進的運動模糊參數估計方法，并利用該方法估算出的參數來復原運動模糊圖像。PSF 參數估計和圖像復原實驗結果表明，相比文獻［11，14］所提方法，該方法具有有效性且估計結果精度更高，有效估計范圍更廣，在相同條件下能復原出具有更少振鈴和偽影的圖像。在實際應用場景中，除了相機和場景之間產生線性運動造成的運動模糊外，往往還存在其他類型的模糊和噪聲干擾因素，因此，下一步將尋找更合適的數學模型，以解決含有多個非線性模糊或大量噪聲干擾的復雜圖像復原問題。