圖像運動模糊還原技術綜述

黃正源，謝維成，黃化入，曹 倩

1.西華大學 電氣與電子信息學院，成都610039

2.重慶大學 自動化學院，重慶400044

1 引言

隨著智能手機、相機等攝影設備的普及，圖像的獲取愈發方便，圖像成為人們記錄生活、交流信息的重要方式。圖像在獲取過程中可能會受到各種因素干擾，例如相機抖動、拍攝對象移動、大氣湍流以及圖片失焦等，由此類原因導致的圖片質量下降稱為圖像退化。將退化圖像恢復為原始圖像稱為圖像復原技術，圖像模糊還原屬于圖像復原技術的一種。

圖像模糊有許多情況，常見的有運動模糊、高斯模糊、散焦模糊等。日常生活中，人們在拍攝圖像時難以保持設備穩定，最主要的類別是圖像運動模糊。在公共安全領域圖像運動模糊還原也同樣重要，例如電子眼抓拍違規車輛、公共區域抓拍嫌疑人等。圖像模糊過程可用模型表示為：

其中，B表示模糊圖像，I表示清晰的真實圖像，?是卷積操作，K代表模糊核或點擴散函數，N代表噪聲。

在過去的10 多年里，研究者對這一經典問題作出了許多積極的努力，大部分的去模糊處理都是采用傳統的兩步方法：先進行模糊核估計，再進行能量函數最小化。然而，從模糊的圖像中恢復干凈的清晰圖像非常困難，因為這是一個高度不適定的問題，模糊不僅來自于多目標運動，還來自于攝像機抖動、場景深度變化，無法簡單地依賴模糊核線性的假設。圖像運動模糊還原技術，已經成為計算機視覺和圖像處理領域的研究熱點。

2 圖像運動模糊還原方法描述

按照模糊核是否已知可將圖像去模糊算法分為兩類：非盲去模糊算法和盲去模糊算法。非盲去模糊算法是指先通過其他方式獲得模糊核的信息，然后用已知的模糊核對模糊圖像進行反卷積，就可以重建清晰圖像，常用的算法有Lucy-Richardson 算法、維納濾波和基于正則化等。盲去模糊算法是指在模糊核未知的情況下，僅通過模糊圖像估計出模糊核與清晰圖像，常用的盲去模糊算法有卷積神經網絡、循環神經網絡、生成對抗網絡等，如圖1。

圖1 圖像運動模糊還原常用方法分類

2.1 非盲去模糊

基于Lucy-Richardson 算法的圖像運動模糊還原是假設模糊圖像符合泊松分布，通過迭代計算求得最大似然解。該算法由Lucy和Richardson[1-2]提出，在假設噪聲因素為零的情況下，Lucy-Richardson算法隨著迭代次數的遞增，最終將會收斂在具有最大似然性的解，被廣泛應用于圖像運動模糊還原領域，是一種通用的運動模糊圖像復原算法。Liu 等人[3]為了提高航天器在高動態環境下獲取圖片的性能，提出了一種基于徑向基函數神經網絡（RBFNN）的Lucy-Richardson 算法，利用陀螺儀提供的角速度信息計算出點擴展函數，然后使用RBFNN預測RL 算法完成圖像去模糊所需的迭代次數，并驗證了其有效性；Dansereau等人[4]針對無人機和自主水下航行器的部署，在對光線采集和運動模糊敏感度之間的權衡下，使得在弱光下或在移動平臺上難以有效地捕捉圖像這一機器人技術應用中常見的問題，采用光場渲染代替二維卷積，使用光場插值來渲染新的視圖和模擬運動模糊，將Lucy-Richardson 去模糊推廣到4-D 光場，該方法在不進行深度估計的情況下，正確處理了復雜三維場景中六自由度相機運動產生的模糊。基于Lucy-Richardson 算法的圖像運動模糊還原技術在處理噪聲無法忽略的情況，迭代次數的選擇尤為重要，不恰當的迭代次數存在放大噪聲的缺陷[5]，如圖2 所示。對于沒有噪聲的情況，Lucy-Richardson算法可以很好地還原模糊圖像；在有噪聲的干擾下，設置合適的迭代次數是基于Lucy-Richardson算法圖像去模糊的關鍵。

圖2 Lucy-Richardson算法不同迭代次數結果

基于維納濾波的圖像運動模糊還原方法綜合了退化函數和噪聲統計特征兩個方面。經典的維納濾波假定線性濾波器的輸入為有用信號和噪聲之和，兩者均為廣義平穩過程且知它們的二階統計特性，根據最小均方誤差準則，求得最佳線性濾波器的參數。Li等人[6]針對旋轉模糊這一特殊運動方式，提出了一種新的模糊核估計模型，該模型以旋轉中心為圓心的圓周重建模糊圖像，通過維納濾波得到去模糊的同心圓圖像，然后利用模型的逆過程將同心圓圖像重新填充到笛卡爾坐標系中，實現旋轉運動圖像還原；Khetkeeree等人[7]為了減少維納濾波去模糊對噪聲先驗的依賴，提出一種估計維納濾波器正則項的優化方法，采用改進的Tikhonov正則化控制最佳恢復圖像的Weiner濾波器正則項，使噪聲成為非必要的先驗知識。基于維納濾波的圖像運動模糊還原技術對于信噪比依賴度較高，信噪比估計的準確性直接影響圖像的還原結果。維納濾波無法復原空間可變的退化，且由于人眼對于灰度亮度一致的區域復原錯誤感知更嚴重，基于最小均方誤差的原理在理論上能很好地處理卻不是最適合人眼的方式。

基于正則化的圖像運動模糊還原采用正則化方法建模，對函數最小化模型進行求解。較早的正則化方法是Tikhonov 等人提出的Tikhonov 正則化方法，該正則項可以有效地抑制噪聲，但是易產生過平滑圖像，使得處理結果仍然模糊。Rudin等人[8]提出了總變分正則化（Total Variation，TV）方法，TV 正則化方法不僅可以抑制噪聲，而且能保留圖像的邊緣。譚海鵬等人[9]為了改善遙感圖像質量，提出了基于正則化約束的遙感圖像多尺度去模糊方法，建立模糊圖像的金字塔模型，將低層計算的清晰圖像上采樣為上一層的初始清晰圖像，再迭代運算該層上的最終清晰圖像。該方法能有效地去除遙感成像產生的模糊，在保持圖像邊緣和細節的同時，可有效抑制振鈴效應；Choudhury 等人[10]提出了一種基于加性高斯噪聲的運動退化圖像復原方法，正則化使用的上界可以在圖像去模糊之前激發圖像去噪，下界作為邊緣恢復約束加入到模糊代價函數中，結合保真項和邊緣恢復下界約束，提出了一種新的凸函數用于圖像恢復，使用正則化函數而不是固定參數使收斂速度更快；基于正則化的圖像運動模糊還原方法，正則化參數和正則化算子的選擇在圖像去模糊過程中起著至關重要的作用。不同經典非盲去模糊方法的實驗結果如圖3所示。

圖3 經典非盲去模糊方法實驗結果

2.2 盲去模糊

基于正則化的圖像運動盲去模糊還原方法在經典非盲去模糊的方法上通過各種優化后直接對圖像進行還原。Liu等人[11]為了精確估計單幅圖像盲去模糊時的模糊核，提出了一階和二階圖像梯度的L0 范數來規范最終的估計結果，L0 正則化混合梯度稀疏先驗極大地受益于圖像的固有稀疏性，可以保證高質量的模糊核估計；Dou等人[12]為提高效率提出一種圖像正則化盲去模糊方法，提出的平滑增強正則化算法不僅保證了圖像中只有突出結構被保留，而且增強了這些突出結構用以幫助模型更準確地估計核函數，其模型為：

還采用了一種基于半二次分裂算法的有效數值方案[13]，與半二次分裂算法相比，該優化方案只需要額外的收縮操作，使該方法比目前的其他方法快得多；Bai[14]設計了一個重加權圖總變差（RGTV）先驗，可以有效地促進一個雙峰邊權重分布給定一個模糊的補丁，并引入了一個新的權函數作為拉普拉斯正則化器來表示RGTV，噪聲和模糊的魯棒性、強分段平滑濾波和銳度均得到了提升。

基于卷積神經網絡的圖像運動模糊還原方法，利用局部權值共享對圖像處理的優越性，卷積操作可輕松處理高維數據且避免了特征提取過程中數據重建的復雜度。Sun 等人[15]用卷積神經網絡對圖像模糊核進行估計，再使用估計出的模糊核對圖像進行去模糊還原。該方法雖然采用盲去模糊算法還原圖像，但對模糊核估計后仍然沿用了非盲去模糊的思想，對圖像進行反卷積操作。這導致了算法運行緩慢且還原結果依賴于模糊核估計，但盡管如此，該方法將卷積神經網絡應用在了圖像去模糊，為后續基于此的各種方法奠定了基礎；Nah等人[16]提出了一種多尺度的神經網絡，模擬傳統的從粗到細的方法，它能夠以端到端的方式恢復由各種來源引起的模糊圖像，該方法在動態場景去模糊方面不僅在定性上，而且在定量上都達到了優越的效果。Li等人[17]提出了一種全新的卷積結構，命名為“孔卷積”，其內核采用鄰域為矩形的矩形環進行計算，大大擴展了接收域，實驗結果表明，該方法能有效地恢復圖像；Liu等人[18]提出了一個兩階段去模糊模塊來恢復基于高頻圖像的動態場景的模糊圖像，先用編碼網絡對殘差圖像進行細化，再將細化后的殘差圖像與輸入的模糊圖像相結合，得到潛像，并進一步提出了一個基于模糊處理模塊的由粗到細的框架；Cai等人[19]提出了一個暗、亮通道先驗嵌入式網絡（DBCPeNet），將通道先驗插入到一個神經網絡中，以實現有效的動態場景去模糊，并提出了一種新的可訓練的明暗通道先驗嵌入層（DBCPeL），用于融合通道先驗和模糊圖像表示；Chi 等人[20]考慮到大多數數碼相機并不直接捕捉RGB彩色圖像，相反，它們只記錄每個像素的三種原色之一的光強度，提出一種新的多尺度深度卷積神經網絡來共同解決圖像的去量化和去模糊問題。基于卷積神經網絡的去模糊方法利用神經網絡優異的非線性擬合能力去解決模糊核估計這一高度不適定問題，取得了不錯的效果。

基于循環神經網絡的圖像運動模糊還原方法，創新性地將循環神經網絡從處理具有前后順序、時間依賴關系數據的領域，應用在了圖像處理領域。Tao 等人[21]根據在金字塔中逐漸恢復不同分辨率的清晰圖像策略，提出了一個尺度循環神經網絡（SRN-DeblurNet），與許多基于學習的方法相比，它具有更簡單的網絡結構、更少的參數且更容易訓練。Zhang等人[22]為解決多尺度循環神經網絡模型上采樣操作運行時開銷大、單純增加模型的深度和更精細的層次并不能提高去模糊的質量等問題，提出了一種基于空間金字塔匹配的深度分級多patch 網絡，通過一種精細到粗糙的分級表示來處理模糊圖像，與之前的多尺度方法相比，運行速度快了40倍。Zhang等人[23]提出一種由三個深度卷積神經網絡（CNNs）和一個循環神經網絡（RNN）組成的空間變異神經網絡，將RNN 作為反卷積算子，對由一個神經網絡從輸入圖像中提取的特征圖進行反卷積運算，該方法具有較好的性能、速度和模型大小。

基于生成對抗網絡圖像運動模糊還原方法，通過一對相互博弈的生成器與判別器，經過多次訓練來實現圖像運動模糊的還原。生成對抗網絡由Goodfellow 等人[24]提出，Kupyn 等人[25]提出通過條件生成對抗網絡實現一種端到端的圖像去模糊方法DeblurGAN，與Deep-Deblur方法相比，該方法速度提高了5倍。Kupyn等人[26]在此基礎上提出一個帶有雙尺度鑒別器的相對條件生成對抗網絡DeblurGAN-V2，將特征金字塔網絡引入到去模糊中，作為該網絡的核心構件，憑借輕量級的骨架，DeblurGAN-V2 比同期最接近的方法快10～100 倍。Gong 等人[27]提出了一種自參考去模糊生成對抗網絡，在解決局部模糊圖像的還原問題上取得了較好的效果。Lu 等人[28]提出了一種無監督的單幅圖像去模糊方法。并引入了一個解糾纏框架來分割模糊圖像的內容和模糊特征，從而提高了圖像去模糊性能。桑亮等人[29]提出基于生成對抗網絡的深度卷積神經網絡來復原模糊圖像的解決方案，通過引入生成對抗網絡思想的對抗損失和對殘差網絡進行改進，有效地復原了圖像的細節信息。基于生成對抗網絡的圖像運動模糊還原方法依據博弈論的原理提高了參數擬合的準確度，但網絡訓練依靠于成對數據集，由于真實場景下難以獲取同一場景的清晰與模糊圖像，提高了訓練集的獲取難度，去模糊方法對比如表1。

3 圖像運動模糊還原關鍵問題

3.1 模糊核估計對圖像還原的影響

模糊不僅來自于多個物體的運動，還來自于相機抖動、場景深度變化。然而，估計每個像素或區域的單個模糊核是不可行的，因為這會導致過多的計算負擔。為了消除這些復雜的運動模糊，傳統的基于能量優化的方法依賴于一些簡單的假設，如模糊核是部分均勻的或局部線性的。

文獻[30]提出一種基于卷積神經網絡的方法來處理非盲運動去模糊中的核不確定性，通過有效的模糊觀測獲得不同先驗的潛在估計圖像，利用其互補性來改進學習。文獻[31]證明了絕對相位的自相關可以提供關于運動的可靠信息，并通過研究頻域問題直接獲得高質量的模糊核，提供了一種新的模糊核估計方法。文獻[25]利用生成對抗網絡提出一種端到端的圖像運動模糊還原方法，跳過模糊核估計階段，直接由模糊圖像得到還原圖像，避免了模糊核估計與真實情況的差異導致還原圖像產生振鈴。文獻[18]通過清晰圖像的低頻成分和模糊圖像的低頻成分是相似的這一特點，采用兩階段去模糊，第一階段恢復低頻分量，同時保留高頻分量；第二階段提煉高頻信息，該方法同樣避免了模糊核的估計過程。

3.2 圖像特征提取計算量

使用卷積網絡對圖像運動模糊還原，即使模糊很小，也需要使用較大的圖像區域來增加感受野，這就不可避免地導致網絡模型規模大，計算成本高。文獻[17]提出的孔卷積濾波結構，結構如圖4 所示，其基本的設計思想是，在核上的任意兩個權重參數都應該等于它們到中心的距離。該結構極大地擴展了響應區域，從而可以從更高的層上獲得更粗的全局特征圖，并且大大減少了參數數量，提高了泛化能力。文獻[23]證明了去模糊過程可以用一個無限脈沖響應（IIR）模型來表示。并進一步分析了空間變量RNN 和去模糊過程之間的關系，表明空間變量RNN能夠模擬去模糊過程。通過從連續的RNN 中插入CNN，將來自不同方向的信息融合，這樣，空間RNN 就可以用較少的參數覆蓋較大的二維區域，從而減少計算量，其過程如圖5所示。

濾波器的參數數量對網絡的計算量有著直接的影響，在擴大感受野的同時減少參數數量，是提高運行速度的一個關鍵。

表1 去模糊方法對比

圖4 孔卷積結構示意圖

圖5 RNN融合方向信息過程示意圖

3.3 模糊數據集的構建

采用神經網絡對圖像運動模糊進行還原的方法，都得經過訓練才能得到網絡參數，訓練就得有數據集，然而現實中模糊數據集的獲取有一定的難度。成對數據集采用人工的獲取方式難以保證清晰圖像與模糊圖像的內容一致，由算法合成的模糊圖像由于難以擬合現實中的復雜情況，往往在訓練中表現良好，在現實圖片上卻不盡人意。

根據模糊數據集的構建方法，可大致分為三類。第一類為算法模擬計算模糊核，由清晰圖片與模糊核卷積得到，比如Levin 等[32]、Kupyn 等[25]的數據集。Kupyn 等提出了一種模擬逼真和復雜的模糊內核的方法，遵循隨機軌跡生成的思想，然后將子像素插值應用到軌跡矢量中生成核函數。每一個軌跡矢量都是復值矢量，對應于物體在連續域內二維隨機運動后的離散位置。軌跡的生成采用馬爾可夫過程，根據前一個點的速度和位置、高斯攝動、脈沖攝動和確定的慣性分量，隨機生成軌跡下一個點的位置。

第二類為通過相機軌跡合成的模糊圖片，利用高速攝像頭連續拍攝取平均值得到模糊圖像，例如Kohler[33]數據集、GOPRO數據集。Nah等[16]提出了一個具有真實感的現實模糊圖像數據集GOPRO，選擇記錄要隨時間集成的銳化信息來生成模糊圖像，而不是對內核進行建模來對銳化圖像進行卷積。模糊積累過程建模如下：

其中，T和S(t)分別表示時刻T的銳化圖像的曝光時間和傳感器信號，M、S[i]分別為曝光時間內采集到的幀數和第i個銳幀信號，g是將一個敏銳的潛信號S(t)映射到一個觀察信號S(t)的CRF。

第三類為真實場景拍攝的數據集，直接由手機或相機獲取。只包含模糊圖像，無對應清晰圖像，因此難以用于網絡訓練，常用作于測試集，代表為Lai等人[34]的數據集。

主流數據集特點對比，如表2。

表2 主流數據集特點對比

4 趨勢展望

圖像運動模糊還原是近年來計算機視覺和圖像處理等領域的一個研究熱點，不僅具有重要的理論意義，而且在實際應用中也有迫切需求[35]。未來的研究可從以下幾點考慮[35]。

算法效率的提升：算法的運行速度是影響算法應用的一個重要因素，對于實時性要求高的場景，算法的效率更是第一選擇。提升圖像運動模糊還原算法的時效性可將此算法應用于更多的場景，使基于計算機視覺解決的方法更完善。例如，在生產監測過程中，采用圖像處理的方式越來越受到重視，以往的方法為物品傳送到監測點時停下采集圖片。采用實時性高的圖像運動模糊還原算法可在物品運動時采集圖片，省去物品停下的步驟，大大提高了物品生產線效率。因此，提高算法效率是一值得研究的方向。

新的模糊數據集：模糊數據集對基于深度學習方法的還原結果有著直接的影響，目前開源的模糊數據集種類、數量都較少。其中使用最廣泛且規模最大的GOPRO數據集也僅僅只有2 103 對訓練圖片與1 111 對測試圖片，與計算機視覺其他領域的數據集，尤其是imageNet數據集包含14 197 122 張圖片相比，簡直是天壤之別。不同于圖像識別或圖像分割等領域，模糊圖像數據集的獲取存在一定難度。但對于任何領域，數據集都是研究人員開發的基礎，數據集的匱乏直接影響了這一領域的研究進度，對此，迫切地需要提出一個規模大的、新的數據集。

網絡結構改進：隨著深度學習的發展，基于深度學習的方法愈來愈多。每有新的網絡結構被提出，基于它的圖像運動模糊還原技術都會隨之噴涌，不論是卷積神經網絡還是生成對抗網絡都在原有的技術上做出了實質性的提升。對現有的網絡結構進行改進也是提升算法的一種方式，將不同的網絡結構相互結合或許是一種不錯的方法。例如，在網絡結構中引入多尺度結構、密集殘差結構等，再與改進的損失函數相結合也許能夠達到不錯的效果。

隨著圖像運動模糊還原技術的不斷發展完善，基于其在計算機視覺和圖像處理領域其他任務屬于圖像預處理的特點，可以良好地與其他任務結合，圖像運動模糊還原技術應用會更加廣泛。

5 結束語

系統總結了目前圖像運動模糊還原技術的研究現狀，指出了現有研究的關鍵問題，對未來的發展趨勢和應用前景進行了展望，為進一步的研究奠定了基礎。