改進的基于雙向光流去除監控中動態場景模糊算法

孫曉寧 胡長嶺 侯森垚

1．西安石油大學電子工程學院；2．易事特集團有限公司

傳統動態場景去模糊的方法都基于相鄰幀之間的位移比較小，適用于處理平滑變化的模糊核，但難以處理包含多個運動物體的動態場景中經常出現的模糊核突變情況，而且對噪聲很敏感。對于監控場景來說，攝像頭的運動、環境光照等因素的變化相對可控，而物體的劇烈運動是引起模糊核突變的主要原因。當模糊圖像的部分模糊核發生突變，在向更低金字塔層傳播時會產生重構誤差。在由粗到精的框架中，具有明顯運動模糊的微小結構會導致嚴重的偽影。本文針對雙向光流去模糊方法中存在的微小結構重構失誤導致偽影的現象，提出了一種對多尺度分層處理的方法，有效地減少了振鈴效應，使運動物體邊緣更加清晰、運動邊界處的光流精度更高，同時減少了計算開銷。

盲去模糊是指在模糊核未知的情況下，將因攝像機抖動或物體運動而模糊的圖像恢復為清晰圖像的方法。不同的運動模糊類型對應不同的模糊核估計方法。目前研究最全面的是二維相機運動引起的全局模糊，通過模擬真實攝像機的運動來恢復模糊圖像。但是這些全局模糊的方法應用于局部模糊卻收效甚微。在各部分運動不同的情況下，試圖用單個模糊核來反卷積整個圖像會造成嚴重的偽影。

為了解決運動突變導致的模糊，Levin等人提出基于運動模糊類型分割的動態場景去模糊方法。通過自然圖像統計區分模糊的程度，以模糊程度為分割標準將圖像分割成不同的模糊層，并在每一層重建模糊核。但是分割失誤可能會導致嚴重的偽影。還有部分學者利用視頻能夠提供長圖像序列這一優勢，用清晰的區域對模糊幀的相應區域進行插值來恢復清晰幀。對于快速移動的物體，物體的運動與背景相差較大，單應性全局參數化的模糊核無法應對這樣的場景。另外，插值所具有的平滑效果會使中頻紋理退化。

Kim等人創造性地提出了一種不分割區域也不限制運動模糊類型的方法，核心是將模糊核的計算轉換成光流的計算。稠密光流場記錄了每個像素的運動速度與方向，可以獲得精確到像素級別的模糊核，有助于修復劇烈運動引起的模糊。但在金字塔由粗到精的傳播過程中，具有明顯運動模糊的微小結構在尺度較小的金字塔層上難以看到，待其傳播到較大尺度層時就會導致嚴重的偽影。因此，本文提出了一種多尺度分層處理的方法，用于減少振鈴效應，使運動物體的邊緣更加清晰。由于只在金字塔的大尺度層進行精確處理，有效地提高了計算效率。

1 改進的雙向光流去模糊算法

1.1 多尺度金字塔的建立

在圖像金字塔的構建過程中，首先建立尺寸數據，然后在圖像金字塔的每一層，將視頻幀、由上一層傳播而來的清晰幀以及上一層計算而來的光流進行尺寸調整。由于在所有尺度層使用雙三次插值不僅浪費大量的計算資源，而且會使小尺度層灰度值的計算受到過多地臨近像素的影響。因而對除最高層外的小尺度層采用最近鄰插值，對中間層進行雙線性插值，對金字塔大尺度層采用雙三次插值。

1.2 利用光流估計模糊核

首先，我們假設幀間存在分段仿射運動。其次，假設運動模糊核是由線性分量控制的，局部變換的模糊核可以被近似為二維運動向量u

=(u,v)

。現實情況中，有很多類型的運動可以被近似為線性運動。由于攝像機捕捉到的圖像序列幀率很高，因此更適合將線性化的假設作為先驗用于去模糊。利用光流估計模糊核的公式如下：

其中，

h(x,y)

為光流所對應的模糊核，

δ

代表克羅內克函數。

1.3 求解能量函數最小化

由于盲去模糊問題的高度不適定性，需要引入更多的約束以確保收斂到可靠解。能量函數包括三部分：

其中，E為保真度約束，E為時間一致性約束，E為空間一致性約束。

保真度約束E主要是通過L2正則化來估計模糊核和清晰圖像，如式（3）：

其中，λ參數用于控制數據項的權重，τ為相機占空比，

B

代表模糊幀，

L

代表清晰幀，

K

代表模糊核矩陣，?代表Toeplitz矩陣。

空間一致性約束E主要作用是加強光流和清晰圖像各自的平滑性。借鑒稀疏梯度先驗在描述自然圖像邊緣統計中的優勢，采用TV模型對兩個變量進行正則化。同時，將L1范數應用于平滑度約束中的梯度，允許潛在清晰幀和光流的不連續性。E的公式如下：

時間一致性約束E是基于傳統的光流約束條件—即亮度恒定，假設像素在運動前后的光強度不變：

其中，參數μ用于控制權重。在求解“能量函數最小化”這個問題時，將其分解為兩個獨立的子問題，一個是求光流u的問題，一個是求清晰幀L的問題，然后交替迭代求解。

1．3．1固定光流求解清晰幀

將光流u固定求解清晰幀L時，目標函數會變成凸函數，通過求解對偶問題解決凸優化問題，L的更新過程表示為：

在恢復清晰幀的過程中需要保留紋理結構，使最終得到的圖像具有豐富真實的細節。在更新清晰幀的過程中，本研究選取較大尺度層進行非局部均值濾波處理，利用全局信息去除噪聲，修復紋理區域和周期性結構。在實驗過程中，選用的搜索窗口大小為5×5,匹配窗口大小為3×3。

1．3．2固定清晰幀求解光流

在計算稠密光流的過程中，需要去除光流場中的噪聲，提高光流的平滑性。但是對于小尺度層，過早地對突變值進行濾波，會導致某些微小結構和銳利邊緣在迭代過程中逐漸被平滑，不利于清晰圖像的恢復。

通過不同尺度層采用不同尺寸的中值濾波處理，可以較好地保留了邊緣及微小結構，同時對孤立噪聲點的消除能力很強。實驗過程中，在金字塔的3至10層，采用3×3的中值濾波器，在1至3層采用5×5的中值濾波器。通過圖一（b）與（c）對比可以看到，本文的算法車尾部光流的精細結構恢復地更好。圖1中光流以顏色編碼的形式展示，色調代表角度，飽和度代表幅值。

圖1 光流圖對比Fig.1 Comparison of optical flow

2 實驗結果和分析

2.1 實驗細節說明

實驗中選用的參數如下：μ=λ，v=0.08λ，N=1，

σ

=25/255，λ值根據不同的圖片數據選擇不同的值，一般采用的λ值為250。實驗時選擇的金字塔層數為17層，尺度因子為0.9。

2.2 對比與結果展示

為了便于對比，實驗中使用了Kim等人的研究中所使用的視頻序列。通過實驗對比了兩種算法對相同的50幀視頻去模糊的結果。

在圖2中主要對運動邊界處去模糊效果進行對比?？梢钥吹剑瑢τ趦奢v車的交界處，改進后的算法得到的邊緣更加清晰，對細節的修復更細致。同時，對于視頻序列第49幀，計算峰值信噪比（PSNR）由26.6提升至27.4。

圖2 每組三幅圖從左到右依次是：模糊圖像、Kim[10]方法、本文方法Fig.2 From left to right: Blurry images, results of Kim[10],results of the proposed method

本文算法對振鈴效應的抑制效果相較于雙向光流去模糊算法有明顯的提高。在圖3中，對(a)中模糊圖像車前部復原的過程中產生了振鈴效應，(c)中的振鈴效應相比于(b)有明顯的減弱。

圖3 算法對振鈴效應的抑制對比Fig.3 Comparison of suppressing ringing artifacts

圖3 智慧建造模塊Fig.3 Smart construction module

3 結論

本文提出了多尺度分層處理的雙向光流去模糊方法，能夠放大多尺度金字塔由粗到精的優勢，在兼顧光流平滑性的同時，獲得的光流具有更加清晰的邊緣，對物體的邊緣信息保留地更加完整，對于恢復運動物體邊界處的模糊有更好的效果。并且相比于原算法，本文改進的方法可以縮短9%的運行時間。目前該算法僅在CPU上實現，今后可以利用GPU的并行運算來提高算法效率。