一種改進的視頻序列超分辨率重建算法及應用

周 芳1, 2，蔣建國1，王培珍2

?

一種改進的視頻序列超分辨率重建算法及應用

周 芳，蔣建國，王培珍

（1. 合肥工業大學計算機與信息學院，安徽合肥230009；2. 安徽工業大學電氣信息學院，安徽馬鞍山243002）

在凸集優化基礎上，充分利用最大后驗概率和凸集投影技術，提出了一種高效強魯棒性視頻序列分辨率提升算法。首先，在空域設計一個簡單的預處理共軛梯度估計器，預測原始高分辨率圖像；然后，在小波域分別創建幀間和幀內兩個不同的凸集，并實施不同的投影運算，提取出隱含在相鄰低分辨率圖像中的細節信息；最后，利用空域估計器中相鄰因子間的關系約束凸集投影解的可行域，保證快速獲得圖像重建的唯一最優解。仿真實驗和實際交通監測系統應用結果均表明，該方法較其他方法不僅可獲得更高的峰值信噪比和更好的可視化效果，而且收斂更快，魯棒性更強。

計算機應用；超分辨率重建; 預處理共軛梯度；凸集投影；視頻序列

絕大多數的數字圖像應用都需要高分辨率清晰圖像。高清圖像所提供的更多細節信息會在諸如醫療診斷、模式識別、遠程監控等應用中起到至關重要的作用。而一般來講，人們獲得的圖像跟現實場景相比都是低分辨率的。因為在圖像獲取和傳輸過程中，不可避免地會受到采樣、量化、混淆、噪聲以及攝像機的物理局限和畸變等因素的影響。

為了得到高清圖像，文獻[1]中首次提出了超分辨率(SR)算法，運用信號處理技術由多幅低分辨率(LR)圖像獲得一幅高清(HR)圖像。從此，分辨率提升方法成為圖像處理和視頻通信的研究熱點。

近年來，許多專家學者相繼提出了很多SR方法，大致可以歸為兩大類：一類是確定性方法，如，凸集投影(POCS)，不考慮信源的統計特性，在空間域中提升分辨率。該類方法的優點是算法簡單，能夠充分利用空域觀測模型，并具有良好魯棒性，但缺點是往往解不具有唯一性，且收斂速度慢，計算量大。另一類方法是基于統計模型，如，最大后驗概率(MAP)和最大似然估計(ML)方法等。統計模型方法可通過合并多種正則化約束條件，在空域實現簡單有效的SR重構。但是，重構質量主要依賴于先前假設的HR模型，雖然有很多模型可供選擇，如，高斯、泊松、高斯-馬爾可夫隨機場(GMRF)和泊松-馬爾可夫隨機場(PMRF)等，但沒有一個模型能適合所有圖像序列。

另外，大多數文獻都在致力研究算法高效性和重構質量，而忽略了魯棒性。如文獻[8-9]和文獻[10-11]先后在MAP框架下，提出了共軛梯度和預處理共軛梯度方法，大大降低了計算復雜度，提高了算法效率，但并沒有考慮其魯棒性問題。雖然文獻[12]給出了一個有較好魯棒性的SR算法，但運算量相當龐大，難以運用于實際系統；文獻[13]不用假設模型，根據數據點的不同分布特性提出一種具有較強魯棒性的多幀SR算法，但算法收斂性難以保證，而且數據點的分布特性在普通視頻序列中也難以獲得。

因此，本文在綜合和改進多類算法基礎上，提出一種能夠兼顧高效性和魯棒性的SR算法，并運用于實際監測系統中，驗證出其有效性。

1 簡單空域估計器設計

首先在空域設計一個簡單的估計器來預測原始HR圖像。假設LR圖像分辨率為，水平和垂直方向的降采樣參數均為，HR圖像分辨率即為。像素灰度值為()。方便起見，設為長度為的HR向量，為的LR向量，則，寫成矩陣形式如下

（2）

（5）

（6）

一般來講，模糊作用將導致非周期邊界效應，因此可定義為 BTTB (Block-Toeplitz-Toeplitz-Block)矩陣,為具有零邊界條件的離散Laplacian矩陣，則，公式(6)寫成

（8）

（10）

根據文獻[10]，正則化參數和步長分別選為

（12）

2 小波域POCS重構

本節基于POCS技術，設計小波域SR重建算法。采用逐次逼近方法提取出視頻序列中的隱含信息，達到提升分辨率的目的。為了充分挖掘出隱含在相鄰幀中的相關信息，算法分別在幀間和幀內構建兩個不同的凸集，施以不同的投影運算。

2.1 幀間凸集構造與投影

從多尺度小波分析角度看，高頻信號包含在細節分量中，而低頻信息包含在近似分量里。因此，算法并不在圖像空間域中進行凸集投影運算，而是在小波域用相鄰幀中信息來更新和增大當前幀的高頻小波系數，達到超分辨率重建目的。在整個SR計算中，低頻近似分量始終保持不變，運算復雜度減少了很多。

（13）

（15）

（16）

（18）

其中

（20）

（21）

(a) 幀間凸集投影

(b) 幀內凸集投影

2.2 幀內凸集構造與投影

幀內凸集投影是為了減少幀間投影和未知噪聲對圖像重構質量的影響。即，在幀間投影過程中，對再進行兩層小波分解，具體做法如下：首先，不采用降采樣，獲得3個高頻子帶,和；然后，使用降采樣，分別獲得一個低頻子帶和3個高頻子帶,和；接著，再對分量小波分解，得到,和；最后，運用LS（最小均方）預測估計方法，得到3個高頻子帶的估計值,和。幀內凸集構造如下

其中

（25）

（27）

3 實驗與分析

實驗將文獻[7]和文獻[4]中的方法分別簡稱為MAP方法和POCS方法，與本文算法做比較。仿真選用5個標準HR視頻序列，分別是Coastguard, Stefan, Calendar, Weather Forecast 和Mobile。時速30幀/秒，格式4:2:0，尺寸352×288。LR圖像序列由標準HR視頻序列經下采樣后再降質產生，下采樣參數取2，另加方差為29的高斯白噪聲。取相鄰3幀LR圖像進行重構，重構質量的客觀評價標準PSNR（峰值信噪比）定義如下

其中 MSE 是原圖與重構后圖像之間亮度誤差均方根。當連續兩幅重構圖像和滿足：時，算法停止迭代。所有實驗結果取運行30次統計均值。

3.1 高效性驗證

空域估計器首先要選擇一個適當的HR 概率估計模型，如前所述，很難找到一個適合所有圖像序列的統一模型，因此，實驗首先選用兩個廣泛使用的GMRF和PMRF模型進行比較，結果如圖2所示。

由圖可見，無論選用哪種模型，本文算法的迭代次數和重構后圖像的PSNR都好于MAP方法，而且兩種不同模型的主要區別僅在迭代次數上，PSNR相差甚微，PMRF略好于GMRF。因此，后續實驗均選用PMRF模型。

迭代次數（次）

(a) PMRF 模型（本文方法）

迭代次數（次）

(b) GMRF 模型（本文方法）

迭代次數（次）

(c) PMRF模型（MAP 方法）

迭代次數（次）

表1列出了3種算法對5個不同標準視頻序列重構后圖像的平均PSNR值。圖3為“Weather Forecast”序列第三幀的重構圖像及細節信息。

表1 不同算法重構圖像的平均PSNR值(DB)

由圖表可以看出，本文算法具有明顯優勢，尤其是高頻信息更加豐富，這從圖3的(e)到(f)中可看出。雖然(f)中也保留了許多高頻信息，但其可視化質量上表現出不連續性，其原因是傳統的POCS算法不能保證具有唯一解，解的選擇確定有很大的隨機性。而本文算法充分利用空域估計器，在小波域POCS可能解中增加約束條件，不僅可得到唯一解，而且是最優解。另外，算法迭代次數也較其他方法有了明顯減少，這由圖4可以驗證。

3.2 魯棒性驗證

在LR圖像序列中分別加入高斯和椒鹽噪聲，采用不同算法重構后圖像的PSNR值（取30幀均值）如表2所示。可見，本文算法較其他方法具有更好的抗噪聲干擾性，尤其是椒鹽噪聲。那是因為算法中的小波域POCS通過對不同凸集的投影運算，將隱含在幀內和幀間的高頻信息有選擇的挖掘出來，而各種噪聲往往都是高頻信息，所以本文算法可以從噪聲中提取出需要的有用信息，這是其它方法難以做到的。

(a) LR 觀測圖像

(b) MAP 方法

(c) POCS 方法

(d) 本文方法

(e) (b)的細節信息

(f) (c)的細節信息

(g) (d)的細節信息

圖4 不同算法迭代次數比較

表2 不同算法的抗噪聲性能比較

3.3 實際系統的應用

將本文算法用于實際交通監測系統中，如圖5(a)所示，系統在不同位置安置了兩個攝像機用來捕獲目標的不同視點，攝像機的結構如圖5(b)。圖5(d)~(f)給出了不同算法對車牌圖像重構后的結果。從圖中可以清楚的看到，本文算法明顯優于其他方法，特別是保留了很多的細節信息，使得車牌號碼清晰可辨。此外，整個系統使用該算法運行平穩，所有的運行參數，包括反應時間和計算復雜度等都滿足實際要求。

(a) 攝像機定位

(b) 攝像機結構

(c) 輸入視頻

(d) MAP方法

(e) POCS 方法

(f) 本文方法

圖5 實際監測系統中不同重構算法的比較

4 結 論

本文提出了一種改進的視頻序列超分辨率重建算法。該算法綜合使用了簡單的空域預處理梯度估計器和小波域的幀間和幀內POCS重建。實驗結果表明，算法可以成功地運用于標準視頻序列和實際交通監測系統，無論是客觀指標值，還是主觀重構質量，都較其他算法有著明顯的改進和提高，而且算法收斂速度快，具有良好的魯棒性。因此，有廣闊的應用前景。

[1] Park S C, Park M K, Kang M G. Super-resolution image reconstruction: a technical overview [J]. IEEE Signal Processing Magazine, 2003, 20(3): 21-36.

[2] Elad M, Feuer A. Restoration of a single super-resolution image from several blurred, noisy, and under-sampled measured images [J]. IEEE Trans. Image Process, 1997, 6(12): 1646-1658.

[3] 黃 華, 樊 鑫, 齊 春, 等. 基于識別的凸集投影人臉圖像超分辨率重建[J]. 計算機研究與發展, 2005, 42 (10): 1718-1725.

[4] Guo L, He Z M. A projection on convex sets super- resolution algorithm using wavelet transform [C]// Proceedings of International Conference on Signal Processing, Beijing, China, 2008: 1039-1041.

[5] Schultz R R, Stevenson R L. Extraction of high-resolution frames from video sequences [J]. IEEE Trans. Image Processing, 1996, 5(6): 996-1011.

[6] 周 亮, 朱秀昌. 基于Bayesian理論的壓縮視頻超分辨率重構算法[J]. 中國圖象圖形學報, 2006, 11(5): 730-735.

[7] Shen H F, Zhang L P, Huang B, et al. A MAP approach for joint motion estimation, segmentation and super resolution [J]. IEEE Transactions on Image Processing, 2007, 16(2): 479-490.

[8] Humblot F, Djafari A. Super-resolution using hidden markov model and bayesian detection estimation framework [J]. EURASIP Journal on Applied Signal Processing, 2006, (10): 1-16.

[9]Zhou L, Zheng B Y, Wei A, et al, A robust resolution-enhancement scheme for video transmission over mobile ad-hoc networks [J]. IEEE Transactions on Broadcasting, 2008, 54(2): 312-321.

[10] Nguyen N, Milanfar P, Golub G. A computationally efficient super-resolution image reconstruction algorithm [J]. IEEE Trans. Image Process, 2001, 10(4): 573-583.

[11] Wang S, Shen L. Object-based super resolution for intelligent visual surveillance video [J]. Journal of Electronics (China), 2008, 25(1): 140-144.

[12]Zomet A, Rav-Acha A, Peleg S. Robust super resolution [C]//Proc. Int. Conf. Computer Vision and Patern Recognition, 2001: 645-650.

[13] Farsiu S, Robinson M D, Elad M, et al. Fast and robust multiframe super-resolution [J]. IEEE Trans on Image Process, 2004, 13(10): 1327-1344.

[14] Rajan D, Chaudhuri S. An MRF-based approach to generation of super-resolution images from blurred observations [J]. Journal of Mathematical Imaging and Vision, 2002, 16(5): 5-15.

An Improved Super-resolution Reconstruction Algorithm of Video Sequence and Its Application

ZHOU Fang, JIANG Jian-guo, WANG Pei-zhen

( 1. School of Computer and Information Science, Hefei University of Technology, Hefei Anhui 230009, China;2. School of Electric and Communication, Anhui University of Technology, Ma’anshan Anhui 243002, China )

An improved reconstruction method to enhance the image resolution for multi-frame video sequence is proposed based on jointly making use of the techniques of Maximum A Posteriori Probability (MAP) and Project Onto Convex Sets (POCS). At first, a simplified spatial-domain estimator is employed by introducing the preconditioned conjugate gradient method to forecast the original high-resolution image. Then, under the wavelet-domain, two different convex sets and projection operators are designed from the aspects of inter-frame and intra-frame to extract the details hidden among the adjacent observed low-resolution frames. At last, taking advantage of the relationship between the neighborhood factors in the spatial estimator to put constraints on the potential solutions of the POCS, it can get uniqueness optimal solution quickly. The results of the simulation experiment and practical application of supervisory system demonstrate that the proposed method not only outperforms the other methods on the aspects of PSNR (Peak Signal-to-Noise Ratio) and visual quality of the reconstructed sequence, but also has the advantages of rapid convergence and great robust.

computer application; super-resolution reconstruction; preconditioned conjugate gradient (PCG); project onto convex sets (POCS); video sequence

TP 391

A

1003-0158(2011)01-0045-07

2009-07-28

國家自然科學基金資助項目（50874001）；國家教育部博士點基金資助項目（20060359004）；安徽工業大學校青年教師科研基金資助項目（QZ201013）

周 芳（1977-），女，安徽蕪湖人，講師，博士研究生，主要研究方向為信號處理與模式識別。