基于雙向運動估計的殘差分布式視頻重構模型研究

安 文，劉 昆，王 杰

(國防科學技術大學 航天科學與工程學院，湖南 長沙 410073)

基于雙向運動估計的殘差分布式視頻重構模型研究

安 文，劉 昆，王 杰

(國防科學技術大學 航天科學與工程學院，湖南 長沙 410073)

針對遙感視頻成像衛星星上編碼端結構復雜、傳輸數據量大及傳輸帶寬大的問題，同時為了保證遙感視頻成像系統的高圖像分辨率和低采樣復雜度，根據視頻圖像的高時空冗余特點，在連續圖像殘差重構模型的基礎上提出了基于雙向運動估計的分布式視頻殘差重構模型及相關算法，并進行了數值仿真。仿真結果表明，模型能夠在降低采樣率的同時保證良好的重構效果，且算法簡單，耗時短。

遙感視頻成像；壓縮感知；分布式框架；殘差重構；雙向運動估計

0 引言

目前遙感視頻成像衛星對圖像分辨率的要求日益提高，壓縮感知(Compressed Sensing，CS)理論能夠打破Shannon-Nyquist采樣定理的限制，為遙感數據采集帶來了革命性的突破，自提出以來就得到了國內外眾多學者的廣泛關注[1-2]。該理論的核心在于采樣和壓縮同時進行，當信號稀疏或在某一組基下稀疏時，就可以利用維數遠小于信號的測量值高概率地重構原信號，這意味著將壓縮感知理論應用于圖像處理領域能夠顯著降低編碼端的復雜度[3-4]。

最簡單的壓縮感知視頻重構模型是單幀重構模型[5-6]，其形式簡單，重構效果穩定，但沒有考慮視頻序列中相鄰幀間的時空相關性。分布式視頻壓縮感知(Distributed Compressed Video Sensing,DCVS)將分布式框架[7]引入到壓縮感知視頻編解碼過程，結合了CS和DVC的優點[8]。文獻[9-10]提出的差分重構模型利用兩幀的測量值和它們的差分信息進行聯合重構，考慮到相鄰兩幀間的差別通常是由運動引起的，文獻[11-12]提出了殘差重構模型。

為了充分利用遙感視頻信號中的時空冗余信息，并盡可能低地降低遙感數據采樣、傳輸的壓力，本文提出了基于雙向運動估計的殘差分布式重構模型及相關算法。

1 壓縮感知殘差重構模型

1.1 壓縮感知理論

信號稀疏(自身稀疏或在某一變換域下稀疏)是運用壓縮感知理論高概率重構原信號的前提，其含義是對于一個n維信號而言，只有k(k<

f=ψx，

(1)

式中，f表示原始的圖像信號，ψ∈n×n表示稀疏字典，x表示信號f在字典ψ下的稀疏表示系數，字典類型不同，信號的稀疏表示形式不同，稀疏度也不同。

CS壓縮采樣的模型用式(2)描述，其中，J表示測量值(即采樣值)，φ表示測量矩陣。解碼的目的是從m維測量值J中恢復n維原始信號f，m<

J=φf，

(2)

J=φf=φψx=Ax。

(3)

min‖x‖0,s.t.J=Ax。

(4)

1.2 殘差重構

③ 重構殘差幀:

(5)

2 基于雙向運動估計的殘差分布式重構模型

2.1 模型框架

圖1 基于雙向運動估計的殘差分布式重構模型

編碼端:為簡化編碼過程，所有幀均使用基于塊的測量矩陣進行采樣，關鍵幀的采樣率大于非關鍵幀。解碼端:關鍵幀采用單幀重構模型進行重構；非關鍵幀運用基于雙向運動估計的殘差重構算法進行聯合重構。

2.2 雙向運動估計殘差分布式重構

雙向運動估計[13]結合了前后2幀對中間幀的運動矢量進行估計，因此有效地避免了單幀運動估計時出現的“塊丟失”和“塊重疊”，能更真實地反映對象的運動。把基于塊的雙向運動估計模型引入殘差分布式重構模型，能提高CS幀的預測效果，整體改善重構視頻的重構質量。

② fori=1,2,…,T，do；

④ifk=0；

⑥else；

⑨End；

為進一步提高編碼端的壓縮率，通常取GOP>2，即每個圖像組包括一個關鍵幀和多個非關鍵幀，這時分層次地對視頻序列進行重構，每層都用最相鄰的已重構幀對該層的NK幀進行雙向運動估計殘差重構，如圖2所示。

圖2 一組視頻幀的重構示意圖(GOP=4)

2.3 算法改進

在對中間幀進行雙向運動估計時，使用的是遍歷整個搜索窗的塊匹配算法，運動矢量的估計比較盲目，效率不高。為提高運動估計精度，縮短運動估計時間，先在前一幀和后一幀間進行單向運動估計，再以該估計的運動矢量作為初值進行雙向運動估計[14]。

3 仿真結果與分析

表1給出了GOP=2時3組序列的NK幀在上述3種重構算法下的平均PSNR值、SSIM值和單幀重構時間T。

表1GOP=2時不同測量率下各視頻重構算法的性能比較:PSNR(dB);SSIM;T(s)

視頻序列SRNKMC_BCS_SPLMH_BCS_SPLBiMC_BCS_SPLforeman0.129.931;0.844;8.45232.906;0.900;37.15931.903;0.885;5.5810.333.364;0.896;5.79934.720;0.923;37.91434.345;0.914;5.0090.534.983;0.924;4.53035.964;0.941;38.59635.882;0.937;4.477stefan0.122.288;0.724;8.13024.233;0.824;36.71823.352;0.761;6.2060.325.877;0.844;6.27826.520;0.884;38.29225.803;0.840;6.7700.528.185;0.891;6.67528.545;0.915;40.18528.236;0.893;6.026海港0.129.399;0.910;16.30934.032;0.950;87.80633.089;0.944;9.9010.331.96;0.923;12.67935.407;0.964;89.51935.056;0.960;9.6390.533.862;0.949;12.25636.179;0.97093.06135.996;0.969;8.918

可以看出本文提出的基于雙向運動估計的分布式視頻殘差重構算法在主、客觀評價標準下的重構質量都優于MC_BCS_SPL算法，且接近MH_BCS_SPL算法。在相同采樣率條件下，BiMC_BCS_SPL算法重構的平均PSNR比MC_BCS_SPL算法高1.62 dB，最多高4.27 dB；但該算法的重構質量比MH_BCS_SPL算法稍差。然而，BiMC_BCS_SPL算法的平均單幀重構時間最短，是MC_BCS_SPL算法平均單幀重構時間的82%，是MH_BCS_SPL算法平均單幀重構時間的16%。這說明BiMC_BCS_SPL算法能同時兼顧重構質量和重構時間，在低耗時的同時取得令人滿意的重構效果。

為進一步提高編碼端的壓縮率，實際中通常取GOP>2，即每個圖像組包括一個關鍵幀和多個非關鍵幀。表2給出了GOP=7時，3組序列的NK幀在上述3種重構算法下的平均PSNR值、SSIM值和單幀重構時間T。由表2可以看出，GOP=7時MC_BCS_SPL算法由于運動估計誤差過大，重構性能顯著下降；BiMC_BCS_SPL算法仍能保持良好的重構性能，有效改善了重構退化(Quality Deterioration)，平均單幀重構PSNR比MC_BCS_SPL算法高2.15 dB，最多高4.02 dB。而且BiMC_BCS_SPL算法在重構時間上仍保持優勢。

表2GOP=7時不同測量率下各視頻重構算法的性能比較:PSNR(dB);SSIM;T(s)

視頻序列SRNKMC_BCS_SPLMH_BCS_SPLBiMC_BCS_SPLforeman0.127.002;0.753;8.89930.464;0.861;37.26928.276;0.795;6.1270.329.721;0.806;7.42732.986;0.907;38.61732.251;0.878;5.1520.531.619;0.859;5.12735.183;0.934;39.41234.746;0.918;5.040stefan0.118.608;0.600;8.77421.930;0.720;32.36220.935;0.619;6.1720.321.104;0.679;7.50724.651;0.826;34.97824.226;0.778;5.6990.523.618;0.751;6.43626.703;0.876;36.38626.654;0.849;5.636海港0.128.710;0.897;18.06133.380;0.943;86.33832.195;0.935;11.0750.330.970;0.920;11.20635.593;0.964;89.71134.831;0.953;10.1530.532.210;0.941;10.95636.495;0.972;91.02635.975;0.969;8.857

需要說明的是，遙感凝視成像衛星在對目標區域進行觀測時，會在衛星相對于目標的過頂時間窗口內進行姿態調整，以使觀察目標始終處于衛星視頻相機的視場中心，從而獲取該區域內的序列圖像，故圖像各幀之間的相關性非常強。使得即使在GOP=7，SRK=0.5，SRNK=0.1的低采樣率下，平均單幀重構的PSNR值仍高達30dB以上。

圖3給出了GOP=7，SRK=0.5，SRNK=0.1時遙感視頻“海港”第10幀圖像的重構結果，目標艦船用圓圈標出。仿真結果表明本文提出的算法不僅適用于遙感視頻序列的重構，而且能夠取得令人滿意的重構效果，即使在平均采樣率為0.16的低采樣率下，PSNR值仍高達31.948dB.

(a) 原始圖像

(b) BiMC_BCS_SPL

圖3GOP=7，SRK=0.5,SRNK=0.1時“海港” 第10幀圖像的重構結果

4 結束語

以壓縮感知理論為指導，結合視頻圖像的時空冗余特點，在連續圖像殘差重構模型的基礎上提出了基于雙向運動估計的分布式視頻殘差重構模型及相關算法。將視頻序列分成關鍵幀(K幀)與非關鍵幀(NK幀)，先重構出K幀，然后用已重構的相鄰K幀對待重構的NK幀進行雙向運動估計，并將估計結果作為NK幀的邊信息。最后，利用測量值和邊信息重構殘差，并用殘差對邊信息進行補償以重構出NK幀。仿真結果表明基于雙向運動估計的殘差分布式重構能夠在降低采樣率的同時保證良好的重構效果，并能減少重構過程中的累積誤差，有效改善“重構退化”現象，而且該算法適用于遙感視頻的壓縮重構。但本文提出的模型在對中間幀進行運動估計和補償時沒有利用其測量信息，因此對中間幀的預測是不夠準確的，如何利用補償信息和測量信息對中間幀進行快速高效地預測將是下一階段研究的重點。

[1] Eldar Y C,Kutyniok G.Compressed Sensing:Theory and Applications [M].New York: Cambridge University Press,2012.

[2] Kyriakides I.Target Tracking Using Adaptive Compressive Sensing and Processing[J].Signal Processing,2016,127: 44-55.

[3] 翟雪含,朱衛平,康 彬.結合KSVD和分類稀疏表示的圖像壓縮感知[J].計算機工程與應用,2015,51(6):193-198.

[4] 何國棟,謝小娟,楊凌云,等.基于壓縮感知的信號重構研究[J].無線電通信技術,2014,40(3):26-28.

[5] Marcia R F,Harmany Z T,Willett R M.Compressive Coded Apertures for High-Resolution Imaging[J].Proceedings of SPIE-The International Society for Optical Engineering,2010,7723(1):04-15.

[6] Mousavi H S,Monga V,Tran T D.Iterative Convex Refinement for Sparse Recovery[J].IEEE Signal Processing Letters,2015,22(11):1903-1907.

[7] Girod B,Aaron A M,Rane S,et al.Distributed Video Coding[C]∥Proceedings of the IEEE,2005,93(1): 71-83.

[8] Kang L W,Lu C S.Distributed Compressive Video Sensing[C]∥ Acoustics,Speech and Signal Processing on.IEEE,2009:169-1172.

[9] Willett R M,Marcia R F,Nichols J M.Compressed Sensing for Practical Optical Imaging Systems: a Tutorial[J].Optical Engineering,2011,50(7): 1-13.

[10]Thompson D,Harmany Z,Marcia R.Sparse Video Recovery Using Linearly Constrained Gradient Projection[C]∥Acoustics,Speech and Signal Processing on.IEEE,2011:1329-1332.

[11]Mun S,Fowler J E.Residual Reconstruction for Block-Based Compressed Sensing of Video[C]∥ Data Compression Conference on.IEEE,2011：183-192.

[12]常 侃,覃團發,唐振華.基于聯合總變分最小化的視頻壓縮感知重建算法[J].電子學報,2014,42(12):2415-2421.

[13]Choi B D,Han J W,Kim C S,et al.Motion-compensated Frame Interpolation Using Bilateral Motion Estimation and Adaptive overlapped Block Motion Compensation[J].Circuits and Systems for Video Technology,2007,17(4): 407-416.

[14]Choi B T,Lee S H,Ko S J.New Frame Rate up-Conversion Using Bi-Directional Motion Estimation[J].Consumer Electronics,2000,46(3): 603-609.

[15]Chen C,Tramel E W,Fowler J E.Compressed Sensing Recovery of Images and Video Using Multihypothesis Predictions[C]∥Conference Record of the 46th Asilomar Conference.IEEE,2011: 1193-1198.

[16]Tramel E W,Fowler J E.Video Compressed Sensing with Multihypothesis[C]∥ Data Compression Conference.IEEE,2011：193-202.

[17]Gan L.Block Compressed Sensing of Natural images[C]∥the International Conference on Digital Signal Processing.IEEE,2007：403-406.

Research on Residual Distributed Video Reconstruction Models Based on Bilateral Motion Estimation

AN Wen,LIU Kun,WANG Jie

(College of Aerospace Science and Engineering,National University of Defense Technology,Changsha Hu’nan 410073,China)

Some problems exist inremote sensing video imaging satellitessuch as the high complexity of coders,the large volume of transmitted data and the increased transfer bandwidth.To ensure the high resolution andreduce the complexity of remote sensing video imaging systems,this paper,according to the high time-space redundancy of video image,proposes a distributed residual reconstruction model and associated algorithm using bilateral motion estimation based on the technique of reconstructing frames of the video sequence using residual information.The simulation shows that the proposed model and algorithm ensure the low sampling rate and high reconstruction quality simultaneously,the algorithm is simple,andthe time needed is reduced.

remote sensing video imaging;compressed sensing;distributed frame;residual reconstruction;bilateral motion estimation

10.3969/j.issn.1003-3114.2017.01.08

安 文，劉 昆，王 杰.基于雙向運動估計的殘差分布式視頻重構模型研究[J].無線電通信技術，2017，43(1): 30-34.

2016-09-23

國家自然科學基金項目(61271440)

安 文(1991—),女,碩士研究生,主要研究方向：衛星新型載荷技術及應用。劉 昆(1965—),男,博士,教授,主要研究方向:飛行器動力學與控制。

TN919.81

A

1003-3114(2017)01-30-5