采用光流特征對齊的壓縮視頻超分辨率重建*

付凌宇，王正勇，熊淑華，何小海

（四川大學，四川 成都 610065）

0 引言

隨著通信技術的不斷發展，視頻在日常生活中的應用越來越廣泛。為了滿足不同拍攝和成像設備的傳輸需求，同時為了節省帶寬，視頻在傳輸前往往需要先下采樣為低分辨率視頻再進一步壓縮，這將導致視頻質量顯著下降。為了解決這一問題，高效視頻編碼（High Efficiency Video Coding，H.265/HEVC）標準[1-2]被提出，該標準針對視頻數據中的冗余成分進行壓縮,然而在減少視頻數據量的同時，也會產生一定的壓縮偽影。此外，針對低分辨率視頻進行壓縮，不僅會降低視頻的分辨率,也會進一步損害視頻的質量。因此，亟待提出更有效的壓縮視頻超分辨率重建算法。

近年來，深度學習技術在各個領域都展現出了巨大的潛力，在壓縮視頻和圖像的質量增強方面也得到了越來越廣泛的重視。文獻[3]提出了第1個神經網絡框架——面向減少偽影的卷積神經網絡（Artifacts Reduction Convolutional Neural Networks，AR-CNN）來去除單幅圖像的壓縮偽影。文獻[4]將卷積神經網絡引入HEVC的環路濾波器中，提出了一種可變濾波器尺寸的殘差學習卷積神經網絡（Variable-filter-size Residue learning Convolutional Neural Networks，VRCNN），能夠有效提升壓縮視頻的質量。文獻[5]將多幀輸入的思想引入壓縮視頻質量增強任務中，提出了一種多幀質量增強網絡（Multi-Frame Quality Enhancement，MFQE），通過在網絡中設計一個運動補償模塊來利用峰值質量幀增強相鄰幀。文獻[6]通過使用更加高效的網絡模塊，將MFQE擴展到MFQE2.0，進一步提升了重建視頻的質量。文獻[7]在網絡中利用了一種時空可變形融合模塊（Spatio-Temporal Deformable Fusion，STDF），從而更好地利用了相鄰幀的信息，在壓縮視頻質量增強方面取得了一定的效果。

視頻超分辨率重建的目標是從相應的低分辨率（Low-Resolution，LR）視頻幀和其相鄰幀中重建出高分辨率（High-Resolution，HR）視頻幀，從而恢復視頻的細節信息，提高視頻質量。文獻[8]以光流估計和運動補償作為子模塊，提出了第1個端到端的視頻超分辨率重建框架。文獻[9]、文獻[10]、文獻[11]延續了文獻[8]的思想，利用光流進行相鄰幀之間的運動補償，隨后利用這些參考信息來幫助重建高分辨率視頻幀。文獻[12]在網絡中提出了一個亞像素運動補償層（Sub-Pixel Motion Compensation，SPMC），以充分利用亞像素間的運動信息，并且首次將卷積長短期記憶網絡（Convolutional Long Short-Term Memory，ConvLSTM）[13]引入視頻超分辨率重建網絡中。文獻[14]提出了一種時域可變形對齊網絡（Temporally-Deformable Alignment Network，TDAN），引入可變形卷積來代替光流估計進行運動補償。文獻[15]提出了一種采用增強的可變形卷積的視頻超分辨率重建框架（Video Restoration framework with Enhanced Deformable convolutions，EDVR），該 框架使用了一種新的時空注意融合模塊，并且對可變形卷積的運動補償模塊進行了改進。文獻[16]通過重新設計一些視頻超分辨率的基本模塊來改進特征傳播和對齊過程，在速度和性能上均實現了一定的提升，這些模塊作為視頻超分辨率的基礎在后續的研究中也得到了廣泛應用。

然而，大多數質量增強和超分辨率重建算法僅面向單一任務，無法實現面向壓縮低分率視頻的超分辨率重建任務。解決壓縮視頻的超分辨率重建問題的方法分為兩種，一種是結合視頻壓縮編碼的先驗知識，針對壓縮后的低分辨率視頻進行優化，如文獻[17]提出了一種端到端的恢復重建網絡來解決這一問題，該網絡在針對壓縮視頻的超分辨率重建任務上取得了一定的效果；另一種是將此任務分為兩步依次進行處理，在提高視頻分辨率的同時減少壓縮偽影。基于第2種思想，本文通過兩個階段的操作來解決壓縮視頻超分辨率重建問題，第1階段使用質量增強網絡對視頻進行質量增強以減少視頻的壓縮效應，第2階段使用超分辨率重建網絡將質量增強的低分辨率視頻恢復至原始分辨率，進一步提升視頻的質量。

1 針對壓縮視頻的超分辨率重建框架

為了模擬在實際應用中由于拍攝和成像設備的傳輸限制而導致的某些視頻分辨率不足的情況，首先對高分辨率視頻進行下采樣以獲得低分辨率視頻。視頻的下采樣過程可以表示為：

式中：HR為原始高分辨率視頻；D為下采樣過程；LR為下采樣后的低分辨率視頻。其次對下采樣后的低分辨率視頻進行壓縮，最終本文的待處理視頻可以表示為：

式中：C為視頻的壓縮過程；V為經過壓縮的低分辨率視頻。本文旨在將經過壓縮的低分辨率視頻V恢復重建為質量增強的高分辨率視頻。由于待處理視頻V依次經過了下采樣和壓縮兩個降質過程，并且在下采樣和壓縮過程中對視頻的處理方式不同，輸出視頻的降質類型也不同，因此將壓縮視頻超分辨率重建視為一個單一任務，并且使用獨立的網絡從待處理視頻V中直接恢復重建出質量增強的高分辨率視頻比較困難。基于此考慮，本文將壓縮視頻的超分辨率重建任務分為兩個階段來分別進行處理：首先對待處理視頻V進行質量增強來減少壓縮過程中產生的偽影，得到質量增強的低分辨率視頻；其次對質量增強的低分辨率視頻進行超分辨率重建來恢復下采樣過程造成的信息損失。將壓縮視頻的超分辨率重建過程分解為兩個階段，可以更有效地針對下采樣和壓縮兩種不同的降質類型進行處理，網絡的獨立訓練也會更加靈活有效。

本文提出的壓縮視頻超分辨率重建算法的總體框架如圖1所示。

圖1 本文提出的壓縮視頻超分辨率重建算法

如圖1所示，所提算法首先對原始視頻進行下采樣操作得到相應的低分辨率視頻；其次對低分辨率視頻，通過HEVC編碼標準進行壓縮編碼得到相應的碼流；最后碼流經過HEVC解碼得到壓縮后的低分辨率視頻，即本文的待處理視頻。對待處理視頻，本文首先通過一個質量增強網絡來減少編碼過程中產生的壓縮效應，得到質量增強的低分辨率視頻；其次通過超分辨率重建網絡將質量增強的低分辨率視頻恢復至原始分辨率。該算法框架可以表示為：

式中：xt為壓縮后的低分辨率視頻；yp為質量增強的低分辨率視頻；hp為針對壓縮降質類型的質量增強過程；hs為針對下采樣降質類型的超分辨率重建過程；ys為最終獲得的質量增強的高分辨率視頻。待處理視頻依次經過質量增強網絡和超分辨率重建網絡進行處理，得到的輸出視頻在有效去除壓縮偽影的同時，能很好地恢復下采樣過程造成的信息損失，最終實現高質量的高分辨率壓縮重建視頻。

2 網絡結構

本文的壓縮視頻超分辨率重建框架由質量增強網絡和超分辨率重建網絡構成，二者的網絡結構相似。質量增強網絡可以在超分辨率重建網絡的基礎上關閉上采樣模塊來獲得，因此本文著重介紹超分辨率重建網絡的具體細節。

2.1 超分辨率重建網絡

超分辨率重建網絡結構如圖2所示。輸入視頻幀首先通過一個殘差塊來進行特征提取，這些特征以雙向傳播的方式在網絡中進行傳播。其中，對齊方式采用基于光流的特征對齊以獲得更好的性能，對齊后的特征通過多個殘差塊進行進一步的細化，隨后通過一個卷積層和pixel-shuffling層生成輸出視頻幀。

圖2 本文超分辨率重建網絡結構

首先，為了更好地利用視頻傳輸過程中的時域信息，本文的超分辨率重建網絡采用雙向傳播的方式，網絡中特征以交替的方式獨立地向兩個方向進行傳播，網絡從整個序列中重復地提取信息，提高了特征的表達性。這里以正向傳播過程為例，具體的傳播過程可以表示為：式中：為第i個時間步長的第j個傳播分支的特征；F(·)為特征傳播分支的表達式，一個特征傳播分支包含4部分輸入；xi和xi-1分別為當前低分辨率視頻幀和相鄰低分辨率視頻幀；為前一個時間步長的第j個分支傳播來的特征；為同一個時間步長里前一個傳播分支的特征。反向傳播過程與正向傳播過程類似，反向傳播的分支和正向傳播分支相鄰。在反向傳播分支中，特征逆向傳播，在整個網絡中，特征以交替的方式向兩個方向傳播。

其次，為了提高對齊的準確性以使網絡獲得更好的性能，本文采用基于光流的特征對齊模塊。該模塊包括1個光流估計模塊和1個特征變換模塊，再通過1個連接層將特征傳遞到后續殘差塊中，其中每條傳播分支包含5個殘差塊。具體而言，基于光流的特征對齊過程可以表示為：

式中：S(·)為光流估計過程；為獲得的光流；W(·)為特征變換過程；R(·)為殘差塊；c(·)為通道維度的特征連接。先將當前視頻幀xi和相鄰視頻幀xi-1輸入光流估計模塊，以獲得估計的光流；然后基于光流對前一個時間步長的第j個分支傳播來的特征進行特征變換；之后將特征變換的輸出結果和同一個時間步長里前一個傳播分支的特征共同作為連接層的輸入；隨后輸出結果，通過多個殘差塊來獲得該傳播分支的輸出特征最后輸出特征又作為輸入分別傳遞到下一個傳播分支和相鄰的時間步長中。

本文的網絡在每一個時間步長i上包含4個特征對齊模塊及相應的殘差塊，最后網絡的中間特征通過由1個卷積層和pixel-shuffle層組成的上采樣模塊來生成高分辨率視頻幀。網絡還將雙線性上采樣模塊加入殘差學習的框架來保證訓練的穩定性。網絡的上采樣過程可以表示為：

式中：u為上采樣模塊。

2.2 訓練階段

本文訓練質量增強網絡與超分辨率重建網絡所用的訓練樣本對分別為其中Xi表示原始高分辨率視頻幀，Li表示經過下采樣的低分辨率視頻幀，Vi表示對Li進行壓縮后的視頻幀，表示Vi經過質量增強網絡處理后的視頻幀。

式中：θ1為質量增強網絡的參數；f(·)為質量增強網絡的輸出函數；ε為保證數值穩定設置的常數，本文設置為0.001。

訓練質量增強網絡所用的訓練集和驗證集來自REDS數據集[19]。本文將REDS數據集中240個320×180分辨率的視頻序列作為訓練樣本，對每個序列，取前20幀在HEVC隨機接入配置encoder_randomaccess_main.cfg，當量化參數（Quantization Parameter，QP）為{27,32,37,42}時，分別進行編碼，隨后將得到的經過壓縮的低分辨率視頻幀與未壓縮的低分辨率視頻幀共同組成質量增強網絡的訓練樣本對。本文采用Adam（Adaptive Moment Estimation）優化器，主網絡與光流網絡的初始學習率分別設置為1×10-4和2.5×10-5，總迭代次數設置為2×105。

完成對質量增強網絡的訓練后，通過質量增強網絡獲得質量增強的低分辨率視頻幀再將與原始高分辨率視頻幀Xi組成超分辨率重建網絡的訓練樣本對網絡的損失函數表示為：

式中：θ2為超分辨率重建網絡的參數；g(·)為超分辨率重建網絡的輸出函數。

訓練超分辨率重建網絡所用的訓練集和驗證集同樣來自REDS數據集，首先將經過壓縮的REDS數據集中320×180分辨率的視頻序列作為質量增強網絡的輸入，得到質量增強的低分辨率視頻；其次將質量增強的低分辨率視頻與數據集中1 280×720分辨率的視頻共同組成超分辨率重建網絡的訓練對。重建網絡的網絡設置均與質量增強網絡相同。

3 實驗結果

本文實驗均在CPU為i7-9700 @3.00 GHz和GPU為Nvidia GeForce RTX 2080 Ti的計算機上運行。實驗采用HEVC官方編碼版本HM16.20，配置文件采用encoder_randomaccess_main.cfg，量化QP分別為27，32，37，42。

本文首先采用REDS數據集中的測試集來驗證網絡的收斂性，以證明網絡結構的合理性和有效性。以QP=32為例，在訓練質量增強網絡和超分辨率重建網絡的過程中，測試序列的峰值信噪比（Peak Signal-to-Noise Ratio，PSNR）和迭代次數之間的關系曲線如圖3所示。由圖可知，本文的質量增強網絡和超分辨率重建網絡均在REDS數據集上實現了有效收斂。

圖3 迭代次數與PSNR的關系曲線

本文對19個視頻序列進行實驗，并選擇兩種兩階段的方法作為對比方法，首先采用文獻[7]提出的去壓縮網絡STDF對視頻進行質量增強，其次分別采用雙三次插值算法與文獻[14]提出的TDAN重建網絡對視頻進行超分辨率重建，所提算法與相關對比方法均在相同配置下進行。本文采用峰值信噪比來評估不同算法的性能，所有視頻序列僅在亮度（Y）通道進行測量。

表1展示了所提算法、STDF+Bicubic、STDF+TDAN和標準HM16.20算法+Bicubic在QP分別為32，37，42時重建視頻的PSNR對比。實驗結果表明當QP為32時，相比于采用標準HM16.20算法壓縮并采用雙三次插值算法進行超分辨率重建，本文所提算法在所有視頻序列上均有一定的質量提升，19個視頻序列的PSNR平均提升為0.92 dB；與STDF+Bicubic和STDF+TDAN方法相比，本文所提算法也均有一定的質量提升，在19個視頻序列上PSNR分別平均提升了0.69 dB和0.29 dB。同時，在QP為37和42時，本文所提算法與相關對比算法相比也實現了一定的性能提升。

為了驗證本文所提質量增強網絡的有效性，圖4給出了4個不同分辨率的視頻序列BQSqure 416×240、RaceHorses 832×480、BasketballDrive 1920×1080和PeopleOnStreet 2 560×1 600的率失真曲線。由圖4可以看出，不同分辨率的視頻序列在依次經過下采樣和壓縮后，經過本文所提的質量增強網絡進行處理的視頻序列的率失真曲線均在HEVC標準的率失真曲線的上方，證明了本文所提質量增強網絡的有效性。

圖4 不同分辨率視頻序列的率失真曲線

表2給出了6個不同分辨率的視頻在依次經過下采樣和壓縮，并使用本文所提的質量增強網絡進行質量增強后，分別采用雙三次插值算法和本文所提的超分辨率重建網絡進行重建的PSNR結果。由表2可以看出，本文所提的超分辨率重建網絡在不同分辨率的視頻序列上均比采用雙三次插值算法有一定的質量提升，在4個QP上的PSNR平均提升為0.75 dB。并且，對比表1和表2中QP為32時的實驗結果可以看出，對于壓縮后的低分辨率視頻，采用本文所提的質量增強網絡進行處理后再采用雙三次插值算法進行重建，比直接采用雙三次插值算法進行超分辨率重建有一定的質量提升。由表1可知，在QP為32時直接采用雙三次插值算法對PeopleOnStreet 2 560×1 600序列進行重建的PSNR為25.59 dB，而通過表2可以看出，對PeopleOnStreet 2 560×1 600序列首先采用本文所提的質量增強網絡進行處理，其次采用雙三次插值算法進行超分辨率重建，得到的重建視頻的PSNR為25.89 dB，相比于直接采用雙三次插值算法進行重建的結果提升了0.3 dB，進一步證明了本文所提的質量增強網絡和超分辨率重建網絡的有效性。

表1 本文算法和相關對比算法的重建視頻質量PSNR參數對比

表2 本文所提超分辨率重建網絡和雙三次插值算法的重建視頻質量PSNR參數對比

圖5給出了KristenAndSara 1 280×720序列的主觀對比結果。圖5（a）為采用HEVC編碼標準壓縮后的低分辨率視頻幀，圖5（b）為采用本文所提的質量增強網絡和超分辨率重建網絡進行處理后的視頻幀。由圖中黑框內的部分可以看出，圖5（b）中衣服上的條紋更為清晰，與圖5（a）相比，顯著減小了壓縮效應。

圖5 KristenAndSara 1 280×720序列主觀效果對比

4 結語

本文提出了一種采用光流特征對齊的壓縮視頻超分辨率重建算法，對壓縮后的低分辨率視頻分為兩個階段進行處理。首先通過一個質量增強網絡對經過壓縮的低分辨率視頻進行質量增強，去除壓縮偽影；其次通過一個超分辨率重建網絡對質量增強的低分辨率視頻進行重建，將視頻恢復至原始分辨率。所提網絡均采用基于光流的特征對齊，特征以雙向傳播的方式在網絡中進行傳播。實驗結果表明，與經過HEVC編碼標準壓縮后直接采用雙三次插值算法進行超分辨率重建相比，本文所提算法在視頻的客觀效果和主觀感受上均有一定的提升；與相關算法相比，本文所提算法在不同QP上的PSNR也都有一定的提升。下一步，將針對降低兩階段的壓縮視頻超分辨率重建算法的復雜度開展進一步的研究。