結合常微分方程的壓縮視頻質量提升算法

王 越 何小海 吳曉紅 任 超

（四川大學 電子信息學院，四川 成都 610065）

由于網絡存儲和傳輸能力有限，通常需要將待傳輸視頻進行壓縮來緩解壓力。但壓縮會對原始視頻的質量造成一定的損失。如何讓壓縮后的視頻恢復一定的高頻細節，減少部分人工痕跡，需要進一步的深入研究。

針對消除壓縮帶來的偽影這一問題，近年來已經有許多團隊提出了優異的算法。在文獻[2]和[3]中，均對當前問題設計出一種濾波器，來改善壓縮視頻幀的阻塞和振鈴效應。為了提高偽影減少的性能，稀疏編碼技術也被廣泛使用。譬如，Chang 等人[4]參考稀疏編碼，通過學習強大的表示法來減少壓縮偽影。Tang 等人[5]提出了一種自適應HEVC 壓縮視頻去塊方法，對壓縮視頻進行預處理、奇異值去除和濾波操作，顯著提高了視頻質量。Yang等人[6]首次提出了多幀質量增強（MFQE 1.0）方法，以有效利用相鄰幀的時間信息。Yang 等人在MFQE 1.0 的基礎上又提出了MFQE 2.0[7]，以進一步提高MF-CNN 的效率，并實現了較先進的性能。STDF[8]引入了一種時空可變形融合方案用于去壓縮任務，以捕獲最相關的上下時空特征信息，排除噪聲內容，從而提高目標幀的質量。

為求增強壓縮視頻質量，本文提出一種結合常微分方程的視頻去壓縮方法。該方法利用神經網絡中殘差結構與常微分方程求的解公式有相似的表示形式，將常微分方程（ODE）引入網絡，以增強網絡捕獲重要特征信息的能力，促進高頻細節信息的恢復。具體內容將會在下一章進詳細說明。

1 結合常微分方程的視頻質量提升方法

1.1 基于常微分方程（ODE）的網絡結構

本節將從動力系統的角度，將常微分方程（ODE）的理論知識應用到網絡模塊結構的設計中。數學上，常微分方程的定義如下：

其中p 和z 分別表示自變量和因變量，f(p,z)也可以用z'來表達當前的求導操作。網絡中的映射關系可以使用ODE 如下表示：

其中，Φ 表示映射關系，z0代表網絡的輸入特征。

對于給定初值的常微分方程（即初值問題），通常會通過前向歐拉算法進行求解，由于當前網絡更接近于非線性，前向歐拉算法的表達形式如下：

在這里，n 表示步長，pm=m×n(m= 0,1,2, …,M)代表一段區間 [0,T（]M 等份）中的節點。

在神經網絡中，殘差結構的通用表達式如下：

其中，R(·)表示殘差操作。可以直觀的看出，式（3）和式（4）間具有一定的相似性，所以，這里將式（4）用式（3）代替。需要注意的是，式（3）即前向歐拉算法是常微分方程求解中的一種較簡單的方法，往往缺乏穩定性和精確度。因此，這里將前向歐拉算法替換為二階Velocity-Verlet 算法，重新書寫求解表達式如下：

其中，vm和vm+1代表的是動力系統中的速度。為求將常微分方程有效引入網絡模塊中，將速度用經過卷積后的某一特征代替；另外，在網絡中將式（5）里求導操作用一個3×3 卷積表示；n 經驗性地設為0.5。最終設計出的基于ODE 的網絡模塊如圖1 所示。

圖1 基于ODE 的網絡模塊

1.2 結合常微分方程的壓縮質量提升網絡

如圖2 所示，本文提出方法的網絡結構大致分成三個步驟：

圖2 結合常微分方程的壓縮視頻后處理整體網絡框圖

1.2.1 特征提取：在該步驟中，本文提出的方法采用了U-net 的形式，旨在獲取輸入的特征譜中的有用信息，同時能夠增大一定程度的感受野，進一步促進時間動態的捕獲。U-net 結構中的下采樣和上采樣分別通過步長為2 的卷積操作和反卷積操作來完成。除此之外，在經典的U-net 網絡結構上，還增加了額外的兩個跳連接和concatenate，以此進一步增強網絡捕獲特征信息的性能。另外，在U-net 網絡結構中的所有激活函數都使用的是ReLU 函數。

1.2.2 時空可變形融合：為了更好地去探索時間信息，本文參考文獻[8]使用了一種時空可變形融合模塊，以提高相鄰幀之間的時空信息的利用率，促進光流的估計。本文以目標幀及其相鄰參考幀作為輸入，共同預測偏移場以使卷積的時空采樣位置變形，來自目標幀和參考幀的互補信息可以在單個時空可變形卷積操作中融合[11]。

1.2.3 質量增強：在質量增強步驟中，本文將1.1 節介紹的基于常微分方程的網絡結構經驗性地以每三個一組、一共十二個的組合方式，放入網絡中；為了進一步提煉特征信息，提高去壓縮性能，在每一組模塊后，增加了兩層卷積，最終的基于常微分方程的網絡結構如圖2 所示。

2 實驗結果展示與分析

2.1 實驗配置

本文使用公開數據集中108 個視頻作為網絡的訓練數據集。測試視頻序列采用了五種不同分辨率大小的18個未壓縮視頻，并且使用HEVC[1]壓縮標準，在HM-16.0上采用幀間（LDP）模式對視頻進行壓縮。選擇的四種質量因子（QP）分別為27，32，37 和42。

在輸入序列的幀數選擇中，本節參考文獻[8]，經驗性地將每7 幀連續的壓縮視頻幀作為一組訓練數據輸入到網絡中。為了加快收斂速度，網絡訓練采用ADAM[12]優化方法。本節采用增量峰值信噪比（ΔPSNR）和增量結構相似性（ΔSSIM）[13]來評估質量增強性能，即本節給出的不同算法客觀參數對比，是每一種算法在測試視頻里得出的客觀參數，與當前測試視頻經HEVC 壓縮后得出的差值。

2.2 不同壓縮視頻后處理方法對比

本節將提出的壓縮視頻后處理方法與當前主流的圖像/視頻質量增強方法進行了比較。表1 給出了不同后處理方法在測試集上計算出的PSNR 和SSIM 與HEVC 壓縮后的視頻幀的差值ΔPSNR 和ΔSSIM。可以明顯地觀察到，本文提出的方法在18 個測試視頻的平均ΔPSNR 和ΔSSIM 方面始終優于所有對比方法。這說明本文所提出的壓縮視頻后處理方法能夠更加顯著的提高壓縮視頻的質量。本文提出的方法在ΔSSIM 和其他QP 與其他方法相比也有類似的結果。值得注意的是，本文方法的參數量較小，同樣具有一定的優勢。

表1 不同壓縮視頻后處理方法客觀參數對比（ΔPSNR（dB）/ΔSSIM（10-2））

圖3 展示了在QP=37時不同方法的主觀視覺效果對比。從圖3 中可以直觀的看出，本文方法重建視頻幀中包含有更加豐富的細節，邊緣也較銳利，更為接近原始視頻幀。而經其他方法增強后的視頻幀還存在著一定程度的壓縮效應。因此，本文提出的方法能夠更好地提升壓縮視頻幀的質量。

圖3

2.3 基于常微分方程網絡模塊的有效性驗證

本節將通過消融實驗來驗證所提出基于ODE 的網絡模塊的必要性。在本節中，將網絡中質量增強部分的所有常微分方程塊替換為普通的卷積塊，用此網絡結構重新訓練，與本文原方法在QP=42 時結果的客觀參數對比如表2 所示。從表中可以非常直觀的看出，使用基于ODE 網絡模塊的網絡所得出的客觀參數結果更高，說明本文提出的結合ODE 的網絡模塊能有效提高去壓縮性能。

表2 常微分方程塊對網絡結果的影響

圖3 不同方法在Johnny（2560×1080）上的主觀視覺效果對比圖（a）原始視頻幀（PSNR/SSIM）；（b）HEVC 壓縮圖像（36.62/0.9315）；（c）MFQE2.0[9]（36.94/0.9342）；（d）STDF_R1[10]（37.01/0.9348）；（e）STDF_R3[10]（37.06/0.9352）；（f）本文方法（37.29/0.9370）。

3 結論

為了有效改善HEVC 壓縮帶來的人工痕跡，本文在參考常微分方程后，利用卷積神經網絡的殘差塊在數學表達式上與常微分方程的求解公式有著類似的表達，將常微分方程引入壓縮視頻質量提升網絡中，設計出一種結合常微分方程的網絡模塊，以提高去壓縮性能。大量實驗結果表明，和對比方法相比，經本文提出的方法生成的視頻細節信息較為豐富，主客觀質量良好。