基于自適應超分辨率重建的圖像壓縮編碼框架

李 然

(山西傳媒學院 山西 晉中 030619)

0 引言

圖像重建作為恢復高質量圖像樣式的核心步驟,一直在音視頻領域占據重要研究地位。近幾年深度學習作為當下熱門,被廣泛應用到圖像壓縮重建方向。1987年最早出現基于神經網絡的圖像編碼[1],基于神經網絡的視頻、圖像壓縮編碼的研究工作也在不斷進行,且相較BPG(better portable graphics)等傳統算法已經具有優勢[2]。

從圖像壓縮編碼整體框架看,許多研究將超分辨率重建等技術與圖像壓縮相結合,設計思想為由編碼端完成特征提取,由解碼端完成特征恢復。

一些研究利用深度學習來解決因為壓縮帶來的信息缺損問題,使用超分辨率重建最大可能地恢復壓縮后的圖像質量,許多相關網絡都可以應用到圖像壓縮編碼框架中。然而,大多數研究都將不同放大比例因子的圖像超分辨率作為獨立任務進行,即對每個比例因子訓練單獨模型。元學習的引入使得任意比例因子超分辨率有了突破性進展,在簡化模型的同時靈活地把不同超分辨率放大倍數和圖像碼率結合起來以獲取更高的圖像重建質量[3]。

本文以提高編碼效率、改善低碼率情況下圖像質量為出發點,設計基于自適應超分辨率重建的圖像壓縮編碼框架。在傳統框架的基礎上,引入殘差補償、基于元學習的圖像超分辨率重建等技術,構造出完整圖像壓縮編碼框架。實現對圖像的壓縮、傳輸與重建,有效提升圖像重建質量,并嘗試在低碼率的前提下,通過靈活調整圖像的超分辨率放大比例因子以及低分辨率與殘差圖像的碼率分配來獲得較好的圖像重建性能。

1 系統概述

本文提出一種基于自適應超分辨率重建的圖像壓縮編碼框架,實現對單幅圖像的壓縮、傳輸與重建。在壓縮方面選擇JPEG壓縮標準;在超分辨率重建方面使用基于元學習的超分辨率重建模塊,對單一低分辨率圖像進行不同比例因子放大,更自由地對圖像進行任意分辨率重建,并且能夠有效探究圖像的放大因子對重建質量的影響。

系統分為編碼端與解碼端兩部分,具體流程如下。

1.1 編碼端

圖1為本文所提出框架編碼端流程圖,主要工作步驟如下:

圖1 編碼端流程圖

(1)JPEG編解碼:框架輸入為原始的高分辨率圖像HR以及與其對應的低分辨率LR圖像。對LR圖像進行壓縮得到對應的二進制碼流,然后進行解壓縮得到解碼后的低分辨率圖像LR′。

(2)預解碼:對LR′進行預解碼,即使用基于元學習的超分辨率重建模塊得到SR圖像,借助該模塊對不同重建比例進行實驗。

(3)殘差獲取:令HR與SR圖像作差得到殘差圖像。對殘差圖像進行壓縮得到二進制碼流。

(4)碼流輸出:向解碼端輸出的碼流分為兩部分:LR圖像壓縮的二進制碼流和殘差圖像壓縮的二進制碼流。

1.2 解碼端

圖2為本文所提出框架解碼端流程圖,主要工作步驟如下:

圖2 解碼端流程圖

(1)碼流輸入:獲取LR圖像壓縮碼流和殘差圖像壓縮碼流。

(2)圖像重建:對LR圖像壓縮碼流進行解壓縮得到解碼后的LR′圖像,將LR′送入超分辨率重建網絡進行重建得到SR圖像。

(3)殘差補償:對殘差圖像壓縮碼流進行解壓縮得到解碼后的殘差圖像,令殘差圖像與SR圖像相加得到解碼端的最終解碼圖像。

本文框架實現編碼與解碼的分步進行,以模擬實際生活中往往需要將圖像從輸入端先進行壓縮處理然后通過數據傳輸到應用端進行解碼恢復,其中預解碼的使用可以為編碼端提供更多的對比數據并且可以獲得殘差圖像。由于JPEG屬于有損壓縮,殘差圖像的加入可以為重建圖像補充更多的細節信息與損失數據,因此在解碼端采取基于殘差補償的重建方式可以大幅度提升圖像重建質量,同時殘差圖像的稀疏特性也利于提高壓縮編碼效率。

2 基于元學習的超分辨率重建模塊

本文設計基于元學習的超分辨率重建模塊,其思想源于HU X C等[4]提出的Meta-SR網絡和LI H F等[5]提出的圖像融合深度框架,該模塊利用元學習中的權重預測功能,實現利用同一模型解決多種比例因子的超分辨率重建,圖3為本模塊的主要結構。

圖3 基于元學習的超分辨率重建模塊

模塊主要分為兩部分,分別為特征提取和元學習上采樣,其中特征提取部分與一般的超分網絡無異,負責提取低分辨率圖像的特征,而元學習上采樣部分則代替傳統網絡中的upscale操作并依據任意比例因子將特征圖放大到對應大小。

特征提取選擇殘差密集網絡RDN[6],同時也可以使用EDSR、MDSR[7]網絡進行特征提取,其實現如式(1)所示:

ISR(i,j)=∮(FLR(i′,j′),W(i,j))

(1)

FLR表示提取的LR′圖像特征,假設比例因子為r,則SR圖像上的每一個像素ISR(i,j)的重建結果都取決于對應的FLR(i′,j′)和對應濾波器的權重W(i,j)。對于不同的比例因子r,LR′和對應的SR圖像像素特征都不同,即W(i,j)不同。

元學習上采樣部分主要包括三個重要功能,分別是位置投影、權重預測和特征映射。其中位置投影是LR′圖像與SR圖像對應像素的“連線”,對于SR圖像上每個像素(i,j),必會在LR′圖像上找到一點(i′,j′)與之對應,且(i,j)的值會由(i′,j′)的特征來決定生成。位置投影即使用投影運算來映射跨分辨率圖像空間相同位置的兩個對應像素,其公式(2)如下:

(2)

T為轉換函數,r為放大比例因子,?」為下取整操作。權重預測作用是獲得不同比例因子對應的濾波器權重W(i,j),其公式(3)如下:

W(i,j)=φ(Vij;θ)

(3)

φ(.)為權重預測網絡,θ為相關參數,Vij是SR圖像上與像素(i,j)有關的向量,Vij的獲得表現為公式(4):

(4)

1/r為比例因子相關系數,以實現對不同比例因子進行明確區分。在利用位置投影得到FLR,權重預測得到W(i,j)之后,特征映射將完成圖像重建工作,其公式(5)如下:

φ(FLR(i′,j′),W(i,j))=FLR(i′,j′)W(i,j)

(5)

φ(.)為特征映射網絡,映射函數為矩陣乘。特征映射使得SR圖像上每一個像素點的值由與之對應的LR′特征圖上像素點的值和放大比例因子所對應的一組卷積濾波器權重值所共同決定。

3 實驗結果及分析

3.1 實驗環境及數據集

實驗環境配置如表1所示。采用Set5作為高分辨率圖像數據集,并進行bicubic下采樣得到低分辨率圖像。使用Meta-SR網絡所提供的預訓練模型作為基于元學習的超分辨率重建模塊的測試參數。

表1 實驗環境配置

3.2 殘差補償

在對LR圖像進行預解碼后,將原始HR圖像與SR圖像進行相減操作得到殘差圖像,對其壓縮后將二進制碼流傳輸到解碼端,解碼后與SR圖像相加,即起到殘差補償作用。如圖4為殘差補償結果對比。其中超分辨率重建模塊比例因子為1.5,LR圖像與殘差圖像的量化因子都為1.0。圖4(a)為原始HR圖像,圖4(b)為重建SR圖像,圖4(c)為殘差補償后的HR′圖像。

圖4 殘差圖像對比

殘差補償后的HR′圖像與HR圖像非常接近,并且HR′圖像相比只進行預解碼后的SR圖像質量有大幅提升,說明加入殘差補償可以很好地彌補JPEG編解碼與超分辨率重建所帶來的圖像數據損失。

在固定重建比例因子的情況下,改變LR圖像的壓縮程度及碼率進行重建。表2為比例因子為1.5時重建質量對比,其中殘差圖像的壓縮量化因子始終為1.0。對于不同碼率的LR圖像,殘差的引入總能提升重建效果,其中PSNR最多提升1.73 dB。

表2 LR碼率對殘差補償影響

3.3 低碼率結果對比

降低傳輸總碼率,利用本文框架特性,通過動態調整LR與殘差圖像的碼率以及重建比例因子來獲得最佳重建質量,并與已有壓縮編碼算法進行比較。如圖5所示為本文框架與Zhang等[6]提出的基于超分辨率重建編碼框架在傳輸總碼率為0.4～1.2 bpp時的重建結果對比。

圖5 低碼率重建質量對比

可以看出,本文框架與Zhang等[6]的算法在低碼率時均保持較好的圖像重建效果,且由于基于元學習的超分辨率重建模塊可以使用單一模型進行任意比例放大,因此在調節LR與殘差圖像碼率分配的同時,能夠更靈活地為LR圖像選擇較小的放大比例,在保證效率的同時提升重建性能[7]。

4 結語

本文提出基于自適應超分辨率重建的圖像壓縮編碼框架,借助元學習實現圖像任意比例放大,采用殘差補償方式提升重建圖像質量,實驗表明,本文方法可以獲得較好的重建質量。在后續工作中希望通過添加RNN循環網絡等方法將框架整理成端到端結構,將重建比例因子、LR及殘差圖像壓縮系數共同添加到網絡損失中進行整體訓練。