聯合邊路和中路解碼特征學習的多描述編碼圖像增強方法

收稿日期：2022-02-02；修回日期：2022-04-08

基金項目：太原科技大學博士科研啟動基金資助項目（20192023）；山西省基礎研究計劃資助項目（202103021223284）；來晉工作優秀博士獎勵資金資助項目（20192055）；太原科技大學研究生教育創新項目（XCX212029）；國家自然基金資助項目（61972023，62072325）

作者簡介：趙利軍（1989-），男（通信作者），山西太原人，講師，碩導，博士，主要研究方向為多描述編碼、圖像壓縮和圖像增強等（leejun@tyust.edu.cn）；曹聰穎（1996-），女，山西臨汾人，碩士研究生，主要研究方向為圖像增強和圖像壓縮；張晉京（1992-），女，山西太原人，博士研究生，主要研究方向為圖像壓縮、圖像增強和圖像分割；白慧慧（1979-），女，北京人，教授，博導，博士，主要研究方向為多描述編碼、圖像壓縮和圖像復原等；趙耀（1967-），男，北京人，教授，博導，博士，主要研究方向為圖像與視頻處理、數字水印與數字取證、圖像/視頻檢索與內容理解等；王安紅（1972-）女，山西太原人，教授，博導，博士，主要研究方向為圖像和視頻編碼、多描述編碼等.

摘 要：提出一種聯合邊路和中路解碼特征學習的多描述編碼圖像增強方法。該方法同時考慮了邊路解碼圖像增強和中路解碼圖像增強的問題，因而可以通過聯合學習優化中路解碼和邊路解碼的特征來實現更好的網絡訓練。首先，考慮到多描述編碼的邊路獨立解碼和中路聯合解碼的特性，提出一種網絡共享的邊路低分辨率特征提取網絡來有效地提取具有相同內容和差異細節的兩個邊路解碼圖像的特征，同時設計一種殘差遞歸補償網絡結構并將其用于邊路與中路低分辨率特征提取網絡。其次，設計一種多描述邊路上采樣重建網絡，該網絡采用部分網絡層參數共享策略，該策略能夠減小網絡模型參數量，同時提高網絡的泛化能力。最后，提出一種多描述中路上采樣重建網絡，將兩個邊路低分辨率特征與中路低分辨率特征進行深層特征融合來實現多描述壓縮圖像的增強。大量的實驗結果表明：在模型復雜度、客觀質量和視覺質量評價方面，所提方法優于很多的圖像增強方法如ARCNN、FastARCNN、DnCNN、WSR和DWCNN。

關鍵詞：多描述編碼； 深度學習； 圖像增強； 壓縮失真； 特征融合

中圖分類號：TP391"" 文獻標志碼：A

文章編號：1001-3695（2022）09-049-2873-08

doi：10.19734/j.issn.1001-3695.2022.02.0061

Multiple description coded image enhancement method with joint learning of

side-decoding and central-decoding features

Zhao Lijun1， Cao Congying1， Zhang Jinjing2， Bai Huihui3， Zhao Yao3， Wang Anhong1

（1.College of Electronic Information Engineering， Taiyuan University of Science amp; Technology， Taiyuan 030024， China; 2.College of Big Science amp; Technology， North University of China， Taiyuan 030051， China; 3.Institute of Information Science， Beijing Jiaotong University， Beijing 100044， China）

Abstract：This paper proposed MDC image enhancement method by using joint learning of side-decoding and central-decoding features， which considered the problems of side decoding image enhancement and central decoding image enhancement at the same time， so it could realize better network training by optimizing central decoding and side decoding features through joint learning. First， considering side independent decoding and central joint decoding features for MDC， this paper proposed a network-sharing side low-resolution feature extraction network to effectively extract features from two-side decoded images with the same content and different details， while designed a residual recursive compensation network structure and applied it into both side and central low-resolution feature extraction network. Secondly， it designed a multiple description up-sampling reconstruction network， which adopted parameter sharing strategy for partial layers of network， which could reduce parameter number of network model and improve network generalization ability. Finally， it proposed multiple description central up-sampling reconstruction network to perform deep feature fusion with two low-resolution side features and central features to enhance multiple description compressed images. A large number of experimental results show that the proposed method is superior to several image enhancement methods such as ARCNN， FastARCNN， DnCNN， WSR and DWCNN in terms of model complexity， objective quality and visual quality assessment.

Key words：multiple description coding; deep learning; image enhancement; compression distortion; feature fusion

0 引言

雖然現有的通信系統能夠提供很寬的網絡帶寬，但是在人群密集的演唱會現場、足球比賽場地和學生宿舍樓群等場所常常會發生網絡擁堵現象。此外，在很多情況下有限的通信設備資源會導致不可靠信道的數據包以很大的概率發生丟失。雖然很多現有的高效圖像壓縮標準能夠緩解該問題，但是無法保證數據的可靠傳輸。不同于單描述編碼，多描述編碼（multiple description coding，MDC）將一個信源分成多個描述，在不同的信道上傳輸不同描述的數據。如果在接收端能夠完全正確地接收到所有描述的數據包，那么通過聯合解碼就能恢復出高質量的圖像。如果在接收端只接收到一個描述的數據包，那么通過邊路解碼器能夠恢復出一個較高質量的圖像。由此可見，多描述編碼技術能實現圖像的可靠傳輸。雖然多描述編碼方法可以減少數據量，但是經過壓縮的中路和邊路圖像會發生不同程度的失真，特別是接收到的邊路圖像存在嚴重失真，因此，非常有必要使用圖像壓縮偽影去除技術來提升MDC圖像的解碼質量。通常，將壓縮偽影去除技術分成傳統的壓縮偽影去除方法和基于深度學習的壓縮偽影去除方法兩類。例如，Dabov等人［1］提出了一種基于變換域的增強稀疏表示策略，并且通過分組和協同濾波來實現圖像去噪。Foi等人［2］提出了基于形狀自適應離散余弦變換的圖像濾波方法，該方法定義了一種區域形狀自適應的變換來有效地去除圖像的塊效應和邊緣振蕩效應。Chang等人［3］通過稀疏表示和冗余字典學習來減少JPEG（joint photographic experts group）壓縮所帶來的偽影，但是該方法無法恢復丟失的一些高頻信息。Zhang等人［4］提出了一種基于非凸低秩模型的圖像去塊方法，該方法的優勢在于不改變現有編解碼器的情況下，將量化約束顯式地變換到可行解空間來約束非凸的低秩優化，同時該方法通過一種自適應參數調整的交替最小化策略來解決對應的優化問題。

在ImageNet圖像識別大賽上AlexNet一舉奪冠，標志著進入了現代深度學習的萌芽時期。隨后，AlphaGo以4∶1的比分戰勝了國際頂尖圍棋高手李世石。自此，卷積神經網絡（convolutional neural network，CNN）得到廣泛的關注和發展。在計算機視覺領域深度學習取得巨大成功，同時它能夠解決圖像超分、去雨、去霧和去噪等任務。基于深度學習的壓縮偽影去除的方法也受到研究者的廣泛關注。例如，Dong等人［5］提出了一種圖像壓縮偽影去除的方法并命名為ARCNN（artifacts reduction convolutional neural network），該方法驗證了重用淺層網絡的參數有利于訓練模型的深層網絡。為了解決深層網絡難訓練的問題，Zhang等人［6］提出了一種基于殘差學習的神經網絡去噪方法，并將其命名為DnCNN（denoising convolutional neural network），該方法利用殘差學習和批歸一化操作構建深層卷積神經網絡，這種設計有助于提升網絡的收斂速度和去噪性能。為了進一步提升圖像增強的性能，Qiu等人［7］提出了一種基于深度殘差學習的JPEG壓縮偽影去除方法，該方法將基于信號處理的圖像恢復方法與深度殘差學習模型相結合來恢復原始數據。雖然以上方法能夠獲得比傳統的壓縮偽影去除方法更好的性能，但是這些方法沒有充分利用圖像的上下文信息來實現圖像質量的增強。為了解決這個問題，文獻［8］提出了一種多尺度稠密殘差網絡，該網絡將不同空洞因子的空洞卷積引入到殘差網絡的稠密模塊，并構建一種多尺度稠密模塊來獲得更大的感受野。不同于神經網絡單域處理方法，Zhang等人［9］提出了一種雙域多尺度卷積神經網絡方法（dual-domain multi-scale convolutional neural network，DMCNN），該網絡能夠有效地利用全局信息來消除JPEG壓縮偽影。類似于DMCNN方法，Zheng等人［10］提出了一種隱式雙域卷積網絡（implicit dual-domain convolutional network，IDCN）來減少彩色圖像的壓縮偽影。雖然DMCNN與IDCN都采用了雙支路的網絡拓撲結構，但它們并沒有充分地利用圖像的高低頻信息來實現特征互補。為了充分地利用圖像高低頻特征，Jin等人［11］提出了一種靈活的深度學習圖像恢復方法，該方法首先將低質量的輸入圖分解為低頻結構圖和高頻紋理圖；其次，將兩個圖像分別送入質量增強網絡，并將紋理特征用于增強結構特征；最后，使用聚合網絡將預測的高質量紋理圖和結構圖合并起來。為了解決池化和膨脹濾波等帶來的網格化問題，Liu等人［12，13］提出了一種多級小波卷積神經網絡（multi-level wavelet convolutional neural network，MWCNN），該網絡在圖像去噪、單幅圖像超分辨率和JPEG圖像偽影去除等方面具有良好的效果。為了解決圖像增強性能、網絡參數量和推理時間之間的權衡問題，Zhang等人［14］提出一種輕量化的快速超分辨網絡（wavelet super-resolution，WSR），該方法提出一種可變形卷積核來減少網絡參數。

雖然上述方法可以取得良好的去噪性能，但是這些方法無法針對不同級別的壓縮偽影實現自適應的圖像增強。這些方法往往需要訓練多個去噪網絡模型，這必然提升圖像增強方法的復雜度，而且經過訓練的多個模型將占用較大的存儲空間，因此這些方法很難被廣泛地采用。為了解決這一問題，Li等人［15］提出了一種面向不同質量因子JPEG壓縮的單模型壓縮偽影去除方法，該方法分別使用恢復支路和全局支路來解決局部震蕩偽影、全局的塊偽影和顏色漂移問題。此外，Kirmemis等人［16］提出了一種BPG（better portable graphics）圖像壓縮的偽影去除方法，該算法需要從三個不同大小的壓縮偽影去除網絡中選擇一個網絡對圖像進行去噪，但是如何挑選最佳的偽影去除網絡是一個非常棘手的問題。除了壓縮圖像的增強問題外，很多研究者致力于解決視頻壓縮質量增強問題。例如，文獻［17］提出一種基于雙網絡的壓縮視頻重建方法，該方法先用壓縮網絡去除壓縮偽影，再使用超分辨率網絡進一步提高視頻質量。為了解決多描述編碼圖像的壓縮失真問題，文獻［18］通過相鄰關鍵幀估計來實現壓縮圖像的增強。Zhao等人［19］將圖像預處理和后處理技術結合起來，構建了一種兼容標準編碼器的多描述編碼新框架，該框架極大地提升了圖像的編碼效率和解碼圖像質量。類似地，Zhang等人［20］通過棋盤格下采樣的方法獲得多個單描述圖像，然后使用標準編碼器進行編碼，最后使用卷積神經網絡來增強單路和中路解碼圖像質量。Purica等人［21］提出將視頻序列的兩個低分辨率壓縮描述合并為一個高分辨率描述。Zhang等人［22］采用奇偶分離的采樣方式對接收到的邊路描述進行重構增強。Zhu等人［23］提出一種壓縮約束去塊算法，該算法有效地利用接收到的兩個描述信息來減少中路解碼圖像的邊界偽影。Xu［24］提出一種基于3D-LVQ（3D lattice vector quantization）的圖像編碼預測解碼方法，該方法能夠提高邊路圖像解碼的性能。總而言之，這些深度學習模型往往很難滿足輕量化設備的需求，因此，需要研究低復雜度的深度學習模型。為了解決多描述壓縮圖像出現的壓縮偽影問題，特別是邊路解碼圖像會出現嚴重的結構分裂偽影問題，本文提出一種聯合邊路和中路解碼特征學習的多描述壓縮圖像增強方法（MDE）。本文貢獻點總結如下：

a）為了解決現有深度學習模型占用存儲空間大、計算復度高的問題，設計了一種殘差遞歸補償網絡并將其作為邊路和中路的低分辨率特征提取網絡，而且使用參數共享策略來有效地提取兩個具有內容相同而細節存在差異的兩描述解碼圖像特征。

b）考慮到多描述編碼的邊路獨立解碼特性，設計了多描述邊路上采樣重建網絡。多描述邊路上采樣重建網絡也采用部分網絡層參數共享策略，從而減小所提方法的網絡模型參數量并提高網絡的泛化能力。

c）考慮到多描述編碼的中路聯合解碼的特性，設計了一種多描述中路上采樣重建網絡將兩個邊路低分辨率特征和中路低分辨率特征進行深層特征融合來實現多描述壓縮圖像的增強。

1 所提的多描述壓縮圖像增強方法

雖然現有的多描述編碼方法能夠有效地解決在不穩定網絡環境下圖像的可靠傳輸問題，但是有損的多描述編碼難免會導致解碼圖像出現各種偽影、噪聲、結構變形和結構分離等問題。相比于傳統圖像增強技術，深度學習圖像增強技術能夠更好地去除壓縮偽影。然而，現有的深度學習增強模型存在計算復雜度過高、運算內存占用過大的問題，同時這些現有的網絡只能解決單描述圖像增強問題。將這些網絡直接用于解決多描述增強任務時，只能單獨地增強邊路和中路解碼圖像，無法聯合邊路和中路特征進行解碼。為此，提出了一種聯合邊路和中路解碼特征學習的多描述編碼圖像增強方法。首先，所提方法需要使用多描述隨機偏移量化（multiple description random offset quantization，MDROQ）方法［25］對輸入圖像進行編碼和解碼。通過MDROQ方法可以獲得兩個帶有失真的邊路解碼圖像和一個中路解碼圖像。如圖1所示，所提方法將多描述圖像增強分為低分辨率特征提取和高分辨率圖像重建兩個階段。第一個階段包括兩個多描述邊路低分辨率特征提取網絡和一個多描述中路低分辨率特征提取網絡。第二個階段包括兩個多描述邊路上采樣重建網絡和一個多描述中路上采樣重建網絡。根據多描述編碼的邊路獨立解碼和中路聯合解碼的特性，設計了一種殘差遞歸補償網絡結構并將其用于邊路和中路的低分辨率特征提取網絡。邊路特征提取使用參數共享策略能夠有效地提取兩個外表相同但細節信息有所差異的兩個描述解碼圖像的卷積特征。此外，所提的多描述邊路上采樣重建網絡也采用部分網絡層參數共享策略，這將極大地減小模型總參數量。

不同于邊路上采樣重建網絡，多描述中路上采樣重建網絡將兩個邊路低分辨率特征與中路低分辨率特征進行深層特征融合來實現壓縮圖像的增強。所提方法的增強過程可以表示為

Yi=Xi+Ri i=1，2，3（1）

其中：i=1，2，3分別表示邊路1、中路、邊路2；Y表示增強后的圖像；X表示輸入的圖像；R表示重建網絡預測的殘差圖。

1.1 低分辨率特征提取網絡

不同于單描述圖像編碼，考慮到多描述圖像編碼的輸出包含多個邊路解碼圖像和中路解碼圖像，所提的低分辨率特征提取網絡包括邊路低分辨率特征提取網絡和中路特征提取網絡兩種。為了避免在深度神經網絡訓練過程中模型出現過擬合的現象，同時降低深度神經網絡的可學習參數量，所提的邊路低分辨特征提取網絡采用殘差塊參數共享策略來有效地提取低分辨率特征。與以往方法不同的是，這里的參數共享策略不是將兩個邊路網絡都共享，而是進行部分塊間的共享，同時在網絡遞歸過程中，將遞歸結果使用1×1卷積進行處理，再將其與前一個遞歸塊相加的結果輸入下一個遞歸塊，這樣既有效地減少了網絡參數量，又保證了不同支路間的差異性，該網絡的結構如圖1所示。中路低分辨率特征提取網絡與邊路低分辨率特征提取網絡的相似點在于采用同一網絡拓撲結構，但是這兩個網絡的可學習參數取值有所不同，如圖1所示。

在兩個邊路和中路低分辨率特征提取網絡中，首先使用一個卷積塊的操作，即卷積（convolution，Conv）+批歸一化（batch normalization，BN）+PReLU（parametric rectified linear unit）激活函數，將其標記為Conb。將圖像轉換為卷積特征，這里使用步長為2的下采樣卷積操作來減少運算量，然后采用所提的殘差遞歸補償方式對該卷積特征進行多層融合。在這個補償過程中，使用了五個殘差卷積塊（residual convolution block，Resb）依次進行特征提取，同時將這些提取到的特征進行多次的通道加權平均融合。殘差卷積塊包括五個操作，即Conv+BN+PReLU+Conv+跳躍連接。經過第五個殘差卷積塊的特征提取之后，將其與初始的卷積特征和前四次通道加權融合的特征再次進行通道加權特征融合得到該特征提取網絡的低分辨率卷積特征。邊中路低分辨率特征提取網絡每層的參數如表1所示。具體來說，使用Conb1進行下采樣同時提取圖像的特征，將Conb1提取的圖像特征輸入到Resb1中，同時將Conb1提取的圖像特征輸入到Conv1中，將Resb1的輸出與Conv1的輸出的和作為Resb2的輸入。在Conv2中，將Resb1的輸入與Resb2的輸入作為Conv2的輸入，然后將Resb2的輸出與Conv2的輸出的和作為Resb3的輸入。類似于Resb2和Resb3操作，Resb4與Resb5執行同樣的操作。在Conv3中，將Resb1的輸入、Resb2的輸入、Resb3的輸入求和的結果作為Conv3的輸入。類似于Conv2和Conv3操作，Conv4與Conv5執行同樣的殘差遞歸補償操作。最后，將Resb5的輸出與Conv5的輸出的和作為低分辨率特征提取網絡的輸出，同時，將兩個邊路低分辨率特征提取網絡輸出的結果求和作為中路上采樣重建網絡的輸入。概括來說，兩個邊路低分辨特征提取網絡可以表示為

Zi=gs（Xi） i=1，3（2）

Z13=Z1+Z3（3）

其中：Zi表示經過第i個邊路低分辨率特征提取網絡表示后的特征圖;Xi表示多描述解碼的第i個邊路圖像；gs（·）表示邊路Xi→Zi的特征映射，即邊路低分辨率特征提取網絡的映射函數;Z13是Z1和Z3特征圖像線性組合。類似地，中路低分辨率特征提取網絡可以表示為

Z2=gc（X2）（4）

其中：Z2表示經過中路低分辨率特征提取網絡表示后的特征圖；X2表示多描述中路解碼圖像；gc（·）表示中路X2→Z2的特征映射，即中路低分辨率特征提取網絡的映射函數。

1.2 邊路和中路上采樣重建網絡

經過上述邊路低分辨率特征提取網絡和中路低分辨率特征提取網絡后，分別可以得到兩組邊路低分辨率卷積特征圖和一組中路低分辨率卷積特征圖。在第一個邊路上采樣重建網絡中，將得到的第一個邊路低分辨率特征輸入到五個串聯的卷積塊操作得到重建特征，同時在第三個卷積塊操作中引入跳躍連接，有助于梯度反向傳播。最后，將得到的重建特征輸入到上采樣（transposed convolution，ConvT）卷積層，即可得到第一個邊路解碼增強圖像。類似地，第二個邊路上采樣重建網絡也是如此。如圖1所示，在兩個邊路上采樣重建網絡中，深層的卷積層采用參數共享策略，這種策略能夠保證參數量較少的同時增強圖像重建效果。

不同于邊路上采樣重建網絡，中路上采樣重建網絡不僅可以使用從兩個邊路解碼圖像提取的特征圖，而且還可以使用從中路解碼圖像提取的特征圖。因此，在邊路上采樣重建網絡的結構之上，設計了能夠融合這些特征圖的中路上采樣重建網絡。中路上采樣重建網絡與邊路上采樣重建網絡都使用了五個卷積塊操作，但不同的是在跳躍連接之后將得到的邊路融合特征與中路低分辨率特征沿通道維度進行串聯，同時在中路上采樣重建網絡中深層的卷積層沒有與邊路重建網絡進行參數共享，這樣做的主要原因是第四個卷積塊的輸入特征圖之間存在較大差異，如圖1所示。邊路和中路重建網絡每層的參數如表2所示。邊路上采樣重建網絡的非線性映射關系可以表示為

R1=fs1（Z1）（5）

R3=fs3（Z3）（6）

其中：R1和 R3分別表示兩個邊路經低分辨率提取網絡和特征上采樣重建網絡重建后的圖像;Z1和Z2表示經低分辨率特征提取后的圖像;fs1（·）和fs3（·）分別表示兩個邊路上采樣重建網絡的映射函數。中路上采樣重建網絡的非線性映射關系可以表示為

R2=fc（Z1，Z2，Z3）（7）

其中：R2表示經低分辨率提取網絡和特征上采樣重建網絡重建后的圖像；Z表示經低分辨率特征提取后的圖像；fc（·）表示Z→R中路上采樣重建網絡的映射函數。最后，所提方法的邊路和中路的整個非線性映射關系可以表示為

Y1=X1+R1=X1+fs1（Z1）=X1+fs1（gs（X1））（8）

Y2=X2+R2=X2+fc（Z1，Z2，Z3）=

X2+fc（gs（X1），gc（X2），gs（X3））

（9）

Y3=X3+R3=X3+fs3（Z3）=X3+fs3（gs（X3））（10）

其中：Y1、Y2和 Y3分別表示邊路1、中路、邊路2增強后的圖像；X1、X2和X3分別表示輸入的邊路1、中路、邊路2解碼圖像；R1、R2和R3分別表示經低分辨率提取網絡和特征上采樣重建網絡重建后的邊路1、中路和邊路2殘差圖；fs1（·）、fc（·）和fs3（·）分別表示Z1→R1、（Z1，Z2，Z3）→R2和Z3→R3的特征映射函數。

1.3 損失函數

現有圖像重建損失包括內容損失、結構不相似性損失、全變分損失和梯度差損失等。對于圖像重建的內容損失，往往采用L1或L2范數來構建損失函數。很多的研究工作表明由L2范數構建的均方誤差損失會使得經過該損失函數約束的模型輸出結果呈現過度平滑的效果。與之相比，由L1范數構建的平均絕對誤差損失函數會使得經過該損失函數約束的模型輸出結果和原圖更接近。因此，本文采用平均絕對誤差損失來作為圖像增強任務的損失函數。所提方法的總損失loss可以表達為

loss=αloss1+βloss2+αloss3（11）

loss1=1n∑ni=1‖I1i－1i‖（12）

loss2=1n∑ni=1‖I2i－2i‖（13）

loss3=1n∑ni=1‖I3i－3i‖（14）

其中：loss1、loss2和loss3分別為第一個邊路解碼圖像增強損失和中路解碼圖像增強損失以及第二個邊路解碼圖像增強損失;I1i和1i分別為第一個邊路的預測輸出圖和原始圖像的第i個像素;n為原始圖像的像素總數，其他標記類似;α為邊路損失函數的權重;β為中路損失函數的權重。

1.4 算法描述

本文所使用的訓練數據集和測試數據集均來自于文獻［26］。該數據集使用文獻［27，28］的291張圖像來獲得訓練圖像塊集合，其中91張圖像來自于文獻［27］的訓練數據集，其余200張圖像來自于文獻［28］的BSDS500訓練數據集。文獻［26］使用裁切、下采樣和圖像拼接的方式來得到訓練數據集，最終獲得1 681張大小為160×160的圖像，將該數據集簡稱為set-1681。通過多描述隨機偏移量化方法（MDROQ）對set-1681數據集進行壓縮來獲得壓縮后的數據集set-1681（C），使用數據集set-1681和set-1681（C）來構建MDE網絡的訓練數據集。這里，使用不同量化參數對（Qstep0，Qstep1）分別為（56，56.57）（96，96.57）（136，136.57）（176，176.57）和（216，216.57）來獲得不同失真程度的壓縮圖像。當量化參數對（Qstep0，Qstep1）越小時，多描述圖像壓縮失真越小，即保留更多的原始信息。雖然訓練數據集的大小和圖像類型會影響深度學習網絡的性能，但是本文所有對比方法的訓練數據集和測試數據集都是相同的，從而保證了對比的公平性。

接下來，將介紹所提MDE網絡的訓練算法。如算法1所示，首先利用多描述隨機偏移量化方法（MDROQ）壓縮set-1681數據集，然后構建MDE網絡訓練所需的數據集。其次，對邊路低分辨率特征提取網絡參數ζ 、中路低分辨率特征提取網絡參數η、邊路上采樣重建網絡參數λ和中路上采樣重建網絡參數ξ進行初始化。接下來，根據式（2）進行邊路低分辨率特征提取，與此同時，根據式（4）進行中路低分辨率特征提取。考慮到多描述邊路解碼的獨立性和中路的聯合解碼，根據式（5）～（7）進行邊路和中路上采樣重建預測。為了聯合優化邊路解碼特征和中路解碼特征，依據圖像增強任務的總損失函數表達式（11），通過梯度下降法更新網絡參數ζ、η、λ和ξ。經過訓練后，輸出并保存訓練好的MDE網絡模型。

算法1 MDE網絡的訓練算法

輸入：set-1681數據集（圖像總數n=1 681張）;MDE網絡優化的總迭代次數R=500;優化器的初始學習率lr=2E-4;更新MDE網絡的圖像批大小b=8。

輸出：訓練好的MDE網絡模型。

使用多描述隨機偏移量化方法（MDROQ）壓縮set-1681數據集，得到壓縮后的數據集，標記為set-1681（C）；使用set-1681數據集和set-1681（C）構建MDE網絡訓練所需的數據集。

對MDE網絡參數進行初始化設置（邊路低分辨率特征提取網絡參數為ζ，中路低分辨率特征提取網絡參數為η，邊路上采樣重建網絡參數為λ，中路上采樣重建網絡參數為ξ）。

for epoch=1 to R do

for i=1 to floor（n/b） do

根據式（2）進行邊路低分辨率特征提取，同時根據式（4）進行中路低分辨率特征提取；考慮到多描述邊路解碼的獨立性和中路的聯合解碼，根據式（5）～（7）進行邊路和中路上采樣重建預測。

為了聯合優化邊路解碼特征和中路解碼特征，依據圖像增強任務的總損失函數表達式（11），通過梯度下降法更新MDE網絡參數ζ、η、λ和ξ。

end for

end for

最后，輸出并保存MDE網絡模型。

2 實驗結果與分析

為了驗證所提MDE方法的有效性，將其與現有的多個深度學習方法如ARCNN［5］、FastARCNN［5］、DnCNN［6］、WSR［14］、DWCNNV1［13］、DWCNNV1C［13］和DWCNNV2［12］進行比較。本實驗將方法ARCNN、FastARCNN、DnCNN、WSR、DWCNNV1、DWCNNV1C和DWCNNV2的邊路1、邊路2和中路增強網絡分別使用同一網絡架構，但網絡參數有所不同。考慮到WSR是一種基于小波變換的圖像超分辨率方法，將WSR網絡的上采樣層去除來實現多描述壓縮圖像的增強。圖2所展示的圖像來自于文獻［26］，將這些圖像用于測試所提方法、ARCNN、FastARCNN、DnCNN、WSR、DWCNNV1、DWCNNV1C和DWCNNV2方法的性能。這里，將不僅使用客觀質量評價指標PSNR

和SSIM來比較各種圖像質量增方法的性能，而且使用網絡的總參數量、網絡感知野的大小以及運行時間來評估這些方法的性能。此外，還將展示這些方法增強后圖像的視覺效果對比。

2.1 仿真環境與訓練設置

本文在深度學習框架PyTorch下使用NVIDIA RTX 2080Ti GPU顯卡來訓練和測試所提方法。采用ADAM優化器來訓練

所提的MDE網絡，該優化器的初始學習率lr設置為2E-4，每迭代100次更新一次學習率，學習率的乘性衰減率為0.5。每次使用批大小b為8的一組圖像來更新網絡參數，網絡訓練的總迭代次數為R=500。

2.2 客觀和主觀質量評價

為了驗證所提方法的可行性，本實驗將其與多個最新圖像增強方法，如ARCNN［5］、FastARCNN［5］、DnCNN［6］、WSR［14］、DWCNNV1［13］、DWCNNV1C［13］和DWCNNV2［12］進行了比較，結果如表3～5所示，其中最好的結果用雙下劃線加粗字體表示，排名第二的結果用單下劃線加粗字體表示，排名第三的結果用加粗字體表示。如表3～5所示，當（Qstep0，Qstep1）=（56， 56.57）（96， 96.57）（136， 136.57）（176， 176.57）和（216， 216.57）時，給出了不同方法的客觀評價指標PSNR和SSIM對比結果。通過對比可以發現，經過所提方法增強的兩個邊路及中路解碼圖像的客觀評價指標PSNR和SSIM明顯高于其他方法。

如表6所示，將所提方法與ARCNN、FastARCNN、DnCNN、WSR、DWCNNV1、DWCNNV1C和DWCNNV2方法的網絡參數量進行對比。從該表可以發現ARCNN、FastARCNN、WSR、DWCNNV1、DWCNNV1C的參數量是本文方法參數量的一倍多，而且這些方法的PSNR和SSIM指標低于本文方法。雖然DnCNN和WSR方法與所提方法的參數總量非常接近，但是經過所提方法增強的圖像的客觀評價指標PSNR和SSIM高于這兩個方法。

如圖3～5所示，將經過所提方法、ARCNN、FastARCNN、DnCNN、WSR、DWCNNV1、DWCNNV1CD和WCNNV2方法增強后的壓縮圖像進行比較。通過對比可以發現，邊路解碼圖像存在嚴重的結構分裂偽影，而中路解碼圖像包含更多細節同時更加清晰。相比于ARCNN、FastARCNN、DnCNN、WSR、DWCNNV1、DWCNNV1C和DWCNNV2，所提方法能夠使得增強后的壓縮圖像更清晰。如圖3所示，從該視覺對比圖中可以看出，經過ARCNN、FastARCNN、DnCNN、WSR、DWCNNV1、DWCNNV1C和DWCNNV2增強的壓縮圖像仍然存在嚴重的模糊偽影。與這些方法相比，所提方法的中路圖像視覺效果更好一些，這進一步驗證了本文方法的有效性。從圖4、5可以看出，經過ARCNN、FastARCNN、DnCNN、WSR、DWCNNV1、DWCNNV1C和DWCNNV2方法增強后的壓縮圖像視覺效果非常接近，而經過所提方法增強的多描述壓縮圖像視覺效果仍然更好。

Fig.4 Image quality comparison of the first side enhanced image with quantization parameter pair （Qstep0，Qstep1）=（216，216.57）

2.3 復雜度分析

如表7所示，將所提方法與ARCNN、FastARCNN、DnCNN、WSR、DWCNNV1、DWCNNV1C和DWCNNV2的感知野進行對比。從該表中可以發現：所提方法的感知野比ARCNN、FastARCNN、DnCNN、DWCNNV1和DWCNNV1C更大。但是，所提方法的感知野比WSR和DWCNNV2小。

如表8所示，將所提方法不同感知野在量化參數對（Qstep0，Qstep1）為（216，216.57）時中路圖像的PSNR和SSIM進行對比。從該表中可以發現，隨著感知野的增加，所提方法的性能將有所提高。但是當感知野的值大于103時，性能將逐漸趨于飽和狀態。此外，從該表中還可以發現，當不同感知野的增強模型擁有相同級別的參數時，它們的運行時間基本上差別不大。一般來說，大感知野的神經網絡可以利用更多的空間相關性。雖然網絡的性能在一定程度上受到感知野的影響，但是隨著感知野的不斷增加，空間位置差別較大的兩個像素之間的相關性也會變弱，同時也增加神經網絡的復雜度。由此可見，神經網絡的感知野并不是越大越好。為了驗證所提方法的有效性，將所提方法與ARCNN、FastARCNN、DnCNN、WSR、DWCNNV1、DWCNNV1C和DWCNNV2的運行時間進行比較，如表9所示。由表9可知，所提方法的運行時間比FastARCNN慢0.007 s，但它比ARCNN、DnCNN、WSR、DWCNNV1、DWCNNV1C和DWCNNV2都快。

考慮到ARCNN網絡提取的特征存在著大量的冗余信息，而且該網絡需要通過增加網絡參數量來提升該網絡的性能，這勢必增加運行時間、計算成本和存儲空間。雖然FastARCNN一定程度緩解了這些問題，但在量化參數對（Qstep0，Qstep1）較小即圖像質量較高時，該方法恢復效果較差。相比于淺層網絡ARCNN和FastARCNN，使用更深網絡結構的DnCNN能夠提升增強后的圖像質量，但是也會增加網絡的計算量。WSR和DWCNNV主要使用小波分解技術來解決圖像增強問題。上述方法能夠解決多描述壓縮圖像增強問題，但是它們并沒有考慮到多描述編碼的邊路獨立解碼和中路聯合解碼的特性，而所提方法的網絡結構可以充分利用多描述編碼的邊路獨立解碼和中路聯合解碼的特性以及參數共享的策略，在降低網絡復雜度的同時擴大感知野使圖像擁有更多的空間相關性。由此可見，本文方法是一種非常有效的多描述壓縮圖像增強方法。

2.4 消融實驗與分析

為了更好地分析所提方法，將從以下四個方面進行消融實驗仿真，即殘差卷積塊個數、邊中路損失權重、訓練批大小和學習率。首先，本實驗提供了殘差卷積塊個數的消融實驗結果，如表10所示。在量化參數對（Qstep0，Qstep1）為（56，56.57）時，該表給出了當殘差卷積塊分別為1、3、5、7和9時所提方法的性能變化情況。從表10可以看出，當殘差卷積塊的個數大于5時，所提方法的性能趨于穩定，但其參數量必然增加。在默認情況下，將殘差卷積塊的數量設置為5。其次，多描述編碼圖像不僅存在壓縮偽影問題，而且存在不同程度的結構分裂問題，在訓練時邊路和中路的損失權重會影響所提方法的性能。本實驗提供了當邊路和中路損失函數邊中路權重比分別是0.1∶1、0∶0.1和1∶1時所提方法的性能對比，如表11所示。經過對比可知，當邊中路損失函數權重為1∶1時，所提方法的PSNR和SSIM指標最高。一般來說，CNN訓練的超參數會影響網絡的性能。最后，提供了所提方法的學習率和批大小消融實驗結果。如表12所示，對批大小為4、8、12和16進行了實驗仿真。從表12可以看出，所提方法對批大小不敏感。當批大小為8時，所提方法的PSNR和SSIM指標最高。如表13所示，本消融實驗對學習率為1E-4、2E-4和3E-4分別進行實驗仿真。從該表中可以發現所提方法對學習率也不敏感。雖然使用學習率為3E-4訓練的模型的PSNR比2E-4的略高，但是使用學習率為3E-4訓練的模型的SSIM比2E-4低，考慮到人眼更關注于圖像的結構區域，在默認情況下將學習率設定為2E-4。

3 結束語

針對多描述編碼的壓縮失真問題，本文提出一種聯合邊路和中路解碼特征學習的多描述編碼圖像增強方法。首先，提出一種殘差遞歸網絡，并將其作為邊路和中路的低分辨率特征提取網絡。其次，根據邊路和中路的解碼特性采用參數共享策略來有效地提取兩個內容相同且具有差異性的邊路圖像特征。最后，將兩個邊路低分辨率特征/中路低分辨率特征通過邊路/中路上采樣重建網絡來實現多描述壓縮圖像的增強。大量的實驗結果表明，在模型復雜度、客觀質量評價和視覺質量方面，本文方法優于很多的深度學習圖像增強方法。在未來工作中，將考慮使用單個深度學習模型解決不同量化參數下多描述編碼圖像的增強問題。

參考文獻：

[1]Dabov K， Foi A， Katkovnik V， et al. Image denoising by sparse 3D transform domain collaborative filtering［J］.IEEE Trans on Image Processing，2007，16（8）：2080-2095.

［2]Foi A， Katkovnik V， Egiazarian K. Pointwise shape-adaptive DCT for high-quality denoising and deblocking of grayscale and color images［J］.IEEE Trans on Image Processing，2007，16（5）：1395-1411.

［3]Chang Huibin， Ng M K， Zeng Tieyong. Reducing artifacts in JPEG decompression via a learned dictionary［J］.IEEE Trans on Signal Processing，2014，62（3）：718-728.

［4]Zhang Jian， Xiong Ruiqin， Zhao Chen， et al. CONCOLOR： constrained non-convex low-rank model for image deblocking［J］.IEEE Trans on Image Processing，2016，25（3）：1246-1259.

［5]Dong Chao， Deng Yubin， Loy C C， et al. Compression artifacts reduction by a deep convolutional network［C］//Proc of IEEE International Conference on Computer Vision.2015：576-584.

［6]Zhang Kai， Zuo Wangmeng， Chen Yunjin， et al. Beyond a Gaussian denoiser： residual learning of deep CNN for image denoising［J］.IEEE Trans on Image Processing，2017，26（7）：3142-3155.

［7]Qiu Han， Zheng Qinkai， Memmi G， et al. Deep residual learning-based enhanced jpeg compression in the Internet of Things［J］.IEEE Trans on Industrial Informatics，2021，17（3）：2124-2133.

［8]陳書貞，張祎俊，練秋生.基于多尺度稠密殘差網絡的JPEG壓縮偽跡去除方法［J］.電子與信息學報，2019，41（10）：2479-2486.（Chen Shuzhen， Zhang Yijun， Lian Qiusheng. JPEG compression artifacts reduction algorithm based on multi-scale dense residual network［J］.Journal of Electronics and Information Technology，2019，41（10）：2479-2486.）

［9]Zhang Xiaoshuai， Yang Wenhan， Hu Yueyu， et al. DMCNN： dual-domain multi-scale convolutional neural network for compression artifacts removal［C］//Proc of the 25th IEEE International Conference on Image Processing.2018：390-394.

［10]Zhang Bolun， Chen Yaowu， Tian Xiang， et al. Implicit dual-domain convolutional network for robust color image compression artifact reduction［J］.IEEE Trans on Circuits and Systems for Video Technology，2020，30：3982-3994.

［11]Jin Zhi， Muhammad Z I， Bobkov D， et al. A flexible deep CNN framework for image restoration［J］.IEEE Trans on Multimedia，2019，22（4）：1055-1068.

［12]Liu Pengju， Zhang Hongzhi， Lian Wei， et al. Multi-level wavelet convolutional neural networks［J］.IEEE Access，2019，7：74973-74985.

［13]Liu Pengju， Zhang Hongzhi， Zhang Kai， et al. Multi-level wavelet-CNN for image restoration［C］//Proc of IEEE/CVF Conference on Computer Vision and Pattern Recognition Workshops.Piscataway，NJ：IEEE Press，2018：886-88609.

［14]Zhang Huanrong， Jin Zhi， Tan Xiaojun， et al. Towards lighter and faster： learning wavelets progressively for image super-resolution［C］//Proc of the 28th ACM International Conference on Multimedia.2020：2113-2121.

［15]Li Jianwei， Wang Yongtao， Xie Haihua， et al. Learning a single model with a wide range of quality factors for jpeg image artifacts removal［J］.IEEE Trans on Image Processing，2020，29：8842-8854.

［16]Kirmemis O， Bakar G， Tekalp A M. Learned compression artifact removal by deep residual networks［C］//Proc of IEEE Conference on Compu-ter Vision and Pattern Recognition Workshops.2018：2602-2605.

［17]周航，何小海，王正勇，等.采用雙網絡結構的壓縮視頻超分辨率重建［J］.電訊技術，2020，60（1）：81-86.（Zhou Hang， He Xiaohai， Wang Zhengyong， et al. Super-resolution reconstruction of compressed video with dual network structure［J］.Telecommunication Technology，2020，60（1）：81-86.）

［18]鉉欣.基于多描述標量量化的分布式視頻編碼［D］.西安：西安電子科技大學，2012.（Xuan Xin. Multiple description scalar quantization-based" """distributed video coding［D］.Xi’an：XiDian University，2012.）

［19]Zhao Lijun， Bai Huihui， Wang Anhong， et al. Multiple description convolutional neural networks for image compression［J］.IEEE Tran on Circuits and Systems for Video Technology，2018，29（8）：2494-2508.

［20]Zhang Xiangjun， Wu Xiaolin. Standard-compliant multiple description image coding by spatial multiplexing and constrained least-squares restoration［C］//Proc of the 10th Workshop on Multimedia Signal Processing.Piscataway，NJ：IEEE Press，2008：349-354.

［21]Purica A， Boyadjis B， Pesquet P B， et al. A convex optimization framework for video quality and resolution enhancement from multiple descriptions［J］.IEEE Trans on Image Processing，2018，28（4）：1661-1674.

［22]Zhang Ting， Bai Huihui， Zhang Mengmeng， et al. Standard-compliant multiple description image coding based on convolutional neural networks［J］.IEICE Trans on Information and Systems，2018，101（10）：2543-2546.

［23]Zhu Shuyuan， He Zhiying， Meng Xiandong， et al. A new polyphase down-sampling-based multiple description image coding［J］.IEEE Trans on Image Processing，2020，29：5596-5611.

［24]Xu Yuanyuan. Predictive side decoding for human-centered multiple description image coding［J］.EURASIP Journal on Wireless Communications and Networking，2020，2020（1）：1-14.

［25]Meng Lili， Liang Jie， Samarawickrama U， et al. Multiple description coding with randomly and uniformly offset quantizers［J］.IEEE Trans on Image Processing，2013，23（2）：582-595.

［26]Zhao Lijun， Bai Huihui， Wang Anhong， et al. Learning a virtual codec based on deep convolutional neural network to compress image［J］.Journal of Visual Communication and Image Representation，2019，63：102589-102599.

［27]Yang Jianchao， John W， Thomas S H， et al. Image super-resolution via sparse representation［J］.IEEE Trans on Image Processing，2010，19（11）：2861-2873.

［28]Pablo A， Michael M， Charless F， et al. Contour detection and hierarchical image segmentation［J］.IEEE Trans on Pattern Analysis and Machine Intelligence，2010，33（5）：898-916.