基于非局部先驗(yàn)的深度壓縮感知圖像重構(gòu)網(wǎng)絡(luò)

仲元紅 周宇杰 張 靜 張晨旭

(重慶大學(xué)微電子與通信工程學(xué)院 重慶 400044)

1 引言

壓縮感知(Compressive Sensing, CS)理論[1–3]打破了傳統(tǒng)奈奎斯特采樣定理的約束，不再對(duì)采樣頻率提出2倍最高頻率的要求，該理論指出，在信號(hào)具有稀疏性的前提下，利用將高維信號(hào)映射到低維信號(hào)的方式直接實(shí)現(xiàn)信號(hào)的壓縮和采樣，最后通過非線性優(yōu)化問題的求解就可以實(shí)現(xiàn)原始信號(hào)的精確重構(gòu)。壓縮感知理論將壓縮和采樣相結(jié)合，自提出后迅速在圖像視頻處理[4]、雷達(dá)[5]、醫(yī)學(xué)核磁共振[6]等領(lǐng)域成為研究熱點(diǎn)。

重構(gòu)問題是壓縮感知理論研究的一個(gè)重點(diǎn)，主要是通過求解一個(gè)NP-Hard問題來實(shí)現(xiàn)信號(hào)的精確重構(gòu)，但該問題不存在唯一解，因此，學(xué)者針對(duì)重構(gòu)問題的求解展開了大量的研究。多年來，關(guān)于壓縮感知重構(gòu)算法的研究主要分為兩類：傳統(tǒng)的重構(gòu)算法以及基于深度學(xué)習(xí)的重構(gòu)算法。

傳統(tǒng)的重構(gòu)算法除了較早的非凸優(yōu)化算法[7,8]、貪婪匹配追蹤算法[9–11]、凸優(yōu)化算法[12,13]，基于模型的重構(gòu)算法是最為普遍的一種重構(gòu)方法。前3種重構(gòu)算法都是在信號(hào)稀疏性的基礎(chǔ)上展開的，但是恢復(fù)效果通常不盡如人意。基于模型的重構(gòu)算法則是圍繞信號(hào)的先驗(yàn)信息進(jìn)行研究，即利用不同的先驗(yàn)信息來建立不同的重構(gòu)模型，其重構(gòu)效果優(yōu)于其他3類算法。針對(duì)低秩先驗(yàn)，Dong等人[14]提出了非局部低秩正則化壓縮感知(Compressive Sensing via Nonlocal Low-rank Regularization, NLR-CS)方法來利用結(jié)構(gòu)化稀疏性，F(xiàn)riedland等人[15]提出了一種用于高階張量CS的統(tǒng)一框架—廣義張量壓縮感知(Generalized Tensor CS, GTCS)，該框架在保留了張量數(shù)據(jù)的固有結(jié)構(gòu)的同時(shí)，還降低了重構(gòu)過程的計(jì)算復(fù)雜度。Zhang等人[16]利用組的概念作為稀疏表示的基本單位，每個(gè)組是由具有相似結(jié)構(gòu)的非局部塊組成，在此基礎(chǔ)上建立了一種新穎的基于組的稀疏表示(Group-based Sparse Representation, GSR)。但是，上述算法需要耗時(shí)的圖像塊搜索或矩陣反轉(zhuǎn)操作，明顯增加了計(jì)算時(shí)間，降低了算法效率。

深度學(xué)習(xí)在各種高級(jí)圖像處理任務(wù)中表現(xiàn)出的良好性能，廣泛地受到了各個(gè)領(lǐng)域的研究學(xué)者的推崇和研究。近年來，有學(xué)者提出將深度學(xué)習(xí)框架應(yīng)用到壓縮感知領(lǐng)域中來，該想法一經(jīng)提出就得到了許多學(xué)者的認(rèn)同，也研究出了很多優(yōu)秀的深度壓縮感知重構(gòu)算法[17–22]，在一定程度上有效地克服了傳統(tǒng)壓縮感知算法的弊端。

最開始將壓縮感知理論和深度學(xué)習(xí)相結(jié)合的是由Mousavi等人[17]提出的堆疊去噪聲自動(dòng)編碼器(Stacked Denoising Autoencoder, SDA)，它采用無監(jiān)督的方式實(shí)現(xiàn)了測(cè)量值和真實(shí)值之間的端到端映射。非迭代重構(gòu)網(wǎng)絡(luò)(Non-Iterative Reconstruction Network, ReconNet)[18]首次將卷積神經(jīng)網(wǎng)絡(luò)使用到壓縮感知中，通過全連接層和卷積層實(shí)現(xiàn)圖像的有效重構(gòu)，但ReconNet仍是采用隨機(jī)高斯矩陣作為測(cè)量矩陣。在ReconNet的基礎(chǔ)上提出的深度殘差網(wǎng)絡(luò)(Deep Residual Reconstruction Network,DR2-Net)[19]結(jié)合了ReconNet的結(jié)構(gòu)和殘差的思想，進(jìn)一步提高了重構(gòu)圖像的質(zhì)量。與此同時(shí)，許多學(xué)者也對(duì)測(cè)量矩陣進(jìn)行了相關(guān)的設(shè)計(jì)，CSNet(Compressive Sensing Network)[20]不再采用傳統(tǒng)的矩陣采樣的方式，而是利用一層卷積層直接實(shí)現(xiàn)信號(hào)的采樣。上述提出的網(wǎng)絡(luò)雖然都能有效地提高重構(gòu)圖像的質(zhì)量，但都需要針對(duì)不同采樣率的單獨(dú)訓(xùn)練，這極大地增加了訓(xùn)練成本。因此，Shi等人[21]提出了一種可伸縮的卷積神經(jīng)網(wǎng)絡(luò)SCSNet(Scalable Compressive Sensing Network)，該網(wǎng)絡(luò)僅使用一個(gè)模型來實(shí)現(xiàn)任意采樣率下的采樣和重構(gòu)。

將傳統(tǒng)的基于圖像先驗(yàn)重構(gòu)算法和深度學(xué)習(xí)相結(jié)合也是深度壓縮感知重構(gòu)算法的一個(gè)研究方向，受迭代收縮閾值算法(Iterative Shrinkage-Thresholding Algorithm, ISTA)的啟發(fā)，Zhang等人[22]提出了一個(gè)深度重建框架ISTA-Net，該模型將基于先驗(yàn)信息的圖像重構(gòu)模型在深度學(xué)習(xí)的框架下展開，建立了基于深度學(xué)習(xí)的圖像重構(gòu)網(wǎng)絡(luò)，取得了非常好的效果。在ISTA-Net的基礎(chǔ)上，Zhang等人[23]提出了一個(gè)受優(yōu)化思想啟發(fā)的端到端的深度網(wǎng)絡(luò)OPINE-Net (OPtimization-INspired Explicable deep network)，通過采樣子網(wǎng)，初始化子網(wǎng)和重構(gòu)子網(wǎng)建立完整的重構(gòu)模型，實(shí)現(xiàn)了圖像的有效重構(gòu)。這類重構(gòu)算法不僅為壓縮感知理論的發(fā)展提供了理論基礎(chǔ)，而且其重構(gòu)性能也不亞于基于純深度學(xué)習(xí)的重構(gòu)網(wǎng)絡(luò)。

ISTA-Net雖然實(shí)現(xiàn)了圖像的重構(gòu)，但其仍存在塊效應(yīng)等問題，且并未很好地利用圖像的先驗(yàn)信息。與此同時(shí)，考慮到圖像非局部先驗(yàn)在傳統(tǒng)重構(gòu)算法中有效提升了圖像的重構(gòu)質(zhì)量。因此，本文結(jié)合稀疏性先驗(yàn)與非局部先驗(yàn)，提出了一種新的基于深度學(xué)習(xí)的圖像重構(gòu)算法，主要?jiǎng)?chuàng)新點(diǎn)有：(1)提出一個(gè)結(jié)合稀疏性與非局部自相似性先驗(yàn)的圖像重構(gòu)模型；(2)在半二次方分裂框架下展開求解，將重構(gòu)問題轉(zhuǎn)化為3個(gè)簡(jiǎn)單的子優(yōu)化問題；(3)每個(gè)子問題的求解都在深度學(xué)習(xí)的框架下展開，最后聯(lián)合采樣重構(gòu)建立端到端的可訓(xùn)練的重構(gòu)網(wǎng)絡(luò)。

2 壓縮感知理論

壓縮感知中，對(duì)于信號(hào)x∈RN，其經(jīng)采樣后的測(cè)量值y∈RM可以表示為

其中，A∈RM×N表示測(cè)量矩陣，且M?N，通常為隨機(jī)高斯矩陣。根據(jù)壓縮感知理論，如果信號(hào)x滿足稀疏性要求，則可以根據(jù)測(cè)量值對(duì)原始信號(hào)進(jìn)行精確重構(gòu)，即可以從等式(1)直接恢復(fù)x。但由于測(cè)量值y遠(yuǎn)遠(yuǎn)小于x，因此這是一個(gè)不適定的問題。為了求解上述問題，通常通過添加信號(hào)固有的先驗(yàn)信息作為約束，于是建立了優(yōu)化問題

上述重構(gòu)算法都是基于圖像先驗(yàn)來建立重構(gòu)模型，而基于深度學(xué)習(xí)的重構(gòu)算法更是使得重構(gòu)算法的性能得到了進(jìn)一步的提升，其中，較為突出的基于卷積神經(jīng)網(wǎng)絡(luò)的重構(gòu)算法(CS-Net)，用卷積層取代了傳統(tǒng)重構(gòu)算法中的測(cè)量矩陣，完全在深度學(xué)習(xí)的框架下實(shí)現(xiàn)壓縮感知的采樣和重構(gòu)過程，但CS-Net對(duì)每一個(gè)采樣率都需要單獨(dú)訓(xùn)練，訓(xùn)練成本高。可伸縮的圖像重構(gòu)算法(SCS-Net)實(shí)現(xiàn)了任意采樣率下的圖像重構(gòu)，有效解決了CS-Net存在的問題，但其模型的參數(shù)數(shù)量較大。相比于傳統(tǒng)的重構(gòu)算法，基于深度學(xué)習(xí)的重構(gòu)算法能夠有效地實(shí)現(xiàn)圖像的實(shí)時(shí)重構(gòu)，提升圖像的重構(gòu)質(zhì)量。

除了基于深度學(xué)習(xí)的重構(gòu)算法，基于迭代收縮閾值算法的深度重構(gòu)網(wǎng)絡(luò)ISTA-Net結(jié)合了傳統(tǒng)的圖像先驗(yàn)和深度學(xué)習(xí)，提出了一種結(jié)構(gòu)化深層網(wǎng)絡(luò)。ISTA-Net是在優(yōu)化算法的基礎(chǔ)上，提出了圖像重構(gòu)模型

ISTA-Net通過設(shè)計(jì)結(jié)構(gòu)化深度網(wǎng)絡(luò)能夠進(jìn)一步提升圖像的重構(gòu)質(zhì)量。受ISTA-Net的啟發(fā)，本文通過稀疏先驗(yàn)和非局部先驗(yàn)相結(jié)合，提出了基于非局部先驗(yàn)深度圖像重構(gòu)模型，該模型能夠?qū)⒍喾N先驗(yàn)與深度網(wǎng)絡(luò)相結(jié)合，實(shí)現(xiàn)不同采樣率下的圖像重構(gòu)質(zhì)量的提升。

3 基于非局部先驗(yàn)的深度壓縮感知圖像重構(gòu)網(wǎng)絡(luò)

根據(jù)對(duì)壓縮感知重構(gòu)算法的大量研究發(fā)現(xiàn)，單獨(dú)利用稀疏性進(jìn)行重構(gòu)時(shí)，在采樣率較低的情況下圖像的重構(gòu)質(zhì)量較差，并且重構(gòu)算法的性能得不到更好的提升[16]。但在傳統(tǒng)壓縮感知方法中，利用非局部相似性、低秩、組稀疏重構(gòu)算法能夠更有效地去除圖像塊效應(yīng)，提升圖像重構(gòu)性能。深度先驗(yàn)已被證明能在壓縮感知圖像重構(gòu)領(lǐng)域取得良好的效果，因此，本文提出一種基于非局部先驗(yàn)的深度圖像重構(gòu)網(wǎng)絡(luò)，整體結(jié)構(gòu)如圖1所示，分為采樣、初始重構(gòu)和深度重構(gòu)網(wǎng)絡(luò)，網(wǎng)絡(luò)通過將稀疏、非局部先驗(yàn)和深度網(wǎng)絡(luò)相結(jié)合進(jìn)行學(xué)習(xí)的方式達(dá)到提升重構(gòu)性能的目的，接下來的內(nèi)容將詳細(xì)介紹網(wǎng)絡(luò)的各個(gè)結(jié)構(gòu)。

圖1 本文提出的網(wǎng)絡(luò)模型的整體結(jié)構(gòu)

3.1 采樣和初始重構(gòu)

3.2 深度重構(gòu)網(wǎng)絡(luò)

在深度重構(gòu)網(wǎng)絡(luò)中，本文首先結(jié)合稀疏先驗(yàn)和非局部相似性先驗(yàn)，建立如下優(yōu)化模型

其中，R(x)表 示正則項(xiàng)，即先驗(yàn)信息，Rl1(x)為L(zhǎng)1稀疏正則，Rnon-local(x)為非局部正則。通過對(duì)上式進(jìn)行求解就可以實(shí)現(xiàn)圖像的準(zhǔn)確重構(gòu)。但對(duì)上式直接求解計(jì)算復(fù)雜度很高，為了簡(jiǎn)化等式的求解，本文利用半二次分裂(Half Quadratic Splitting,HQS)進(jìn)行求解。

半二次分裂是針對(duì)如下的優(yōu)化目標(biāo)

上述半二次方分裂能夠有效地簡(jiǎn)化求解，因此，對(duì)于本文的模型，采用半二次方分裂，引入輔助變量b和q，可以將式(7)等價(jià)為以下子問題交替求解

式(12)若直接使用數(shù)學(xué)求解的方式，存在計(jì)算復(fù)雜度高且模型性能不高的問題。受到ISTANet深度模型求解的啟發(fā)，本文針對(duì)上述3個(gè)子問題的求解做如下處理：對(duì)于x子問題，采用卷積神經(jīng)網(wǎng)絡(luò)(Convolutional Neural Network, CNN)實(shí)現(xiàn)；對(duì)b子問題，利用ISTA-Net，通過學(xué)習(xí)的方式對(duì)其進(jìn)行求解；對(duì)q子問題，在可學(xué)習(xí)的非局部網(wǎng)絡(luò)的基礎(chǔ)上進(jìn)行求解。本文模型的整體網(wǎng)絡(luò)結(jié)構(gòu)如圖1所示。接下來本文將對(duì)上述3個(gè)子問題的網(wǎng)絡(luò)結(jié)構(gòu)做詳細(xì)的介紹。

3.2.1 x子問題

對(duì)x子問題，其表達(dá)式為

如圖2所示，x子問題的求解是一個(gè)非線性重構(gòu)過程。利用CNN來實(shí)現(xiàn)此功能。該網(wǎng)絡(luò)包含5層，其中，除第1層和最后1層以外，中間3層的網(wǎng)絡(luò)結(jié)構(gòu)相同。中間層為大小為3× 3的卷積核，每一層輸出為32個(gè)通道下的特征圖。第1層是在初始重構(gòu)輸出上運(yùn)行的，它具有大小為3× 3的卷積核的32個(gè)特征圖，最后1層由大小為3× 3的32通道的單個(gè)濾波器組成。

圖2 x子問題的求解模型

3.2.2 b子問題

根據(jù)ISTA-Net的求解思路，存在非線性變換使得

針對(duì)上述b子問題的求解過程，其網(wǎng)絡(luò)結(jié)構(gòu)如圖3所示。

圖3 b子問題的模型結(jié)構(gòu)

對(duì)于b子問題的網(wǎng)絡(luò)，其中，每個(gè)階段的參數(shù)都是需要訓(xùn)練來進(jìn)行優(yōu)化的，其中，卷積層中卷積核的大小設(shè)置為3×3，特征圖的通道數(shù)為32，激活函數(shù)選擇ReLU。

3.2.3 q子問題

針對(duì)q子問題，本文采用非局部神經(jīng)網(wǎng)絡(luò)(Nonlocal Net)[28]的思想進(jìn)行求解。非局部神經(jīng)網(wǎng)絡(luò)是根據(jù)非局部均值方法的原理，實(shí)現(xiàn)了將某個(gè)位置的響應(yīng)計(jì)算為所有位置的特征的加權(quán)總和的非局部運(yùn)算，q子問題的模型結(jié)構(gòu)如圖4，其非局部模塊的結(jié)構(gòu)如圖5所示。

圖4 q子問題的模型結(jié)構(gòu)

對(duì)于q子問題，本文將其視為一個(gè)非線性優(yōu)化問題，通過非局部神經(jīng)網(wǎng)絡(luò)實(shí)現(xiàn)信號(hào)的重構(gòu)過程，該網(wǎng)絡(luò)參數(shù)如圖5所示。其中，θ, ψ, δ是 大小為1×1的卷積核，×表示張量乘積。輸入x和輸出z保持相同的維度。

圖5 非局部模塊結(jié)構(gòu)

3.3 損失函數(shù)

4 仿真結(jié)果及分析

4.1 實(shí)驗(yàn)參數(shù)設(shè)置

為了驗(yàn)證本文提出的網(wǎng)絡(luò)的有效性和圖像重構(gòu)質(zhì)量，本文的訓(xùn)練集采用與多個(gè)主流基于深度學(xué)習(xí)的重構(gòu)算法一致的數(shù)據(jù)集91image[16,19]，即有91張圖像的數(shù)據(jù)集，本文提取88912個(gè)隨機(jī)裁剪的圖像塊生成訓(xùn)練集，每個(gè)圖像塊的大小為33×33。對(duì)于測(cè)試集，本文選擇了3個(gè)廣泛使用的基準(zhǔn)數(shù)據(jù)集：Set5[29], Set11[16], BSD68[30]，分別含有5張、11張和68張灰度圖像。

本文所有實(shí)驗(yàn)均在Intel i7-8700K處理器、3.2 GHz主頻、15.6 GB內(nèi)存的計(jì)算下運(yùn)行，并使用GTX1080Ti GPU 進(jìn)行加速，操作系統(tǒng)為Ubuntu 16.04發(fā)行版。評(píng)價(jià)標(biāo)準(zhǔn)采用峰值信噪比(Peak Signal- to-Noise Ratio, PSNR)作為客觀的質(zhì)量評(píng)價(jià)指標(biāo)。

4.2 圖像重構(gòu)結(jié)果

在本文中，首先測(cè)試了Set11中8張大小為256× 256的常用灰度圖像，如圖6所示

圖6 測(cè)試圖像

為了驗(yàn)證所提網(wǎng)絡(luò)的有效性，本文在10%,20%和30%這3個(gè)采樣率下，將ReconNet, ISTANet, CSNet和SCSNet 4種算法作為對(duì)比算法繼續(xù)了測(cè)試。這4種算法均為當(dāng)前具有代表性的基于深度學(xué)習(xí)重構(gòu)算法。ReconNet是較早將卷積神經(jīng)網(wǎng)絡(luò)與壓縮感知相結(jié)合的圖像重構(gòu)算法，CSNet是首次將圖像的壓縮和重構(gòu)聯(lián)合進(jìn)行訓(xùn)練，以1層卷積層作為采樣，然后通過設(shè)計(jì)的重構(gòu)網(wǎng)絡(luò)實(shí)現(xiàn)圖像信號(hào)的準(zhǔn)確重構(gòu)，是當(dāng)前的一種優(yōu)秀的端到端重構(gòu)算法，其重構(gòu)性能也優(yōu)于當(dāng)前重構(gòu)算法。SCSNet則是在CSNet的基礎(chǔ)上提出的可實(shí)現(xiàn)多采樣率的圖像重構(gòu)網(wǎng)絡(luò)，其性能較CSNet更優(yōu)。ISTA-Net通過深度展開的方式建立了基于圖像先驗(yàn)的重構(gòu)網(wǎng)絡(luò)，其性能不亞于當(dāng)前的基于純深度學(xué)習(xí)的重構(gòu)算法。

表1給出了10%, 20%和30% 3種采樣率情況下的各個(gè)算法重構(gòu)圖像的PSNR值。從表1可以看出，本文模型重構(gòu)圖像的PSNR值相對(duì)比SCSNet算法具有相當(dāng)?shù)慕Y(jié)果并略高于SCSNet，明顯高于其他3種對(duì)比算法的PSNR值。在采樣率為20%時(shí)，本文提出的重構(gòu)網(wǎng)絡(luò)算法的PSNR均超過了其他3種重構(gòu)算法的結(jié)果，分別比Recon-Net, ISTA-Net+,CSNet和SCSNet平均提升7.47 dB, 1.70 dB, 1.98 dB和0.24 dB。也就是說，本文提出的重構(gòu)網(wǎng)絡(luò)性能優(yōu)于當(dāng)前的基于深度學(xué)習(xí)的重構(gòu)算法，是一種高效且準(zhǔn)確的圖像重構(gòu)網(wǎng)絡(luò)，在一定程度上實(shí)現(xiàn)了圖像信號(hào)的有效重構(gòu)。

表1 不同圖像下各種重構(gòu)算法的PSNR(dB)對(duì)比

為了對(duì)模型性能進(jìn)行更進(jìn)一步的評(píng)估，本文測(cè)試了3個(gè)數(shù)據(jù)集下的模型重構(gòu)效果，分別為Set5,Set11和BSD68，這3個(gè)數(shù)據(jù)集都是壓縮感知理論中廣泛使用的自然灰度圖像數(shù)據(jù)集。不同數(shù)據(jù)集下的重構(gòu)結(jié)果在表2給出，通過該表可知，在Set11和BSD68數(shù)據(jù)集下，本文的重構(gòu)網(wǎng)絡(luò)的平均PSNR高于其他4種重構(gòu)算法，在測(cè)試的采樣率與數(shù)據(jù)集下本文提出的重構(gòu)網(wǎng)絡(luò)的PSNR與當(dāng)前主流的重構(gòu)算法SCSNet相比平均提升了0.18 dB，與CSNet算法相比平均提升了約1.70 dB，與ISTA-Net+算法相比平均提升了約2.09 dB，與ReconNet算法相比平均提升了約5.70 dB。

表2 不同數(shù)據(jù)集下各種重構(gòu)算法的PSNR(dB)對(duì)比

為了更直觀地給出重構(gòu)圖像的對(duì)比結(jié)果，圖7給出了在10%的采樣率下，各個(gè)對(duì)比算法對(duì)圖像Parrots和House的重構(gòu)結(jié)果，圖8給出了在20%的采樣率下各個(gè)對(duì)比算法對(duì)圖像Monarch的重構(gòu)質(zhì)量。從圖中可以看出，ReconNet重構(gòu)出的圖像整體較為模糊，圖像紋理結(jié)構(gòu)不夠清晰，ISTA-Net+和CSNet能夠有效地重構(gòu)圖像，但I(xiàn)STA-Net+存在較強(qiáng)的塊效應(yīng)。SCSNet的重構(gòu)效果在CSNet的基礎(chǔ)上得到了進(jìn)一步的提升，重構(gòu)圖像具有更高的質(zhì)量。本文提出的算法重構(gòu)出的圖像相比于上述4種重構(gòu)算法具有更高的視覺質(zhì)量，圖像紋理更為清晰。綜上所述，本文提出的重構(gòu)算法是一種有效且準(zhǔn)確的重構(gòu)算法。

圖7 在10%采樣率情況下圖像Parrots和House的重構(gòu)圖像

圖8 在20%采樣率情況下圖像Monarch的重構(gòu)圖像

4.3 非局部模塊特征圖可視化分析

為了更直觀地展示出非局部網(wǎng)絡(luò)通過加權(quán)融合的不同信息，本文對(duì)非局部模塊中的特征圖進(jìn)行可視化分析。具體操作為提取非局部模塊最后一層的特征權(quán)重，做全局平均池化運(yùn)算后疊加原圖，如圖9所示，顏色相同的區(qū)域即為非局部相似區(qū)域，說明非局部模塊起到了非局部注意的作用，其通過計(jì)算各個(gè)位置上的相似度，有效提升了模型的效率和重構(gòu)效果。

圖9 非局部模塊特征圖

4.4 收斂性分析

為了衡量本文網(wǎng)絡(luò)的穩(wěn)定性，圖10(a)給出了在Set11數(shù)據(jù)集下不同采樣率的PSNR迭代變化曲線；圖10(b)給出了在20%采樣率下，本文算法、ISTA-Net+與ReconNet3種算法在本文所采用的訓(xùn)練集下重新訓(xùn)練后，在Set11數(shù)據(jù)集下的收斂曲線；圖10(c)給出了在20%采樣率Set11數(shù)據(jù)集下變量b和q的收斂曲線；圖10(d)給出了在20%采樣率訓(xùn)練時(shí)，損失函數(shù)中均方誤差損失和對(duì)稱約束損失的收斂曲線。隨著訓(xùn)練次數(shù)的增加，PSNR值逐漸趨于穩(wěn)定，損失函數(shù)收斂，模型能夠減小重構(gòu)誤差且滿足對(duì)稱約束，說明本文提出的重構(gòu)算法是一種穩(wěn)定有效的重構(gòu)算法。

圖10 算法收斂性分析

5 結(jié)束語

本文結(jié)合圖像先驗(yàn)信息和深度學(xué)習(xí)提出了一種基于非局部先驗(yàn)的深度圖像壓縮感知網(wǎng)絡(luò)，該網(wǎng)絡(luò)聯(lián)合訓(xùn)練測(cè)量矩陣和重構(gòu)網(wǎng)絡(luò)，本文利用卷積層模擬采樣過程，相比較傳統(tǒng)的采樣方式更利于進(jìn)行多個(gè)圖像塊訓(xùn)練，利用卷積層和像素洗牌進(jìn)行初始重構(gòu)，在深度圖像壓縮感知網(wǎng)絡(luò)中結(jié)合圖像稀疏先驗(yàn)和非局部相似性先驗(yàn)建立對(duì)應(yīng)的數(shù)學(xué)模型，然后利用半二次方分裂將其分解為多個(gè)子問題，每個(gè)子問題都在深度學(xué)習(xí)的框架下進(jìn)行求解。本文利用卷積神經(jīng)網(wǎng)絡(luò)、ISTA-Net和非局部網(wǎng)絡(luò)實(shí)現(xiàn)各個(gè)子問題的求解，最后聯(lián)合建立了一個(gè)完整的端到端的可訓(xùn)練的圖像壓縮重構(gòu)模型，本文提出的重構(gòu)網(wǎng)絡(luò)和其他主流的重構(gòu)算法相比具有較為明顯的質(zhì)量提升，同時(shí)整個(gè)框架既是可解釋的又保留了良好的數(shù)學(xué)特性。未來將基于本文工作，探索在視頻壓縮感知中的應(yīng)用。