基于深度學習的圖像恢復技術(shù)研究與實現(xiàn)

陸佳磊 張永健

摘要：針對現(xiàn)有的基于傳統(tǒng)算法的圖像恢復技術(shù)無法有效地恢復出高質(zhì)量圖像問題，本文提出了基于深度學習技術(shù)的圖像恢復方法。對現(xiàn)有的圖像恢復網(wǎng)絡(luò)進行改進，總體網(wǎng)路模型基于生成對抗網(wǎng)絡(luò)，其中生成網(wǎng)絡(luò)總體結(jié)構(gòu)基于UNet網(wǎng)絡(luò)，對上采樣下采樣的次數(shù)作調(diào)整，根據(jù)數(shù)據(jù)集的特點，減少了網(wǎng)絡(luò)的下采樣次數(shù)，防止因為網(wǎng)絡(luò)的層數(shù)過多導致的特性信息的流失。特征提取模塊中加入密集網(wǎng)絡(luò)的特征提取模塊，在減少網(wǎng)絡(luò)參數(shù)的同時提升提取特征的能力。數(shù)據(jù)集使用了經(jīng)過光加密系統(tǒng)后的CGH（Computer Generated Holograms）計算生成全息圖作為生成的噪聲圖像，并使用本文提出深度學習方法對該測試集進行恢復，對恢復的結(jié)果使用PSNR和SSIM指標進行評價，結(jié)果顯示本文提出算法的有效性能。綜上可知，本文算法所實現(xiàn)的模型能夠有效地對現(xiàn)有的受損圖像恢復并且恢復出高質(zhì)量的圖像，對圖像恢復領(lǐng)域有著較高的實用價值和意義。

關(guān)鍵詞：圖像恢復;深度學習;圖像去噪;計算生成全息圖;圖像光加密

中圖分類號：TP391? ? 文獻標識碼： A

文章編號：1009-3044（2021）14-0164-02

在如今信息技術(shù)高度發(fā)展的時代，信息安全變得尤為重要，光加密作為一種可靠的圖像加密技術(shù)具有安全，高效等特點。在光加密系統(tǒng)中，隨機相位掩膜面積有限，為一截斷純相位模板，因此傅立葉譜不可能是一純相位函數(shù)，故生成的圖像具有嚴重的圖像噪聲。直接對數(shù)據(jù)集使用光加密系統(tǒng)的噪聲圖像使用深度學習去噪需要大量的數(shù)據(jù)樣本，無法達到實際使用的要求。

計算全息技術(shù)是光學技術(shù)與計算機技術(shù)結(jié)合的產(chǎn)物，通過計算機對于三維虛擬物體的光波和參考光的干涉進行模擬計算，通過波前調(diào)制設(shè)備加載干涉條紋重現(xiàn)三維虛擬物體。對數(shù)據(jù)集使用計算全息圖后在使用圖像加密系統(tǒng)對圖像進行加密，計算全息圖生成的圖像特征類似，使用深度學習技術(shù)只需要學習相似的圖像特征，這就能克服需要大量的數(shù)據(jù)樣本來學習圖像權(quán)重恢復圖像的缺點，通過這種方法只需要少量的數(shù)據(jù)樣本就能對解密后的噪聲圖像進行恢復。

基于傳統(tǒng)的圖像去噪算法對受損嚴重的圖像無法有效的去噪。現(xiàn)有的深度學習算法如DnCNN和一些去霧去雨的網(wǎng)絡(luò)針對的數(shù)據(jù)集噪聲簡單，而本文的噪聲干擾較為嚴重，需要對特征提取模塊和網(wǎng)絡(luò)的總體結(jié)構(gòu)重新設(shè)計來達到去除圖像噪聲的目的。

1 相關(guān)工作

本文數(shù)據(jù)集通過仿真實驗生成數(shù)據(jù)集。在生成數(shù)據(jù)的過程中，預先使用數(shù)據(jù)集轉(zhuǎn)化為CGH圖，再將CGH圖像通過光加密系統(tǒng)加密解密，最后生成的解密圖像伴隨嚴重的噪聲干擾，通過深度學習技術(shù)對解密后的噪聲圖去噪，恢復出高質(zhì)量的無噪聲圖。

本文去噪技術(shù)的實現(xiàn)使用深度學習算法，其中網(wǎng)絡(luò)基于GAN[1]（Generative Adversarial Networks）生成對抗網(wǎng)絡(luò)對圖像進行去噪，與傳統(tǒng)的深度學習模型不同的，生成對抗網(wǎng)絡(luò)由生成網(wǎng)絡(luò)和判別網(wǎng)絡(luò)兩個部分組合而成，生成網(wǎng)絡(luò)的參數(shù)更新根據(jù)判別網(wǎng)絡(luò)而來。判別網(wǎng)絡(luò)和生成網(wǎng)絡(luò)通過交替更新參數(shù)的方式訓練，最后達到一個納什平衡，生成最優(yōu)的圖像。生成網(wǎng)絡(luò)擬合出接近于原圖像的數(shù)據(jù)分布，可以生成質(zhì)量較高的圖像，在本文中，通過對抗訓練的方式去除圖像的噪聲，最后擬合出高質(zhì)量的無噪聲圖像。

生成網(wǎng)絡(luò)基于UNet[2]拓撲結(jié)構(gòu)，通過控制UNet網(wǎng)絡(luò)的下采樣參數(shù)來調(diào)整網(wǎng)絡(luò)的最優(yōu)結(jié)果。為了增加網(wǎng)絡(luò)的性能，受到Dense Block[3]密集網(wǎng)絡(luò)模塊啟發(fā)，在網(wǎng)絡(luò)的特征提取模塊中加入了特征提取模塊提升網(wǎng)絡(luò)的性能。

根據(jù)EfficientNet[4]的啟發(fā)，影響網(wǎng)絡(luò)性能主要有三個指標，即網(wǎng)絡(luò)的深度，網(wǎng)絡(luò)的寬度和分辨率直接影響著網(wǎng)絡(luò)的性能。網(wǎng)路的深度通過堆疊卷積層的數(shù)量實現(xiàn)，網(wǎng)絡(luò)的寬度通過對不同尺度下的特征圖提取特征實現(xiàn)，Inception V3中通過對輸入的特征圖使用不同尺度的卷積核提取了特征的方式來增強網(wǎng)絡(luò)的寬度。而網(wǎng)絡(luò)的分辨率可以通過選擇下采樣的方式來控制，例如通過采樣最大池化層和通過設(shè)置卷積核的步長來控制分辨率因素。基于該理論，本文通過深度參數(shù)來控制網(wǎng)絡(luò)的深度，使用卷積核的方式會造成圖像的失真問題，通過設(shè)置下采樣的方式為最大池化層提取最有表征能力的特征。

2 網(wǎng)絡(luò)模型搭建

針對本文中CGH噪聲圖像特點，如何提取出圖像中的有效特征信息是一個具有挑戰(zhàn)性的問題，本文中的特征提取模塊加入密集網(wǎng)絡(luò)模塊，每個密集網(wǎng)絡(luò)模塊使用由5個卷積層和歸一化層、激活函數(shù)層基本構(gòu)件Base Block組合而成。使用BN（Batch normalization）層[5]可以加快網(wǎng)絡(luò)的收斂速度，同時可以防止過擬合的過程，但是這也造成了網(wǎng)絡(luò)中的參數(shù)過多。基于像素級別的圖像恢復算法需要大量的網(wǎng)絡(luò)參數(shù)來提升網(wǎng)絡(luò)的性能，這樣造成的網(wǎng)絡(luò)的訓練速度過慢，在模型中的加入1×1的卷積可以在不影響網(wǎng)絡(luò)性能的情況下減少網(wǎng)絡(luò)的參數(shù)，此外1×1的卷積可以對網(wǎng)絡(luò)的通道進行非線性的融合，提升網(wǎng)絡(luò)的擬合能力。故每個Dense Block由2組Base Block和一個1×1的卷積組合而成。生成網(wǎng)絡(luò)的總體網(wǎng)絡(luò)結(jié)構(gòu)基于UNet，原始的UNet網(wǎng)絡(luò)對輸入的特征圖做4次的下采樣，其原理基于圖像金字塔理論，通過特征圖的變換提取不同尺度下特征圖的特征信息，提升網(wǎng)絡(luò)的魯棒性。

而針對不同的數(shù)據(jù)集的特點應該控制下采樣的次數(shù)，在本文的數(shù)據(jù)集中，下采樣次數(shù)的增強會造成網(wǎng)絡(luò)中卷積層數(shù)的增加，這樣會導致特性信息的流失，同時，會造成網(wǎng)絡(luò)的參數(shù)過多。在實驗的過程中發(fā)現(xiàn)了將下采樣次數(shù)控制在2次的情況下生成最優(yōu)的圖像質(zhì)量。

生成網(wǎng)絡(luò)的結(jié)構(gòu)圖如圖1所示，將噪聲圖像輸入到生成網(wǎng)絡(luò)中，生成網(wǎng)絡(luò)經(jīng)過3個Dense Block提取特征，該過程中對特征圖做兩次的下采樣。相應的將特征圖經(jīng)過兩次上采樣恢復出原圖像的尺度大小，在上采樣和下采樣的對應維度特征圖下通過skip concat跳躍連接來共享特性圖的信息流，這樣保證特征信息能在網(wǎng)絡(luò)中有效地傳遞。恢復出高質(zhì)量的圖像。最后生成網(wǎng)絡(luò)輸出去噪后的干凈圖像。

3 實驗過程與結(jié)果

3.1模型的訓練過程

本文的網(wǎng)絡(luò)模型搭建基于tensorflow1.0框架，實驗中使用Rtx 2080ti訓練數(shù)據(jù)集，實驗的數(shù)據(jù)使用26個英文字母，每種英文字母使用50張不同的圖像共1300張作為訓練集，其中測試每種英文字母使用5種不同的圖像作為測試集。

在訓練的過程中，控制初始學習率為0.001，在訓練的過程中學習率指數(shù)衰減的方式自適應的變換。在經(jīng)過50萬輪次的學習過后，損失函數(shù)下降趨于平穩(wěn)。此時訓練結(jié)束。

訓練的結(jié)果如圖2所示，從左往右開始，第一張為經(jīng)過光學加密系統(tǒng)的二值圖像，第二張為經(jīng)過本文對抗網(wǎng)絡(luò)訓練后算法去噪后的圖像，第三張為原CGH圖。第四張為原始圖像，第五張為經(jīng)過去噪后重現(xiàn)的CGH圖像，第六張為原始CGH重現(xiàn)后的圖像。

3.2圖像評價指標

本文算法使用了SSIM和PSNR作為實驗的去噪后的參考指標。結(jié)果使用BM3D傳統(tǒng)算法和本文算法進行了對比，其數(shù)據(jù)指標結(jié)果如表1所示。從指標數(shù)據(jù)可以得知本文去噪算法的有效性。

4 結(jié)束語

本文主要提出了針對光學圖像加密和CGH圖像的嚴重噪聲干擾圖像的去噪方法。通過重新設(shè)計特征提取模塊和設(shè)計網(wǎng)絡(luò)的拓撲結(jié)構(gòu)來提升網(wǎng)絡(luò)的性能。使用了基于密集網(wǎng)絡(luò)的模塊結(jié)構(gòu)來提取圖像中的有效特征信息。針對網(wǎng)絡(luò)訓練過程中圖像的參數(shù)過多的問題，使用了1×1的卷積在不影響網(wǎng)絡(luò)性能的前提下來減少網(wǎng)絡(luò)的參數(shù)。通過仿真實驗來生成深度學習的訓練集和測試集，通過觀察去噪后的結(jié)果證明本文算法對于去除受到嚴重噪聲干擾的圖像的有效性。

參考文獻：

[1] Isola P，Zhu J Y，Zhou T H，et al.Image-to-image translation with conditional adversarial networks[C]//2017 IEEE Conference on Computer Vision and Pattern Recognition （CVPR）.July 21-26，2017，Honolulu，HI，USA.IEEE，2017：5967-5976.

[2] Huang G，Liu Z，van der Maaten L，et al.Densely connected convolutional networks[C]//2017 IEEE Conference on Computer Vision and Pattern Recognition （CVPR）.July 21-26，2017，Honolulu，HI，USA.IEEE，2017：2261-2269.

[3] He K M，Zhang X Y，Ren S Q，et al.Deep residual learning for image recognition[C]//2016 IEEE Conference on Computer Vision and Pattern Recognition （CVPR）.June 27-30，2016，Las Vegas，NV，USA.IEEE，2016：770-778.

[4] Tan M X，le Q V.EfficientNet：rethinking model scaling for convolutional neural networks[EB/OL].2019

[5] S. Ioffe and C. Szegedy. Batch normalization： Accelerating deep network training by reducing internal covariate shift. In Proceedings of The 32nd International Conference on Machine Learning （ICML），2015：448-456.

【通聯(lián)編輯：梁書】