基于卷積神經(jīng)網(wǎng)絡(luò)的超分辨率失真控制圖像重構(gòu)研究

舒忠，鄭波兒

基于卷積神經(jīng)網(wǎng)絡(luò)的超分辨率失真控制圖像重構(gòu)研究

舒忠1,2，鄭波兒1

（1.荊楚理工學(xué)院 電子信息工程學(xué)院，湖北 荊門 448000；2.荊門融媒網(wǎng)絡(luò)科技有限公司，湖北 荊門 448000）

解決超分辨率圖像重構(gòu)模型中存在的功能單元之間關(guān)聯(lián)性差，圖像色度特征提取完整性不強(qiáng)、超分辨率重構(gòu)失真控制和采樣過程殘差控制偏弱等問題。通過在卷積神經(jīng)網(wǎng)絡(luò)模型引入雙激活函數(shù)，提高模型中各功能單元之間的兼容連接性；引用密集連接卷積神經(jīng)網(wǎng)絡(luò)構(gòu)建超分辨率失真控制單元，分別實(shí)現(xiàn)對(duì)4個(gè)色度分量進(jìn)行卷積補(bǔ)償運(yùn)算；將殘差插值函數(shù)應(yīng)用于上采樣單元中，使用深度反投影網(wǎng)絡(luò)規(guī)則實(shí)現(xiàn)超分辨率色度特征插值運(yùn)算。設(shè)計(jì)的模型集聯(lián)了內(nèi)部多個(gè)卷積核，實(shí)現(xiàn)了超分辨率色度失真補(bǔ)償，使用了統(tǒng)一的處理權(quán)值，確保了整個(gè)模型內(nèi)部組成單元的有機(jī)融合。相關(guān)實(shí)驗(yàn)結(jié)果驗(yàn)證了本文圖像重構(gòu)模型具有良好可靠性、穩(wěn)定性和高效性。

卷積神經(jīng)網(wǎng)絡(luò)；超分辨率；激活函數(shù)；轉(zhuǎn)置卷積；深度反投影網(wǎng)絡(luò)模型；圖像重構(gòu)

早期的圖像壓縮失真恢復(fù)方法通常以最近鄰域法和線性插值法為基礎(chǔ)并加以相應(yīng)的改進(jìn)，其失真恢復(fù)結(jié)果并不理想，以偽彩色和邊緣鋸齒效應(yīng)等現(xiàn)象表現(xiàn)最為突出[1]。隨著殘差插值方法[2-5]的提出，對(duì)基于偽彩色和邊緣鋸齒效應(yīng)的圖像壓縮失真現(xiàn)象起到較好的約束作用。近些年來，隨著深度學(xué)習(xí)字典在壓縮圖像重構(gòu)領(lǐng)域的廣泛應(yīng)用，特別是應(yīng)用卷積神經(jīng)網(wǎng)絡(luò)（Convolutional Neural Networks，CNN）通過設(shè)計(jì)2個(gè)或3個(gè)階段的圖像色度參數(shù)控制[6-8]，進(jìn)行壓縮編碼失真恢復(fù)處理；還有通過殘差插值與CNN結(jié)合的壓縮編碼失真控制[9-11]、超分辨率（Super-Resolution）圖像處理機(jī)制與CNN結(jié)合的壓縮編碼失真控制[12-14]等壓縮圖像重構(gòu)方法等。

以上基于殘差插值、基于CNN模型應(yīng)用和基于超分辨率處理三大類圖像重構(gòu)方法，處理機(jī)制的總體思想在本質(zhì)上是一致的，都是以分量為首要突破口，充分利用顏色分量的失真控制恢復(fù)經(jīng)驗(yàn)，指導(dǎo)其他顏色分量進(jìn)行恢復(fù)重構(gòu)。3種方法只關(guān)注了下采樣過程在圖像重構(gòu)中的重要性，忽視了對(duì)上采樣過程的影響因素。其中，基于殘差插值的圖像重構(gòu)過度依賴復(fù)雜的數(shù)學(xué)模型運(yùn)算，忽略了對(duì)機(jī)器學(xué)習(xí)模型存在優(yōu)勢(shì)的充分利用。基于CNN模型應(yīng)用和基于超分辨率處理2種圖像重構(gòu)方法則過度依賴CCN網(wǎng)絡(luò)模型的結(jié)構(gòu)優(yōu)勢(shì)，將色彩空間轉(zhuǎn)換采樣處理和圖像重構(gòu)處理融合在一起，使得CCN網(wǎng)絡(luò)模型結(jié)構(gòu)過度復(fù)雜。以上因素的存在，是本文開展相關(guān)研究的依據(jù)。

本文結(jié)合對(duì)基于殘差插值和基于深度學(xué)習(xí)的壓縮編碼圖像重構(gòu)原理的分析，以卷積神經(jīng)網(wǎng)絡(luò)為處理平臺(tái)，制定壓縮編碼圖像重構(gòu)策略。主要的研究目標(biāo)包括：減小卷積神經(jīng)網(wǎng)絡(luò)模型的構(gòu)建復(fù)雜度，提高處理效率；對(duì)圖像邊緣特征提取的損失進(jìn)行有效控制，提高圖像邊緣特征的描述準(zhǔn)確性；在圖像重構(gòu)的邊緣特征映射策略中，引入多次上采樣策略，提高上采樣圖像像素采集的準(zhǔn)確度；選取上采樣提取的有效圖像邊緣特征實(shí)現(xiàn)圖像重構(gòu)。

1 本文圖像重構(gòu)模型構(gòu)建

1.1 模型總體架構(gòu)

通過對(duì)當(dāng)前經(jīng)典的壓縮圖像重構(gòu)和失真控制策略進(jìn)行分析，本文提出的壓縮編碼圖像重構(gòu)模型，重點(diǎn)考慮2個(gè)方面的因素：由于圖像壓縮編碼后存在亮度和色度失真，因此壓縮圖像重構(gòu)消除失真影響最有效的環(huán)節(jié)應(yīng)在上采樣之前；由于卷積神經(jīng)網(wǎng)絡(luò)模型的層次結(jié)構(gòu)豐富，具有較大的可擴(kuò)展性，在應(yīng)用中會(huì)出現(xiàn)失真殘差值的梯度過度增大或梯度完全消失2種情況，將超分辨率圖像處理策略應(yīng)用于殘差計(jì)算，可以大幅簡(jiǎn)化卷積神經(jīng)網(wǎng)絡(luò)的層次結(jié)構(gòu)。本文設(shè)計(jì)的基于卷積神經(jīng)網(wǎng)絡(luò)的超分辨率失真控制重構(gòu)模型（Convolutional Neural Networks Super Resolution Model，CNN-SR-M）處理流程如圖1所示。

圖1 基于卷積神經(jīng)網(wǎng)絡(luò)的超分辨率失真控制重構(gòu)模型處理流程

1.2 模型構(gòu)建

1.2.1 圖像色度特征提取單元

CNN-SR-M模型各功能單元內(nèi)部結(jié)構(gòu)和處理策略如下：

圖像色度特征提取單元使用LeNet-5[15]作為基本的CNN模型，通過卷積運(yùn)算提取圖像色度特征，省去LeNet-5中的池化、全連接層結(jié)構(gòu)，該單元可以提取圖像各顏色通道的邊緣特征信息，本質(zhì)上就是需要對(duì)邊緣特征進(jìn)行殘差補(bǔ)償?shù)男畔ⅰＩ忍卣魈崛∈褂玫木矸e核激活函數(shù)采用Rectified Linear Unit（ReLU）[16]，ReLU優(yōu)于CNN模型中常用的Sigmoid和Tanh激活函數(shù)。ReLU的計(jì)算方法簡(jiǎn)單，通過設(shè)計(jì)有效的閾值就可以控制神經(jīng)元的開啟，不需要進(jìn)行復(fù)雜的導(dǎo)數(shù)求極值運(yùn)算，還可以獲取產(chǎn)生色度邊緣信息的稀疏特征；由于ReLU可以引入多個(gè)圖像樣本參與模型進(jìn)行訓(xùn)練，可以防止出現(xiàn)誤差過大產(chǎn)生的過擬合現(xiàn)象，避免了與正則化（Droupout）結(jié)合時(shí)而造成的兼容性差等問題。色度特征提取單元設(shè)計(jì)了2個(gè)卷積層，設(shè)定第2個(gè)卷積核的數(shù)量為第1個(gè)卷積核的2倍。定義圖像色度特征提取的輸出為(12)，壓縮編碼圖像的輸入為(12)，使用ReLU的激活函數(shù)的卷積層為()，Sigmoid激活函數(shù)卷積層為()。本文保留原始CNN模型中的Sigmoid激活函數(shù)卷積層()的原因是以保證CNN模型結(jié)構(gòu)設(shè)計(jì)的一致性，便于與CNN-SR-M模型中其他功能單元建立聯(lián)系，防止各功能單元之間完全獨(dú)立，影響各單元之間的兼容性連接。圖像色度特征提取單元的主要運(yùn)算規(guī)則為：

1.2.2 超分辨率失真控制單元

在超分辨率失真控制單元中，引用密集連接卷積神經(jīng)網(wǎng)絡(luò)模型（Densely Connected Convolutional Networks，DenseNet）的結(jié)構(gòu)框架，與圖像色度特征提取單元匹配，該單元也是由卷積層組成，使用Leaky ReLU激活函數(shù)和Sigmoid激活函數(shù)設(shè)計(jì)2類卷積層。定義其卷積層為()；使用Sigmoid激活函數(shù)的卷積層與圖像色度特征提取單元中的定義完全相同。超分辨率失真控制單元內(nèi)部密集連接卷積層組成結(jié)構(gòu)及處理流程如圖2所示。

圖2 超分辨率失真控制單元的內(nèi)部組成結(jié)構(gòu)和處理流程

1.2.3 上采樣單元

上采樣單元的核心目標(biāo)為將壓縮編碼后的12圖像映射為失真補(bǔ)償后的重構(gòu)圖像，包括制定12向色彩空間轉(zhuǎn)換的上采樣策略、向12色彩空間轉(zhuǎn)換的下采樣策略、設(shè)計(jì)上采樣殘差插值函數(shù)等過程，關(guān)鍵是將殘差插值函數(shù)應(yīng)用于上采樣中。在上采樣中，需要對(duì)生成的、、3個(gè)分量色度特征進(jìn)行超分辨率處理，針對(duì)空間坐標(biāo)維度的擴(kuò)大，不僅要提高3個(gè)分量色度特征圖的維度（橫縱2個(gè)方向的尺寸），還要對(duì)增加的空間坐標(biāo)維度的像素點(diǎn)進(jìn)行特征值插值，特征插值就是通過殘差插值函數(shù)完成的。上采樣單元通過設(shè)計(jì)一個(gè)卷積層()用于上、下采樣的信息交換，主要是獲取上采樣和下采樣的權(quán)重分配控制參數(shù)，特別是上采樣對(duì)色度特征的增強(qiáng)控制；設(shè)計(jì)一個(gè)轉(zhuǎn)置卷積層()，主要用于上采樣過程對(duì)各個(gè)色度分量特征的維度進(jìn)行擴(kuò)大，對(duì)下采樣過程各個(gè)色度分量特征的維度進(jìn)行縮小。除引入一個(gè)Sigmoid卷積層()與整個(gè)CNN-SR-M模型其他功能單元建立聯(lián)系外，()和()卷積層使用Parametric Rectified Linear Unit（PReLU）作為激活函數(shù)。使用PReLU激活函數(shù)的原因主要是充分應(yīng)用了其更強(qiáng)的自適應(yīng)性，實(shí)現(xiàn)對(duì)處理權(quán)值的靈活控制。依據(jù)以上對(duì)上采樣單元主要功能的論述，在設(shè)計(jì)的上采樣單元中應(yīng)包含上采樣子單元、下采樣子單元、殘差插值函數(shù)和Sigmoid卷積層，其總體結(jié)構(gòu)如圖3a所示，上采樣子單元和下采樣子單元的內(nèi)部結(jié)構(gòu)如圖3b和圖3c所示。

本文上采樣色度特征圖維度擴(kuò)展選擇了轉(zhuǎn)置卷積（Transposed Convolution）實(shí)現(xiàn)拼接，轉(zhuǎn)置卷積根據(jù)對(duì)卷積運(yùn)算核的維度控制，實(shí)現(xiàn)色度特征的維度進(jìn)行擴(kuò)展，其擴(kuò)展只涉及特征圖的維度，與特征圖的值無關(guān)；同時(shí)，可以非常方便地在基于CNN的模型中進(jìn)行部署。上采樣色度特征值的插值運(yùn)算選擇了深度反投影網(wǎng)絡(luò)（Deep Back-Projection Networks，DBPN）方法。DBPN插值方法同時(shí)針對(duì)上采樣和下采樣2個(gè)過程進(jìn)行迭代運(yùn)算，依據(jù)前一次迭代運(yùn)算產(chǎn)生的采樣誤差，對(duì)下一次迭代運(yùn)算進(jìn)行修正，在CNN等機(jī)器學(xué)習(xí)模型中實(shí)現(xiàn)對(duì)誤差的最小化控制。圖3所示的上采樣單元設(shè)計(jì)，應(yīng)用轉(zhuǎn)置卷積拼接進(jìn)行超分辨率色度特征圖空間擴(kuò)展，應(yīng)用DBPN插值運(yùn)算進(jìn)行超分辨率色度特征插值運(yùn)算。

圖3 上采樣單元的總體組成結(jié)構(gòu)和處理流程

依據(jù)圖3所示的上采樣單元處理流程，針對(duì)上采樣和下采樣子單元，在定義()和()卷積層的基礎(chǔ)上，還需要定義一個(gè)下采樣子單元卷積層()，在此，()轉(zhuǎn)置卷積層本質(zhì)上就是上采樣子單元卷積層。針對(duì)上采樣單元的總體結(jié)構(gòu)模型，定義整個(gè)上采樣單元卷積層為()，其卷積核使用PReLU作為激活函數(shù)；定義上采樣子單元為()，以轉(zhuǎn)置卷積運(yùn)算為核心；定義下采樣子單元為()，激活函數(shù)同為PReLU。上采樣單元的處理過程可以表示為：

1.2.4 色度特征融合單元

色度特征融合單元的主要功能是將經(jīng)過上采樣單元完成失真補(bǔ)償后特征圖映射為圖像，也就是依據(jù)圖像特征重構(gòu)完整圖像，其實(shí)現(xiàn)方法也較為簡(jiǎn)單。本文方法是在CNN模型中通過構(gòu)建卷積層直接完成。

2 實(shí)驗(yàn)與討論

2.1 實(shí)驗(yàn)方案

本文實(shí)驗(yàn)使用的計(jì)算機(jī)處理器為AMD Ryzen 5 5600G with Radeon Graphics 3.90 GHz，內(nèi)存為16.0 GB，操作系統(tǒng)為Windows10，64位，使用的實(shí)驗(yàn)軟件為Matlab2014a。實(shí)驗(yàn)選用LeNet-5模型作為卷積神經(jīng)網(wǎng)絡(luò)的預(yù)訓(xùn)練模型，使用Stanford Dogs Dataset犬類圖像數(shù)據(jù)集、CompCars汽車類圖像數(shù)據(jù)集、Flowers花卉類圖像數(shù)據(jù)集、Home Objects客廳類圖像數(shù)據(jù)集作為模型的測(cè)試數(shù)據(jù)集，以提高構(gòu)建模型的泛化精度。LeNet-5模型的輸入層—隱層—輸出層的節(jié)點(diǎn)分配分別為10—6—1。其中，隱層中第1層的神經(jīng)元設(shè)置為8個(gè)，后續(xù)層神經(jīng)元設(shè)置為8遞增；最小訓(xùn)練速度為0.9，盡量取最大值，但能夠保持訓(xùn)練過程的權(quán)重分配變化和收斂變化適中；模型訓(xùn)練的迭代次數(shù)設(shè)置為100，迭代步長為1。預(yù)訓(xùn)練模型通過對(duì)以上3個(gè)圖像數(shù)據(jù)集進(jìn)行訓(xùn)練，完成模型的正則化，驗(yàn)證以上超參數(shù)設(shè)置的準(zhǔn)確性，確保實(shí)驗(yàn)中重構(gòu)圖像的可靠性和準(zhǔn)確性。

實(shí)驗(yàn)內(nèi)容主要包括：在超分辨率失真控制單元中，對(duì)選擇Leaky ReLU和ReLU激活函數(shù)構(gòu)建卷積核的性能進(jìn)行比較驗(yàn)證，對(duì)選擇LeNet-5模型和DenseNet模型構(gòu)建卷積網(wǎng)絡(luò)模型的性能進(jìn)行比較驗(yàn)證，對(duì)構(gòu)建模型的處理權(quán)重的取值進(jìn)行驗(yàn)證；在上采樣單元中，對(duì)選擇張量拼接和轉(zhuǎn)置卷積2種上采樣色度特征圖維度擴(kuò)展方法進(jìn)行比較分析，對(duì)選擇漸進(jìn)式采樣和深度反投影網(wǎng)絡(luò)2種上采樣色度特征插值方法進(jìn)行比較分析；本文設(shè)計(jì)的CNN-SR-M模型與文獻(xiàn)[3]、文獻(xiàn)[8]、文獻(xiàn)[11]、文獻(xiàn)[17]和文獻(xiàn)[18] 5種經(jīng)典和較新的圖像重構(gòu)失真控制方法進(jìn)行比較分析。實(shí)驗(yàn)結(jié)果評(píng)價(jià)指標(biāo)詳見以上實(shí)驗(yàn)中的相關(guān)論述。

2.2 結(jié)果與討論

2.2.1 超分辨率失真控制性能評(píng)價(jià)

在表1～3統(tǒng)計(jì)的實(shí)驗(yàn)數(shù)據(jù)中，使用Leaky ReLU激活函數(shù)構(gòu)建DenseNet模型時(shí)，對(duì)失真補(bǔ)償?shù)男畔⒆疃啵ㄟ^使用高斯平滑濾波器對(duì)失真補(bǔ)償后的色度特征圖進(jìn)行檢測(cè)，補(bǔ)償信息均為有效高頻信息，不存在噪聲。失真補(bǔ)償后的色度特征圖的PSNR也在35以上，由于針對(duì)的檢測(cè)對(duì)象為圖像特征信息，因此，設(shè)定的PSNR的有效值為≥35，如果是針對(duì)完整的圖像，PSNR的有效值應(yīng)為≥40。在DenseNet模型使用權(quán)值的檢測(cè)中，當(dāng)=0時(shí)，統(tǒng)計(jì)數(shù)據(jù)表明，處理過程不僅沒有對(duì)失真進(jìn)行補(bǔ)償，還造成了色度特征的大量損失；當(dāng)=0.2和=0.3時(shí)，失真補(bǔ)償后的色度特征圖的PSNR均在35以上，=0.2時(shí)效果最佳；當(dāng)=0.2～0.8時(shí)，起到了色度特征補(bǔ)償?shù)淖饔茫已a(bǔ)償效果依次下降；當(dāng)=0.9和=1.0時(shí)，也會(huì)造成色度特征的小幅損失。表1統(tǒng)計(jì)的實(shí)驗(yàn)數(shù)據(jù)直觀地體現(xiàn)了本文設(shè)計(jì)的超分辨率失真控制單元，起到了色度特征補(bǔ)償?shù)淖饔茫诙鄠€(gè)不同類型的圖像測(cè)試中，其失真補(bǔ)償控制具有良好的可靠性和穩(wěn)定性。

表1 使用不同激活函數(shù)和卷積網(wǎng)絡(luò)模型的色度特征補(bǔ)償統(tǒng)計(jì)數(shù)據(jù)

Tab.1 Statistical data on chromaticity feature compensation using different activation functions and convolutional network models

表2 使用不同激活函數(shù)和卷積網(wǎng)絡(luò)模型的失真控制質(zhì)量評(píng)價(jià)數(shù)據(jù)

Tab.2 Quality evaluation data for distortion control using different activation functions and convolutional network models

表3 使用不同卷積權(quán)重對(duì)色度特征失真補(bǔ)償控制的質(zhì)量評(píng)價(jià)數(shù)據(jù)

Tab.3 Quality evaluation data on chromaticity feature distortion compensation control using different convolutional weights

圖4 使用Leaky ReLU激活函數(shù)構(gòu)建DenseNet模型采集的圖像色度邊緣特征圖

2.2.2 上采樣色度特征維度擴(kuò)展與色度特征插值性能評(píng)價(jià)

表4 使用不同上采樣維度擴(kuò)展和色度特征插值組合的重構(gòu)圖像與原圖像平均誤差檢測(cè)結(jié)果

Tab.4 Average error detection results of reconstructed images and original images using different upsampling dimension extensions and chromaticity feature interpolation combinations

表5 使用不同上采樣維度擴(kuò)展和色度特征插值組合的原圖像與重構(gòu)圖像SSIM值有效性檢測(cè)結(jié)果

Tab.5 Effectiveness detection results of SSIM values for original and reconstructed images using different upsampling dimension extensions and chromaticity feature interpolation combinations

注：如果滿足0≤((,))≤1、0≤(y(,))≤1即為yes，否則為no。

表6 使用不同上采樣維度擴(kuò)展和色度特征插值組合的原圖像與重構(gòu)圖像SSIM值對(duì)稱性檢測(cè)結(jié)果

Tab.6 Detection results of SSIM value symmetry between original and reconstructed images using different upsampling dimension extensions and chromaticity feature interpolation combinations

注：如果滿足(y(,),(,))=((,),y(,))即為yes，否則為no。

表7 使用不同上采樣維度擴(kuò)展和色度特征插值組合的重構(gòu)圖像SSIM值檢測(cè)結(jié)果

Tab.7 Reconstructed image SSIM value detection results using different upsampling dimension extensions and chromaticity feature interpolation combinations

2.2.3 圖像重構(gòu)失真控制性能評(píng)價(jià)

表8 6種圖像重構(gòu)失真控制方法的輸入圖像和重構(gòu)圖像之間標(biāo)準(zhǔn)差測(cè)試統(tǒng)計(jì)結(jié)果

Tab.8 Statistical results of standard deviation test between input image and reconstructed image for six image reconstruction distortion control methods

表9 6種圖像重構(gòu)失真控制方法的輸入圖像和重構(gòu)圖像之間平均梯度比測(cè)試統(tǒng)計(jì)結(jié)果

Tab.9 Statistical results of average gradient ratio test between input image and reconstructed image for six image reconstruction distortion control methods

表10 6種圖像重構(gòu)失真控制方法的復(fù)合峰值信噪比測(cè)試統(tǒng)計(jì)結(jié)果

Tab.10 Statistical results of composite peak signal-to-noise ratio test for six image reconstruction distortion control methods

表11 6種圖像重構(gòu)失真控制方法的視覺敏感度檢測(cè)結(jié)構(gòu)相似度測(cè)試統(tǒng)計(jì)結(jié)果

Tab.11 Statistical results of visual sensitivity detection structure similarity test for six image reconstruction distortion control methods

表12 6種圖像重構(gòu)失真控制方法完成圖像重構(gòu)處理時(shí)間的測(cè)試統(tǒng)計(jì)結(jié)果

Tab.12 Statistical results of image reconstruction processing time for six image reconstruction distortion control methods

基于視覺敏感度檢測(cè)的結(jié)構(gòu)相似度值的計(jì)算方法為：

表8～12統(tǒng)計(jì)的數(shù)據(jù)非常直觀地表明，本文設(shè)計(jì)的CNN-SR-M模型在圖像重構(gòu)的性能、失真控制和處理效率方面都具有一定的優(yōu)勢(shì)。

3 結(jié)語

本文通過對(duì)殘差插值、殘差插值與深度學(xué)習(xí)融合、殘差插值與超分辨率處理融合的壓縮編碼圖像重構(gòu)原理進(jìn)行分析，充分復(fù)用卷積層在圖像色度特征提取方面的優(yōu)勢(shì)，結(jié)合超分辨率處理在圖像色度殘差插值失真控制方面的優(yōu)勢(shì)，設(shè)計(jì)了CNN-SR-M針對(duì)圖像壓縮編碼的重構(gòu)模型。相關(guān)研究工作得出以下結(jié)論：

1）圖像色彩空間轉(zhuǎn)換中的上采樣過程非常重要。

2）壓縮編碼色度特征殘差損失計(jì)算處理與色度特征超分辨率強(qiáng)化處理之間需要進(jìn)行關(guān)聯(lián)，壓縮編碼色度特征與失真強(qiáng)化色度特征也需要實(shí)現(xiàn)相關(guān)。

3）圖像重構(gòu)失真控制需要引入去池化處理機(jī)制，并對(duì)全連接層進(jìn)行改進(jìn)。

4）完整的CNN-SR-M模型需要保證各功能單元中的激活函數(shù)應(yīng)具有兼容性、處理權(quán)重可統(tǒng)一進(jìn)行分配。

5）圖像重構(gòu)上采樣特征圖維度擴(kuò)展應(yīng)采用轉(zhuǎn)置卷積，色度特征值的插值效果可依據(jù)峰值信噪比作為評(píng)判指標(biāo)，殘差插值函數(shù)設(shè)計(jì)中應(yīng)包含失真控制殘差插值和模型的處理權(quán)值。

通過對(duì)CNN-SR-M模型中3個(gè)主要組成單元的性能進(jìn)行實(shí)驗(yàn)檢測(cè)，客觀評(píng)價(jià)指標(biāo)和主觀視覺感受的統(tǒng)計(jì)結(jié)果表明，本文制定的基于卷積神經(jīng)網(wǎng)絡(luò)的超分辨率失真控制圖像重構(gòu)策略，在實(shí)際應(yīng)用中具有良好可靠性、穩(wěn)定性和高效性。

后續(xù)研究工作的主要方向：提高圖像色度特征提取的精準(zhǔn)性；通過下采樣實(shí)現(xiàn)圖像色度及色度特征的精細(xì)劃分；強(qiáng)化超分辨率處理與色度失真插值運(yùn)算之間的關(guān)系。

[1] HUA L, XIE L, CHEN H. A Color Interpolation Algorithm for Bayer Pattern Digital Cameras Based on Green Components and Color Difference Space[C]// In Proceedings of the 2010 IEEE Interna-tional Conference on Progress in Informatics and Computing. New York: IEEE, 2010: 791-795.

[2] KIKU D, MONNO Y, TANAKA M, et al. Beyond Color Difference: Residual Interpolation for Color Image Demosaicking[J]. IEEE Transactions on Image Processing, 2016, 25(3): 1288-1300.

[3] MONNO Y, KIKU D, TANAKA M, et al. Adaptive Residual Interpolation for Color and Multispectral Image Demosaicking[J]. Sensors, 2017, 17(12): 2787.

[4] 夏皓, 呂宏峰, 羅軍, 等. 圖像超分辨率深度學(xué)習(xí)研究及應(yīng)用進(jìn)展[J]. 計(jì)算機(jī)工程與應(yīng)用, 2021, 57(24): 51-60.

XIA H, LYU H F, LUO J, et al. Survey on Deep Learning Based Image Super-Resolution[J]. Computer Engineering and Applications, 2021, 57(24): 51-60.

[5] 王海琳, 韓正昊, 李力, 等. 基于殘差和高頻替換的SONY-RGBW陣列彩色重構(gòu)方法[J]. 激光與光電子學(xué)進(jìn)展, 2021, 58(20): 66-78.

WANG H L, HAN Z H, LI L, et al. Residual and High-Frequency Replacement Based Color Reconstruction Method for SONY-RGBW Array[J]. Laser & Optoelectronics Progress, 2021, 58(20): 66-78.

[6] TAN R, ZHANG K, ZUO W, et al. Color Image Demosaicking Via Deep Residual Learning[C]// In Proceedings of the 2018 International Conference on Multimedia and Expo. New York: IEEE, 2018: 6-18.

[7] CUI K, JIN Z, STEINBACH E. Color Image Demosaicking Using a 3-stage Convolutional Neural Network Structure[C]// In Proceedings of the 2018 IEEE International Conference on Image Processing. New York: IEEE, 2018: 2177-2181.

[8] WANG Y, YIN S, ZHU S, et al. NTSDCN: New Three Stage Deep Convolutional Image Demosaicking Network[J]. IEEE Transactions on Circuits and Systems for Video Technology(Early Access), 2020, 31(9): 3725-3729.

[9] SHI W, CABALLERO J, HUSZáR F, et al. Real-Time Single Image and Video Super-Resolution Using an Efficient Sub-Pixel Convolutional Neural Network[C]// In Proceedings of the 2016 IEEE International Conference on Computer Vision and Pattern Recognition. New York: IEEE, 2016: 1874-1883.

[10] 湯漫, 楊斌. 基于快速殘差插值和卷積神經(jīng)網(wǎng)絡(luò)的去馬賽克算法[J]. 南華大學(xué)學(xué)報(bào)(自然科學(xué)版), 2019, 33(6): 68-76.

TANG M, YANG B. Efficient Demosaicking Algorithm Based on Residual Interpolation and Convolution Neural Network[J]. Journal of University of South China (Science and Technology), 2019, 33(6): 68-76.

[11] LIU L, JIA X, LIU J, et al. Joint Demosaicing and Denoising with Self Guidance[C]// In Proceedings of the 2020 IEEE International Conference on Computer Vision and Pattern Recognition. New York: IEEE, 2020: 2240-2249.

[12] 馬昊宇, 徐之海, 馮華君, 等. 基于小遞歸卷積神經(jīng)網(wǎng)絡(luò)的圖像超分辨算法[J]. 光子學(xué)報(bào), 2018, 47(4): 0410004.

MA H Y, XU Z H, FENG H J, et al. Image Super-Resolution Based on Tiny Recurrent Convolutional Neural Network[J]. Acta Photonica Sinica, 2018, 47(4): 185-193.

[13] FENG L, ZHANG X. A Dual-Network Based Super-Resolution for Compressed High Definition Video[C]// In Proceedings of the 2018 Advances in Multimedia Information Processing. New York: IEEE, 2018: 600-610.

[14] CHEN H G, HE X H, REN C, et al. CISRDCNN: Super-Resolution of Compressed Images Using Deep Convolutional Neural Networks[J]. Neurocomputing, 2018, 285(4):204-219.

[15] 王濟(jì)民, 魏怡, 周宇, 等. 基于LeNet-5卷積神經(jīng)網(wǎng)絡(luò)和顏色特征的限速標(biāo)志識(shí)別[J]. 計(jì)算機(jī)科學(xué), 2021, 48(S02): 345-350.

WANG J M, WEI Y, ZHOU Y, et al. Speed Limit Sign Recognition Based on LeNet-5 CNN and Color Feature[J]. Computer Science, 2021, 48(S2): 345-350.

[16] CHAITY B, TATHAGATA M, EDUARDO P J. Feature Representations Using the Reflected Rectified Linear Unit(RReLU) Activation[J]. Big Data Mining and Analytics, 2020, 3(2): 102-120.

[17] 潘澤民, 覃亞麗, 鄭歡, 等. 基于深度神經(jīng)網(wǎng)絡(luò)的塊壓縮感知圖像重構(gòu)[J]. 計(jì)算機(jī)科學(xué), 2022, 49(S2): 510-518.

PAN Z M, QIN Y L, ZHENG H, et al. Block-Based Compressed Sensing of Image Reconstruction Based on Deep Neural Netork[J]. Computer Science, 2022, 49(S2): 510-518.

[18] 鄭鎧濤, 李海艷, 甘華權(quán), 等. 基于低秩約束和全變分正則化的CUP-VISAR壓縮圖像重構(gòu)算法[J]. 強(qiáng)激光與粒子束, 2023, 35(7): 74-82.

ZHENG K T, LI H Y, GAN H Q, et al. CUP-VISAR Image Reconstruction Based on Low-Rank Prior Andtotal-Variation Regularization[J]. High Power Laser and Particle Beams, 2023, 35(7): 74-82.

[19] 黃友文, 唐欣, 周斌. 結(jié)合雙注意力和結(jié)構(gòu)相似度量的圖像超分辨率重建網(wǎng)絡(luò)[J]. 液晶與顯示, 2022, 37(3): 367-375.

HUANG Y W, TANG X, ZHOU B. Image Super-Resolution Reconstruction Network with Dual Attention and Structural Similarity Measure[J]. Chinese Journal of Liquid Crystals and Displays, 2022, 37(3): 367-375.

Image Reconstruction of Super-resolution Distortion Control Based on Convolutional Neural Network

SHU Zhong1,2, ZHENG Bo'er1

(1. School of Electronic Information Engineering, Jingchu University of Technology, Hubei Jingmen 448000, China; 2. Jingmen Rongmei Network Technology Co., Ltd., Hubei Jingmen 448000, China)

The work aims to solve problems of poor correlation between functional units, weak completeness of image chromaticity feature extraction, weak distortion control in super-resolution reconstruction, and residual control in sampling process in super-resolution image reconstruction models. By introducing the double activation function into the convolutional neural network model, the compatibility and connectivity between the functional units in the model were improved. A super-resolution distortion control unit was constructed using a dense connected convolutional neural network to perform convolutional compensation operations on four chromatic components, respectively. The residual interpolation function was applied to the upsampling unit and deep backprojection network rules were used to achieve super-resolution chromaticity feature interpolation operations. The designed model set combined multiple convolutional kernels internally to achieve super-resolution chromaticity distortion compensation. A unified processing weight was used to ensure the organic fusion of the internal components of the entire model. In conclusion, the relevant experimental results verify that the image reconstruction model proposed in this paper has good reliability, stability, and efficiency.

convolutional neural networks; super resolution; activation function; transposed convolution; deep back-projection networks (DBPN); image reconstruction

TP391.41；TP183；TS80

A

1001-3563(2024)07-0222-12

10.19554/j.cnki.1001-3563.2024.07.028

2023-04-15

湖北省荊門市科學(xué)技術(shù)研究與開發(fā)計(jì)劃重點(diǎn)項(xiàng)目（2023YFZD056）