一種基于卷積神經(jīng)網(wǎng)絡(luò)的圖像復(fù)原算法Match-Map

龔雪友，陶青川

（四川大學(xué)電子信息學(xué)院，成都 610065)

一種基于卷積神經(jīng)網(wǎng)絡(luò)的圖像復(fù)原算法Match-Map

龔雪友，陶青川

（四川大學(xué)電子信息學(xué)院，成都 610065)

傳統(tǒng)通過預(yù)測點擴展函數(shù)的圖像盲復(fù)原方法具有依賴于邊緣的缺點，這限制其在平滑圖像上的效果。提出一種基于卷積神經(jīng)網(wǎng)絡(luò)的圖像復(fù)原方法，通過訓(xùn)練兩個結(jié)構(gòu)相同的網(wǎng)絡(luò)Pre-Net和Iter-Net，分別實現(xiàn)模糊圖像特征分解和重構(gòu)清晰圖像的目的，從而達到省略傳統(tǒng)圖像復(fù)原方法中預(yù)測點擴展函數(shù)等中間步驟，直接進行圖像-圖像的復(fù)原效果。實驗證明，該方法具有良好的圖像盲復(fù)原效果，在一定程度上克服傳統(tǒng)圖像依賴邊緣特性的缺點。

圖像復(fù)原；卷積神經(jīng)網(wǎng)絡(luò)；盲復(fù)原

0 引言

在圖像生成過程中，相機抖動、對焦不準(zhǔn)確和相機本身質(zhì)量都會影響照片成像質(zhì)量，導(dǎo)致生成的照片模糊不清。這些模糊的產(chǎn)生在一定程度上限制了視頻監(jiān)控、醫(yī)療成像等領(lǐng)域的應(yīng)用。雖然可以通過使用專業(yè)輔助設(shè)備讓相機在拍照過程中保持穩(wěn)定或者通過精確對焦防止模糊產(chǎn)生，但是這種做法一方面并不能完全避免模糊的產(chǎn)生，另一方面需要一定的專業(yè)技術(shù)和拍攝經(jīng)驗，這對于普通用戶和自動拍照監(jiān)控設(shè)備來講，往往不能達到要求。因此，在獲取到模糊圖像后，利用軟件手段從中恢復(fù)出對應(yīng)的清晰圖像具有重要實用意義。目前雖然已經(jīng)出現(xiàn)許多圖像復(fù)原技術(shù)，但由于圖像模糊的復(fù)雜性和種類的多樣性，使得圖像的復(fù)原仍非常困難。

隨著GPU硬件技術(shù)的發(fā)展，深度學(xué)習(xí)方法在圖像識別、物體檢測、語音識別等領(lǐng)域取得優(yōu)于傳統(tǒng)方法的技術(shù)突破。圖像處理領(lǐng)域，基于卷積神經(jīng)網(wǎng)絡(luò)的技術(shù)也出現(xiàn)大膽嘗試。Li Xu[1]等人利用模糊先驗知識初始化權(quán)值，通過構(gòu)建兩部分神經(jīng)網(wǎng)絡(luò)實現(xiàn)圖像端對端非盲復(fù)原。但是該方法具有計算量大，對硬件技術(shù)要求高，速度慢等缺點。Christian J.Schuler[2]等人提出一種新的基于CNN的點擴展函數(shù)預(yù)測方法，但是該方法只適用于具有全局不變特性的模糊種類。Bolun Cai[3]等人將深度學(xué)習(xí)技術(shù)應(yīng)用到去霧任務(wù)，運用神經(jīng)網(wǎng)絡(luò)技術(shù)成功預(yù)測出中間圖像，結(jié)合傳統(tǒng)方法在去霧領(lǐng)域取得良好的效果。Leon A.Gatys[4]等人在VGG模型基礎(chǔ)上實現(xiàn)兩張圖像內(nèi)容和風(fēng)格的融合，獲得有趣的圖像融合結(jié)果。

本文參考Leon A.Gatys等人的技術(shù)，提出一種新的基于圖像內(nèi)容感知的圖像復(fù)原方法Match-Map。該方法構(gòu)基于VGG19模型，通過構(gòu)建兩個結(jié)構(gòu)相似的網(wǎng)絡(luò)Pre-Net和Iter-Net，分別實現(xiàn)模糊圖像特征分解和清晰圖像重構(gòu)目的。該方法主要分為兩個階段：第一階段網(wǎng)絡(luò)訓(xùn)練，主要目的是通過清晰圖像模糊圖像對的有監(jiān)督訓(xùn)練，調(diào)整Pre-Net權(quán)值，將Pre-Net訓(xùn)練成一個具有抗模糊效果的圖像特征提取網(wǎng)絡(luò)；第二階段圖像重構(gòu)，將模糊圖像輸入訓(xùn)練好的Pre-Net網(wǎng)絡(luò)提取魯棒特征，再將此特征作為標(biāo)準(zhǔn)內(nèi)容特征圖，指導(dǎo)Iter-Net迭代，最后復(fù)原出對應(yīng)的清晰圖像。本文提出的方法達到省略預(yù)測點擴展函數(shù)等中間步驟的目的，實現(xiàn)圖像-圖像的復(fù)原。實驗證明，本文提出的方法具有良好的圖像盲復(fù)原效果，在一定程度上克服了傳統(tǒng)圖像依賴邊緣特性的缺點。

圖1 Match-Map結(jié)構(gòu)

1 Match-Map結(jié)構(gòu)信息

VGG模型[5]在2014年ILSVRC分類任務(wù)中取得了第二名的成績，經(jīng)過后續(xù)的改進，VGG19將錯誤率降到25.5%。哈佛團隊使用4個NVIDIA Titan Black GPU并行訓(xùn)練，總共花費2-3周時間才將網(wǎng)絡(luò)訓(xùn)練成功。該模型除了具有良好分類作用之外，Leon A.Gatys等人還基于該模型成功分別將兩幅圖像的風(fēng)格和內(nèi)容融合，生成具有指定風(fēng)格和內(nèi)容的新圖像。

本文Match-Map采用的結(jié)構(gòu)主要由兩部分組成，分別命名為Pre-Net和Iter-Net。二者結(jié)構(gòu)相似，均由一系列卷積層、非線性映射層和下采樣層級聯(lián)而成。為了節(jié)省訓(xùn)練時間，本文選擇VGG模型作為Match-Map網(wǎng)絡(luò)的基礎(chǔ)，使用VGG19前3個層次的參數(shù)初始化Iter-Net和Pre-Net權(quán)值。如圖1所示，本文輸入訓(xùn)練樣本為184×184大小的彩色圖像，Block1、Block2結(jié)構(gòu)相同，分別包括兩個卷積層和非線性映射層，其中卷積核大小為3×3，卷積步長為1，非線性映射層使用ReLU[6]函數(shù)作為激活函數(shù)；Block3包含四個卷積層和下采樣層。與VGG19不同的是，Match-Map網(wǎng)絡(luò)沒有下采樣層。

2 訓(xùn)練數(shù)據(jù)準(zhǔn)備

本文采用有監(jiān)督學(xué)習(xí)的方法，使用成對的清晰樣本和模糊樣本訓(xùn)練Pre-Net。清晰圖片來主要自Cifar100和VOC07，少部分圖片來自于Fliker網(wǎng)站。如圖所示，圖片的內(nèi)容包含靜物、自然風(fēng)景、動物和人物圖像等。由于通過以上途徑獲取的圖片大小不一，且數(shù)量有限，為了滿足訓(xùn)練Pre-Net對樣本尺寸和數(shù)量的要求，本文將圖片統(tǒng)一裁剪成184×184大小，裁剪步長取40個像素。為了提高訓(xùn)練樣本的有效性，需要對裁剪后的樣本進行有效篩選，即將質(zhì)量不高（如不清晰、含較多噪聲等）的部分樣本摒棄。最后，原始圖片經(jīng)過裁剪和篩選，剩下約80k個訓(xùn)練樣本，這些樣本將用于訓(xùn)練Pre-Net。

圖3 裁剪后部分樣本

自然圖像模糊類型包括相機噪聲、長時曝光抖動、大氣散射等，本文假設(shè)圖像模糊模型為：

其中k表示模糊點擴散函數(shù)，x表示清晰圖像，n0表示噪聲，y表示對應(yīng)產(chǎn)生的模糊圖像。為了使Match-Map網(wǎng)絡(luò)能夠?qū)W習(xí)到盡可能多的模糊信息，訓(xùn)練樣本應(yīng)當(dāng)包含盡可能多的模糊類型。為此，模擬自然環(huán)境模糊，根據(jù)公式（1），本文將每幅清晰樣本圖像x分別與多種模糊核k進行卷積，并添加高斯隨機噪聲n0，形成相應(yīng)的模糊樣本y。其中模糊核k的類型包括高斯模糊、散焦模糊和運動模糊。通過以上模糊方法，本文從約80k張清晰樣本中獲得約240k個樣本對。

圖4 部分用于訓(xùn)練的清晰-模糊樣本對

此外，在后面的訓(xùn)練過程中，樣本對會隨機進行翻轉(zhuǎn)，以達到增加樣本多樣性的目的。

3 訓(xùn)練過程

訓(xùn)練階段，本文首先將清晰圖像X和模糊圖像Y分別輸入Iter-Net和Pre-Net，如公式（2）所示，分別得到二者各層的特征圖像f。

其中，l表示層數(shù)，i，j示特征圖序號，n表示l層特征圖數(shù)量，表示第l層對應(yīng)的權(quán)值表示偏置，*表示卷積運算，為特征圖。當(dāng)l=1時，f0=X，Y表示輸入圖像。

訓(xùn)練時，Iter-Net權(quán)值固定不變，其主要作用是通過公式 （2）將輸入圖像X分解為一系列特征圖像。 Pre-Net將模糊圖像Y分解為特征圖像并計算各層和之間的均方誤差ι。層間特征誤差ι計ll算公式如下：

總體損失函數(shù)LLOSS包含特征損失和正則化損失兩部分，計算公式如下：

其中，α、β分別表示特征損失和正則化損失兩部分損失因子系數(shù)，γl取值與層數(shù)有關(guān)，本文取γl=l/8。

其中，η表示學(xué)習(xí)速率，本文取η=0.01，適當(dāng)次數(shù)的迭代后，η←η/2，k為迭代次數(shù)。

訓(xùn)練時本文首先將全部訓(xùn)練樣本取值歸一化到[0，1]范圍，并將其順序打亂后按10:1比例隨機分為訓(xùn)練集和驗證集；mini-batch大小為50。

4 圖像復(fù)原過程

測試階段正好與訓(xùn)練階段相反。此階段Pre-Net權(quán)值保持固定不變，其主要作用是通過公式（2）將輸入模糊圖像y分解為具有模糊不敏感特性的特征圖于此同時，隨機初始化迭代圖像Iter-Net計算x0特征圖像。和之間的差異由公式（3）計算得出。

本文采用梯度下降的方法最小化損失函數(shù)，當(dāng)取得最小化損失時，X*即為從而從特征圖中恢復(fù)的清晰原圖。層間特征誤差對特征圖的反向求導(dǎo)方式如公式（7）所示：

運算°表示矩陣對應(yīng)位置上的元素相乘，sign表示符號函數(shù)。為了提高復(fù)原效果，輸入模糊圖像通常需要先經(jīng)過預(yù)處理。

5 部分復(fù)原結(jié)果

根據(jù)提出的方法，本文利用MATLAB系統(tǒng)對部分模糊圖像進行了復(fù)原實驗。圖5展示Li Xu[7]方法和本文方法復(fù)原邊緣信息豐富的模糊圖像的整圖結(jié)果和局部結(jié)果對比。結(jié)果表明，本文提出的方法在復(fù)原邊緣信息豐富的模糊圖像上具有良好的表現(xiàn)。圖6（a）圖片為出游拍攝的模糊圖片。圖6展示對比Li Xu[7]方法和本文方法在未知模糊種類的圖像上的復(fù)原結(jié)果。結(jié)果表明，本文提出的方法在邊緣信息不豐富的模糊圖像復(fù)原上具有優(yōu)于傳統(tǒng)盲復(fù)原方法的效果。

圖6 缺少邊緣信息圖像的復(fù)原效果對比

圖5 邊緣信息豐富的模糊圖像的復(fù)原效果對比

6 實驗結(jié)論

傳統(tǒng)圖像盲復(fù)原方法依賴于圖像邊緣信息，在具有較多邊緣信息的圖像中表現(xiàn)良好。對于缺少邊緣信息和具有非單一模糊特性的圖像，傳統(tǒng)盲復(fù)原方法的表現(xiàn)差強人意，并且，圖像的大小會直接影響傳統(tǒng)盲復(fù)原方法的效果。本文提出的圖像復(fù)原方法基于圖像內(nèi)容信息，在一定程度上克服了傳統(tǒng)盲復(fù)原方法過分依賴于圖像邊緣信息和圖像大小的缺點，能有效去除圖像模糊。將本文提出的方法和傳統(tǒng)盲復(fù)原方法相結(jié)合，能夠在缺少邊緣信息的圖像上取得良好的復(fù)原效果。

[1]Li Xu,Jimmy SJ.Ren,Ce Liu,Jiaya Jia.Deep Convolutional Neural Network for Image Deconvolution.NIPS,2014.

[2]Christian J.Schuler,Michael Hirsch,Stefan Harmeling.Bernhard Sch?lkopf.Learning to Deblur.arXiv:1406.7444.

[3]B.Cai,X.Xu,K.Jia,C.Qing,D.Tao.Dehazenet:An End-to-End System for Single Image Haze Removal.arXiv Preprint arXiv: 1601.07661,2016.

[4]Leon A.Gatys,Alexander S.Ecker,Matthias Bethge.A Neural Algorithm of Artistic Style.arXiv:1508.06576[cs.CV].

[5]Simonyan,K.&Zisserman.A.Very Deep Convolutional Networks for Large-Scale Image Recognition.arXiv:1409.1556,2015.

[6]Xavier Glorot,Antoine Bordes,Yoshua Bengio.Deep Sparse Rectifier Neural Networks.JMLR W&CP 15:315-323,2011.

[7]Li Xu,Jiaya Jia.Two-Phase Kernel Estimation for Robust Motion Deblurring.In:ECCV,pp.157-170,2010.

A New Image Deblur Algorithm Based on Convolutional Neural Network

GONG Xue-you，TAO Qing-chuan
（College of Electronic Information，Sichuan University，Chengdu 610065）

Proposes a new method named Match-Map for image deblur which trains a network named Pre-Net and keeping another network named Iter-Net still whose structure is the same with the Pre-Net.Respectively,decomposes the blurred image into feature maps and then reconstruct it to clean image depending on the feature maps.The proposed deblur method can skip the traditional step of estimate the point spread function （PSF）of blurred images and deblur the images directly.Experiments show that this method has a good blind image restoration effect.

Image Deblur;CNN;Blind Deblur

1007-1423（2017）09-0111-05

10.3969/j.issn.1007-1423.2017.09.025

龔雪友（1991-），女，四川瀘州人，碩士研究生，專業(yè)方向為電子與通信工程

2017-01-16

2017-03-10

陶青川（1972-），男，四川南充人，副教授，研究方向為模式識別與智能系統(tǒng)、計算機應(yīng)用與圖像識別