基于局部均方差的神經(jīng)網(wǎng)絡(luò)圖像風(fēng)格轉(zhuǎn)換

鄭茗化 白本督 范九倫 魏雅娟 焦瑞芳

關(guān)鍵詞： 圖像處理; 圖像風(fēng)格化轉(zhuǎn)換; 深度學(xué)習(xí); 卷積神經(jīng)網(wǎng)絡(luò); 特征提取; 局部均方差

中圖分類號(hào)： TN958?34; TP751.1 ? ? ? ? 文獻(xiàn)標(biāo)識(shí)碼： A ? ? ? ? ? ? ? ? ? ? ? ? ?文章編號(hào)： 1004?373X（2019）14?0144?04

Neural network image style transfer based on local mean square error

ZHENG Minghua1，2，3， BAI Bendu1，2，3， FAN Jiulun1，2，3， WEI Yajuan1，2，3， JIAO Ruifang1，2，3

（1. School of Communications and Information Engineering， Xian University of Posts & Telecommunications， Xian 710121， China;

2. Key Laboratory for Electronic Information Investigation Application Technology of Ministry of Public Security， Xian 710121， China;

3. International Cooperation Research Center of Wireless Communication and Information Processing Technology of Shaanxi Province， Xian 710121， China）

Abstract： Gatys and others first use the deep learning?based method to separate and reorganize the contents and styles of images， so that image style can be transformed arbitrarily， which opens up a new field of image style transformation based on neural networks. On the basis of the research of Gatys and others， the local mean square error denoising method is introduced in this paper. The local mean square error is taken as part of the neural network loss function， and the weighted algebraic sum of the three loss functions is taken as the total loss function of the neural network by combining the content loss function and style function. The results show that the method proposed in this paper can effectively improve the image quality output by the style transformation algorithm while performing image style transformation， which makes image noise points significantly reduced and produces smoother images.

Keywords： image processing; image style transformation; deep learning; convolutional neural network; feature extraction; local mean square error

圖像風(fēng)格轉(zhuǎn)換，本質(zhì)上是使圖像由當(dāng)前風(fēng)格轉(zhuǎn)換成另一種風(fēng)格。圖像風(fēng)格轉(zhuǎn)換的傳統(tǒng)方法是基于計(jì)算機(jī)圖形學(xué)的非真實(shí)感渲染（NPR）。非真實(shí)感渲染技術(shù)自出現(xiàn)到現(xiàn)在一直是圖形學(xué)研究的熱點(diǎn)問題，經(jīng)過無數(shù)專家學(xué)者的努力，已經(jīng)取得了一系列的成果。非真實(shí)感渲染是一種模仿人類藝術(shù)表現(xiàn)的計(jì)算機(jī)圖形技術(shù)，自20世紀(jì)90年代以來一直被研究[1]。大多數(shù)研究工作都集中在具體風(fēng)格的表達(dá)上，如畫家風(fēng)格、筆墨和水彩畫。 這些是基于筆畫的渲染（SBR）方法，該方法使用筆觸筆畫作為基本元素[2]，各種風(fēng)格可以通過對(duì)每個(gè)畫筆筆畫進(jìn)行建模來表達(dá)。然而，每種風(fēng)格都需要一種獨(dú)特的繪畫方法，因此在單個(gè)框架中表示各種風(fēng)格并不容易[3]。Gatys等人首次使用深度學(xué)習(xí)中的卷積神經(jīng)網(wǎng)絡(luò)來進(jìn)行圖像風(fēng)格化轉(zhuǎn)換[4]，其核心是利用神經(jīng)網(wǎng)絡(luò)來分離與組合任意圖像的內(nèi)容和風(fēng)格?；鞠敕ㄊ抢靡粋€(gè)多層的卷積神經(jīng)網(wǎng)絡(luò)抽象出給定圖像里一些高級(jí)的隱藏特征來模仿圖像風(fēng)格，并把這個(gè)風(fēng)格應(yīng)用到一個(gè)新的圖像上。而在紋理轉(zhuǎn)換領(lǐng)域，傳統(tǒng)方法之所以沒能取得這么驚人的效果，其本質(zhì)原因在于，非深度學(xué)習(xí)的方法只能獲取到目標(biāo)圖像低層次的圖像特征。所以這些方法無法獨(dú)立地對(duì)圖像的語義內(nèi)容和風(fēng)格的變化進(jìn)行有效的建模，從而無法很好地對(duì)兩者進(jìn)行解耦和合成。而深度神經(jīng)網(wǎng)絡(luò)之所以可以在眾多領(lǐng)域中取得驚人效果，正是由于其可以抽取出高層次的信息表征。

1 ?基于深度學(xué)習(xí)的圖像風(fēng)格化轉(zhuǎn)換

以不同的風(fēng)格呈現(xiàn)圖像的語義內(nèi)容是一個(gè)困難的圖像處理任務(wù)。Gatys使用卷積神經(jīng)網(wǎng)絡(luò)提取的圖像表示，進(jìn)而提出一種基于神經(jīng)網(wǎng)絡(luò)的圖像藝術(shù)風(fēng)格轉(zhuǎn)換方法。這種方法可以分離和重組圖像的內(nèi)容和風(fēng)格，同時(shí)能夠產(chǎn)生高感知質(zhì)量的新圖像，將任意圖像的內(nèi)容與許多著名作品的風(fēng)格相結(jié)合。

將風(fēng)格從一個(gè)圖像轉(zhuǎn)移到另一個(gè)圖像可以被認(rèn)為是紋理轉(zhuǎn)化的問題。在紋理轉(zhuǎn)化中，從源圖像合成紋理，同時(shí)約束紋理合成以保留目標(biāo)圖像的語義內(nèi)容。關(guān)于紋理合成，存在大量強(qiáng)大的非參數(shù)方法，可以通過對(duì)給定源紋理的像素進(jìn)行重新采樣來合成逼真的自然紋理[5?7]。大多數(shù)紋理傳輸算法依靠這些非參數(shù)方法進(jìn)行紋理合成，同時(shí)使用不同的方法來保留目標(biāo)圖像的結(jié)構(gòu)。這些算法雖然取得了顯著的效果，但是都存在相同的局限性，即在紋理轉(zhuǎn)化中只使用了目標(biāo)圖像的低級(jí)語言內(nèi)容。因此，為了解決此問題，首先要找到能夠體現(xiàn)圖像語義內(nèi)容和風(fēng)格的圖像表示。深度學(xué)習(xí)通過組合低層特征形成更加抽象的高層特征，尤其是卷積神經(jīng)網(wǎng)絡(luò)在提取圖像高級(jí)語義特征方面表現(xiàn)出了優(yōu)異的效果。Gatys等人使用VGG網(wǎng)絡(luò)[8]來提取圖像高級(jí)語義特征，該網(wǎng)絡(luò)用于進(jìn)行目標(biāo)識(shí)別和定位[9]。Gatys等人使用由19層VGG網(wǎng)絡(luò)、16個(gè)卷積和5個(gè)池化層所提供的特征空間，同時(shí)采用平均匯總的圖像合成方式來代替最大池合并的方式，可以產(chǎn)生更有吸引力的結(jié)果。Gatys等人通過VGG網(wǎng)絡(luò)分別來獲取目標(biāo)圖像的內(nèi)容表示和風(fēng)格表示，并將一張白噪聲圖像作為原始輸入，利用監(jiān)督學(xué)習(xí)的方法使白噪聲圖像的內(nèi)容表示和風(fēng)格表示分別與內(nèi)容圖像的內(nèi)容表示和風(fēng)格圖像的風(fēng)格表示相匹配，并使用梯度下降的方法來進(jìn)行優(yōu)化[10]。

損失函數(shù)的數(shù)學(xué)模型如下：

[Ltotal=αLcontent+βLstyle] （1）

式中：[Lcontent]為內(nèi)容損失函數(shù);[Lstyle]為風(fēng)格損失函數(shù);[α]和[β]分別為內(nèi)容損失函數(shù)和風(fēng)格損失函數(shù)的權(quán)重，此二者加權(quán)求和即為總的損失函數(shù)。

1.1 ?圖像內(nèi)容表示的獲取

在VGG卷積神經(jīng)網(wǎng)絡(luò)中，每個(gè)卷積層都有一組非線性濾波器（卷積核），[l]層具有[Nl]個(gè)濾波器，每個(gè)濾波器的尺寸為[Ml]。其復(fù)雜程度也隨著網(wǎng)絡(luò)層的深入而遞增。通過對(duì)輸入圖像[x]的濾波，將網(wǎng)絡(luò)每個(gè)層級(jí)的響應(yīng)存儲(chǔ)在矩陣[Fl∈RNl×Ml]中。Gatys等人用這些濾波器的響應(yīng)作為圖像的內(nèi)容表示，以平方誤差函數(shù)[Lcontent]來表示白噪聲圖像與目標(biāo)圖像在網(wǎng)絡(luò)中的同級(jí)濾波器響應(yīng)之間的差距。用[Flij]表示第[l]層的第[i]組濾波器的第[j]個(gè)濾波器的響應(yīng)，[p]表示內(nèi)容圖像。

[Lcontent（p，x，l）=12ij（Flij-plij）] ? （2）

通過梯度下降的方法來不斷減小白噪聲圖像與原圖像在卷積神經(jīng)網(wǎng)絡(luò)的某個(gè)網(wǎng)絡(luò)層中產(chǎn)生的響應(yīng)之間的差距，使得白噪聲圖像與原圖像的內(nèi)容表示相匹配。

1.2 ?圖像風(fēng)格表示的獲取

為了獲取圖像的風(fēng)格表示，Gatys等人使用一種特征空間來獲取圖像的紋理信息，作為圖像的風(fēng)格表示[11]。該特征空間建立在每一層濾波器的響應(yīng)之上，包含不同濾波器響應(yīng)之間的互相關(guān)信息，這些特征互相關(guān)信息可由Gram矩陣得到：

[Glij=kFlikFljk] （3）

使用均方誤差作為白噪聲圖像和風(fēng)格圖像的Gram矩陣之間的差異（El），使用梯度下降的方法進(jìn)行優(yōu)化，進(jìn)而匹配白噪聲圖像和風(fēng)格圖像之間的風(fēng)格表示。

[El=14N2lM2lij（Glij-Alij）2] ? ?（4）

所以風(fēng)格損失函數(shù)[Lstyle]為：

[Lstyle（a，x）=l=0LwlEl] （5）

進(jìn)而利用梯度下降法來優(yōu)化：

[?El?Flij=1N2lM2l（（Fl）T（Gl-Al））ji， ?Flij>00， ? ? ? ? ? ? ? ? ? ? ? ? ? ? ? ? ? ? ? ? ? ? ? ? else] ? （6）

1.3 ?圖像風(fēng)格轉(zhuǎn)換

基于已經(jīng)獲取的圖像的風(fēng)格表示和內(nèi)容表示， Gatys等人使用內(nèi)容表示和風(fēng)格表示的聯(lián)合誤差函數(shù)[Ltotal]作為風(fēng)格化的誤差函數(shù)來得到風(fēng)格化圖像。該方法使得白噪聲圖像的內(nèi)容表示和風(fēng)格表示分別與內(nèi)容圖像的內(nèi)容表示和風(fēng)格圖像的風(fēng)格表示相匹配。

[Ltotal（p，a，x）=αLcontent（p，x）+βLstyle（a，x）] ?（7）

為了對(duì)誤差函數(shù)進(jìn)行優(yōu)化，這里使用L?BFGS[12]算法，該算法非常適合圖像合成。通過優(yōu)化該誤差函數(shù)，最終可以將白噪聲圖像既與內(nèi)容圖像的內(nèi)容表示相匹配，又與風(fēng)格圖像的風(fēng)格表示相匹配，最終得到風(fēng)格化圖像。

2 ?基于局部均方差的圖像去噪聲算法

在轉(zhuǎn)換與傳輸?shù)倪^程中，圖像獲取常受到圖像設(shè)備自身因素與外界環(huán)境條件的影響，導(dǎo)致所成圖像上出現(xiàn)一些隨機(jī)離散或孤立的點(diǎn)，即圖像噪聲。含有噪聲的圖像會(huì)影響視覺效果，也會(huì)給后續(xù)圖像分析造成不利影響。為了抑制噪聲，改善圖像質(zhì)量所進(jìn)行的處理稱為圖像去噪。去噪的方法主要分為空間域去噪和頻域去噪，空間域方法是對(duì)圖像各像素點(diǎn)的灰度直接進(jìn)行運(yùn)算;頻域方法是對(duì)圖像進(jìn)行變換后，在變換域中對(duì)圖像參數(shù)進(jìn)行運(yùn)算，然后通過逆變換得到增強(qiáng)的圖像?？臻g去噪方法的原理是對(duì)圖像中一個(gè)鄰域內(nèi)的所有像素進(jìn)行特定的操作，進(jìn)而產(chǎn)生一個(gè)新像素，這個(gè)新像素就是空間濾波的結(jié)果。基于局部均方差的圖像去噪聲算法屬于空間域去噪方法，是在像素級(jí)別對(duì)圖像進(jìn)行操作。對(duì)于一幅N×M大小的灰度圖像，用[mij]表示（i，j）位置處的像素值，那么在（2n+1）×（2m+1）窗口內(nèi)部的局部平均值為：

[mij=1（2n+1）（2m+1）k=i-nn+il=j-mm+jxkl] （8）

局部均方差可表示為：

[vij=1（2n+1）（2m+1）k=i-nn+il=j-mm+jxkl-mij2] ? （9）

加性去噪后的結(jié)果為：

[xij=（1-k）mij+kxij] ?（10）

[k=vijvij+σ] ?（11）

方差在統(tǒng)計(jì)學(xué)中表示的是與中心偏離的程度，用來衡量數(shù)據(jù)的波動(dòng)性大小。局部均方差去噪方法使得圖像中鄰近像素點(diǎn)的像素值更加接近，可以有效地去除噪聲像素點(diǎn)。

3 ?基于局部均方差的神經(jīng)網(wǎng)絡(luò)圖像風(fēng)格轉(zhuǎn)換

3.1 ?算法改進(jìn)

在基于卷積神經(jīng)網(wǎng)絡(luò)的圖像風(fēng)格轉(zhuǎn)換算法中，Gatys等人的算法在提取圖像的高級(jí)語義內(nèi)容和風(fēng)格內(nèi)容時(shí)，都是用靠近輸出層的響應(yīng)來作為圖像的語義內(nèi)容表示和風(fēng)格表示。通過該方法合成的圖像常帶有大量的高頻噪聲，即圖像有許多或明或暗的顆粒像素。神經(jīng)網(wǎng)絡(luò)中， 學(xué)習(xí)規(guī)則是網(wǎng)絡(luò)的關(guān)鍵， 通過修正權(quán)系數(shù)， 以獲得滿意的系統(tǒng)性能。所以神經(jīng)網(wǎng)絡(luò)模型的效果與損失函數(shù)的選取有著極大的關(guān)聯(lián)。本文在此基礎(chǔ)上，提出結(jié)合卷積神經(jīng)網(wǎng)絡(luò)與局部均方差去噪方法來進(jìn)行圖像風(fēng)格化轉(zhuǎn)換的方法。使得神經(jīng)網(wǎng)絡(luò)學(xué)習(xí)到的圖像中鄰近像素點(diǎn)的像素值相近，以達(dá)到去除圖像中的噪聲，改善圖像質(zhì)量與視覺效果的目的。本文將局部均方差作為基于神經(jīng)網(wǎng)絡(luò)圖像風(fēng)格轉(zhuǎn)換的損失函數(shù)之一，即總的損失函數(shù)為圖像內(nèi)容損失函數(shù)、圖像風(fēng)格損失函數(shù)與圖像局部均方差，這三個(gè)損失函數(shù)的加權(quán)代數(shù)和。局部均方差損失函數(shù)為：

[Llmse=1（2n+1）（2m+1）k=i-nn+il=j-mm+jxkl-mij2] （12）

新的總損失函數(shù)為：

[Ltotal=αLcontent+βLstyle+γLlmse] （13）

式中，[α]，[β]，[γ]分別為內(nèi)容圖像損失函數(shù)、風(fēng)格圖像損失函數(shù)、局部均方差函數(shù)的權(quán)重。

3.2 ?算法流程

算法流程圖如圖1所示。

?

1） VGG?19網(wǎng)絡(luò)模型在提取圖像特征方面有著顯著的效果。本算法使用該網(wǎng)絡(luò)模型分別對(duì)內(nèi)容圖像和風(fēng)格圖像做語義內(nèi)容特征提取和風(fēng)格提取。整個(gè)模型在卷積層采用3×3濾波器，步長為2;在池化層采用2×2池化窗口，步長為2。

2） 經(jīng)過多次實(shí)驗(yàn)調(diào)試參數(shù)，本算法采用如下參數(shù)：內(nèi)容損失函數(shù)權(quán)重為5;風(fēng)格損失函數(shù)權(quán)重為100;局部均方差函數(shù)權(quán)重為100;神經(jīng)網(wǎng)絡(luò)的學(xué)習(xí)速率為100;迭代次數(shù)為1 500次。

3） 將內(nèi)容圖像和風(fēng)格圖像作為神經(jīng)網(wǎng)絡(luò)的輸入，同時(shí)對(duì)一張白噪聲圖像以梯度下降的尋優(yōu)方法不斷迭代來最小化總損失函數(shù)，輸出合成的風(fēng)格轉(zhuǎn)換圖像，對(duì)比Gatys等人的算法輸出。

基于局部均方差去噪的神經(jīng)網(wǎng)絡(luò)圖像風(fēng)格轉(zhuǎn)換算法，對(duì)各種內(nèi)容圖像和風(fēng)格圖像進(jìn)行風(fēng)格轉(zhuǎn)換實(shí)驗(yàn)。結(jié)果表明，基于局部均方差去噪的神經(jīng)網(wǎng)絡(luò)圖像風(fēng)格轉(zhuǎn)換算法在原有算法的基礎(chǔ)上對(duì)目標(biāo)損失函數(shù)進(jìn)行改進(jìn)，融入了局部均方差作為新的損失函數(shù)的一部分，在圖像風(fēng)格轉(zhuǎn)換的同時(shí)提升了圖像的質(zhì)量，使得圖像中的噪聲點(diǎn)明顯減少，圖像視覺效果更佳。

4 ?實(shí)驗(yàn)結(jié)果與分析

對(duì)比圖2c）和圖2d）中的紅框部分可以明顯地看出，本文方法輸出圖像的樓身窗口處的噪聲點(diǎn)明顯減少。

對(duì)比圖3c）和圖3d）中的紅框部分可以看出，本文方法輸出圖像中鞋子以及人臉部分更加清晰，同時(shí)墻體磚縫更加明顯。

對(duì)比圖4c）和圖4d）中的紅框部分可以看出，本文方法輸出圖像質(zhì)量更高，左側(cè)山體部分圖像更加平滑，視覺效果更佳。對(duì)比圖5c）和圖5d）中的紅框部分可以看出，本文方法輸出圖像中樹木部分更加平滑，圖像整體視覺效果上更加清晰。

5 ?結(jié) ?語

基于局部均方差去噪的神經(jīng)網(wǎng)絡(luò)圖像風(fēng)格轉(zhuǎn)換算法是在Gatys等人的算法基礎(chǔ)上提出的一種改進(jìn)算法。該算法在實(shí)現(xiàn)圖像風(fēng)格轉(zhuǎn)換的同時(shí)提升了圖像質(zhì)量。在使用神經(jīng)網(wǎng)絡(luò)進(jìn)行圖像風(fēng)格轉(zhuǎn)換時(shí)，通常采用靠近輸出層的圖像高級(jí)語義表示，缺少靠近輸入層的低級(jí)像素信息。所以導(dǎo)致圖像質(zhì)量不佳，噪聲點(diǎn)較多等問題。實(shí)驗(yàn)結(jié)果表明，本文通過增加局部均方差作為損失函數(shù)的一部分，使得輸出圖像的鄰近像素值相近，避免出現(xiàn)大量噪聲點(diǎn)，大大提升了輸出圖像質(zhì)量。

參考文獻(xiàn)

[1] HAEBERLI P. Paint by numbers： abstract image representations [J]. ACM SIGGRAPH computer graphics， 1990， 24（4）： 207?214.

[2] HERTZMANN A. Tutorial： a survey of stroke?based rendering [J]. IEEE computer graphics and applications， 2003， 23（4）： 70?81.

[3] KANG D， KONG P， YOON K， et al. Directional texture transfer for video [J]. Multimedia tools & applications， 2015， 74（1）： 245?258.

[4] GATYS L A， ECKER A S， BETHGE M. Image style transfer using convolutional neural networks [C]// Proceedings of 2016 IEEE Conference on Computer Vision and Pattern Recognition. Las Vegas： IEEE， 2016： 2414?2423.