基于Sobel 濾波器的圖像風格轉換算法

陳志鵬，鄭文秀，黃瓊丹

（西安郵電大學通信與信息工程學院，西安 710121）

0 概述

圖像風格轉換是指將一張藝術圖像［1］的風格轉換到內容圖像上?；谔卣髌ヅ洌?-4］的方法在處理傳統圖像風格轉換問題時，耗時長且效果不佳。卷積神經網絡能夠較好地理解圖像語義信息并提取圖像特征。文獻［5-6］將深度學習應用在圖像風格轉換［7-8］中，使用卷積神經網絡提取內容圖像和風格圖像的特征，并利用Gram 矩陣計算風格特征之間的相似性以實現圖像風格的遷移。由于Gram 矩陣計算整幅圖相似性的效果不佳，因此研究人員對該算法進行改進以得到更高質量的結果圖像。文獻［9］使用局部均方差減少圖像的噪聲。文獻［10］提出加入直方圖損失控制生成圖像的穩定性。文獻［11］使用馬爾科夫條件隨機場將特征分成許多小塊，對小塊進行特征匹配保留更優的局部信息。文獻［12］利用新的紋理生成方法Grammian，保留紋理的空間排列信息，生成更高質量的結果圖像。生成對抗網絡（GenerativeAdversarial Network，GAN）［13-14］使用生成器模型進行圖像風格轉換，實現多對多的快速風格轉換。文獻［15］在損失中加入均值和方差［16］以約束圖像的生成，但是生成圖像存在塊狀效果。文獻［17］利用自動顯著性指導風格轉化方法對內容圖像中視覺突出的物體進行風格轉換。文獻［18］通過編解碼的網格結構進行圖像風格轉換，并加入HED 網絡結構提取內容圖像的邊緣信息以減少圖像扭曲。

本文提出一種基于Sobel 濾波器的圖像風格轉換算法，通過Sobel 濾波器提取內容圖像特征圖的邊緣信息，并與生成圖像特征圖的邊緣信息進行匹配計算兩者差值作為新的損失，使得生成圖像保留更多內容圖像的細節信息，避免出現圖像扭曲。

1 基于深度學習的圖像風格轉換

深度學習通過卷積神經網絡提取圖像特征，將低層特征組合成更抽象的高層信息。深度學習的圖像風格轉換［19］有3 個輸入，包括內容圖像、風格圖像、結果圖像（一張白噪聲圖像）。文獻［8］使用VGG 19［20］提取圖像的高層語義信息，將內容圖像信息和風格圖像信息進行分離并重組到結果圖像上，實現圖像風格轉換。

文獻［8］使用VGG19 提取特征，其是由16 個卷積層和3 個全連接層組成。在圖像風格轉換中刪除最后的全連接層，使用前面訓練好的16 個卷積層提取特征，并使用平均池化代替最大池化以提高圖像質量。研究人員利用反向傳播算法將結果圖像中的內容信息和風格信息與輸入的內容圖像和風格圖像信息相匹配。

1.1 內容圖像的損失

卷積神經網絡中每個卷積層都有一組卷積核提取圖像特征以生成特征圖。隨著網絡深度的增加，卷積核的個數也在增加。分別為內容圖像和生成的結果圖像，Pl和Fl分別為在第l卷積層上的特征圖，Fij表示第i組卷積核上第j個卷積核提取的特征圖。本文采用均方誤差作為損失函數，Lcontent表示白噪聲圖像與內容圖像在同一個卷積層濾波器提取到特征圖像的差距。因此，內容圖像的損失函數如式（1）所示：

1.2 風格圖像的損失

文獻［8］使用Gram 矩陣提取圖像的紋理信息。Gram 矩陣的值表示兩個特征映射的內積，值的大小反映兩個特征相關性的大小。因此，Gram 矩陣的值可以表示兩張圖像的風格是否相似。表 示 第l層第i個特征與第j個特征映射的內積。特征相關性計算如式（2）所示：

均方誤差計算風格圖像與白噪聲圖像Gram 矩陣的差異如式（3）所示：

其中：Gl和Al分別表示風格圖像和白噪聲圖像在l層的Gram 矩陣；wl為每層風格損失權重。損失函數如式（4）所示：

風格損失函數使用梯度進行優化，如式（5）所示：

2 基于邊緣檢測的圖像風格轉換

2.1 算法改進

文獻［8］使用卷積神經網絡進行圖像風格轉換，結果圖像由內容圖像和風格圖像共同作用。與原內容圖像相比，結果圖像存在線條扭曲現象。內容圖像的特征只選了conv4_2 層，而風格圖像的特征選取conv1_1、conv2_1、conv3_1、conv4_1、conv5_1 層。在卷積神經網絡中高層特征是理解圖像整體信息，低層特征是理解圖像的邊緣細節信息，因此，生成圖像的邊緣細節信息主要由風格特征提供。文獻［8］在進行圖像風格轉換時，將內容和風格特征共同作用在結果圖像上，因此，沒有關注到內容圖像的邊緣結構信息，使得生成圖像發生扭曲現象。為了減少扭曲，提高圖像的生成質量，本文使用Sobel 濾波器提取內容圖像的邊緣信息，進而約束生成圖像的邊緣以提高生成圖像的質量。

Sobel［21-22］是一階的邊緣檢測算法，使用卷積核Gx和Gy分別在圖像x和y方向上進行卷積，將x和y方向計算出的結果進行代數加權得到整個圖像的邊緣結果，如式（6）所示：

在使用Sobel 濾波器提取特征時，如果直接計算輸入內容圖像p→與生成圖像x→的邊緣檢測信息的均方誤差損失，則在反向傳播時梯度為0。因此，本文重新定義Sobel 濾波器的使用位置，不在內容圖像和生成圖像上進行計算，而是選取內容圖像和對應結果圖像在相同的卷積層上進行Sobel 濾波器的特征提取，即在特征圖上進行Sobel 濾波器的邊緣檢測。如果在特征圖中每個通道上都進行Sobel 濾波器的邊緣檢測將會消耗大量時間。由于VGG 特征圖中的通道數分別是64、128、256、512、512，Sobel 選取的層是conv1_1、conv2_1、conv3_1、conv4_1 層，因此如果選取循環計算就是960 次，這樣會消耗大量的時間。為了加速計算，本文利用深度卷積方法在對應的卷積層上一次性計算出所有通道Sobel 濾波器提取到的邊緣信息。

本文使用均方誤差作為邊緣損失函數。LSobel表示白噪聲圖像與內容圖像在同一個卷積層濾波器提取的邊緣信息差距。Slij表示第l層第i組卷積核第j個Sobel 濾波器提取的邊緣信息。邊緣損失函數如式（7）所示：

2.2 算法流程

新的損失函數如式（8）所示：

輸入圖像為內容圖像、風格圖像，輸出圖像是白噪聲圖像。內容圖像的特征選取conv4_2 層，風格圖像的特征選取conv1_1、conv2_1、conv3_1、conv4_1、conv5_1 層，Sobel特征選取conv1_1、conv2_1、conv3_1、conv4_1 層。每層之間的權重均為1。根據實驗調參，本文選取的參數如下：內容圖像權重α為1；風格圖像權重β為500；Sobel 權重γ為0.1；迭代次數為400 次。

本文利用梯度下降法對一張白噪聲圖像進行不斷迭代優化，并用擬牛頓法（L-BFGS）［23］進行優化。擬牛頓法是二階優化算法能夠快速得到收斂結果。

基于Sobel 濾波器的圖像風格轉換對輸入各種內容和風格圖像進行實驗。在風格轉換時，本文算法在加入內容圖像和輸出圖像的邊緣損失后提高了圖像的質量，減少線條的扭曲，圖像視覺效果更佳。本文算法流程如圖1 所示。

圖1 本文算法流程Fig.1 Procedure of the proposed algorithm

3 實驗與分析

3.1 實驗環境

實驗使用Tensorflow 框架搭建網絡模型，實驗硬件平臺使用阿里云天池實驗室，Intel Xeon E5-2682 v4 CPU 主頻2.5 GHz，NVIDIA Tesla P100 16 GB 的GPU。

3.2 實驗結果與分析

不同算法的實驗結果對比如圖2～圖4 所示。從圖2（c）和圖2（d）可以看出，本文算法能夠更好地保留窗體的線條，并區分出每個窗口，房屋輪廓也更加清晰，而文獻［8］算法的實驗結果中不能區分每個窗口，房屋結構也扭曲在一起。因此，本文算法不僅能夠保留內容圖像的結構，而且輸出圖像的質量更高。從圖3（c）和圖3（d）可以看出，與文獻［8］算法相比，本文算法的結果圖像眼睛與內容圖像中的眼睛一樣，在右眼下沒有很深的線條。因此，本文算法提取的結果圖像更符合真實的人像。

圖2 不同算法的實驗結果對比1Fig.2 Experimental results comparison 1 among different algorithms

圖3 不同算法的實驗結果對比2Fig.3 Experimental results comparison 2 among different algorithms

從圖4 可以看出，與文獻［8］算法相比，本文算法保留了圖像的結構信息，在結果圖像上沒有線條的扭曲，生成的圖像質量更高。

圖4 不同算法的實驗結果對比3Fig.4 Experimental results comparison 3 among different algorithms

4 結束語

本文提出一種基于邊緣檢測的圖像風格轉換算法，利用Sobel 濾波器提取內容圖像和生成圖像的邊緣特征，并計算兩者差值作為新的損失。實驗結果表明，該算法能夠減少圖像線條扭曲并提高圖像生成質量。由于生成對抗網絡可以快速生成高質量圖像，因此后續將優化生成對抗網絡的損失函數，進一步加快高質量風格轉換圖像的速度。