基于深度學習的圖像修復方法綜述

趙然

摘 要：圖像修復是近年來的研究熱點，根據已獲得的圖像內容恢復丟失的圖像內容，在傳統文化作品修復、圖像編輯等領域應用廣泛。本文對近年來該領域相關研究進行綜述，首先從傳統圖像修復方法出發，分析其存在的問題，重點對基于深度學習的圖像修復方法進行概述，包括基于卷積神經網絡、生成對抗網絡、循環神經網絡的圖像修復方法，介紹各種方法的原理與結構，總結基于深度學習的各類方法的適用范圍及優缺點，最后對未來的研究方向及重點提出展望。

關鍵詞：深度學習;圖像修復;卷積神經網絡;生成式對抗網絡;循環神經網絡

一、緒論

通過已知區域修復丟損區域的圖像修復方法起源于手工匠對損壞藝術品的修復技術，即以局部信息為基礎進行擴散修復，研究者們也由此提出了基于偏微分方程的早期圖像修復算法，偏微分方程算法采用的是擴散的思想，將圖像傳輸過程中丟失區域附近的數據通過擴散到來修復丟損區域，比如Bertalmio等人提出BSCB模型，將受損區域周圍的有效信息平整擴展到受損區域;再如Chan等人提出TV模型、CDD模型等，TV模型雖然考慮到自然圖像的平滑性，但是沒有考慮到圖像的幾何特征，所以Chan等人又在其中加入曲率，提出CDD模型，一定程度上解決了TV模型不能滿足視覺連通的缺點。基于偏微分方程的圖像修復方法，可以對小范圍破損的圖像進行很好的修復，還能同時修復多個破損領域，但是對于大范圍信息缺失的圖像，修復結果卻不能讓人滿意，隨著圖像修復在生物醫學、人臉圖像修復等新領域的應用，對修復圖像的質量要求也越來越高，研究者提出了動態加權匹配的圖像修復算法，更好得利用了圖像的已知信息，提高了圖像修復質量，利用局部平均灰度熵快速圖像修復算法[1]來加快計算機執行修復的速度結構信息、連接邊緣，之后再修復紋理成分，可提高圖像結構、紋理等的一致性。除此之外，Criminisi等人也提出一種基于塊的修復技術，算法速度得到了很大提升。

二、基于深度學習的圖像修復方法

隨著深度學習算法的逐步完善和發展，研究者開始將深度學習算法應用于圖像修復領域。1998年的經典網絡LeNet的提出被認為是卷積神經網絡的起始，由于計算機計算能力有限，LeNet在圖像修復領域未被廣泛應用，此后研究者們相繼提出AlexNet、VGG-NET、ResNet等卷積神經網絡，基于深度學習的圖像修復模型最初多以上述結構為基礎，利用卷積神經網絡來訓練數據，高效預測圖像的結構，但在圖像修復的紋理細節方面不盡人意。考慮到卷積神經網絡存在的局限性，有研究者將生成式對抗網絡應用于圖像修復領域：Goodfellow于2014年提出生成對抗網絡，由生成器和判別器構成，生成器從給定噪聲中合成數據，判別器分辨合成數據和真實數據的相似程度，如果計算生成的樣本圖像與待修復區域圖像足夠相似，即可達到圖像修復的目的。隨著深度學習在圖像修復領域工作的開展，循環神經網絡已經在對無標志圖像自動生成中得到應用，將其和卷積神經網絡結合用于圖像修復的研究也取得了進一步的研究成果。

（一）基于卷積神經網絡的圖像修復模型

1.卷積神經網絡概述以及原理

卷積神經網絡（Convolutional Neural NetWork，CNN）作為最早的二維圖像識別傳感器，采用監督學習的方式，每一層是由多個獨立神經元組成的二維平面，如經典的LeNet-5結構，數據依次通過輸入層、卷積層1、池化層1、卷積層2、池化層2、全連接層1、激活函數層、全連接層2、輸出層，此類結構可以層層提取特征，最后利用全連接層完成若干個分類任務。卷積神經網絡的部分同層神經元到下一層的權值設置相同，即權值共享，在訓練數據時會降低模型復雜性，把龐大的圖像修復問題降維處理。

2.基于卷積自編碼的圖像修復方法

CNN進行圖像修復存在監督學習的困難，Masci提出的卷積自編碼則有效解決了該問題，Pathak等人命名提出Context Encoder網絡，編碼器逐漸增加圖像的尺度，解碼器則是一個逆過程，學習全局圖像特征和推斷損失部分，利用L2損失和對抗損失來修復圖像，但是在對抗損失訓練時考慮的是預測值和實際像素值之間的歐式距離，得到的圖像缺少完整的紋理細節，在圖像修補邊緣可以看到明顯的痕跡，進一步研究人員將Encoder-Decoder網絡結構中的對抗損失稱作局部對抗損失，又增加一項對抗損失：全局對抗損失。此外，優化方案的提出也解決了很多問題：結合圖像內容與紋理的多尺度CNN匹配方法，整體架構分為內容網絡和結構網絡[2];在上下文編碼器中加入Global context discriminator和Local context discriminator，從全局一致性和在局部一致性來判別生成效果的好壞，并利用快速匹配方法融入全圖。

（二）基于生成式對抗網絡的圖像修復模型

1.生成式對抗網絡概述以及原理

生成式對抗網絡（Generative Adversarial Network，GAN）受零和博弈啟發，包括生成模型G和判別模型D，其結構如圖2，生成模型G將輸入的信息經過極大似然估計的參數轉化成指定樣本，而判別模型D用來判斷G中的圖像數據是否為真實數據，通過交替訓練讓這兩個模型同時得到增強，使生成器產生的數據逼近真實數據分布，由于判別器的存在，最終會達到納什均衡。

2.基于生成式對抗網絡圖像修復方法

基于GAN圖像修復方法訓練過程不穩定，為了提高訓練的穩定性，Mirza提出了CGAN，通過把無監督的GAN變成半監督或者有監督的模型，增加網絡結構的約束性，引入另一個條件變量y，和GAN原有的輸入合并為一個向量，訓練過程的穩定性得到了極大程度的提高。研究人員在無監督學習領域仍然對GAN模型提出改進：2015年Radford等人提出DCGAN，深度卷積生成對抗網絡仍由生成模型G和判別模型D構成[2]，在卷積特征上消除全連接層，利用轉置卷積網絡實現低維度噪聲得到高緯度圖像的目的。近年來研究者們針對GAN在圖像修復方面的研究又提出一種基于生成對抗網絡的圖像分布補全算法[3]：預補全模型對圖像初步補全、還原低維結構信息，增強補全模型還原高維紋理結構信息。

（三）基于循環神經網絡的圖像修復模型

1.循環神經網絡概述以及原理

循環神經網絡（Recurrent Neural Network，RNN）與傳統的神經網絡模型比較：傳統的神經網絡模型層與層之間是全連接的，每層之間的節點是無連接的，而RNN的每一個序列當前的輸出與前面的輸出也有關，RNN會對前面的信息進行記憶并應用于當前輸出的計算中。

2.基于循環神經網絡圖像修復方法

基于RNN的這種網絡結構，可以將時間序列對應到圖像的像素分布，補全缺失區域時可以按照兩個空間維度來預測像素信息，下一個像素點的預測是基于之前所生成的像素點。谷歌提出Pixel RNN模型用于圖像修復[5]，其由12個二維LSTM組成，用卷積一次性計算數據在一個空間維度的狀態。傳統LSTM在每一行做卷積，Diagonal BiLSTM在圖像的對角做卷積，同時引入了殘差連接，幫助12層的LSTM深度訓練。由于RNN網絡計算的復雜性，因此基于循環神經網絡圖像修復方法較少，對于基于RNN的圖像修復方法需要設計更為合理的網絡模型來實現。

三、總結與展望

本文通過對基于深度學習的幾種圖像修復模型進行總結，概括出基于深度學習的三種圖像修復方法的特點：CNN研究較為廣泛，但是對于紋理修復卻存在不足;GAN可應用于缺失大量數據的圖像修復，但是GAN的訓練階段的不穩定性問題需要更加深入的研究來解決;RNN處理序列數據方面有著較為優異的表現，但是對于大樣本數據的處理卻不太出色。基于對現有方法討論總結，可以看出深度學習在圖像修復領域得到應用，本文對基于深度學習的圖像修復方法研究提出了以下展望：在基于深度學習的圖像修復方法中，深度學習網絡的設計和訓練過程中的損失函數的選擇是其重要的內容，選擇合適的損失函數在提高圖像修復質量的同時也會加快深度學習的訓練速度，圖像修復質量的提高還可以通過減少噪聲模型深度來解決，因此在未來工作中設計出更加完善的去噪模型也尤為重要，如何設計具有普適性的修復網絡，提高修復結果的準確性，還需要更加深入的研究。

參考文獻：

[1]張晴，林家駿，劉云翔.基于局部平均灰度熵的快速圖像修復算法[J].計算機應用與軟件，2014，31（10）：206-208+223.

[2]李天成，何嘉.一種基于生成對抗網絡的圖像修復算法[J].計算機應用與軟件，2019，36（12）：195-200+267.

[3]王一鳴.基于生成對抗網絡的圖像修復算法研究[D].北京交通大學，2019.

[4]王鑫磊.基于深度卷積生成對抗網絡的圖像修復研究與應用[D].重慶大學，2018.

[5]強振平，何麗波，陳旭，徐丹.深度學習圖像修復方法綜述[J].中國圖象圖形學報，2019，24（03）：447-463.

作者簡介：趙然（1999-），男，漢族，安徽滁州人，本科大三在讀，研究方向：深度學習、計算機視覺。