基于GAN生成對抗網絡的圖像去噪及去噪原理的探究

梁威鵬 洪盛偉

摘 ?要：把高頻的噪聲在傅里葉頻譜上和低頻的圖像很好地分離開。通過一系列高頻濾波的理論與技術，達到圖像降噪的目的。該文提出了一個基于GAN思想的編碼（encoder）-解碼（decoder）架構來解決圖像去噪的問題。網絡由判別網絡和生成網絡組成，半監督學習從噪聲圖像到去噪圖像的端到端的映射。在生成網絡中，在全卷積的情況下，噪聲一步步地被消除，最后得到去噪圖像。

關鍵詞：圖像去噪 ?GAN ?神經網絡

中圖分類號：TP39 ? 文獻標識碼：A ? ? ? ? ? ?文章編號：1672-3791（2019）05（a）-0026-02

在城市夜景拍攝或者星空拍攝中，會產生大量的噪點，這是由于高ISO和弱光散粒形成的隨機噪點。圖像噪點很大一部分原因是感光元件造成的。例如照片曝光度不足、采取了過高的ISO值等都會導致圖像噪點的增多。

根據傅立葉定理，任何一個信號都可以由簡諧波相加得到。因此，一個信號可以分解成由多個頻率的簡諧波相加。組成信號的單個簡諧波，被稱為信號的一個分量。通過傅立葉變換，可以得到一個信號的不同頻率的分量。將各個頻率分量的強弱通過圖形表示出來，可以得出信號的頻譜。如圖1是圖像處理領域里經典的一張圖像，其信號值可以用它的黑白分量代替。右邊是該圖像對應的傅里葉頻譜。明暗程度表示頻率分量的振幅強弱。X軸、Y軸分別對應表示圖像x方向的頻率和y方向上的頻率，值得注意的是，頻譜的中心位置亮點表示的是低頻信號的分量強弱，頻譜邊緣及四周表示的是高頻信號的分量強弱。

對該圖像加入隨機噪聲，我們發現，在圖像里，出現了很多和原圖像混在一起的小顆粒效果，這些“小顆粒”正是最直觀的圖像噪點的體現。此時，觀察噪點圖像的傅里葉頻譜圖可以發現，頻譜非中心區域明顯變亮，這說明圖像中的高頻分量有所增強。由此，可得出噪點正對應著圖像中的高頻分量，而原圖像對應著圖像中低頻分量的特性。噪點在空間上原本與原圖像混合在一起，難以去除。然而根據上述特性，我們可以把高頻的噪聲在傅里葉頻譜上和低頻的圖像很好地分離開。運用數學原理，建立合理的數學模型，即通過一系列高頻濾波的理論與技術，達到圖像降噪的目的。

近幾年來，針對這個圖像處理的經典任務，有關研究人員發表了數千篇論文。在這些論文里，有利用偏微分方程思想，例如全變差法，還有從幾何學理論角度將圖像看做多維度空間處理等，提出了各種有效且精妙的數學思想。

在去噪任務中，有許多絕妙的數學原理被提出，其中小波理論和稀疏表征取得了重大突破。其他的精彩理論還包括非局部均值（NLP）和貝葉斯估計等。如圖2所示，左邊是原始圖像。中間是圖像增加了STD=100的高斯噪聲污染，右邊是由BM3D算法[1]實現的去噪圖片。

小波濾波雖然是目前圖像降噪的常見方法，但隨著ISP影像處理器的AI化，越來越多的深度學習方面的算法，被應用到后端圖像處理上，來彌補因傳統感光元器件在夜景拍攝、自動美化方面的缺陷而造成的圖像噪點。傳統的圖像降噪方法是根據圖像噪聲類型的不同設計不同的濾波器，才能對圖像進行降噪。其局限性便體現在需要設計不同算法來針對不同的圖像噪聲。如果算法設計不當，則會造成畫面變得過度平滑、細節信息丟失、對比度和質感降低、顏色溢出、飽和度降低等問題[1]。

該文根據上述基礎，提出了一個基于GAN思想的編碼（encoder）-解碼（decoder）架構來解決圖像去噪的問題。網絡由判別網絡和生成網絡組成，半監督學習從受損圖像到原圖像的端到端的映射。判別網絡主要由多層卷積層和反卷積層構成，負責特征提取，捕獲圖像內容的抽象信息，判斷輸入圖片中是否含有大量噪聲。相對應的，生成網絡中也采取了卷積層和反卷積層用來恢復圖像細節，同時提取并消除噪聲。除此之外，網絡中還加入了殘差網絡。我們通過向模型輸入一個帶有噪聲的圖片，在輸出端給模型沒有噪聲的圖片，讓模型通過卷積自編碼器去學習降噪的過程[2]。

在判別網絡中，卷積層（conv）的特征圖與跟其對應的反卷積層（deconv）特征圖進行跳躍連接。對應像素直接相加后經過非線性函數激活層（可以是relu等激活函數），所得結果輸出到下一層。這樣做的目的是解決在深層網絡的情況下梯度彌散的問題。跳躍連接同時也加快了網絡的訓練過程，使反向傳播（BP）的梯度更大。

在生成網絡中，在全卷積的情況下，噪聲一步步地被消除。經過每次卷積后，噪聲信息減小，圖像內容的細節雖可能會隨之丟失。但由于有判別網絡的存在，可以鑒別圖像的“真假優劣”，生成網絡最后的輸出結果會保留主要的圖像內容。并且在生成網絡中也加入反卷積層，用來補償細節信息。通過我們的去噪網絡，可以達到良好去噪效果的同時較好地保留圖像細節。網絡的架構如圖4，其中判別網絡和生成網絡均為如圖4結構。

解決圖像去噪這個經典又困難的問題，還有很長的路要走。降噪一直是圖像視頻處理領域很基礎、很熱門的問題，雖然其有數以千計的論文的理論研究，但其基于深度學習的降噪技術卻極少在實際產品中有效地應用，這方面的研究還需繼續深入開展。

參考文獻

[1] 張力娜，李小林.基于圖像分解與邊緣檢測的圖像去噪方法[J].咸陽師范學院學報，2014，29（2）：22-25.

[2] 王海武.基于生成對抗網絡的語音增強方法研究[D].南昌航空大學，2018.

[3] 楊大為.生成式對抗網絡GAN及應用[J].信息系統工程，2018，294（6）：83-84.