基于生成對(duì)抗網(wǎng)絡(luò)遙感圖像重建技術(shù)研究

陜西省土地工程建設(shè)集團(tuán) ?陜西西安 ?710075

摘要：目前我國(guó)遙感影像技術(shù)不斷發(fā)展，航空攝影的清晰度不斷提高，但是可供民用的衛(wèi)星影像有時(shí)不能夠滿(mǎn)足現(xiàn)階段業(yè)務(wù)的發(fā)展，所以通過(guò)軟件方法去提升影像的分辨率是本文研究的目的。本文通過(guò)改進(jìn)生成對(duì)抗網(wǎng)絡(luò)，刪除BN層完成了將低分辨率圖像到高分辨率圖像的有效重建，經(jīng)過(guò)對(duì)比與之前的重建算法在評(píng)價(jià)指標(biāo)上都有提升，能夠服務(wù)以后的工作任務(wù)。

關(guān)鍵詞：遙感影像;生成對(duì)抗網(wǎng)絡(luò);圖像高分辨率重建

引言

近年來(lái)隨著我國(guó)衛(wèi)星技術(shù)的發(fā)展，我國(guó)遙感影像清晰度也在不斷提高，這使得遙感影像的應(yīng)用方向不斷提高，但是目前在商用的衛(wèi)星影像中，還存在清晰度差，圖像邊緣模糊的問(wèn)題，在一些土地測(cè)繪，土地確權(quán)項(xiàng)目中不能夠很好地為項(xiàng)目提供影像依據(jù)與數(shù)據(jù)支撐。依托目前機(jī)器學(xué)習(xí)的興起，神經(jīng)網(wǎng)絡(luò)的不斷發(fā)展，利用神經(jīng)網(wǎng)絡(luò)將清晰度不高的影像轉(zhuǎn)變?yōu)榍逦雀叩挠跋瘢瑸樯a(chǎn)任務(wù)提供幫助，這種方法是一種可行的技術(shù)研究方案。

生成對(duì)抗網(wǎng)絡(luò)在學(xué)習(xí)復(fù)雜的分布，例如自然圖像方面具有非常成功的案例，因?yàn)樗軌颢@得高度細(xì)致與逼真的輸出結(jié)果。目前來(lái)說(shuō)要獲取高分辨率更高的影像可以通過(guò)兩個(gè)方面進(jìn)行獲取，一個(gè)是硬件提升一個(gè)是軟件提升，硬件方面例如增大相機(jī)孔徑，加大鏡頭進(jìn)光量等，但是這樣會(huì)增加當(dāng)前項(xiàng)目成本的支出。軟件方面目前主流的方法有：基于插值的超分辨率重建[1]、基于重構(gòu)的超分辨率重建[2]、基于學(xué)習(xí)的超分辨率重建[3]。利用插值的方法主要是通過(guò)目前圖像中已經(jīng)有的像素點(diǎn)通過(guò)模擬的方法來(lái)擬合周?chē)瞻椎南袼攸c(diǎn)，這種方式簡(jiǎn)單，但是也存在弊端，例如會(huì)丟失圖像的高頻信息，重建后的圖像會(huì)過(guò)于平滑失真。經(jīng)典的神經(jīng)網(wǎng)絡(luò)的方法是使用一個(gè)簡(jiǎn)單地卷積層數(shù)較少的全卷機(jī)神經(jīng)網(wǎng)絡(luò)，進(jìn)行圖像卷積，通過(guò)特征提取、映射、重建一系列過(guò)程，但是受限于該網(wǎng)絡(luò)結(jié)構(gòu)簡(jiǎn)單，所以在重建的圖像效果上有些圖像并沒(méi)有很理想。

SRGAN（super resolution reconstruction generative adversarial network，SRGAN）[4]是一種利用生成對(duì)抗網(wǎng)絡(luò)進(jìn)行超分辨率重建的技術(shù)，并且在高分辨率領(lǐng)域也取得了不錯(cuò)的效果，該網(wǎng)絡(luò)的圖像重建性能在實(shí)驗(yàn)中得到驗(yàn)證是明顯優(yōu)于傳統(tǒng)的神經(jīng)網(wǎng)絡(luò)，但是生成對(duì)抗網(wǎng)絡(luò)存在不穩(wěn)定的問(wèn)題，圖像特征的傳播會(huì)產(chǎn)生特征丟失，怎樣去改進(jìn)網(wǎng)絡(luò)使其針對(duì)自己的任務(wù)去優(yōu)化改進(jìn)，使得最終的算法更加適用于自己的任務(wù)，本文通過(guò)改進(jìn)生成器的信息傳輸過(guò)程來(lái)優(yōu)化網(wǎng)絡(luò)，增強(qiáng)網(wǎng)絡(luò)性能，從而生成高質(zhì)量的清晰度高的圖像。

網(wǎng)絡(luò)結(jié)構(gòu)

生成對(duì)抗網(wǎng)絡(luò)主要由兩個(gè)部分組成，分別是生成器（G）與判別器（D），生成器的作用是用來(lái)生成數(shù)據(jù)，判別器用來(lái)判別輸入的圖像是來(lái)自生成器偽造的還是人工標(biāo)注也就是人工恢復(fù)的高分辨率圖像，通過(guò)評(píng)分來(lái)判定輸入數(shù)據(jù)的來(lái)源。

SRGAN是一種基于GAN模型來(lái)對(duì)圖像進(jìn)行超分辨重建的算法模型，由生成器和判別器兩個(gè)部分組成，用PSR來(lái)表示SRGAN網(wǎng)絡(luò)重建的超分辨率圖像，PHR是一個(gè)高分辨率衛(wèi)星圖像，PLR是PHR所對(duì)應(yīng)的低分辨率衛(wèi)星圖像，由PHR通過(guò)降采樣得到，生成器網(wǎng)絡(luò)用G來(lái)表示，判別器網(wǎng)絡(luò)用D來(lái)表示。SRGAN模型原理圖如圖1所示，生成器通過(guò)輸入PLR生成PSR，并根據(jù)判別器的輸出進(jìn)行梯度調(diào)整，通過(guò)最小化損失函數(shù)不斷優(yōu)化生成器的生成性能，以提升PSR分辨率。判別器本質(zhì)上是一個(gè)二分類(lèi)器，正相關(guān)為PHR，負(fù)相關(guān)為PSR ，采用交叉熵作為判別損函數(shù)，使用PHR和PSR的均方根誤差（MSE）作為損失函數(shù)，輸出對(duì)應(yīng)的分類(lèi)概率，輸出范圍為[0，1]，生成器的優(yōu)化目標(biāo)是使得判別器無(wú)法區(qū)分PHR和PSR，判別器的優(yōu)化目標(biāo)是能夠準(zhǔn)確區(qū)分真數(shù)據(jù)和假數(shù)據(jù)，二者處于一種博弈狀態(tài)，在博弈過(guò)程中，生成器和判別器的性能都會(huì)隨著訓(xùn)練提升，最終達(dá)到納什平衡狀態(tài)。

改進(jìn)方式

BN（Batch Normalization）層經(jīng)常用于圖像分割領(lǐng)域，目標(biāo)檢測(cè)等領(lǐng)域，對(duì)目前大部分傳統(tǒng)的神經(jīng)網(wǎng)絡(luò)都能起到加速收斂，防止網(wǎng)絡(luò)過(guò)擬合的效果，對(duì)于一些不需要精細(xì)圖像信息的任務(wù)，能找出關(guān)鍵特征，BN就能發(fā)揮積極的作用。而本文的高分辨率重建任務(wù)基本都是將小圖像通過(guò)像素插值，變成大圖像，如果在超分辨率重建任務(wù)中使用這中像素級(jí)別的方法，圖像的色彩分布都會(huì)被歸一化，一些衛(wèi)星圖中特有的細(xì)節(jié)例如影像中的單體小的住宅往往會(huì)被BN層給忽略，不利于高分辨率圖像生成。BN層的存在還會(huì)增加網(wǎng)絡(luò)的復(fù)雜度，去除BN層的同時(shí)再將Relu激活函數(shù)替換成能在深層特征更具區(qū)分度的PRelu激活函數(shù)，通過(guò)這樣的調(diào)整可以保留更多的淺層特征信息，提升任務(wù)的完成度。

實(shí)驗(yàn)過(guò)程

數(shù)據(jù)集BSD100和SET14是常用于單圖像超分辨率的數(shù)據(jù)集。對(duì)每個(gè)數(shù)據(jù)集，各取40%的圖像作為訓(xùn)練集，其余60%的圖像作為測(cè)試集。訓(xùn)練集的圖像包含兩兩對(duì)應(yīng)的高分辨率圖像和低分辨率圖像.低分辨率圖像在初始的數(shù)據(jù)集中是不存在的，所以需要對(duì)數(shù)據(jù)集的高分辨率數(shù)據(jù)進(jìn)行手工的降采樣處理，以得到相應(yīng)的低分辨率圖像。本研究的目的是能夠在地區(qū)的高清影像中提高目前數(shù)據(jù)的利用率，于是本文在公共數(shù)據(jù)集試驗(yàn)后，使用公司擁有的閻良區(qū)高清航拍影像作為檢驗(yàn)數(shù)據(jù)。

根據(jù)實(shí)驗(yàn)所用硬件性能，訓(xùn)練batch-size設(shè)置為4，num-work設(shè)置為4，epochs設(shè)置為200，驗(yàn)證batch-size設(shè)置為1，num-work設(shè)置為4。生成網(wǎng)絡(luò)和判別網(wǎng)絡(luò)的優(yōu)化器都是Adam優(yōu)化器，中央處理器使用英特爾酷睿i5-1140f，顯卡為英偉達(dá)3060顯卡，配置的虛擬環(huán)境為Anaconda3，cuda_10.1，Pycharm（Python3.6），cudnn-10.1，深度學(xué)習(xí)框架為Pytorch，使用的操作系統(tǒng)為windows10，主機(jī)內(nèi)存為16G。

五、質(zhì)量評(píng)價(jià)

圖像的重構(gòu)，本文選用的評(píng)價(jià)指標(biāo)為本文使用圖像超分辨率領(lǐng)域常用的峰值信噪比（peak signal to noise ratio，PSNR）和結(jié)構(gòu)相似性（structural similarity index measure，SSIM）作為評(píng)價(jià)指標(biāo)。PSNR是基于誤差敏感的圖像質(zhì)量評(píng)價(jià)，值越大說(shuō)明圖像的失真越小，SSIM是一種符合人類(lèi)視覺(jué)的圖像質(zhì)量評(píng)價(jià)標(biāo)準(zhǔn)，他基于局部圖案的亮度、對(duì)比度進(jìn)行數(shù)值計(jì)算，值越接近于1，說(shuō)明網(wǎng)絡(luò)模型生成的高分辨率圖像的質(zhì)量越好，更加有實(shí)用價(jià)值，具體的計(jì)算公式如公式（1），（2）：

其中 表示的是x，y的均值， ， ?表示圖像xy的方差，C1與C2 為常數(shù)。本文方法通過(guò)原始的SRGAN，傳統(tǒng)的神經(jīng)網(wǎng)絡(luò)[5]，以及Bicubic算法進(jìn)行對(duì)比實(shí)驗(yàn)，實(shí)驗(yàn)的最終結(jié)果如表5.1所示。

我們從量化評(píng)價(jià)表中可以看出，傳統(tǒng)的算法對(duì)于高分辨率重建具有一定的效果，但是相較于神經(jīng)網(wǎng)絡(luò)不斷學(xué)習(xí)的成像效果來(lái)比較的話還是具有不足，大量數(shù)據(jù)的不斷訓(xùn)練能夠?qū)⑸窠?jīng)網(wǎng)絡(luò)中每個(gè)節(jié)點(diǎn)參數(shù)學(xué)習(xí)到更加適合這個(gè)任務(wù)。相較于傳統(tǒng)的神經(jīng)網(wǎng)絡(luò)，生成對(duì)抗網(wǎng)絡(luò)在高分辨率圖像重建方面有更好的效果，因?yàn)閭鹘y(tǒng)的神經(jīng)網(wǎng)絡(luò)其結(jié)構(gòu)簡(jiǎn)單對(duì)圖像信息提取不足，容易造成采樣信息不足導(dǎo)致重建效果不理想的情況，而本文改進(jìn)的生成對(duì)抗網(wǎng)絡(luò)，通過(guò)刪除BN層，更快傳遞圖像的語(yǔ)義信息，選擇更優(yōu)的激活函數(shù)讓生成對(duì)抗網(wǎng)絡(luò)的生成器能夠更加逼真的學(xué)生成圖像的高分辨率影像。

結(jié)論

本文研究了一種基于生成對(duì)抗網(wǎng)絡(luò)的高分辨率圖像重建的模型算法，能夠?qū)⒛壳耙延械男l(wèi)星影像通過(guò)網(wǎng)絡(luò)模型的運(yùn)算，達(dá)到重建成高分辨率影像的效果，能夠?yàn)橐院蟮膰?guó)土空間規(guī)劃提供更加高清影像，方便工作。

參考文獻(xiàn)

[1]蘇衡，周杰，張志浩.超分辨率圖像重建方法綜述[J].自動(dòng)化學(xué)報(bào)，2013，39（08）：1202-1213.

[2]時(shí)文俊，郭從洲，童曉沖，田園，曹聞.輻射保真的紅外遙感圖像超分辨率重建[J].西安電子科技大學(xué)學(xué)報(bào)，2019，46（02）：107-113.

[3]曾凱，丁世飛.圖像超分辨率重建的研究進(jìn)展[J].計(jì)算機(jī)工程與應(yīng)用，2017，53（16）：29-35.

[4]Shi W ， ?Ledig C ， ?Wang Z ， et al. SUPER RESOLUTION USING A GENERATIVE ADVERSARIAL NETWORK：， US20180075581[P].

[5] [1] Dong C ， ?Loy C C ， ?He K ， et al. Image Super-Resolution Using Deep Convolutional Networks[J]. IEEE Trans Pattern Anal Mach Intell， 2016， 38（2）：295-307.

【作者簡(jiǎn)介】：

李致博（1987-）男，高級(jí)工程師，長(zhǎng)期從事土地測(cè)繪，建設(shè)用地勘界報(bào)批、不動(dòng)產(chǎn)登記工作、軟件開(kāi)發(fā)工作。