基于生成對抗網絡的田間雜草圖像超分辨率重建*

2023-10-09 12:11:06何朝霞朱嶸濤徐俊英

中國農機化學報 2023年9期

何朝霞，朱嶸濤，徐俊英

(1. 長江大學文理學院,湖北荊州,434023; 2. 長江大學農學院,湖北荊州,434023)

0 引言

隨著科學技術的發展和進步,智慧農業與精準農業已成為現代農業的發展方向。雜草一直是影響農作物產量的主要因素之一,目前防治雜草的主要方式包括人工、化學、生物、機械除草等。隨著國家對“三農”問題的重視,在當前信息時代下,農業生產中開始利用一些邊緣設備(例如微型計算機、無人機主機等)和信息技術(物聯網、數字圖像處理技術等)。例如:通過攝像頭實時采集田間圖像數據,利用圖像識別技術識別并定位雜草,再通過控制系統實行精準的除草劑噴灑[1]。這不僅降低了雜草對農業生產的危害和保障了農業生產的安全,同時可以提升農業生產的產量和質量,也能有效提升除草劑的利用率,保障糧食安全和減少環境污染。所以利用圖像識別技術除草,在我國智慧農業發展過程中具有重要的意義。

當前通過攝像頭采集田間圖像往往無法獲得理想的高清視頻及圖像,要保證雜草識別的準確性,對采集的雜草圖像進行超分辨率生成是必不可少的。圖像超分辨生成是指低分辨率圖像在經過轉化后,形成高分辨圖像的過程。超分辨率生成算法的研究始于20世紀60年代,最原始的圖像超分辨率生成算法利用圖像像素與鄰近像素點間的關系和連續性進行的,典型代表就是插值法。例如最近鄰插值法、雙線性插值法和雙三次插值法等,它們的共同問題都是忽略了整張圖像的語義含義, 且生成的圖像比較模糊,造成部分圖像細節損失,圖像的銳化效果差[2]。

深度學習相關的論文在近年來呈井噴式出現,成為了人工智能研究方向的熱點。Dong等[3]第一次將深度學習運用到圖像超分辨率生成的應用領域中,使用了三次插值算法將低分辨率圖像擴大到目標圖像尺寸,然后將圖像送到一種三層結構的卷積神經網絡中。Shi等[4]在CVPR大會上提出的利用亞像素卷積來加快圖像生成。Kim等[5]提出了殘差學習思想的神經網絡,同時也提出了深度遞歸卷積神經網絡等。Luo等[6]提出了FSRCNN(Fast Super-Resolution CNN)方法,采用了反卷積層、修改特征系數以及通過共享的參數映射來加速和優化模型。上述方法都是利用了深度神經網絡在特征提取方式上的優勢,更好地學習高分辨率圖像和低分辨率圖像之間的特征映射關系[7]。

生成對抗網絡GAN由Goodfellow等[8]最早提出,標志著無監督學習的又一項重大進展。它顛覆了過去深度學習僅僅用于判別器的傳統,將深度學習理論同時應用到了生成器和判決器中。生成對抗網絡由兩個神經網絡組成,其中一個神經網絡用作判別器,另一個神經網絡用作生成器,生成器用來模擬樣本數據信息的分布,而判別器用來確定真偽,在對抗的生成和訓練過程中實現二者的均衡[9]。生成對抗網絡近幾年提出了一些模型,2014年Mirza等[10]提出的條件生成對抗網絡系統,2015年Radford等[11]提出的深度卷積生成對抗網絡系統;隨著研究的深入,2017年Ledig等[12]提出了SRGAN模型,并首次將對抗生成網絡應用到了圖像超分辨率重建任務中,同時展示了很好的性能。

近幾年,基于SRGAN模型,學者們提出了許多改進模型[13-14]。針對目前模型超分辨率方法生成精度等性能方面的不足以及應用范圍的限制等,本文以作物/雜草田地圖像數據集為基礎,探討和構建了一種基于SRGAN的生成對抗網絡模型,該模型的損失函數中引入卷積神經網絡的邊緣檢測損失,以期能夠保持圖像更多的細節。

1 數據集簡介

本文以作物/雜草田地圖像數據集為基礎訓練數據,該數據集包括田野、植被分割和作物/雜草植物類型,圖像尺寸均為200像素×113像素。生成對抗網絡中需要高分辨率數據和低分辨率數據。傳統方法是將原清晰圖像進行降采樣得到低分辨率圖像,這個過程中,圖像會損失掉許多有用信息,從而使得圖像超分辨率重建的效果并不理想。本文的方法是將數據集的原始圖像作為低分辨率圖像,將原始圖像利用AI系統無損放大四倍,同時進行清晰度增強,作為訓練中使用的高分辨率圖像,最終構成50對高分辨率與低分辨率所對應的訓練數據集。同時,為增強訓練網絡的泛化能力,完成對訓練數據的隨機翻轉和旋轉的增強操作。

如圖1所示,一對模糊—清晰圖像中,模糊圖像(低分辨率圖像)的大小為200像素×113像素,清晰圖像(高分辨率圖像)的大小為800像素×452像素,而數據集中清晰—低分辨率圖像對的PSNR值為23.156,SSIM值為0.746,最后以文中所設計的數據集以及作物/雜草田地圖像數據集作為測試集來證明本文所提出方案的有效性。

(a) 低分辨率圖像

(b) 高分辨率圖像圖1 模糊—清晰圖像對Fig. 1 A pair of fuzzy-clear image

2 網絡結構和損失函數

2.1 網絡結構

生成對抗網絡的圖像超分辨率重建,是輸入一張模糊圖像到網絡中,通過訓練好的網絡得到相對應的清晰圖像,生成對抗網絡示意圖如圖2所示。本文的生成對抗模型主要從SRGAN模型出發,SRGAN模型主要由生成網絡(圖3)和判別網絡(圖4)所構成,其中生成網絡將模糊圖像作為輸入,輸出清晰圖像,判別網絡將輸出的清晰圖像和原始清晰圖像作為輸入,輸出判斷結果真或假,整個過程中生成網絡和判別網絡彼此對抗,當判別網絡無法區分輸出清晰圖像和原清晰圖像時,SRGAN 完成重建超分辨率圖像的工作任務[15]。本文所提出的方法是在該模型的基礎上,在損失函數設計上,通過邊緣檢測形成物體的輪廓形狀界限和自然紋理特征,在訓練中指導圖像的正確生成,并控制非自然紋理細節的產生。網絡模型如圖5所示,其中LR表示輸入的低分辨率圖像,SR為生成的高分辨率圖像,ELR為低分辨率圖像的邊緣檢測圖像,ESR為輸出的高分辨率圖像邊緣檢測圖像。

圖2 生成對抗網絡示意圖Fig. 2 Generative adversarial network

圖3 SRGAN網絡模型的生成器Fig. 3 Generator of SRGAN network model

圖4 SRGAN網絡模型的判決器Fig. 4 Determinator of SRGAN network model

圖5 本文的生成對抗模型Fig. 5 Generative adversarial network in this paper

圖5的網絡模型結構中,生成器和判決器仍采用SRGAN的結構。這里,生成器模型的主體是一連串大小相同的殘差塊相連,并使用兩個卷積層,一共可以生成64個通道的特征映射,卷積層后的批量標準化層(BN)和PRe LU作為激活函數。判決器模型的設計以VGG網絡為核心,包含8個卷積層,特征通道數從64開始,后面每層都進行了加倍,最多到512個通道,隨著通道數的增加,使得特征數量也進行了加倍。根據Radford等總結的架構指南,利用了Leaky Re LU (α=0.1)激活同時防止整個網絡模型的最大池化。

為了保持圖像更多的細節,利用邊緣檢測損失進行評估得出,利用卷積神經網絡方法進行邊緣檢測時損失最小,所以本文邊緣檢測用到的是卷積神經網絡方法進行邊緣檢測。該模型中,輸入通道數是3,輸出通道數是1,卷積核大小為3×3。

為了評價判決器的訓練是否能夠最大化正確判決實際數據和生成器的生成數據的真假,以及生成器是否能夠增加判別器得出正確答案的概率。因此,本文方法的V(D,G)函數[16]

Ez-Pz(z)(log(1-D(G(z))))+

λ1Ex-PEdata(x)(logD(x))+

λ2Ez-PEz(z)(log(1-D[G(z)]))

(1)

式中:D——判決器;

G——生成器;

x——輸入的高分辨率圖像HR;

z——輸入的低分辨率圖像LR;

E——數學期望;

Pdata——輸入HR圖像數據分布;

Pz(z)——生成器生成數據分布;

PEdata——輸入HR邊緣數據分布;

PEz(z)——生成器生成HR邊緣數據分布;

λ1、λ2——調節系數。

2.2 損失函數

為了使提出的超分辨率重建網絡訓練效果達到最佳,本文在傳統的損失函數的基礎上,增加了一種新的損失函數——邊緣損失函數來優化網絡參數。最終的損失函數包括對抗損失、內容損失和邊緣損失三部分。

1) 對抗損失函數。對抗損失函數[17]是基于所有訓練樣本上判決器DθD(GθD(ILR))的概率。

LGAN=∑-logDθD(GθD(ILR))

(2)

式中:GθD(ILR)——重建圖像的特征;

ILR——輸入的低分辨率圖像;

LGAN——對抗損失函數。

2) 內容損失函數。內容損失函數[18]是計算生成圖像和實際圖像之間的差異,它衡量的是生成特征圖和實際特征圖之間的歐式距離。

(3)

式中:LX——內容損失函數;

W、H——描述VGG網絡中各個特征圖的維度;

Φi,j——在VGG網絡中的第i個最大池化層之前通過第j個卷積(激活之后)獲取的特征映射;

IHR——輸入的高分辨率圖像。

3) 邊緣損失函數計算如式(4)所示。

S(GθD(ILR))x,y]2

(4)

式中:L邊緣——邊緣損失函數;

k——放大倍數;

S——邊緣數據提取函數;

S(IHR)——輸入高清圖像的邊緣數據提取值。

4) 最終損失計算如式(5)所示。

L=LX+γ1LGAN+γ2L邊緣

(5)

式中:γ1、γ2——0～1的常數。

本網絡中γ1取值為0.000 1,γ2的取值為0.000 3。圖6為損失函數隨迭代次數變化的曲線,其中原損失函數中僅包含對對抗損失和內容損失,優化后損失函數是指在原函數的基礎上引入邊緣損失。從圖6可以看出,隨著迭代次數的增加,損失函數越來越小,當迭代次數超過10 000次,優化后的損失函數明顯優于原損失函數,當迭代次數達到50 000時,優化后的損失函數已基本接近0,并且性能比較穩定。

圖6 損失函數曲線Fig. 6 Curves of Loss function

3 試驗結果

3.1 試驗過程及參數

本文試驗的硬件平臺為Intel(R) Core(TM) i5-10210U CPU 、NVIDIA 1050Ti GPU,軟件平臺為PyCharm 2021。訓練集為制作的50對清晰—模糊圖像,測試集為作物/雜草田地圖像數據集。本文首先利用OPENCV,實現了低分辨率圖像的四倍放大以及雙三次插值,然后再去訓練SRGAN,通過試驗表明訓練時SRGAN的迭代次數為50 000,學習率為0.000 1時效果較好。最后再來訓練本文所提出的方法及和SRGAN模型相關的當下比較熱門的網絡框架。

3.2 試驗測試結果分析

首先,對比雙三次插值和經典SRGAN模型下超分辨率重建的實驗結果,如圖7所示。對比圖7不同測試圖像的超分辨圖像生成結果,前兩組圖像的植物種類單一但是細節比較豐富,從視覺效果上看,本文方法的清晰度,尤其是在植物的莖、葉片的輪廓和谷穗等等區域明顯優于其余兩種方法;后兩組圖像選取的植物種類單一且細節較簡單的圖像,在植物的輪廓部分本文方法的細節更加清晰;當輸入一張隨機低分辨率田間圖像,本文方法的結果明顯優于其它方法,很好地還原了圖片的細節,得到了更加清晰的圖片。分析其原因,本文的數據集制作方法中增強了對訓練數據的隨機翻轉和旋轉的操作,同時在損失函數中增加了圖像邊緣檢測的損失,從而保留了訓練圖像中更多的細節部分,同時也降低了特征匹配錯誤而造成的不良后果,因此本文方法效果顯著高于其它方法,同時顯示出了較強的網絡泛化能力。

(a) 雙三次插值

(b) SRGAN

由于圖7前兩組圖像的細節過于豐富,檢測出來的邊緣信息就也相對豐富,不便于觀察。選取圖7后兩組田間雜草圖像,分別利用傳統SRGAN模型和本文模型訓練出高清圖,然后利用卷積神經網絡方法進行邊緣檢測,其結果如圖8所示。圖8的第一組圖像原圖比較模糊,在SRGAN模型下生成的圖像仍幾乎沒有檢測出植物圖像的邊緣信息,本文方法則檢測出來了植物的部分邊緣信息;圖8的第二組圖像本文模型所訓練出來的圖像細節也明顯優于SRGAN模型,尤其是在細節比較豐富的地方,能夠提取的邊緣要素更加的多。可以得出,本文方法在邊緣檢測后保留了圖像中更多的細節信息,這為田間雜草圖像的識別分類等提供了一個很好的研究基礎。

(a) 原圖

(b) SRGAN

將前面用到的4張測試圖分別命名為測試圖1、測試圖2、測試圖3和測試圖4。將上述4組測試圖像分別利用AI識圖進行田間雜草識別分類,其識別分類的結果如表1所示。其中的score越高說明識別為該植物的概率越高。

從表1可以看出:本文方法所獲得的高清圖的雜草識別score最高;當植物圖像清晰度越高識別score越高,當植物種類單一且細節豐富時識別的分數更高;本文方法更加有利于提高識別的準確性,為智能化除草提供了有力的基礎和保障。

表1 雜草識別結果對比Tab. 1 Comparison of weed identification results

3.3 定量評價指標分析

本文采用了峰值信噪比(PSNR)、結構相似性(SSIM)、超分辨率圖像生成的平均時間三個指標,進一步來衡量本文提出的超分辨率方案的有效性。

PSNR[19]的計算如式(6)所示。

(6)

(7)

式中:n——255;

MSE——圖像I和圖像J的均方誤差;

M×N——圖像尺寸;

I(i,j)——圖像I;

J(i,j)——圖像J。

客觀來說,PSNR值越高,圖像重建質量越高。

SSIM[20]的計算如式(8)所示。

(8)

其中,c1=(k1×255)2,c2=(k2×255)2,k1=0.01,k2=0.03。

式中:μ——均值;

σ——方差;

μI——圖像I的均值;

μJ——圖像J的均值;

σIJ——圖像I和圖像J的協方差;

σI——圖像I的方差;

σJ——圖像J的方差。

式(8)通過向量間余弦距離的計算來表征兩張圖片I、J的相似度。SSIM值的范圍為0～1,當兩張圖像相似度越高,SSIM值越大。

選取當下比較熱門的網絡框架進行練,訓練集的低分辨率圖像為作物/雜草田地圖像數據集。在同一訓練數據集上,分別利用雙三次插值、SRGAN、ESRGAN[13]、深度殘差的GAN模型[14]和本文方法進行超分辨率重建,計算其PSNR和SSIM指標以及超分辨率圖像生成的平均時間,結果如表2所示。

表2 在作物/雜草田地圖像數據集上測試結果對比Tab. 2 Comparison of test results on crop/weed field image dataset

對比表2測試結果,對于PSNR評價指標而言,本文方法的PSNR較雙三次插值、SRGAN、ESRGAN、深度殘差的GAN模型分別高8.242 dB、5.521 dB、3.079 dB、2.339 dB,說明本文方法不僅能滿足人眼的視覺高質量要求,也能生成符合模型且MSE要求最小化的圖像;對于SSIM指標而言,本文方法數值較雙三次插值、SRGAN、ESRGAN、深度殘差的GAN模型分別高0.143、0.089、0.051、0.018,這說明本文方法較好地考慮了圖像在整體結構上的相似性;對于生成超分辨率圖像平均時間而言,雖然時間上比雙三次插值耗時長,但是生成的效果佳,另外幾種生成對抗網絡模型超分辨率圖像生成的平均時間上相差不是很大,說明在運算規模上總體比較接近。綜上所述,進一步證明了本文所提出方法的有效性和優越性。

最后,將作物/雜草田地圖像數據集中的50組圖像的原圖、各種方法的超分辨生成圖像在AI識圖中進行作物、雜草識別,識別的準確率如表3所示。

表3 作物、雜草識別準確率對比Tab. 3 Comparison of identification accuracy of crops and weeds

本文方法產生的超分辨率圖像的在AI識圖中的識別準確率較原圖、雙三次插值、SRGAN、ESRGAN、深度殘差的GAN模型分別高18.8%、10.6%、3.5%、3.9%、2.7%。可以看出,本文方法所生成的超分辨率圖像,大大改善了原圖的識別準確率,也優于其他幾種方法。

4 結論

1) 根據SRGAN模型,提出一種新的生成對抗網絡模型,該模型為了更好更多地獲取田間雜草圖像的細節部分,同時提高超分辨率圖像生成效果,在損失函數中,增加基于卷積神經網絡的邊緣檢測損失,有效地克服傳統方法中細節損失的問題,同時增強圖像超分辨率的重建效果。

2) 首先,選取五組田間雜草圖像進行對比實驗,通過生成超分辨率圖像的視覺效果以及將原圖、SRGAN模型和本文模型生成的超分辨率圖像利用AI識圖進行田間雜草識別分類,本文方法在邊緣檢測后保留了圖像中更多的細節信息,本文方法獲得的高清圖雜草識別score最高,當植物種類單一且細節豐富時識別的score更高。

3) 進一步,將作物/雜草田地圖像數據集作為測試集,開展一系列試驗,本文方法的超分辨率生成圖像較雙三次插值、SRGAN、ESRGAN和深度殘差的GAN模型的PSNR分別高8.242 dB、5.521 dB、3.079 dB、2.339 dB,SSIM分別高0.143、0.089、0.051、0.018,在AI識圖中的識別準確率分別高10.6%、3.5%、3.9%、2.7%。

4) 后續還有很多地方需要研究完善,在本文研究的基礎上,還可從以下幾方面進一步展開研究工作。進一步擴充作物/雜草田地圖像數據集;模型訓練優化。本文在模型訓練時,由于硬件GPU內存偏小,為了避免內存爆滿而終止訓練,將輸入圖片的尺寸設置得較小,重建圖像為原圖的4倍,雖然提升了模型的訓練速度,但影響了模型的產生精準率,后續可以嘗試改進模型的結構,使其可以更高效。雖然本文設計了輕量化的田間雜草超分辨率重建模型,但并未在田地進行實操識并應用到識別系統中,同時更高精度的識別系統還有待進一步研究。