基于無(wú)人機(jī)遙感影像的農(nóng)業(yè)種植數(shù)量測(cè)量

趙 芳，賀 怡

(新鄉(xiāng)學(xué)院 計(jì)算機(jī)與信息工程學(xué)院，河南 新鄉(xiāng) 453000)

0 引言

河南作為我國(guó)農(nóng)業(yè)大省，糧食總產(chǎn)量常年位居全國(guó)前列，對(duì)全國(guó)糧食增產(chǎn)的貢獻(xiàn)率達(dá)30%以上，為我國(guó)的糧食安全重任作出了“河南貢獻(xiàn)”[1]。近年,河南省向高效種養(yǎng)業(yè)全面轉(zhuǎn)型升級(jí)，啟動(dòng)建設(shè)了多個(gè)省級(jí)現(xiàn)代農(nóng)業(yè)產(chǎn)業(yè)園及農(nóng)業(yè)生產(chǎn)基地。在大規(guī)模農(nóng)業(yè)生產(chǎn)基地的建設(shè)過(guò)程中，對(duì)農(nóng)作物產(chǎn)量進(jìn)行實(shí)時(shí)測(cè)量是一項(xiàng)必備的能力。目前常用的自動(dòng)產(chǎn)量測(cè)量技術(shù)是通過(guò)人工為每顆作物安裝RFID標(biāo)簽或傳感器，基于物聯(lián)網(wǎng)技術(shù)采集每顆農(nóng)作物的生長(zhǎng)數(shù)據(jù)[2]。雖然物聯(lián)網(wǎng)技術(shù)能夠有效地監(jiān)控農(nóng)作物的生長(zhǎng)情況，但也為大規(guī)模農(nóng)業(yè)生產(chǎn)基地帶來(lái)了龐大的人工負(fù)擔(dān)與經(jīng)濟(jì)負(fù)擔(dān)[3]。

隨著民用無(wú)人機(jī)向低成本、易操控的方向發(fā)展，許多重要領(lǐng)域運(yùn)用無(wú)人機(jī)來(lái)輔助解決工程測(cè)量任務(wù)[4-5]，并取得了良好的效果。許多科技工作者也對(duì)無(wú)人機(jī)在現(xiàn)代種養(yǎng)業(yè)的應(yīng)用進(jìn)行了嘗試，如利用無(wú)人機(jī)估算水肥一體化的玉米出苗率[6]、利用無(wú)人機(jī)影像診斷冬小麥的氮素營(yíng)養(yǎng)[7]以及利用無(wú)人機(jī)航拍監(jiān)測(cè)地膜農(nóng)田的地理分布情況[8]等，這些方案以有限的經(jīng)濟(jì)成本實(shí)現(xiàn)了良好的應(yīng)用效果。雖然無(wú)人機(jī)遙感影像技術(shù)具有機(jī)動(dòng)性強(qiáng)、分辨率高及成本低的優(yōu)點(diǎn)，但也存在目標(biāo)檢測(cè)難度大與檢測(cè)精度不足的問(wèn)題。

傳統(tǒng)的目標(biāo)檢測(cè)方法大多以圖像識(shí)別為基礎(chǔ)，通過(guò)窮舉法選出所有物體的邊框，提取這些區(qū)域的特征再進(jìn)行識(shí)別。隨著深度學(xué)習(xí)技術(shù)的發(fā)展，CNN[9]、LSTM[10]與YOLO[11]等多種深度神經(jīng)網(wǎng)絡(luò)在目標(biāo)檢測(cè)問(wèn)題上發(fā)揮了重要作用。R-CNN是第一個(gè)基于深度學(xué)習(xí)的目標(biāo)檢測(cè)框架，該框架采用提取框技術(shù)提取區(qū)域卷積神經(jīng)網(wǎng)絡(luò)特征，再通過(guò)圖像分類(lèi)與非極大值抑制2個(gè)步驟進(jìn)行目標(biāo)檢測(cè)。R-CNN對(duì)于高分辨率圖像大約需生成2 000個(gè)候選區(qū)域，然后每個(gè)候選區(qū)域被縮放成固定尺寸再送入CNN模型中，最后得到一個(gè)特征向量。經(jīng)研究發(fā)現(xiàn)，R-CNN的候選區(qū)域質(zhì)量有待加強(qiáng)，隨后Faster R-CNN則對(duì)R-CNN網(wǎng)絡(luò)進(jìn)行改進(jìn)，提高了候選區(qū)域的質(zhì)量。隨著Faster R-CNN在艦船檢測(cè)[12]、多尺度坦克裝甲車(chē)輛檢測(cè)[13]以及道路檢測(cè)[14]等問(wèn)題上的成功應(yīng)用，表明Faster R-CNN在目標(biāo)檢測(cè)領(lǐng)域具有良好的成效。Faster R-CNN在2個(gè)階段之間共享卷積特征，該機(jī)制提高了目標(biāo)準(zhǔn)確率與處理速度，但由于卷積運(yùn)算的特征圖尺寸限制，F(xiàn)aster R-CNN的候選區(qū)域通常為300個(gè)。

由于現(xiàn)代農(nóng)業(yè)的農(nóng)作物種植密度較高，無(wú)人機(jī)遙感影像往往包含成百上千個(gè)目標(biāo)農(nóng)作物，因此Faster R-CNN固定的候選區(qū)域數(shù)量無(wú)法滿足農(nóng)作物目標(biāo)檢測(cè)的需求。為了利用Faster R-CNN框架在計(jì)算效率與檢測(cè)性能上的優(yōu)勢(shì)，并解決其固定數(shù)量方形候選區(qū)域所導(dǎo)致的限制，本文提出了基于金字塔網(wǎng)絡(luò)(Feature Pyramid Networks,FPN)的多尺度局部特征提取與聚合方法，利用該方法代替Faster R-CNN的區(qū)域候選網(wǎng)絡(luò)(Region Proposal Network,RPN)模塊。

本文提出的目標(biāo)檢測(cè)網(wǎng)絡(luò)(FPN R-CNN)主要解決了Faster R-CNN的2個(gè)問(wèn)題：① Faster R-CNN候選區(qū)域的數(shù)量限制。本文通過(guò)金字塔網(wǎng)絡(luò)提取多尺度局部特征，自適應(yīng)地檢測(cè)所有目標(biāo)，解決了Faster R-CNN候選區(qū)域的數(shù)量限制；② Faster R-CNN基于方形邊框提取候選區(qū)域，難以處理農(nóng)作物的遮擋、旋轉(zhuǎn)與縮放等形變問(wèn)題。本文未采用基于邊框的區(qū)域選取機(jī)制，而是直接將多尺度局部特征進(jìn)行聚合，基于高判別力的特征檢測(cè)農(nóng)作物。上述2個(gè)機(jī)制提高了高密度種植場(chǎng)景下的農(nóng)作物檢測(cè)性能。

1 Faster R-CNN目標(biāo)檢測(cè)框架

Faster R-CNN目標(biāo)檢測(cè)框架主要包括候選區(qū)域提取與目標(biāo)分類(lèi)2個(gè)階段：第一階段采用RPN提取候選框，其本質(zhì)是一種基于滑動(dòng)窗口的無(wú)類(lèi)別目標(biāo)檢測(cè)網(wǎng)絡(luò);第二階段采用所提取候選區(qū)域的特征，訓(xùn)練相應(yīng)的分類(lèi)器以完成目標(biāo)識(shí)別。

由于RPN大約提取300個(gè)候選區(qū)域，且固定的邊框機(jī)制難以兼容尺寸差異大、外形變化大的目標(biāo),因此，本文設(shè)計(jì)了基于FPN[15]的多尺度局部特征提取與聚合方法，采用該方法替換Faster R-CNN框架的RPN模塊，利用不同尺寸、不同縱橫比的滑動(dòng)窗口提取候選區(qū)域的局部特征，從而增強(qiáng)對(duì)目標(biāo)的尺寸、遮擋及外形變化的魯棒性。第二階段，將聚合特征集送入后續(xù)網(wǎng)絡(luò)對(duì)感興趣區(qū)域進(jìn)行定位與識(shí)別。FPN R-CNN總體框架如圖1所示。

圖1 FPN R-CNN目標(biāo)檢測(cè)的框架Fig.1 Target detection framework of FPN R-CNN

由于卷積神經(jīng)網(wǎng)絡(luò)ResNet-101[16]提取特征的速度與性能均較高，因此采用ResNet-101作為FPN R-CNN的骨干網(wǎng)絡(luò)。第一階段，將ResNet block 3提取的CNN送入FPN處理；第二階段，將ResNet-101 block 3的特征送入ResNet-101 block 4進(jìn)行下一層卷積運(yùn)算，最終利用級(jí)聯(lián)的特征集進(jìn)行目標(biāo)識(shí)別與定位。

2 本文檢測(cè)框架

本文對(duì)Faster R-CNN的RPN模塊進(jìn)行了修改，基于FPN設(shè)計(jì)了多尺度局部特征提取與聚合方案，從而解決RPN候選區(qū)域限制的問(wèn)題。首先，將卷積激活圖送入多尺度FPN處理，產(chǎn)生的多尺度特征圖送入密集池化層，提取每個(gè)對(duì)象的局部特征。密集池化層將不同尺寸、縱橫比的目標(biāo)特征圖映射到聚合的激活圖中，該機(jī)制對(duì)目標(biāo)的尺寸、遮擋與外形變化具有魯棒性。

2.1 多尺度局部特征提取與聚合

設(shè)計(jì)了基于FPN的多尺度局部特征提取與聚合模塊，該模塊替換Faster R-CNN框架的RPN模塊，基于FPN的多尺度特征提取與聚合模塊如圖2所示。首先，F(xiàn)PN對(duì)輸入卷積特征圖進(jìn)行多尺度學(xué)習(xí)，將每個(gè)尺度的特征圖送入3個(gè)不同形狀的窗口進(jìn)行處理，提取不同形狀的局部特征，最終將多尺度特征聚合成總特征集。

圖2 基于FPN的多尺度特征提取與聚合模塊Fig.2 Multi-scale extraction and aggregation module of based on FPN

多尺度局部特征提取與聚合過(guò)程主要分為以下3個(gè)步驟：

步驟1：基于FPN提取多尺度特征，產(chǎn)生多尺度特征圖。將輸入激活圖記為ψ，平均池化窗口記為P={p1,p2,…,pn}，那么輸出的多尺度特征圖F可表示為：

F=Pa(ψ;P),

(1)

式中,ψ∈Rw×h×c，其中w,h與c分別為特征圖的寬度、高度與通道數(shù)。

步驟2：對(duì)F進(jìn)行最大池化處理，獲得局部特征圖

φ=Pm(F;w′,h′)，

(2)

式中,w′，h′分別為F的寬與高。通過(guò)步驟1與步驟2生成不同尺度的局部特征。

步驟3：通過(guò)平均池化對(duì)每個(gè)目標(biāo)對(duì)象的局部特征進(jìn)行聚合。由于該特征集集合了不同尺度的特征與不同形狀滑動(dòng)窗口的特征，因此該特征集對(duì)目標(biāo)的外形變化具有魯棒性。

因?yàn)檗r(nóng)作物在尺寸、角度與外形上均可能存在差異，因此該模塊使用不同尺寸與縱橫比的滑動(dòng)窗口可提高每個(gè)目標(biāo)的特征判別力。

2.2 感興趣區(qū)域空間特征生成方法

目標(biāo)的空間位置是農(nóng)作物檢測(cè)任務(wù)的重要信息，因此對(duì)Faster R-CNN的第二階段進(jìn)行輕量化修改。圖3描述了生成感興趣區(qū)域(Region of Interest,ROI)空間特征的流程。ResNet-101 block 3的特征包含相關(guān)的空間信息，因此將block 3輸出的卷積圖與1.2節(jié)輸出的卷積圖結(jié)合成ROI特征集。假設(shè)共生成n個(gè)ROI特征集，將n個(gè)特征集送入ResNet-101 block 4進(jìn)行卷積，在softmax層進(jìn)行目標(biāo)識(shí)別，在回歸層進(jìn)行目標(biāo)中心定位。

圖3 生成ROI空間特征的流程Fig.3 Process of ROI space feature generation

2.3 FPN R-CNN網(wǎng)絡(luò)的訓(xùn)練方法

FPN R-CNN訓(xùn)練包含目標(biāo)識(shí)別與目標(biāo)定位2個(gè)任務(wù)，通過(guò)二元分類(lèi)器解決目標(biāo)識(shí)別問(wèn)題，將圖像分類(lèi)成前景(農(nóng)作物)與背景；通過(guò)回歸方法解決目標(biāo)定位問(wèn)題，識(shí)別每個(gè)農(nóng)作物的幾何中心點(diǎn)。為神經(jīng)網(wǎng)絡(luò)的代價(jià)函數(shù)增加一個(gè)權(quán)重參數(shù)wi來(lái)權(quán)衡分類(lèi)層與回歸層。FPN R-CNN的代價(jià)函數(shù)可表示為：

L(pi,ti)=Lcls+Lreg=

(3)

式中，pi為候選區(qū)域i是目標(biāo)的概率；p′i為標(biāo)識(shí)變量，如果候選區(qū)域i是目標(biāo)，那么p′i=1，否則p′i=0；ti為預(yù)測(cè)的目標(biāo)中心坐標(biāo)；t′i為正定的目標(biāo)中心坐標(biāo)；wi為分配的權(quán)重；Ncls與Nreg為mini-batch的尺寸，通常取值256；Lcls為二值交叉熵函數(shù)。Lcls的計(jì)算式可表示為：

Lcls(pi,p′i)=CE(pi,p′i)=

-p′ilbpi-(1-p′i)lb(1-pi)。

(4)

采用均方誤差(Mean Squared Error,MSE)作為神經(jīng)網(wǎng)絡(luò)回歸層的代價(jià)函數(shù)，MSE的計(jì)算公式如下：

(5)

式中，qi為第i個(gè)農(nóng)作物的預(yù)測(cè)中心位置；q′i為第i個(gè)農(nóng)作物的人工標(biāo)注中心位置。

2.4 FPN R-CNN網(wǎng)絡(luò)的實(shí)現(xiàn)細(xì)節(jié)

FPN采用8×8的特征圖，池化窗口大小為4×4,2×2和1×1，采用3種縱橫比的池化窗口，即1∶1，1∶2和2∶1，因此池化窗口的總數(shù)量為10=3×3+1。

FPN R-CNN第一階段與第二階段的代價(jià)函數(shù)相同，均為式(3)所得結(jié)果。采用隨機(jī)梯度下降(Stochastic Gradient Descent,SGD)訓(xùn)練FPN R-CNN網(wǎng)絡(luò)，SGD動(dòng)量等于0.9，權(quán)重衰減等于5×10-4，patch大小等于16，超參數(shù)λ等于0.6。最大epoch數(shù)量設(shè)為100，初始學(xué)習(xí)率等于10-5，每隔5個(gè)epoch學(xué)習(xí)率衰減0.1。

3 實(shí)驗(yàn)結(jié)果與討論

3.1 UAV采集遙感影像

采用大疆“Air 2S”型號(hào)的無(wú)人機(jī)采集玉米種植基地的遙感影像，該無(wú)人機(jī)裝備了一英寸RGB光學(xué)CMOS相機(jī)。相機(jī)的最大視角為88°，最大分辨率為5 472 pixel×3 648 pixel。無(wú)人機(jī)在16 m高度以2 m/s的速度飛行，每幅圖像覆蓋的地面面積約為160 m2。

以新鄉(xiāng)學(xué)院附近的玉米種植基地為實(shí)驗(yàn)地點(diǎn)，該基地的經(jīng)緯度為(113°55′94″E，35°18′29″N)，圖4(a)所示是無(wú)人機(jī)在40 m高度拍攝的玉米種植基地全貌圖，圖4(b)是無(wú)人機(jī)在16 m高度拍攝的RGB圖像。無(wú)人機(jī)在16 m高度以2幅/秒的速率共拍攝100張圖像，所采集的100幅圖像隨機(jī)分成3個(gè)子集，70%的圖像作為訓(xùn)練集，20%的圖像作為驗(yàn)證集，10%的圖像作為測(cè)試集。

(a) 玉米種植基地全貌圖

(b) 無(wú)人機(jī)16 m高度航拍圖圖4 玉米生產(chǎn)基地航拍Fig.4 Aerial images of corn production base

3.2 正定數(shù)據(jù)集與性能評(píng)價(jià)標(biāo)準(zhǔn)

通過(guò)人工統(tǒng)計(jì)玉米種植的相關(guān)數(shù)據(jù)作為實(shí)驗(yàn)的正定數(shù)據(jù)，通過(guò)與正定數(shù)據(jù)比較來(lái)分析本文智能化測(cè)量系統(tǒng)的性能。首先采用Matlab軟件的“Image Segmenter”工具將圖像分割，再采用該工具的“Draw ROIs”功能提取玉米株前景對(duì)象，然后人工標(biāo)注100幅圖像的所有玉米株目標(biāo)。

采用精度、召回率與F-measure評(píng)價(jià)智能測(cè)量系統(tǒng)的性能。精度PR為：

(6)

式中，TP為智能測(cè)量系統(tǒng)檢測(cè)的真正樣本數(shù)量；FP為假正樣本的數(shù)量。

召回率Recall為：

(7)

式中，F(xiàn)N為檢測(cè)的假負(fù)樣本數(shù)量。

F-measure的計(jì)算公式如下：

(8)

式中，PR為精度值；Recall為召回率值。

3.3 神經(jīng)網(wǎng)絡(luò)訓(xùn)練實(shí)驗(yàn)

為了使Faster R-CNN支持足夠的候選區(qū)域，在RPN模塊使用Selective Search算法在圖像中從上往下提取1 000個(gè)候選區(qū)域。Faster R-CNN[17]與FPN R-CNN兩個(gè)網(wǎng)絡(luò)模型在訓(xùn)練集上的一次收斂曲線如圖5所示，F(xiàn)aster R-CNN的收斂速度較快，大約在40次epoch可達(dá)到收斂，對(duì)應(yīng)的代價(jià)函數(shù)MSE值約為380。FPN R-CNN約在60次epoch達(dá)到收斂，對(duì)應(yīng)的代價(jià)函數(shù)MSE值約為100。比較Faster R-CNN與FPN R-CNN二者的訓(xùn)練結(jié)果可知，F(xiàn)aster R-CNN的訓(xùn)練速度較快，而FPN R-CNN的檢測(cè)精度較高。

圖5 神經(jīng)網(wǎng)絡(luò)在訓(xùn)練集上的收斂曲線Fig.5 Convergence curve of neural network on training set

3.4 神經(jīng)網(wǎng)絡(luò)測(cè)試實(shí)驗(yàn)

將訓(xùn)練的2個(gè)神經(jīng)網(wǎng)絡(luò)在測(cè)試集上進(jìn)行實(shí)驗(yàn)，圖6所示是一部分玉米株的檢測(cè)結(jié)果實(shí)例。圖6(a)中共有2個(gè)漏檢樣本與3個(gè)誤檢樣本，圖6(b)中共有2個(gè)漏檢樣本與1個(gè)誤檢樣本。雖然Faster R-CNN 網(wǎng)絡(luò)成功降低了區(qū)域生成步驟的計(jì)算成本，但仍需提取1 000個(gè)不同尺度的候選區(qū)域，這些候選區(qū)域?qū)τ衩字晖庑巫兓c遮擋的魯棒性較差，將一些玉米葉片錯(cuò)誤判斷為玉米株。

(a) Faster R-CNN

(b) FPN R-CNN圖6 玉米識(shí)別情況Fig.6 Corn recognition situation

圖7統(tǒng)計(jì)了2個(gè)檢測(cè)模型在測(cè)試集上各個(gè)性能評(píng)價(jià)標(biāo)準(zhǔn)的平均值及標(biāo)準(zhǔn)偏差。FPN R-CNN的檢測(cè)精度高于Faster R-CNN，但召回率略低于Faster R-CNN。由于Faster R-CNN對(duì)前景對(duì)象的外形敏感，玉米株存在大量高度相似的葉片，導(dǎo)致Faster R-CNN極容易將相似的葉片識(shí)別為玉米株對(duì)象。雖然Faster R-CNN檢測(cè)出較多的玉米株目標(biāo)，實(shí)現(xiàn)了較高的召回率，但其中包含較多誤檢樣本，導(dǎo)致其檢測(cè)精度下降。本文FPN R-CNN通過(guò)不同尺度的池化窗口對(duì)激活圖進(jìn)行密集池化，基于所生成的局部特征識(shí)別前景目標(biāo)，該模型對(duì)玉米株的外形具有魯棒性，因此本文FPN R-CNN模型的誤檢率較低。由于上述原因，F(xiàn)PN R-CNN的F-measure指數(shù)優(yōu)于Faster R-CNN。

圖7 玉米產(chǎn)量測(cè)量的性能Fig.7 Performance of corn yield measurement

表1統(tǒng)計(jì)了Faster R-CNN與FPN R-CNN兩個(gè)網(wǎng)絡(luò)模型處理每幅測(cè)試圖像所需CPU時(shí)間的平均值及標(biāo)準(zhǔn)偏差。Faster R-CNN網(wǎng)絡(luò)使用selective search 算法在圖像中從上往下提取1 000個(gè)候選區(qū)域，且在2個(gè)階段共享卷積特征，大幅度地加快了R-CNN的處理效率。FPN R-CNN的多尺度卷積金字塔結(jié)構(gòu)有效提高了Faster R-CNN的目標(biāo)檢測(cè)準(zhǔn)確性，但也增加了網(wǎng)絡(luò)的總時(shí)間成本。FPN R-CNN的平均CPU時(shí)間約為Faster R-CNN的2倍，但該時(shí)間成本也可滿足農(nóng)作物產(chǎn)量測(cè)量任務(wù)的時(shí)間要求。

表1 測(cè)試集每幅圖像的平均處理時(shí)間Tab.1 Average computation time of all images in test set 單位：s

4 結(jié)束語(yǔ)

為了發(fā)展精細(xì)農(nóng)業(yè)并降低農(nóng)業(yè)種植的人工成本，利用無(wú)人機(jī)遙感影像實(shí)現(xiàn)了農(nóng)作物產(chǎn)量的智能化測(cè)量。該系統(tǒng)利用低空無(wú)人機(jī)拍攝農(nóng)作物的遙感影像，利用FPN R-CNN網(wǎng)絡(luò)檢測(cè)與定位農(nóng)作物。實(shí)驗(yàn)結(jié)果表明，該測(cè)量系統(tǒng)能夠準(zhǔn)確地測(cè)量農(nóng)作物的數(shù)量與位置，對(duì)農(nóng)作物密集分布的情況也具有較好的測(cè)量準(zhǔn)確性。FPN R-CNN的多尺度卷積金字塔結(jié)構(gòu)有效地提高了Faster R-CNN目標(biāo)檢測(cè)的準(zhǔn)確性，但也增加了網(wǎng)絡(luò)的總時(shí)間成本，其時(shí)間成本可滿足當(dāng)前農(nóng)作物產(chǎn)量測(cè)量的要求。