基于無人機(jī)影像和FABM-UNet網(wǎng)絡(luò)的油菜花簇分割方法研究

doi：10.15889/j.issn.1002-1302.2024.20.014

摘要：開花是油菜生長過程中的重要階段，花朵覆蓋度可以精確反映油菜花的生長狀態(tài)，為產(chǎn)量預(yù)測提供有用信息。為了解決傳統(tǒng)覆蓋度獲取方法需要大量人工的問題，本研究將覆蓋度問題轉(zhuǎn)變?yōu)橛筒嘶ǖ姆指顔栴}，提出了一種快速、無損的油菜花簇覆蓋度獲取方法。首先，基于無人機(jī)（UAV）的RGB影像，針對(duì)UNet網(wǎng)絡(luò)特征融合不充分的問題，設(shè)計(jì)了一種特征聚合橋分割網(wǎng)絡(luò)FABM-UNet；其次，為了驗(yàn)證模型的有效性，構(gòu)建了油菜花分割數(shù)據(jù)集RSD，該數(shù)據(jù)集由DJI Phantom 4 Pro v2.0捕獲而得，包括720張油菜花的影像以及對(duì)應(yīng)的分割標(biāo)簽；最后，與傳統(tǒng)的4種分割方法以及7種深度學(xué)習(xí)的網(wǎng)絡(luò)（Deeplabv3+、PSPNet、UNet、UNet++、UNet3plus、Attention-UNet和TransUNet）進(jìn)行對(duì)比，結(jié)果表明，F(xiàn)ABM-UNet網(wǎng)絡(luò)的分割指標(biāo)IoU和Dice系數(shù)分別為0.87和0.93，在本研究的油菜花數(shù)據(jù)集上實(shí)現(xiàn)了最優(yōu)分割性能，分割結(jié)果可以直觀揭示油菜花朵覆蓋度的變化情況，為油菜品種的選育提供了有力的支撐。

關(guān)鍵詞：油菜花；油菜花覆蓋度；圖像分割；特征融合模塊；油菜產(chǎn)量

中圖分類號(hào)：S126；S127；TP79" 文獻(xiàn)標(biāo)志碼：A

文章編號(hào)：1002-1302（2024）20-0113-08

收稿日期：2023-11-14

基金項(xiàng)目：湖北省重點(diǎn)研發(fā)計(jì)劃（編號(hào)：2023BB030）；武漢市知識(shí)創(chuàng)新項(xiàng)目（編號(hào)：108）；國家自然科學(xué)基金-青年科學(xué)基金（編號(hào)：42301515）；湖北省教育廳項(xiàng)目-科研計(jì)劃青年項(xiàng)目（編號(hào)：Q20320413）；湖北工業(yè)大學(xué)博士科研啟動(dòng)基金（編號(hào)：XJ2021004501）。

作者簡介：李" 婕（1984—），女，湖北武漢人，博士，碩士生導(dǎo)師，主要從事計(jì)算機(jī)視覺研究。E-mail：jielonline@hbut.edu.cn。

通信作者：喬江偉，博士，副研究員，主要從事油菜育種工作。E-mail：qiaojiangwei@caas.cn。

油菜是世界上重要的四大油料作物之一，在我國更是種植面積最廣的油料作物，對(duì)我國的經(jīng)濟(jì)發(fā)展有著非常重要的影響。油菜產(chǎn)出的油菜籽可用于食用油、脫脂粉、榨菜、豆腐等食品的制作，具有很高的使用價(jià)值，油菜籽產(chǎn)業(yè)的發(fā)展對(duì)保障油料供應(yīng)來說至關(guān)重要［1］。隨著經(jīng)濟(jì)的發(fā)展和消費(fèi)水平的提高，油菜籽的需求也在不斷提高，如何培育高產(chǎn)的油菜改善油菜籽的產(chǎn)量至關(guān)重要［2］。油菜的花期長達(dá)1個(gè)月，幾乎占油菜全部生長期的1/4，是育種人員分析影響種子產(chǎn)量因素的關(guān)鍵時(shí)期。油菜的產(chǎn)量成分包括每莢的種子數(shù)、莢果數(shù)和每粒種子的質(zhì)量，成熟時(shí)保留的豆莢數(shù)量對(duì)種子產(chǎn)量的影響最大［3］。保留的豆莢數(shù)量在很大程度上取決于開花時(shí)間和花朵成熟時(shí)間［4］。因此，有效識(shí)別花期已成為油菜育種的重要研究課題［5］。

作物覆蓋度是反映農(nóng)作物生長狀況的常用參數(shù)，是對(duì)作物長勢進(jìn)行分析的常用性指標(biāo)之一［6］。油菜花覆蓋度的獲取是將通過遙感獲取的油菜花簇影像進(jìn)行分割，計(jì)算花簇部分的面積占比，油菜花簇覆蓋度的獲取可以準(zhǔn)確地反映每個(gè)品種的油菜在花期不同時(shí)間段的生長狀況。覆蓋度達(dá)到最大值時(shí)，油菜花達(dá)到開花峰值。DAndrimont等的研究表明，油菜花覆蓋度和開花峰值與油菜籽產(chǎn)量相關(guān)［7-8］。因此，快速準(zhǔn)確地測定油菜花在花期不同階段的覆蓋度變化具有重要意義。

近年來，衛(wèi)星遙感技術(shù)在農(nóng)業(yè)中的應(yīng)用已經(jīng)成為一種趨勢。該方法可以在不破壞農(nóng)作物的情況下，在大面積范圍內(nèi)獲取不同時(shí)間、不同空間的作物信息［9-10］。但是，衛(wèi)星遙感受到空間分辨率的限制，特別是對(duì)于需要獲取植物詳細(xì)冠層信息的應(yīng)用。雖然近年來隨著遙感技術(shù)的發(fā)展，已經(jīng)可以將遙感圖像的空間分辨率提高到30、10、3 m。但是由于訪問周期大、云量大等原因，一些小地塊植物生長信息的獲取仍然存在獲取難度高、獲取成本高昂的問題［11］。

無人機(jī)（unmanned aerial vehicle，簡稱UAV）平臺(tái)在農(nóng)業(yè)遙感方面的應(yīng)用大大彌補(bǔ)了衛(wèi)星平臺(tái)的缺陷。UAV的特點(diǎn)是低成本、高靈活性，可以在需要的時(shí)間和地點(diǎn)頻繁地進(jìn)行飛行試驗(yàn)，收集影像用于作物監(jiān)測［12-13］。Zhang等使用攜帶RGB相機(jī)的UAV平臺(tái)對(duì)油菜的紫葉進(jìn)行了提取［14］。胡靈炆等利用UAV獲取的RGB影像成功地對(duì)苗期的油菜品種進(jìn)行了識(shí)別［15］。龔龑等使用UAV獲取的混合光譜建立了油菜的估產(chǎn)模型［16］。因此，使用UAV遙感平臺(tái)獲取的油菜影像進(jìn)行表型分析，具有非常廣泛的應(yīng)用。

隨著計(jì)算機(jī)技術(shù)的發(fā)展，圖像分割技術(shù)在農(nóng)業(yè)遙感中存在著非常廣泛的應(yīng)用。在油菜花的分割方面。Wan等將UAV獲取的RGB油菜花影像轉(zhuǎn)換到LAB空間，并使用了K均值聚類的方法對(duì)油菜花進(jìn)行分割，并計(jì)算了油菜花的覆蓋度［17］。肖美欣等使用顏色閾值與聚類結(jié)合的分割方法來分割油菜花，考慮到油菜花突出的黃色特征，這類基于顏色特征的方法能較好地分割出油菜花信息［18］。

然而，以上方法皆為傳統(tǒng)分割方法在油菜花分割任務(wù)中的應(yīng)用，目前很少有將深度學(xué)習(xí)語義分割的方法應(yīng)用于油菜花分割的案例。劉立波等利用FCN網(wǎng)絡(luò)結(jié)合條件隨機(jī)場，實(shí)現(xiàn)了棉花的冠層圖像分割［19］。和興華使用Segnet模型對(duì)玉米的冠層進(jìn)行了分割提取［20］。萬園潔等對(duì)FCN網(wǎng)絡(luò)進(jìn)行改進(jìn)，并對(duì)小麥圖像進(jìn)行了分割［21］。Xiong等提出了一種基于超像素分割和CNN的稻穗分割算法Panicle-SEG，很好地應(yīng)用于不同品種及生育期的大田稻穗分割［22］。以上研究證明了深度學(xué)習(xí)語義分割的方法在提取農(nóng)作物語義信息方面的可行性。因此，本研究嘗試使用深度學(xué)習(xí)的分割方法對(duì)油菜花簇進(jìn)行分割，以證明深度學(xué)習(xí)語義分割方法的有效性。

本研究提出一種FABM-UNet網(wǎng)絡(luò)，針對(duì)傳統(tǒng)語義分割網(wǎng)絡(luò)UNet特征融合不充分的問題，設(shè)計(jì)了基于監(jiān)督信息的FABM模塊，將編碼器底層與解碼器高層的信息統(tǒng)合，以提升網(wǎng)絡(luò)提取油菜花邊緣特征的能力；建立了無人機(jī)影響下的油菜花分割數(shù)據(jù)集RSD，該數(shù)據(jù)集包含720張圖片，以及對(duì)應(yīng)的label標(biāo)簽，并在此數(shù)據(jù)集上對(duì)比了4種傳統(tǒng)的分割方法和8種深度學(xué)習(xí)的分割方法，證明語義分割算法在油菜花分割應(yīng)用上的可行性；評(píng)估了本研究方法在不同花期數(shù)據(jù)的魯棒性，并根據(jù)分割結(jié)果，計(jì)算油菜花簇的覆蓋度。

1" 材料與方法

1.1" 總體流程圖

本研究的總體流程分為3個(gè)部分無人機(jī)影像采集、油菜花分割數(shù)據(jù)集和覆蓋度獲取3個(gè)部分。如圖1所示，首先使用攜帶RGB相機(jī)的無人機(jī)和影像拼接軟件Agisoft PhotoScan來采集整塊大田的影像數(shù)據(jù)，并使用裁剪軟件Adobe Photoshop將每一塊小區(qū)的油菜花影像單獨(dú)裁剪出來；其次，使用labelme軟件制作油菜花分割數(shù)據(jù)集RSD，包括制作語義標(biāo)簽以及對(duì)油菜原始影像和語義圖片進(jìn)行裁剪處理；最后，評(píng)估了4種傳統(tǒng)的分割方法和8種深度學(xué)習(xí)的分割方法以及本研究提出的圖像分割方法提取油菜花的語義信息，并利用分割后的影像計(jì)算油菜花的覆蓋度占比。

1.2" 數(shù)據(jù)獲取

試驗(yàn)所用的數(shù)據(jù)采集于湖北省武漢市新洲區(qū)中國農(nóng)業(yè)科學(xué)院油料作物研究所陽邏基地（30°42′N，114°30′E），該試驗(yàn)基地（圖2）海拔約 24 m，氣候類型為亞熱帶季風(fēng)氣候，油菜以小區(qū)的形式種植于大田之中，本研究選取冬油菜（9月底種植，次年5月收獲）作為試驗(yàn)數(shù)據(jù)，采集時(shí)間在2021年的2—5月進(jìn)行。

數(shù)據(jù)采集使用的無人機(jī)型號(hào)為大疆精靈Phantom 4 Pro v2.0，搭載相機(jī)為2×107像素，拍攝單張圖像尺寸為5 472像素×3 648像素，具體采集環(huán)境如表1所示。無人機(jī)使用自動(dòng)歸航模式進(jìn)行航拍，飛行高度為10 m，速度為1.9 m/s，拍照方式為等間距，每一次飛行約需10 min完成數(shù)據(jù)采集。

圖3按照從左到右的順序展示了同一塊小區(qū)的油菜花在整個(gè)花期不同時(shí)間段的生長狀況。從圖中可以看出，隨著油菜花期的不同時(shí)間段，油菜花的密度差異較大。在初花期階段，油菜花小區(qū)影像中油菜葉片占多數(shù)。隨著盛花期到來，花朵逐漸展開，覆蓋率逐漸增加，油菜花序密集、粘連現(xiàn)象嚴(yán)重。在油菜花的晚期生長階段，油菜花序逐漸減少，隨之而來的油菜角果的增加，對(duì)油菜花造成了一定程度的遮擋。由于不同生長階段油菜花影像的背景不同，讓不同時(shí)期油菜花簇影像分割存在一定難度。

1.3" 油菜花期數(shù)據(jù)集構(gòu)建

本研究利用2021年油菜在不同花期的影像數(shù)據(jù)，作為網(wǎng)絡(luò)模型的訓(xùn)練樣本。首先，將無人機(jī)拍攝的影像數(shù)據(jù)進(jìn)行預(yù)處理。影像數(shù)據(jù)經(jīng)過拼接，得到大田的正射影像。然后，使用圖像處理軟件Agisoft PhotoScan按照實(shí)際地面尺寸，以小區(qū)為單位進(jìn)行裁剪。同時(shí)，結(jié)合種植時(shí)的數(shù)據(jù)，為每個(gè)小區(qū)的影像打上標(biāo)簽，這樣就得到了各個(gè)小區(qū)的影像數(shù)據(jù)。接下來，將裁剪成小區(qū)的油菜影像制作為分割所需的油菜花數(shù)據(jù)集，使用標(biāo)注工具labelme對(duì)裁剪的油菜影像進(jìn)行標(biāo)注，并將標(biāo)注完成后的json文件轉(zhuǎn)化為語義分割所需的mask圖片。由于試驗(yàn)基地中種植的油菜品種和數(shù)量均有限，無人機(jī)獲取到的影像數(shù)據(jù)可能數(shù)量較少、無法滿足模型訓(xùn)練的需求，所以對(duì)已經(jīng)標(biāo)記好的原始小區(qū)影像進(jìn)行裁剪工作。裁剪后的大小為256像素×256像素。由于原始圖片大小不一致，每一塊小區(qū)能夠裁剪出的小圖數(shù)量也不同，范圍在10～15張之間。通過這樣的處理，得到了最終包含720張圖片和720張label標(biāo)簽的油菜花簇分割數(shù)據(jù)集（rapeseed segmentation dataset，簡稱RSD）。

1.4" 基于FABM-UNet網(wǎng)絡(luò)的油菜花簇分割方法

1.4.1" UNet網(wǎng)絡(luò)

UNet網(wǎng)絡(luò)是一個(gè)“U”形結(jié)構(gòu)的全卷積神經(jīng)網(wǎng)絡(luò)。該網(wǎng)絡(luò)包含編碼器和解碼器部分［23］。編碼器部分包括一系列的下采樣模塊，用于特征提取，解碼器部分包含一系列上采樣模塊，用于特征融合。此外，在上采樣的過程中，加入了跳躍連接部分來融合下采樣過程中的特征圖，融合方式為通道疊加。UNet網(wǎng)絡(luò)使用的loss函數(shù)是像素級(jí)別的交叉熵?fù)p失函數(shù)，用于衡量預(yù)測像素和實(shí)際像素之間的差異。損失函數(shù)的公式如下：

L=1N∑i{-［yigln（pi）+（1-yi）gln（1-pi）］}。（1）

式中：yi表示樣本i的真實(shí)值，正類為1；pi表示樣本i預(yù)測為正類的概率；N為樣本的數(shù)量。

1.4.2" 特征聚合橋模塊（feature aggregation bridge module，簡稱FABM）

盡管UNet網(wǎng)絡(luò)在各種醫(yī)學(xué)語義分割任務(wù)中表現(xiàn)出良好的分割效果，然而油菜花花朵較小、間隔不規(guī)律、花朵布局的雜亂無章以及花朵邊緣輪廓信息的復(fù)雜性導(dǎo)致傳統(tǒng)的UNet在無人機(jī)油菜花數(shù)據(jù)集上表現(xiàn)不突出。因?yàn)閁Net網(wǎng)絡(luò)在下采樣的過程中使用了最大池化層，而最大池化層會(huì)導(dǎo)致圖像信息的丟失，另一方面UNet網(wǎng)絡(luò)的跳躍連接部分只是簡單地將編碼器層和解碼器層的特征進(jìn)行通道疊加，從而導(dǎo)致特征的融合不充分。

為了解決這些問題，本研究提出了一種特征聚合橋模塊FABM，一方面跳躍連接編解碼部分，另一方面嘗試聚合不同尺度的特征，該模塊可以將來自網(wǎng)絡(luò)不同層、不同尺度的信息進(jìn)行特征融合，確保低級(jí)特征和高級(jí)特征的有效融合，使網(wǎng)絡(luò)更好地捕捉花朵的細(xì)節(jié)和邊緣信息。圖4展示了FABM模塊的具體細(xì)節(jié)，由特征組合、特征聚合2個(gè)部分組成，輸入分別為來自編碼器層的高級(jí)特征和低級(jí)特征，以及解碼器卷積層直接輸出的預(yù)測特征圖。在特征組合部分，先將高級(jí)特征和預(yù)測特征圖進(jìn)行上采樣操作，使其大小與低級(jí)特征對(duì)齊，之后將高級(jí)特征和低級(jí)特征平均切割成4組，預(yù)測特征圖是單通道圖片，將其復(fù)制4份之后，與高級(jí)特征、低級(jí)特征組合到一起，得到4組張量。4組張量送入特征聚合部分，使其經(jīng)過不同擴(kuò)張率（d=1，2，5，7）的空洞卷積，得到4組特征，并將4組特征進(jìn)行通道疊加，通過一個(gè)卷積塊得到最終的輸出特征。

1.4.3" 本研究提出的FABM-UNet網(wǎng)絡(luò)結(jié)構(gòu)

本研究提出的FABM-UNet網(wǎng)絡(luò)具體結(jié)構(gòu)如圖5所示，將256像素×256像素大小的RGB影像輸入到網(wǎng)絡(luò)中。在編碼器部分，經(jīng)過第1次3×3的卷積后，特征層通道數(shù)增加至64個(gè)，第2次3×3的卷積僅用于特征整合，大小與通道數(shù)不發(fā)生變化，得到網(wǎng)絡(luò)第1層的特征塊，再將所得的特征層通過2×2最大池化層操作后將特征尺寸變?yōu)?28×128。如此重復(fù)共進(jìn)行5次操作，得到編碼器結(jié)構(gòu)的5個(gè)特征塊。在對(duì)第5層特征進(jìn)行上采樣解碼前，經(jīng)過卷積模塊fmconv，輸出為通道數(shù)為1的預(yù)測特征圖。為了使網(wǎng)絡(luò)能夠聚合不同尺度的特征，將FABM模塊插入到模型的跳躍連接層中，并將作為低級(jí)特征的第4層的特征塊、作為高級(jí)特征的第5層的特征塊和預(yù)測特征圖輸入到FABM模塊中，經(jīng)過模塊的特征聚合，得到輸出的特征。此特征與網(wǎng)絡(luò)第5層特征塊上采樣解碼后的特征進(jìn)行通道疊加，完成跳躍連接操作。接著進(jìn)行2個(gè)3×3卷積操作，將通道數(shù)變?yōu)?12。如此重復(fù)4次，得到大小為256像素×256像素、通道數(shù)為64的最終特征，再經(jīng)過一個(gè)1×1×1的卷積塊，得到最終的輸出圖片。

1.5" 評(píng)價(jià)指標(biāo)

油菜花的分割是一個(gè)二分類問題，本研究采用Dice系數(shù)（即預(yù)測結(jié)果和真實(shí)值之間的相似度）、精準(zhǔn)率（Precision，即分割正確的油菜花像素個(gè)數(shù)占預(yù)測出的油菜像素個(gè)數(shù)的比例）、召回率（Recall，即分割正確的油菜花像素個(gè)數(shù)占實(shí)際的油菜花像素個(gè)數(shù)的比例）、交并比（IoU，即兩者的交集除以并集以衡量預(yù)測結(jié)果與原始標(biāo)簽的重疊程度）4個(gè)評(píng)價(jià)指標(biāo)評(píng)估網(wǎng)絡(luò)整體性能。

IoU=TPTP+FN+TP；（2）

Recall=TPTP+FN；（3）

Dice系數(shù)=2TP（TP+FN）+（TP+FP）；（4）

Precision=TPTP+FP。（5）

式中：TP代表預(yù)測正確的正樣本的數(shù)量；TN代表預(yù)測正確的負(fù)樣本別的數(shù)量；FP代表預(yù)測錯(cuò)誤的正樣本的數(shù)量；FN代表預(yù)測錯(cuò)誤的負(fù)樣本的數(shù)量。

2" 結(jié)果與分析

2.1" 網(wǎng)絡(luò)訓(xùn)練

本研究的試驗(yàn)平臺(tái)為湖北工業(yè)大學(xué)電子信息實(shí)驗(yàn)室提供的計(jì)算機(jī)，試驗(yàn)時(shí)間為2023年2—9月。試驗(yàn)使用了基于PyTorch的Windows操作系統(tǒng)和NVIDIA GTX 3070 GPU進(jìn)行實(shí)現(xiàn)，將數(shù)據(jù)集按照 9 ∶1 的比例劃分為訓(xùn)練集和驗(yàn)證集。通過參數(shù)調(diào)整，初始學(xué)習(xí)率lr設(shè)置為0.000 1，batchsize大小設(shè)置為2，并進(jìn)行了100個(gè)Epochs的試驗(yàn)迭代。隨著迭代次數(shù)的增加，學(xué)習(xí)率逐漸加速，并利用Adam優(yōu)化器對(duì)模型的訓(xùn)練過程進(jìn)行了優(yōu)化。在訓(xùn)練過程中，隨著迭代次數(shù)的增加，模型的IoU精度逐漸提高。訓(xùn)練和驗(yàn)證的loss損失值在開始時(shí)變化較大，在經(jīng)過10個(gè)Epochs之后開始逐漸下降。經(jīng)過大約50個(gè)Epochs的訓(xùn)練，這2個(gè)損失值趨于穩(wěn)定并接近收斂狀態(tài)。經(jīng)過100個(gè)Epochs的訓(xùn)練，得到了最終的檢測網(wǎng)絡(luò)模型，并將其用于油菜花朵的分割任務(wù)。

2.2" 與不同網(wǎng)絡(luò)的對(duì)比

本研究使用了傳統(tǒng)的4種學(xué)習(xí)方法與7種深度學(xué)習(xí)語義分割網(wǎng)絡(luò)進(jìn)行對(duì)比試驗(yàn)。4種傳統(tǒng)學(xué)習(xí)方法分別為Otsu大津法、HSV顏色通道H通道顏色分割、Lab空間的k-means聚類以及基于顏色特征的分割。Otsu大津法在1979年被提出，它通過最大化圖像的類間方差來找到最佳分割閾值，從而對(duì)圖像進(jìn)行二值化；HSV顏色通道H通道顏色分割方法使用色調(diào)通道進(jìn)行閾值分割；LAB空間k-means聚類方法將圖像轉(zhuǎn)化到LAB顏色空間中，然后使用 k-means 算法對(duì)圖像進(jìn)行聚類；基于顏色特征的分割方法首先將RGB圖像轉(zhuǎn)換到LAB、HSV空間，得到圖像中每個(gè)像素的9個(gè)顏色特征，然后將圖像中油菜花區(qū)域像素點(diǎn)的顏色特征統(tǒng)計(jì)為訓(xùn)練集的前景，圖片中其他區(qū)域像素點(diǎn)的顏色特征作為背景，在確定的訓(xùn)練集監(jiān)督下實(shí)現(xiàn)圖像分割。

7種深度學(xué)習(xí)語義分割網(wǎng)絡(luò)分別為UNet、Deeplabv3+、PSPNet、UNet++、Attention-UNet、UNet3plus、TransUNet。Deeplabv3+網(wǎng)絡(luò)包含編碼器和解碼器部分，其最大的改進(jìn)點(diǎn)是在編碼器結(jié)構(gòu)中加入了空洞卷積來改善圖像的特征提取［24］。PSPNet網(wǎng)絡(luò)在Resnet基礎(chǔ)結(jié)構(gòu)中引入了空洞卷積，在編碼器部分之后，使用了金字塔層池化來聚合上下文信息［25］。UNet++網(wǎng)絡(luò)改進(jìn)了UNet的跳躍連接方式，引入了一種新的密集連接的方式，可以讓不同語義尺度之間的特征進(jìn)行聚合［26］。UNet3plus網(wǎng)絡(luò)改進(jìn)了UNet++的連接方式，使解碼器層的特征可以聚合到全尺度的特征［27］。Attention-UNet網(wǎng)絡(luò)將attention gate插入到UNet的跳躍連接過程中，在來自編碼器的特征與解碼器上采樣之后的特征進(jìn)行通道疊加之前，將它們送入attention gate模塊中，該模塊生成一個(gè)門控信號(hào)，用來控制不同位置處特征的重要性［28］。TransUNet是首次將transformer融入到以CNN為基礎(chǔ)架構(gòu)的UNet網(wǎng)絡(luò)中的一種網(wǎng)絡(luò)，通過CNN結(jié)構(gòu)將圖像編碼為高級(jí)特征表示，再經(jīng)過transformer結(jié)構(gòu)得到全局的輸出特征，將輸出特征reshape后經(jīng)過CNN的解碼器層，得到最終輸出結(jié)果［29］。

以上方法應(yīng)用在本研究的RBS數(shù)據(jù)集上，具體的指標(biāo)如表2所示。從表2可以看出，深度學(xué)習(xí)方法的4項(xiàng)精度指標(biāo)要明顯高于傳統(tǒng)學(xué)習(xí)方法。在傳統(tǒng)方法中，Otsu大津法、HSV（H）顏色分割和Lab空間k-means聚類3種方法分割精度較低，其Dice系數(shù)、IoU、精準(zhǔn)率和召回率值均在0.5～0.8，其中最差的為Lab空間k-means聚類方法，其Dice系數(shù)、IoU、精準(zhǔn)率、召回率分別為0.500、0.630、0.610和0.750。基于顏色特征的分割方法取得了較好的方法，其Dice系數(shù)達(dá)到了0.710，IoU達(dá)到了0.800，精準(zhǔn)率和召回率分別達(dá)到了0.800和0.840，4項(xiàng)分割指標(biāo)要明顯優(yōu)于其他3種傳統(tǒng)方法。而基于深度學(xué)習(xí)的8種不同的方法，其4項(xiàng)評(píng)價(jià)指標(biāo)均高于傳統(tǒng)方法。其中，Deeplabv3+和PSPNet網(wǎng)絡(luò)的Dice系數(shù)為0.820和0.740，IoU、精準(zhǔn)率和召回率均在0.8～0.9。而UNet網(wǎng)絡(luò)以及基于UNet的變種網(wǎng)絡(luò)的Dice系數(shù)均高于0.84，IoU、精準(zhǔn)率和召回率均可達(dá)到0.9及以上，4項(xiàng)精度要明顯高于Deeplabv3+和PSPNet網(wǎng)絡(luò)。本研究提出的FABM-UNet網(wǎng)絡(luò)的IoU達(dá)到0.93，精準(zhǔn)率和召回率分別為0.92和0.94，說明了本研究方法的有效性。

圖6呈現(xiàn)了可視化分割結(jié)果，由結(jié)果可以看出，8種不同深度學(xué)習(xí)方法均可以提取黃色的油菜花朵信息，但不同的深度學(xué)習(xí)方法分割效果有較大的差異。如圖6的藍(lán)色圓框部分為密集的油菜花區(qū)域以及紅色圓框所示的稀疏區(qū)域所示，Deeplabv3+和PSPNet網(wǎng)絡(luò)分割結(jié)果中，花簇與花簇間粘連嚴(yán)重、無法區(qū)分，這是由于油菜花的邊緣和輪廓信息較多，特征提取不充分。UNet及其變種網(wǎng)絡(luò)的效果從視覺效果上要好于Deeplabv3+和PSPNet網(wǎng)絡(luò)，這與表2所呈現(xiàn)的客觀評(píng)價(jià)指標(biāo)一致。圖6的紅色圓框部分還存在著一些顏色較淺、性狀極度不規(guī)則的油菜花花簇，可以看出，UNet、UNet++、UNet3plus、Attention-UNet和TransUNet這5種網(wǎng)絡(luò)無法將油菜花的輪廓分割出來，而FABM-UNet網(wǎng)絡(luò)的分割結(jié)果與label標(biāo)簽和原圖形狀最為接近。結(jié)合分割精度指標(biāo)和可視化效果， 本研究提出的FABM-UNet網(wǎng)絡(luò)具有優(yōu)越性。

2.3" 不同密度下的分割精度說明

為了驗(yàn)證FABM-UNet網(wǎng)絡(luò)的魯棒性，本研究利用2021年采集的油菜花數(shù)據(jù)20張影像作為測試數(shù)據(jù)集。將網(wǎng)絡(luò)對(duì)不同花期、不同密度下的小區(qū)進(jìn)行了測試，計(jì)算測試后的精度，并將預(yù)測結(jié)果與原始ground truth進(jìn)行可視化結(jié)果對(duì)比（圖7）。

如表3所示，可以看出，網(wǎng)絡(luò)在B組圖片上魯棒性較好，Dice系數(shù)、IoU、精準(zhǔn)率和召回率分別達(dá)到了0.939、0.886、0.984、0.899，而在A組圖中，網(wǎng)絡(luò)的魯棒性表現(xiàn)較差，Dice系數(shù)、Iou、精準(zhǔn)率和召回率僅為0.878、0.782、0.934、0.824。造成這一差異的主要原因是因?yàn)锽組圖中是油菜花生長的茂盛期，而A組圖是油菜早花期的影像，存在著大量不明顯的花苞和形狀極度不規(guī)則的花朵，所以網(wǎng)絡(luò)較難準(zhǔn)確分割出這些花簇信息。

3" 討論與結(jié)論

油菜花的覆蓋度變化對(duì)育種具有重要意義。通過測定油菜花田的覆蓋度變化情況，可以清晰地觀察油菜花的生長和枯萎情況，同時(shí)還可以確定每個(gè)品種的開花峰值時(shí)間，即覆蓋度最大的時(shí)間點(diǎn)。當(dāng)獲取到油菜花的分割影像后，可以計(jì)算花朵像素的占比，即油菜花的覆蓋度，如式（6）所示。可以更好地了解同一時(shí)間大田油菜花的生長情況（圖8）。

花朵覆蓋度=花朵像素個(gè)數(shù)小區(qū)像素個(gè)數(shù)×100%。（6）

本研究結(jié)合無人機(jī)遙感和深度學(xué)習(xí)技術(shù)，探究了油菜花朵覆蓋度的獲取方法。通過制作油菜花分割數(shù)據(jù)集RSD，針對(duì)UNet網(wǎng)絡(luò)特征融合不充分的問題，提出了FABM特征聚合橋模塊，將其插入U(xiǎn)Net的跳躍連接層中。基于FABM特征聚合橋模塊的FABM-UNet網(wǎng)絡(luò)模型能夠通過分析油菜作物的無人機(jī)遙感影像，學(xué)習(xí)到更具表達(dá)力的語義特征。隨著引入FABM模塊和監(jiān)督信息的增加，網(wǎng)絡(luò)模型對(duì)特征的提取變得更加充分。在這個(gè)過程中，網(wǎng)絡(luò)模型能夠保持學(xué)習(xí)到的特征信息的不變性，從而能夠快速確定油菜生長過程中的關(guān)鍵節(jié)點(diǎn)。與4種傳統(tǒng)的圖像分割方法以及UNet、UNet++、UNet3plus、 Attention-UNet、 TransUNet等經(jīng)典網(wǎng)絡(luò)

模型相比，F(xiàn)ABM-UNet網(wǎng)絡(luò)模型在各項(xiàng)精度指標(biāo)上表現(xiàn)最好，IoU達(dá)到了0.870，Dice系數(shù)達(dá)到了0.930，精準(zhǔn)率和召回率分別達(dá)到了0.920和0.940。

通過對(duì)不同密度下的油菜花影像進(jìn)行分割，發(fā)現(xiàn)網(wǎng)絡(luò)在花期較早、油菜花較為稀疏的情況下，網(wǎng)絡(luò)的預(yù)測效果較差，然而在油菜花朵密集的盛花期，網(wǎng)絡(luò)的預(yù)測效果十分良好，IoU可以達(dá)到0.886，Dice系數(shù)可達(dá)到0.939。這為利用無人機(jī)遙感影像進(jìn)行油菜育種提供了一種新的技術(shù)參考。然而，由于試驗(yàn)小區(qū)和油菜品種的限制，后續(xù)試驗(yàn)將考慮增加更多試驗(yàn)田和油菜品種，以驗(yàn)證網(wǎng)絡(luò)模型結(jié)構(gòu)的魯棒性。此外，考慮到早期花期中不同品種的相似性，還計(jì)劃添加更多不同物候期的油菜數(shù)據(jù)，以進(jìn)行精細(xì)化的識(shí)別研究。

參考文獻(xiàn)：

［1］Fu D H，Jiang L Y，Mason A S，et al. Research progress and strategies for multifunctional rapeseed：a case study of China［J］. Journal of Integrative Agriculture，2016，15（8）：1673-1684.

［2］Blackshaw R，Johnson E，Gan Y T，et al. Alternative oilseed crops for biodiesel feedstock on the Canadian prairies［J］. Canadian Journal of Plant Science，2011，91（5）：889-896.

［3］Tayo T O，Morgan D G.Quantitative analysis of the growth，development and distribution of flowers and pods in oil seed rape （Brassica napus L.）［J］. The Journal of Agricultural Science，1975，85（1）：103-110.

［4］Faraji A. Flower formation and pod/flower ratio in canola （Brassica napus L.） affected by assimilates supply around flowering［J］. International Journal of Plant Production，2010，4（4）：271-280.

［5］Raman H，Raman R，Coombes N，et al. Genome-wide association analyses reveal complex genetic architecture underlying natural variation for flowering time in canola［J］. Plant，Cell amp; Environment，2016，39（6）：1228-1239.

［6］賈" 坤，姚云軍，魏香琴，等. 植被覆蓋度遙感估算研究進(jìn)展［J］. 地球科學(xué)進(jìn)展，2013，28（7）：774-782.

［7］D’Andrimont R，Taymans M，Lemoine G，et al. Detecting flowering phenology in oil seed rape parcels with Sentinel-1 and-2 time series［J］. Remote Sensing of Environment，2020，239：111660.

［8］Zhang T，Vail S，Duddu H S N，et al. Phenotyping flowering in canola （Brassica napus L.） and estimating seed yield using an unmanned aerial vehicle-based imagery［J］. Frontiers in Plant Science，2021，12：686332.

［9］Ines A V M，Das N N，Hansen J W，et al. Assimilation of remotely sensed soil moisture and vegetation with a crop simulation model for maize yield prediction［J］. Remote Sensing of Environment，2013，138：149-164.

［10］Huang J X，Sedano F，Huang Y B，et al. Assimilating a synthetic Kalman filter leaf area index series into the WOFOST model to improve regional winter wheat yield estimation［J］. Agricultural and Forest Meteorology，2016，216：188-202.

［11］Zhou X，Zheng H B，Xu X Q，et al. Predicting grain yield in rice using multi-temporal vegetation indices from UAV-based multispectral and digital imagery［J］. ISPRS Journal of Photogrammetry and Remote Sensing，2017，130：246-255.

［12］Verger A，Vigneau N，Chéron C，et al. Green area index from an unmanned aerial system over wheat and rapeseed crops［J］. Remote Sensing of Environment，2014，152：654-664.

［13］Gao J F，Liao W Z，Nuyttens D，et al. Fusion of pixel and object-based features for weed mapping using unmanned aerial vehicle imagery［J］. International Journal of Applied Earth Observation and Geoinformation，2018，67：43-53.

［14］Zhang J，Xie T J，Yang C H，et al. Segmenting purple rapeseed leaves in the field from UAV RGB imagery using deep learning as an auxiliary means for nitrogen stress detection［J］. Remote Sensing，2020，12（9）：1403.

［15］胡靈炆，周忠發(fā)，尹林江，等. 基于無人機(jī)RGB影像的苗期油菜識(shí)別［J］. 中國農(nóng)業(yè)科技導(dǎo)報(bào)，2022，24（9）：116-128.

［16］龔" 龑，肖" 潔，候金雨，等. 基于無人機(jī)遙感混合光譜分析的油菜估產(chǎn)模型［J］. 測繪地理信息，2017，42（6）：40-45.

［17］Wan L，Li Y J，Cen H Y，et al. Combining UAV-based vegetation indices and image classification to estimate flower number in oilseed rape［J］. Remote Sensing，2018，10（9）：1484.

［18］肖美欣，梅" 杰，孫開瓊，等. 顏色閾值與聚類結(jié)合的自動(dòng)油菜花圖像分割［J］. 武漢輕工大學(xué)學(xué)報(bào)，2021，40（6）：27-33，46.

［19］劉立波，程曉龍，賴軍臣. 基于改進(jìn)全卷積網(wǎng)絡(luò)的棉田冠層圖像

分割方法［J］. 農(nóng)業(yè)工程學(xué)報(bào)，2018，34（12）：193-201.

［20］和興華. 基于卷積神經(jīng)網(wǎng)絡(luò)的玉米冠層圖像分割與生育期鑒定方法［D］. 南昌：江西農(nóng)業(yè)大學(xué)，2018.

［21］萬園潔，卿粼波，何小海，等. 基于改進(jìn)全卷積網(wǎng)絡(luò)的小麥圖像分割［J］. 計(jì)算機(jī)系統(tǒng)應(yīng)用，2018，27（3）：221-227.

［22］Xiong X，Duan L F，Liu L B，et al. Panicle-SEG：a robust image segmentation method for rice panicles in the field based on deep learning and superpixel optimization［J］. Plant Methods，2017，13：104.

［23］Ronneberger O，F(xiàn)ischer P，Brox T. U-net：convolutional networks for biomedical image segmentation［C］//International Conference on Medical Image Computing and Computer-Assisted Intervention.Cham：Springer，2015：234-241.

［24］Chen L C，Zhu Y K，Papandreou G，et al. Encoder-decoder with atrous separable convolution for semantic image segmentation［C］//European Conference on Computer Vision.Cham：Springer，2018：833-851.

［25］Zhao H S，Shi J P，Qi X J，et al. Pyramid scene parsing network［C］//2017 IEEE Conference on Computer Vision and Pattern Recognition. Honolulu：IEEE，2017：6230-6239.

［26］Zhou Z W，Siddiquee M M R，Tajbakhsh N，et al. UNet：redesigning skip connections to exploit multiscale features in image segmentation［J］. IEEE Transactions on Medical Imaging，2020，39（6）：1856-1867.

［27］Huang H M，Lin L F，Tong R F，et al. UNet3：a full-scale connected UNet for medical image segmentation［C］//2020 IEEE International Conference on Acoustics，Speech and Signal Processing. Barcelona：IEEE，2020：1055-1059.

［28］Oktay O，Schlemper J，Le Folgoc L，et al. Attention U-net：learning where to look for the pancreas［EB/OL］. （2018-04-11）［2023-11-01］. http：//arxiv.org/abs/1804.03999v3.

［29］Chen J N，Lu Y Y，Yu Q H，et al. TransUNet：transformers make strong encoders for medical image segmentation［EB/OL］. （2021-02-08）［2023-11-01］. http：//arxiv.org/abs/2102.04306v1.