河北省農(nóng)業(yè)害蟲圖像識別系統(tǒng)建設(shè)

劉 震，紀(jì)明妹，郭志頂，黃素芳，趙忠祥，閆旭東，滕 霄，石 秘，岳明強(qiáng)，劉青松，徐玉鵬

（1.滄州市農(nóng)林科學(xué)院，河北 滄州 061001；2.河北恒華信息技術(shù)有限公司，石家莊 050000）

近年來，全球氣候惡化加快，環(huán)境條件變得愈發(fā)脆弱，農(nóng)作物蟲害的暴發(fā)呈上升趨勢。2020 年國家審議通過了《農(nóng)作物病蟲害防治條例》，是中國植物保護(hù)發(fā)展史上的里程碑，其中指出要全面提升重大病蟲害監(jiān)測預(yù)警和預(yù)防控制的能力［1-4］。因此，及時、準(zhǔn)確地識別農(nóng)作物蟲害并采取針對性防治措施是未來防治的發(fā)展方向。傳統(tǒng)識別方法依賴于個人經(jīng)驗，專業(yè)性強(qiáng)、誤判率高且具有一定滯后性［5］，普通人員很難對害蟲種類做出準(zhǔn)確判斷，不能采取應(yīng)對措施以滿足前期防治的要求。隨著精準(zhǔn)農(nóng)業(yè)的興起，數(shù)字化信息技術(shù)為農(nóng)作物蟲害早期防治提供了新思路［6］，機(jī)器學(xué)習(xí)和圖像處理方法已經(jīng)被廣泛地應(yīng)用到農(nóng)業(yè)蟲害識別之中［7］。通過圖像識別技術(shù)替代傳統(tǒng)人工識別，克服了傳統(tǒng)識別方法的缺點(diǎn)，具有快速、準(zhǔn)確和及時等特點(diǎn)，能夠在蟲害暴發(fā)前為農(nóng)耕人員提供必要信息，便于及時采取針對性防治措施，控制其傳播發(fā)展，減少農(nóng)業(yè)損失［8，9］。

目前，中國在利用圖像識別技術(shù)進(jìn)行作物病蟲害檢測方面開展了一些研究。顧波等［10］設(shè)計了基于機(jī)器視覺的害蟲檢測系統(tǒng)，運(yùn)用機(jī)器視覺數(shù)學(xué)圖像處理和模式識別等技術(shù)實現(xiàn)對螻蛄、金龜子、甜菜夜蛾、小地老虎等農(nóng)田中常見害蟲的識別。李衡霞等［11］利用VGG16 網(wǎng)絡(luò)提取圖像特征，然后用Fast R-CNN 實現(xiàn)選框的分類和定位，最終完成對油菜害蟲的檢測識別。除此之外，一些學(xué)者研究發(fā)現(xiàn)，圖像識別技術(shù)在林業(yè)及果樹的蟲害防治工作中也起到了一定的效果［12-14］。

雖然圖像識別技術(shù)已經(jīng)相對成熟，但只有在害蟲肉眼清晰可見時才能取得比較好的識別效果。同時，數(shù)據(jù)識別缺乏標(biāo)準(zhǔn)化，難以保證檢測數(shù)據(jù)質(zhì)量。只有通過農(nóng)業(yè)部門系統(tǒng)部署的蟲害檢測識別系統(tǒng)，才能最大限度地進(jìn)行科學(xué)觀測和記錄。因此，按照農(nóng)業(yè)科技需求和發(fā)展目標(biāo)建立適宜的農(nóng)業(yè)害蟲圖像識別網(wǎng)絡(luò)對于保障糧食安全具有重要意義。

1 工作機(jī)制與訓(xùn)練樣例數(shù)據(jù)集分析

1.1 工作機(jī)制

河北省農(nóng)業(yè)害蟲圖像識別系統(tǒng)工作網(wǎng)絡(luò)主要分為兩個層面，分別是圖像數(shù)據(jù)存儲中心和圖像收集節(jié)點(diǎn)。圖像數(shù)據(jù)中心設(shè)立在滄州市農(nóng)林科學(xué)院三農(nóng)服務(wù)中心，圖像收集節(jié)點(diǎn)分布于各試驗示范區(qū)，每個圖像收集節(jié)點(diǎn)可以通過手機(jī)App 收集系統(tǒng)將采集的樣例照片上傳至數(shù)據(jù)存儲中心。

數(shù)據(jù)存儲中心為害蟲圖像收集工作提供數(shù)據(jù)儲存和分析判斷功能。各數(shù)據(jù)采集節(jié)點(diǎn)通過App 將圖像數(shù)據(jù)采集后，通過移動網(wǎng)絡(luò)上傳至圖像數(shù)據(jù)存儲中心，系統(tǒng)根據(jù)當(dāng)前數(shù)據(jù)庫內(nèi)數(shù)據(jù)分析得出識別結(jié)果。待相關(guān)領(lǐng)域?qū)＜彝ㄟ^數(shù)據(jù)存儲中心后臺系統(tǒng)對識別結(jié)果進(jìn)行質(zhì)量審核，確認(rèn)識別結(jié)果無誤后將其錄入數(shù)據(jù)庫。

1.2 訓(xùn)練樣例數(shù)據(jù)集分析

訓(xùn)練數(shù)據(jù)集的質(zhì)量和規(guī)模嚴(yán)重影響識別算法模型的有效性和訓(xùn)練結(jié)果的精度。數(shù)據(jù)樣例數(shù)量不足、數(shù)據(jù)集制作人員受專業(yè)知識不足的影響，容易造成數(shù)據(jù)集質(zhì)量參差不齊、質(zhì)量難以得到有效保障的問題。通過對河北省滄州市歷年害蟲發(fā)生情況和圖像特征的分析，害蟲訓(xùn)練樣例數(shù)據(jù)集主要有以下幾個特點(diǎn)：數(shù)據(jù)集樣例數(shù)量多；害蟲特征提取難度大；數(shù)據(jù)集質(zhì)量要求高。為了確保圖像采集數(shù)量和分類數(shù)據(jù)集制作的高效、準(zhǔn)確，各階段參與人員針對每項重點(diǎn)任務(wù)編寫了技術(shù)操作手冊和成果要求說明，并且針對野外圖像采集工作的特點(diǎn)開發(fā)了移動端App。

2 害蟲圖像識別系統(tǒng)設(shè)計

2.1 工作流程

農(nóng)業(yè)害蟲圖像識別工作分為5 個階段（圖1），分別是害蟲圖像采集、害蟲分類標(biāo)識、機(jī)器學(xué)習(xí)訓(xùn)練、訓(xùn)練結(jié)果校驗、識別服務(wù)發(fā)布。

圖1 農(nóng)業(yè)害蟲圖像識別工作流程

1）害蟲圖像采集階段。一方面利用移動端圖像采集設(shè)備，依托滄州市農(nóng)林科學(xué)院提供技術(shù)服務(wù)的農(nóng)業(yè)種植企業(yè)和種植戶，在農(nóng)事作業(yè)現(xiàn)場采集害蟲圖片、背景作物、采集點(diǎn)位置、采集時間等信息，一并上報至系統(tǒng)后臺。另一方面利用網(wǎng)絡(luò)爬蟲技術(shù)，爬取互聯(lián)網(wǎng)害蟲圖像，豐富樣例數(shù)據(jù)集。

2）害蟲分類標(biāo)識階段。該階段將建立滄州市地區(qū)主要害蟲目錄庫，由植保專家對上一階段采集的害蟲圖片進(jìn)行特征提取、標(biāo)識、圖像增強(qiáng)等操作，完成各類樣例數(shù)據(jù)集的制作。

3）機(jī)器學(xué)習(xí)訓(xùn)練階段?；谌斯ぶ悄苌疃葘W(xué)習(xí)技術(shù)，使用各類害蟲數(shù)據(jù)集和圖片分類模型，開展機(jī)器學(xué)習(xí)，生成識別結(jié)果模型。

4）訓(xùn)練結(jié)果校驗階段。人工智能開發(fā)人員和植保專家建立害蟲分類驗證數(shù)據(jù)集，并對訓(xùn)練結(jié)果進(jìn)行結(jié)果校驗。根據(jù)校驗結(jié)果中存在不足，分別對識別模型參數(shù)和樣例數(shù)據(jù)集進(jìn)行優(yōu)化和補(bǔ)充，并重新發(fā)起機(jī)器學(xué)習(xí)，直至達(dá)到識別精度要求。

5）識別服務(wù)發(fā)布階段。當(dāng)植保專家評估害蟲分類訓(xùn)練結(jié)果達(dá)到精度要求后，更新識別模型服務(wù)庫，并與防治知識庫進(jìn)行數(shù)據(jù)匹配，向公眾提供害蟲圖像識別服務(wù)。

2.2 系統(tǒng)架構(gòu)

根據(jù)圖像采集與識別的工作機(jī)制和數(shù)據(jù)流程，農(nóng)業(yè)害蟲圖像識別樣例信息采集系統(tǒng)邏輯上可以分為4 個層次，其結(jié)構(gòu)層次自上而下可分為4 層，分別為用戶層、應(yīng)用層、數(shù)據(jù)層和設(shè)施層（圖2）。

圖2 害蟲識別系統(tǒng)架構(gòu)

2.2.1 用戶層 用戶層角色類型包括系統(tǒng)管理員、科研人員、數(shù)據(jù)填報人員三類，系統(tǒng)開放注冊功能，注冊用戶為種植戶角色。科研人員由系統(tǒng)管理員創(chuàng)建，系統(tǒng)管理員可以管理所有角色和用戶。

1）系統(tǒng)管理員。具有系統(tǒng)后臺所有數(shù)據(jù)的管理權(quán)限。主要負(fù)責(zé)用戶角色和權(quán)限的設(shè)定與管理、組織結(jié)構(gòu)、數(shù)據(jù)字典、數(shù)據(jù)備份的設(shè)置。

2）科研人員。該角色分為植保專家和昆蟲專家。植保專家主要針對防治辦法知識庫進(jìn)行管理，包括對害蟲屬性信息和防治辦法等信息的管理和維護(hù)，并且通過對所有上報信息的分析，動態(tài)發(fā)布蟲情預(yù)警信息。專家主要對上報的害蟲圖像進(jìn)行分類，通過對圖像中的害蟲位置和特征進(jìn)行標(biāo)識，生成圖像識別數(shù)據(jù)集。

3）數(shù)據(jù)填報人員。數(shù)據(jù)填報人員主要由全省的種植戶組成，通過App，按照要求對害蟲進(jìn)行拍照上傳，并且上報現(xiàn)場位置信息、時間信息和環(huán)境信息。能夠查看歷史上報數(shù)據(jù)，同時可以在App 上獲取害蟲信息和防治辦法，并實時獲取由植保專家發(fā)布的蟲情預(yù)警信息。

2.2.2 應(yīng)用層 應(yīng)用層由移動端采集App、害蟲防治辦法知識庫系統(tǒng)、農(nóng)業(yè)害蟲圖像識別系統(tǒng)組成。

1）害蟲圖像采集子系統(tǒng)。本模塊是采集系統(tǒng)的主要組成部分，數(shù)據(jù)填報人員使用該系統(tǒng)提供的移動端圖像采集App 是對害蟲進(jìn)行拍攝并上傳數(shù)據(jù)，以實現(xiàn)圖像樣例收集功能。該系統(tǒng)除具有單獨(dú)對害蟲圖像進(jìn)行拍攝的功能外，還具有收集環(huán)境背景圖像、受害作物圖像等輔助功能，以便提高識別準(zhǔn)確率。利用開發(fā)服務(wù)對接，實現(xiàn)數(shù)據(jù)與其他系統(tǒng)間功能調(diào)用。比如對防治辦法知識庫系統(tǒng)進(jìn)行內(nèi)容查詢，接受蟲害預(yù)警信息等。

2）害蟲防治辦法知識庫系統(tǒng)。通過本系統(tǒng)可以實現(xiàn)對害蟲防治知識的準(zhǔn)確推送。系統(tǒng)管理員通過后臺系統(tǒng)對防治知識內(nèi)容進(jìn)行編輯，并推送至移動端App，還可以根據(jù)推送內(nèi)容的重要程度選擇是否進(jìn)行置頂或熱門設(shè)置。同時，其他的相關(guān)農(nóng)業(yè)動態(tài)信息和蟲害信息也可以在本系統(tǒng)中進(jìn)行實時發(fā)布。

3）農(nóng)業(yè)害蟲圖像識別系統(tǒng)。由植保、昆蟲等專業(yè)專家對采集的圖像中的害蟲進(jìn)行標(biāo)識分類，生成圖像數(shù)據(jù)集，并代入基于人工智能神經(jīng)網(wǎng)絡(luò)圖像分類模型，對模型進(jìn)行訓(xùn)練、驗證，不斷優(yōu)化識別參數(shù)。

2.2.3 數(shù)據(jù)層 數(shù)據(jù)層是對系統(tǒng)中所有數(shù)據(jù)的邏輯抽象，包括害蟲的屬性數(shù)據(jù)、圖像數(shù)據(jù)、環(huán)境數(shù)據(jù)、空間位置數(shù)據(jù)、防治辦法、分類模型、數(shù)據(jù)字典、業(yè)務(wù)數(shù)據(jù)等。

害蟲屬性數(shù)據(jù)：指滄州市常見的農(nóng)業(yè)害蟲數(shù)據(jù)，字段包含名稱、別名、拉丁文名稱、種類所屬、形態(tài)特征、寄主、發(fā)生時間、發(fā)生部位、危害狀等。

害蟲圖像數(shù)據(jù)：指用于機(jī)器學(xué)習(xí)的數(shù)據(jù)集數(shù)據(jù)，包含數(shù)據(jù).csv 表與包含害蟲主要特征的圖片。

環(huán)境數(shù)據(jù)：該數(shù)據(jù)主要是記錄近幾年氣象環(huán)境數(shù)據(jù)，字段包含每天的溫度、光照輻射、降水量、風(fēng)力、風(fēng)向、濕度等。

空間位置數(shù)據(jù)：指害蟲圖像采集是所在的坐標(biāo)位置信息。

防治辦法（知識庫）：指植保專家整理編寫的各類害蟲防治技術(shù)操作步驟和用藥參數(shù)。

分類模型：指圖像分類訓(xùn)練生成的分類模型，包含Model文件和精度評估報告。

數(shù)據(jù)字典：指與表單中枚舉類型字段關(guān)聯(lián)的取值元素的集合，由管理員維護(hù)。字典不僅提高了填報效率，還約束了數(shù)據(jù)取值范圍和格式，一定程度上提高了數(shù)據(jù)質(zhì)量。

業(yè)務(wù)數(shù)據(jù)：是系統(tǒng)在運(yùn)行過程中得到的數(shù)據(jù)，如用戶信息、角色信息、日志信息等。

2.2.4 基礎(chǔ)設(shè)施層 基礎(chǔ)設(shè)施層為害蟲圖像識別工作順利完成和數(shù)據(jù)的持久化存儲提供保障，可分為硬件基礎(chǔ)設(shè)施和軟件基礎(chǔ)設(shè)施兩部分。硬件基礎(chǔ)設(shè)施主要指服務(wù)器、大容量的存儲設(shè)備、移動終端設(shè)備、數(shù)碼相機(jī)等。軟件基礎(chǔ)設(shè)施主要包括操作系統(tǒng)和數(shù)據(jù)庫管理軟件等。

3 害蟲圖像識別系統(tǒng)構(gòu)建

農(nóng)業(yè)害蟲圖像識別系統(tǒng)采用了B/S（瀏覽器/服務(wù)器模式）結(jié)構(gòu)，基于Asp.NET Core MVC 架構(gòu)，開發(fā)語言為C#。系統(tǒng)框架采用MVC+EF+倉儲模式，能夠有效降低代碼開發(fā)量，具有較強(qiáng)的擴(kuò)展性。數(shù)據(jù)庫采用SQL Server2019 R2，具有高性能、高可用性、高安全性等特點(diǎn)。 圖像識別系統(tǒng)采用殘差網(wǎng)絡(luò)ResNet-50、ResNet-101、ResNet-152 作為分類訓(xùn)練模型。

系統(tǒng)由一個應(yīng)用數(shù)據(jù)庫和三大功能模塊構(gòu)成，分別是移動端圖像采集模塊、防治辦法知識庫模塊、圖像識別訓(xùn)練模塊。應(yīng)用數(shù)據(jù)庫部署于滄州市三農(nóng)服務(wù)中心，為各子系統(tǒng)提供數(shù)據(jù)存儲服務(wù)，主要存儲系統(tǒng)配置信息、用戶信息、專家?guī)煨畔?、防治辦法信息、圖像樣例信息、訓(xùn)練數(shù)據(jù)集信息、訓(xùn)練記錄信息、識別模型信息、接口信息、系統(tǒng)日志信息等。移動端圖像采集App 使用對象為種植戶、系統(tǒng)運(yùn)維人員，系統(tǒng)兼容Android、H5，支持拍照上傳、位置信息上報、識別結(jié)果推送、防治辦法查詢等功能，是圖像識別系統(tǒng)的數(shù)據(jù)采集節(jié)點(diǎn)，其上報的數(shù)據(jù)成果對訓(xùn)練數(shù)據(jù)集的質(zhì)量有重要影響。防治辦法知識庫使用者為相關(guān)領(lǐng)域?qū)＜液头N植戶，系統(tǒng)提供害蟲防治信息錄入、編輯、圖像識別結(jié)果與防治辦法匹配以及滄州市蟲害發(fā)生情況評估、蟲害發(fā)生趨勢研判功能。是連接領(lǐng)域?qū)＜遗c種植戶的紐帶，也是整個系統(tǒng)平臺的大腦和決策機(jī)構(gòu)。害蟲圖像識別訓(xùn)練基于計算機(jī)神經(jīng)網(wǎng)絡(luò)技術(shù)，利用深度學(xué)習(xí)算法進(jìn)行圖像分類訓(xùn)練，其過程為代入圖像分類算法模型與參數(shù)，利用整理制作的數(shù)據(jù)集，開展機(jī)器學(xué)習(xí)訓(xùn)練，生成圖像分類結(jié)果模型，從而實現(xiàn)對害蟲圖像的自動識別。

基于以上技術(shù)選型開發(fā)了農(nóng)業(yè)害蟲圖像識別樣例采集系統(tǒng)，如圖3 至圖7 所示。

圖3 采集記錄界面

圖7 移動端害蟲圖像采集App

4 討論

圖4 害蟲分類管理界面

圖5 害蟲標(biāo)繪管理界面

圖6 訓(xùn)練任務(wù)管理界面

農(nóng)業(yè)技術(shù)與信息化技術(shù)結(jié)合是未來中國農(nóng)業(yè)的發(fā)展方向，兩者融合也是中國農(nóng)業(yè)生產(chǎn)智能化、現(xiàn)代化的關(guān)鍵之處。本研究從系統(tǒng)設(shè)計、系統(tǒng)架構(gòu)和數(shù)據(jù)流工作機(jī)制等角度對識別系統(tǒng)的邏輯層次進(jìn)行了闡述，剖析了河北省當(dāng)前建立農(nóng)業(yè)害蟲圖像識別樣例采集系統(tǒng)的實現(xiàn)過程。該方式相較于傳統(tǒng)識別方法具有以下優(yōu)勢：①利用手機(jī)端采集時可以由專業(yè)人員設(shè)計表單，使環(huán)境或圖像數(shù)據(jù)匯交時完成標(biāo)準(zhǔn)化，減少了后期數(shù)據(jù)清洗的工作量。②識別結(jié)果進(jìn)行機(jī)器學(xué)習(xí)前需要由相關(guān)領(lǐng)域的專家進(jìn)行鑒別后才能正式進(jìn)入數(shù)據(jù)庫，該機(jī)制保證了數(shù)據(jù)質(zhì)量。③系統(tǒng)管理員可以針對不同人群設(shè)計數(shù)據(jù)表單并生成填報頁面，使其可以面對不同的用戶群體，具有高度的靈活性。

當(dāng)前已完成農(nóng)業(yè)害蟲圖像識別系統(tǒng)部署及相關(guān)蟲害監(jiān)測數(shù)據(jù)的采集工作，并對蟲害特征圖斑標(biāo)繪后進(jìn)入機(jī)器學(xué)習(xí)階段。雖然開展了一些工作，但對于達(dá)到完全準(zhǔn)確識別農(nóng)業(yè)害蟲圖像還有距離。在下階段的工作中，將繼續(xù)擴(kuò)大農(nóng)業(yè)害蟲圖像樣例數(shù)據(jù)集容量，利用機(jī)器學(xué)習(xí)本地害蟲的圖像特征，為后期提高對蟲害的識別精度提供基礎(chǔ)。