基于物聯網與深度學習技術的農作物生長狀況遠程動態監測系統

任治洲，謝 云，晁志恒，吳駿一

（南京理工大學紫金學院 電子工程與光電技術學院，江蘇 南京 210046）

0 引 言

中國作為傳統的農業生產大國，農耕歷史悠久。傳統農耕方式是農作物在自然環境下自然生長，通過農戶長時間總結耕作經驗進行農作物管理。為實現農作物高產、量產，越來越多的優質植株得以培育，種類多樣的優質化肥投放使用。雖然這些方式會有增產效果，但對于人口大國而言，這些措施遠遠不足以從本質上改變農耕效率和提高糧食產量。農業大棚成為了科學養殖農作物的解決方案。

為科學調控農作物生長環境，減少因惡劣環境及農作物病蟲害等不利因素對農作物生長形成負面影響，研究人員做了很多努力。其中，比較具有代表性的是有線網絡監測、基于無線ZigBee傳感網絡監測等。這些傳感器接收農田環境數據信息后，將數據轉化為模擬信號，傳送至微處理器。并通過無線模組和4G模組將數據實時上傳反饋。為實現多節點監測需要利用大量傳感器模塊，在面積較大的養殖地域這一方案難以實現。

為滿足利用較少傳感器模塊實現廣域動態監測農作物生長環境與病害的功能，本文結合物聯網、深度學習、機器視覺等技術，設計了一套具有廣域動態監測農作物環境、識別農作物病害以及遠程云端交互功能的農作物生長狀況監測系統。

1 整體設計

農作物生長狀況遠程動態監測系統主要分為識別監測系統、無線通信系統、數據交互系統、移動小車系統等，識別監測系統又細分為農作物病害識別系統、農作物環境監測系統。移動小車搭載識別監測系統，自動建圖巡航采集并標記節點位置數據后上傳至主控微處理器。主控微處理器將數據處理整合后發送至無線通信平臺，之后再將數據上傳至云服務器，實現手機端與云空間的數據交互。系統整體框架如圖1所示。

圖1 系統整體框架

2 農作物病害識別系統設計

農作物病害識別系統硬件主要包括攝像頭模塊和二自由度舵機云臺。攝像頭利用長焦鏡頭自動對焦農作物葉片，采取隨機節點停車自動掃描葉片的方式，識別葉片所患病害并反饋至主控微處理器。主控儲存節點數據（包括節點位置與監測時間）與農作物所受病害情況。下位機主控芯片為STM32F103RCT6，攝像頭采用NXP-OpenArt-mini。主控控制舵機云臺180°掃描節點，攝像頭搭載已訓練好的深度學習模型識別植物蟲害，并通過串口將數據傳輸至下位機主控。農作物病害識別系統硬件框架如圖2所示。

圖2 農作物病害識別系統硬件框架

2.1 硬件設計

2.1.1 攝像頭

攝像頭選用適合機器視覺應用的恩智浦OpenArt-mini，其與OpenMV相比，在神經網絡模型的部署和訓練方面更有優勢。OpenArt攝像頭采用MIMXRT1064芯片，該芯片主頻高達600 MHz，具備1 MB片內SRAM、4 MB片內FLASH和32 MB外置SDRAM，配備高速SPI總線與OpenMV機器視覺庫，擁有RT-Thread操作系統內核、驅動和開發環境。

2.1.2 二自由度舵機云臺

本文基于二自由度云臺搭載攝像頭進行掃描，采用MG996舵機。利用比例控制，轉動角度以脈沖占空比決定，使用舵機帶動連接軸控制平臺傾角，該方式響應速度快、力矩大、使用方便。搭載OpenArt攝像頭可實現水平方向180°平掃和垂直方向60°掃描，能夠識別較廣闊范圍內的圖像信息。

2.1.3 下位機核心主控

下位機核心主控采用STM32F103RCT6芯片，該單片機包含32位高速時鐘、存儲器、內置溫度傳感器、Cortex-M3內核等。作為高速嵌入式存儲器，其擁有一路PWM定時器、三路通用16位定時器、2個12位ADC通道以及2個IC數據接口與API數據傳輸接口。單片機功耗低，工作電壓為2.0～3.6 V。

2.2 軟件設計

2.2.1 舵機云臺控制

舵機云臺由下位機主控STM32F103RCT6進行控制。編程時，首先由自定義函數initPWM（ ）初始化定時器，開啟TIM時鐘設置分頻；初始化PWM輸出通道；通過setAngle（ ）函數改變占空比控制舵機旋轉角度；借助已知角度與占空比之間的關系：servo_temp=angle×200/180+50監測小車是否到達固定節點，到達后，中斷開啟一次循環，定時遞增、遞減占空比，完成水平方向180°平掃后歸正。軟件流程如圖3所示。

圖3 軟件流程

2.2.2 識別植物病害的神經網絡模型搭建

（1）數據集構建

數據采集與分類以葡萄葉片為研究對象，收集了葡萄葉片褐斑病、輪斑病、黑腐病、正常等4種葡萄葉片圖像樣本，每類葡萄葉片圖像樣本量各100 張，共計400 張葡萄葉片圖片。對收集的原始病害圖像按病害種類進行分類，制作病害標簽，建立分類后的3種病害圖像和正常圖像樣本集，如圖4所示。

圖4 葡萄葉片病害分類數據集樣例

對400張圖像進行數據增廣處理。利用對比度變化、引入高斯噪聲、尺度變換等進行處理，將樣本量擴增10倍。

3 模型訓練

利用Inception V1訓練農作物病害識別模型，并選用谷歌提出的用于提取圖像特征的深度卷積神經網絡。該網絡深度有22層，每個模塊包含1×1、3×3、5×5的卷積層和池化層。使用ReLu作為激活函數，Inception V1原始網絡結構圖與降低特征圖厚度后的Inception V1網絡結構如圖5、圖6所示。

圖5 原始Inception V1網絡結構

圖6 降低特征圖厚度的Inception V1網絡結構

本項目利用Edgeimpulse平臺部署Tensorflow lite，并將模型裝載到NXP-OpenArt攝像頭中。

4 移動小車系統

移動小車系統分為上位機和下位機，使用Jetson Nano B01開發板搭載Ubuntu 18.04系統，運用ROS系統Meldic實現地圖的創建算法，以及導航、避障、信息采集等功能。下位機以STM32F103RCT6為主控芯片，對電機和車舵機進行直接控制。上位機在實現導航算法的同時，會將舵機和電機的數據通過串口發送到下位機進行控制并執行。

小車系統搭載激光雷達和RGBD相機實現數據融合建圖，增強了系統魯棒性和對農業大棚環境的適應性。建圖時加入了回環檢測，當機器人路徑構成回路時會對之前建立的地圖進行校正。為獲取更精確的數據，本文利用編碼器里程計和視覺里程計融合數據進行定位校準。通過使用電機自帶的霍爾編碼器，實時采集小車的位移數據，再由下位機將距離信息通過串口發送到上位機，配合角度傳感器構建編碼器里程計，以此校準激光雷達里程計的定位。基于三維點云地圖導航，對農業大棚環境所建立的地圖進行路徑規劃，設置定點巡邏，在一定區域范圍內導航。環境監測系統由移動小車搭載，實現定點巡邏與動態測量，硬件結構如圖7所示。

圖7 硬件結構

5 農作物生長環境監測系統

農作物生長環境也是農作物是否能健康生長的重要指標，所以需設置由移動小車搭載的動態高精度傳感器。其中，高精度傳感器包括SHT20高精度空氣溫濕度傳感器、BH1750FVI光照傳感器、MG811高精度二氧化碳傳感器、土壤濕度傳感器等，實時動態獲取農作物生長環境的信息，并借助nRF24L01發送至無線通信系統。傳感器性能指標如下：

（1）MG811 高精度二氧化碳傳感器：工作溫度為-20～50 ℃，自帶溫度補償功能，濃度監測范圍為0～10 000 ppm（室內常規CO濃度范圍為400～700 ppm）。

（2）SHT20 空氣溫濕度傳感器：測量濕度范圍為20%RH～90%RH，測量溫度范圍為0～50 ℃，測量精度為±2 ℃，具有長期穩定性。

（3）土壤濕度傳感器：采用LM393比較器芯片，工作穩定性強。探針表面采用鍍鎳處理，可有效防止探針生銹。

（4）BH1750FVI光照傳感器：采用ROHM-BH1750FVI芯片，借助IC通信。光照監測范圍為0～65 535 Lux，內部自帶電平轉換功能。

（5）HC-05 藍牙模塊：工作頻段為2.4 GHz、傳輸速率為2 Mb/s，工作溫度范圍為-25～75 ℃，工作濕度為10%RH～90%RH，傳輸距離為10 m。

6 無線通信系統與遠程云端交互

6.1 無線通信系統

無線通信系統由WiFi接收系統和4G遠程通信系統構成，主控采用STM32F103系列單片機，接收系統采用nRF24L01無線通信模組，用于接收移動小車上搭載的nRF24L01無線通信模組發出的節點信息數據，數據通過串口傳輸至STM32F103主控，主控將數據整合后通過4G模組傳輸至云端。通信系統如圖8所示。

圖8 通信系統

6.1.1 nRF24L01傳輸模塊

nRF24L01是由NORDIC公司推出的工作在2.4～2.5 GHz的ISM頻段單片無線收發芯片，在接收模式下可接收6路不同通道的數據。nRF24L01傳輸模塊原理如圖9所示。

圖9 nRF24L01傳輸模塊電路

6.1.2 4G傳輸模塊

ATK-M751是正點原子開發的一款高性能全網通4G DTU產品，具有高速率、低延遲和無線數據數傳功能，支持TCP/UDP/HTTP等協議，可連接多種云服務器，支持上位機配置參數，同時也支持RS 232和RS 485通信協議。4G傳輸模塊原理如圖10所示。

圖10 4G傳輸模塊電路

6.2 遠程云端交互

云服務器采用騰訊云平臺，客戶端采用騰訊連連微信小程序，用于實現節點數據的讀取與交互。

7 仿真及測試

用戶可以移動手機端登錄騰訊連連微信小程序，從交互界面查看數據。手機端界面如圖11所示。

圖11 騰訊連連交互界面

OpenART-mini攝像頭進行葡萄葉片病害的實際狀況測試，識別情況如圖12所示。

圖12 攝像頭實物測試情況

借助EDGE impulse深度學習平臺，對待測農作物葉片進行特征提取，搭建訓練模型，訓練迭代20次后得到模型特征情況及準確率，如圖13、圖14所示。

圖13 特征瀏覽器

圖14 模型特征情況

8 結 語

隨著科學農業栽培技術與自動化控制技術的發展，農作物栽培大多采用大棚種植。而農場管理需要動用大規模人力資源。為優化農作物生長環境，實時動態監測農作物生長狀況，采用上述方案遠程監測農作物病害狀況，實時采集農作物生長環境信息，實時提供反饋與預警。

基于物聯網與深度學習技術的農作物生長狀況遠程動態監測系統一定程度上使農業耕作更加科學化，并促進了農作物高產、量產，具有一定的實際應用價值。