結合輕量級麥穗檢測模型和離線Android軟件開發的田間小麥測產

陳佳瑋，李 慶，譚巧行，桂世全，王 笑，易福金，姜 東，周 濟,5

·農業信息與電氣技術·

結合輕量級麥穗檢測模型和離線Android軟件開發的田間小麥測產

陳佳瑋1,2，李 慶3，譚巧行1，桂世全1，王 笑3，易福金4，姜 東3，周 濟1,5※

（1. 南京農業大學前沿交叉研究院/植物表型組學研究中心/江蘇省現代作物生產省部共建協同創新中心，南京 210095；2. 南京農業大學工學院，南京 210095；3. 南京農業大學農學院，南京 210095；4. 南京農業大學經濟管理學院，南京 210095；5. 英國劍橋作物研究中心/英國國立農業植物研究所，劍橋 CB3 0LE，英國）

單位面積麥穗數是重要的產量構成因素之一，通過該性狀和不同品種歷史數據在田間完成對小麥產量的預估，對育種栽培和農業生產具有非常重要的意義。該研究基于小麥田間栽培試驗提出了一套結合輕量級深度學習技術和小麥測產算法在Android（安卓）智能手機上離線分析單位面積穗數和田間測產的技術方案。首先介紹了手機標準化俯拍小麥冠層和手機端圖像預處理算法，再根據灌漿期小麥冠層圖像構建了MobileNetV2-YOLOV4深度學習模型對單位面積中的麥穗進行識別，然后結合遷移學習和TensorFlow.lite轉換器完成了模型輕量化，最后通過Android SDK和SQLite構建了不同小麥品種在手機端的產量數據庫和人機交互圖形界面。開發的安卓軟件“YieldQuant-Mobile”（YQ-M）可離線識別手機拍攝的麥穗數量，并在田間完成產量預測和結果輸出等功能。基于從中國各小麥主產區中選擇的80個代表性品種（共240個1 m2小區），使用YQ-M完成了這些品種的麥穗檢測和小區測產研究。結果顯示YQ-M的精確率、召回率、平均精確度和1分數分別為84.43%，91.05%，91.96%和0.88。單位面積測產結果和實際產量的決定系數為0.839，均方根誤差為17.641 g/m2。研究表明YQ-M對麥穗識別精度高，在田間環境下測產結果和算法魯棒性良好。此外，YQ-M還具有良好的擴展性，可為其他作物的離線智能測產提供借鑒，并為小麥研究和生產實踐提供低成本、便捷可靠的田間測產方法。

模型；算法；產量；輕量級深度學習；麥穗計數；Android軟件開發；小麥

0 引 言

小麥是世界上最重要的作物之一，也是中國主要的糧食作物之一。2019年全國小麥消耗量達1.28億t，小麥產量的監測對保障中國國民經濟和糧食安全，及時調整農業生產政策等方面具有重要意義[1]。產量估算不僅能幫助育種學家和農學家更快的進行種質評估、調整耕種，也能為產量保險等農經服務提供低成本的管理方式。但是，對產量估算受多種因素的影響，其中計算小麥理論產量涉及到3個重要的因素：單位面積麥穗數[2]、千粒質量和穗粒數[3]。所以，快速準確地量化統計田間小麥產量構成因素對作物高產育種、栽培和農業生產具有重要意義。傳統估算方法一般基于人工田間調查[4]，不僅準確率低且對人力物力消耗較大，無法滿足精準育種和智慧農業中快速可靠統計大量不同品種小麥產量數據的需求。因此目前多地點田間估產研究還處于初步探索階段。

近年來，基于圖形圖像的處理技術，研究人員針對小麥冠層形態、麥穗計數和產量評估開展了一系列探索[5-7]。這些研究一般使用傳統圖像處理算法，依靠對顏色、光譜、紋理和形態等特征對冠層穗區進行分割。例如，Fernandez-Gallego等[5]應用傅里葉濾波和二維離散快速傅里葉變換（Fast Fourier Transform）將麥穗和背景區分開，通過形態學及濾波方法消除“非小麥”像素簇，從背景（如土壤等）中分割出麥穗像素。Zhou等[6]提出一種雙支持向量機的方法，對顏色、紋理和邊緣3種特征的直方圖進行分析，尋找不同拍攝角度下麥穗特征的差異，并以此完成麥穗分割。李毅念等[8]通過提取麥穗圖像的色彩飽和度，通過凹點檢測匹配連線的方法對粘連麥穗實現分割，再結合千粒質量和穗粒數等參數計算產量。雖然上述方法相比于傳統人工田間調查有了明顯的進步，但這類方法依賴顏色、紋理和形態等特征，算法魯棒性和計數準確度均有欠缺。

隨著作物表型組學研究的快速發展，針對不同表型數據采集平臺的性狀處理算法趨于多樣化[9-11]。通過結合機器學習和計算機視覺算法對復雜環境下麥穗計數的研究也有了較大的進展。針對田間檢測麥穗性狀這一問題，結合深度學習技術和最新公開的世界小麥麥穗訓練集（Global Wheat Head Detection Dataset）[12]為該研究方向開辟了一條新的途徑。例如，卷積神經網絡（Convolutional Neural Networks，CNN）在小麥麥穗檢測和圖片分類中獲得了較好的應用[13-14]。Zhao等[15]通過改進YOLOV5目標檢測算法，對無人機獲取的麥穗圖片集進行訓練，獲得在田間復雜場景下的麥穗檢測模型。Joshua等[16]結合監督式機器學習和圖像處理，同時處理多序列麥穗圖片，在提取多個種子輪廓的基礎上完成麥穗計數。鮑文霞等[17]針對小麥在灌漿期麥穗密集的特點，使用點標注方法，在減少了輸入擁擠場景識別網絡（Congested Scene Recognition Network）計算復雜度的基礎上估算麥穗密度。Alkhudaydi等[18]先通過田間分布式表型工作站收集不同品種的小麥圖像序列，再通過完全卷積網絡（Fully Convolutional Network，FCN）對圖像進行語義分割，最后完成對穗區的量化分析。然而，以上檢測需要在電腦端完成，很難在田間試驗中大規模使用，因此在智能移動端快速可靠完成上述檢測的需求正變得愈發迫切。

隨著智能手機價格的下降及其計算處理能力日益強大，在手機移動端已可直接進行快速圖片分類、分析和檢測等任務[19]。例如，Lu等[20]在智能手機上開發了應用軟件（APP）完成采集和傳輸圖像，并通過服務器使用VGG16網絡進行小麥病害檢測，對患病小麥的檢測準確率達96.6%。Al-Hami等[21]采用8位量化方法壓縮AlexNet和VGG16，將模型大小分別減少了14%和10%以適應智能手機端的運行。然而，由于原始模型較大，即使通過模型量化（quantization）[22]，這類方法在手機終端的運行也十分緩慢，且需消耗大量計算資源。此外，以上方法對通信網絡要求較高，因為核心功能和模型均部署在服務器端，一旦遇到網絡不穩定、使用者較多或服務器不響應等情況，此類分析模式很難滿足大規模田間試驗和實時分析的要求。所以，如何能在離線條件下依靠智能手機的算力完成特征檢測和田間測產顯得尤為重要。

針對現有安卓端作物測產軟件的缺失和云算模式存在的各類問題，本研究以灌漿期代表性小麥品種為研究對象，首先基于輕量級深度學習模型完成麥穗計數算法，在離線條件下對智能手機拍攝的單位面積中的穗數進行分析，進而基于與品種對應的千粒質量、穗粒數和積溫等歷史數據構建數據庫，最后在安卓端結合麥穗計數和歷史數據構建小麥測產應用軟件。

1 材料與方法

1.1 田間試驗及圖像預處理

1.1.1 小麥產量三要素分析

基于Web of Science數據庫對影響小麥產量因素的研究進行文獻檢索，使用基于Python編程語言的爬蟲技術，利用抓取工具Scrapy（https://scrapy.org/）對2000—2021年小麥相關研究中與小麥產量和小麥產量構成因素的關鍵詞進行爬取。共收集了影響小麥產量最關鍵的18個關鍵詞，如品種、地區種植、播期、氣候條件或病蟲害等。對小麥產量影響最突出的三要素為單位面積穗數、穗粒數和千粒質量，其中有效穗數對產量貢獻最大[23]。因此，本研究確立了對單位面積中的麥穗數這一關鍵產量性狀開展研究的策略。

1.1.2 田間試驗

為開發和驗證測產結果，本研究從中國小麥各主產區選取了80個產量差異明顯的冬小麥品種為田間試驗材料。于2019－2020年小麥生長季在江蘇省南京市溧水區南京農業大學白馬基地種植（圖1a、1b）。試驗田塊土壤質地為肥力均勻的黃壤土（圖1c），含有機質7.6 mg/kg，全氮0.67 mg/kg，堿解氮66.03 mg/kg，速效磷 8.91 mg/kg，速效鉀130.67 mg/kg。以上數據表明本試驗土壤肥力偏低，可反映不同代表性小麥品種在相同氮肥處理下的產量差異，為測產算法的構建服務。

圖2展示了本研究的數據采集和預處理過程。如圖2a所示，田間試驗采用裂區試驗設計，共使用80個品種，設置為3個重復，共240個小區。采用人工開溝條播，于11月12號播種，小區種植4行，每行長1 m，行間距0.25 m，播種量150 kg/hm2，3葉1心期定苗至240株/m2，所有小區保持一致基本苗。氮肥為尿素（含N 46%），磷肥為過磷酸鈣（含P2O512%），鉀肥為氯化鉀（含K2O 60%），磷、鉀肥用量都為120 kg/hm2，氮肥基追比為5:5，全部的磷、鉀肥及50%的氮肥作為底肥撒施，剩余50%于拔節期追施。其他田間管理措施同一般高產田。

1.1.3 圖像獲取

如圖2b所示，圖像數據是通過華為智能手機（Mate20 Pro下同）在田間小麥試驗田中收集的。試驗者手持拍攝桿，保持在小麥小區冠層上方1 m處拍攝。將智能手機固定在自拍桿上，通過水平儀保持水平，藍牙控制手機后置攝像頭朝向下方采集圖像。數據采集時間在2020年5月2—5日。此時小麥正處于灌漿期，在天氣為多云時或早晨自然光條件下采集圖像，避免了強光對圖像采集造成的過曝和色彩失真等問題。一次田間拍攝可收集240張圖像（分辨率為3 968像素×2 976像素）。

1.1.4 圖像預處理

采集圖像后，對所有單個小區的圖像進行手機端預處理。如圖2c所示，原圖采集到的是整個小區的頂視圖片，能顯示出小區中小麥的所有麥穗、冠層麥葉及背景土壤。如對整個小區進行目標檢測，會造成模型算法識別時間過長、內存過度消耗和準確率低等問題。所以，使用了手機端OpenCV圖像庫（https://opencv. org/android/）對采集圖像進行預處理，將原始圖像9等分處理。自動化分割后的每一張等分子圖像素值相同，便于訓練和識別，以及在手機端完成麥穗分析。

1.1.5 數據集標注

采用矩形框對小麥麥穗進行標注，采用開源標注軟件LabelImg（https://pypi.org/project/labelImg；圖2d）。對麥穗進行人工標注，標注數據集以PASCAL VOC[24]數據集的格式存儲，包括：圖像尺寸（長寬以及通道數）、檢測物體類別、檢測框坐標（對應圖片中、軸坐標值）等。經預處理，可完成對原始圖像的9等分，單次數據采集所獲得圖像集可增至2 160張（分辨率為1 322×992像素），減少了訓練過程中所需的計算資源，利于訓練輕量級深度學習模型時的快速收斂。

1.1.6 數據增強

為了提高了模型的泛化能力，根據田間實際拍攝情況采用以下方法對數據集進行增強。如圖2e所示：1）俯仰角調整：隨機改變原圖±15°的俯視和仰視角度，模擬采集中拍攝桿傾斜造成的角度偏差。2）翻轉：對圖像進行水平和垂直翻轉，模擬采集圖像時的隨機性，該方法不會改變麥穗數量。為了提升訓練集，通過數據增強將圖像數據從2 160張增加到15 120張，并通過不同特征圖像來避免深度學習訓練中過擬合和不收斂等問題。3）添加噪點：對圖像增加信噪比0.95的椒鹽噪聲，使模型對噪點具有更好的兼容性。4）灰度化：使模型對采集到的過曝圖片進行識別。5）角度變換：對圖像旋轉一定角度，模擬麥穗位置改變。通過上述方法，共擴展得到15 120張圖像集，其中12 096張為訓練集（80%），3 024張為測試集（20%）。

1.2 麥穗檢測模型的建立及安卓應用軟件開發

1.2.1 小麥麥穗檢測模型建立及訓練

灌漿期小麥麥穗圖像中麥穗較為密集，葉片與麥穗顏色特征差異不顯著，因此需選取針對小目標檢測效果良好的學習網絡來構建模型。通過對各類檢測模型的比較，本研究選擇了結合MobileNetV2[25]和YOLOV4[26]網絡來快速、高效地檢測麥穗目標。如圖3所示，本研究構建的麥穗檢測模型兼顧了以上兩種網絡的特點。例如，MobileNetV2是Google專為移動和嵌入式設備設計的輕量級深度學習網絡。YOLOV4算法則通過單個深度神經網絡檢測小目標物體對象的形態特征。使用數據增強后的數據集，訓練結合后的學習模型，生成了記錄模型訓練網絡參數的權重。其中，MobileNetV2的關鍵模塊是倒殘差結構（Inverted Residual Module，IRM）。IRM首先通過點式卷積將輸入特征圖通道數擴展6倍，然后進行深度卷積[27]和另外一個點式卷積。深度卷積會更改輸入特征圖的寬度和高度，并在第二個點式卷積中，降低特征通道數到輸入數量[28]。YOLOv4使用的提取網絡為CSPDarknet-53[29]，網絡缺點是模型計算復雜，精確度高但需較多計算資源。

本研究采用MobilenetV2替換CSPDarknet-53，作為模型的特征提取網絡，節省了模型計算所需硬件資源。再將倒殘差結構與深度卷積相結合，調整輸入圖像尺寸。例如，YOLO模型原始的輸入圖像大小為256×256，但是輸入圖像過小導致檢測精度降低，因此將輸入圖像分辨率從原來的256×256像素調整為416×416。改進之后的網絡的第一層使用3×3的標準卷積，從第二層開始，網絡將3×3的標準卷積分解為3×3的深度卷積和1×1的點式卷積。檢測層從不同比例特征圖中提取不同錨框（Anchor box）來進行麥穗檢測。最后，模型使用檢測層為每個錨定框中存在的麥穗生成預測的邊界框和置信度分數，生成最終輸出圖像（圖3b）。如圖3b所示，將MobileNetV2的13個卷積層（即Conv1～Conv13）中的每一層輸出的特征圖進行可視化后，可從各層的特征圖中觀察到不同層在模型運行中對特征區域識別的結果，即圖3b中Conv1～Conv13各層特征圖中白色區域為模型激活區域，黑色區域表示模型忽略的區域。可以觀察到早期層（Conv0～1，Conv2～3,Conv4～5）被麥穗狀對象激活。但是，這些層只顯示了局部紋理、顏色和細節形態特征，這是因為神經網絡中的早期層只能識別較明顯的特征。中期層（Conv6～11）主要集中于識別基于全局形狀和輪廓等特征，即麥穗的輪廓區域。最后的卷積層（Conv12～13）保留了基于大小和紋理的特征，由于池化操作的重復應用而丟失了早期層提取的信息。

1.2.2 訓練策略和參數設定

在模型訓練過程中，使用了遷移學習方法[30-31]。從數據集上訓練麥穗識別模型的后端模型即YOLOV4網絡，得到預訓練模型，然后將預訓練模型加載到到特征提取網絡MobileNetV2模型中，凍結前端網絡的預訓練參數，只對后端網絡進重新訓練和參數更新。訓練平臺為Windows10操作系統，運行內存為32 GB，使用了NVIDIA 2070 GPU加速。采用了Python3.6和TensorFlow1.15框架完成了軟件實現。網絡訓練超參數設置為：subdivisions=8，momentum=0.9，decay=0.0005，learning_rate=0.001，batch = 64，steps=400000。

1.2.3 安卓端模型輕量化轉換

TensorFlowLite是一組可幫助開發者在移動、嵌入式設備和IoT設備上運行各類基于TensorFlow[32]開發的模型工具，包括可用于移動應用軟件開發的TensorFlowLite轉換器和解釋器[33]。TensorFlow訓練完的模型需要轉換為.tflite格式后才能在安卓上運行。首先，本研究使用了TensorFlow中的summary_graph和graph_transforms兩個腳本將ckpt模型轉換為pb模型，再使用TensorFlowLite的 Converter將pb模型轉換為輕量級學習模型，并將解釋器配置在智能手機上運行模型，利用手機的硬件資源進一步提高模型的檢測速度。常規CNN模型中權重數據存儲均為32位浮點數，為減少對手機計算資源的調用，本研究采用了一種8位量化方法來加速和壓縮模型。通過將32位浮點數據量轉化為較小的位寬，成功將模型減少至原模型大小的1/4，并可對每個輸入通道和每個層量化分別設置權重和激活函數。

1.2.4 安卓應用軟件開發和模塊設定

在Windows 10操作系統下進行安卓系統的開發，安卓開發環境包括Java Development Kit（JDK）、Android Studio和Android SDK（Software Development Kit，9.0版本）3個主要部分。開發語言為Java編程語言，在測試軟件時，共使用了3種硬件配置差異明顯的手機：1）小米CC9e（處理器高通驍龍710，內存6 GB）；2）小米11（處理器高通驍龍888，內存8 GB）；3）華為Mate20 Pro（海思Kirin 980，內存6 GB）。

本研究中構建的小麥麥穗分析和產量預測安卓端應用軟件稱為YieldQount-Mobile（YQ-M），軟件中集成了麥穗檢測的輕量級深度學習模型，在手機端可離線運行目標檢測網絡，達到田間條件下的麥穗檢測和結合千粒質量、穗粒數等歷史數據實現實時測產的目標。YQ-M的系統設計包含5個功能模塊：圖像獲取、圖像預處理、模型加載、穗部檢測和產量預測。

1）圖像獲取模塊基于安卓手機的攝像頭對小麥冠層的圖像進行采集，獲取圖片可以直接輸入到預處理模塊或保存到系統相冊。

2）圖像預處理模塊將采集到的圖像根據圖片像素和需要檢測目標的大小等用戶要求分割為不同等分。例如，在用戶選取了預分割方法后，原始圖片可等分為4、9及16子圖。分割后的圖片將輸入到后續模塊。

3）模型加載模塊是根據作物種類選擇不同的目標檢測模型，在YQ-M中已預留了加載多種作物目標檢測模型的可擴展端口。因本研究的作物類別是小麥，需檢測的是麥穗，所以預置了小麥檢測模型。

4）穗部檢測模塊將識別到的麥穗個數和模型識別時間在手機端展示，并畫出所有麥穗檢測框，方便用戶對檢測到的麥穗數量進行初步判斷。若檢測效果有偏差，可更改圖像預處理模塊中的等分方法，調整圖像輸入，使檢測效果達到最佳。同時YQ-M中也開放了可加載其他檢測模型的端口，方便研究人員添加新的模型。

5）產量預測模塊中根據中國主要的小麥產區劃分出華東、華中和華北3個產區，在各個產區中選取了主要推廣的小麥品系及部分小麥品種，根據歷年穗粒數和千粒質量數據，結合穗部檢測模塊檢測到的麥穗數和當季小麥產區積溫數據，對產量進行加權處理。現階段使用測產計算方法如公式（1）所示。

式中為小麥單位面積產量，kg/m2；為單位面積穗數（株/m2）；為穗粒數；為千粒質量，kg；為權重系數，根據當年小麥產區的積溫梯度的劃分確定，介于80%到90%之間。

1.2.5 歷史數據庫建立

YQ-M軟件加載的小麥產量構成要素的歷史數據庫基于SQLite關系數據庫管理系統開發。該數據庫有5個表單：品種、品系、作物信息、作物預測結果和用戶信息。使用者信息保存在用戶信息表中，其余4個表單收錄軟件運行中產生的各類數據。考慮到YQ-M的擴展性，軟件除了開放其他作物目標檢測模型的部署接口外，還開放了輸入端口。YQ-M軟件使用了SQL（Structured Query Language）查詢數據庫表單，根據小麥品系編號獲取與品種相關的產量因素，再通過公式（1）計算單位面積中小麥產量。對還未收錄的小麥品種，用戶可提交品系和品種等數據擴充數據庫。

1.2.6 評價指標

本研究中使用了精確率（Precision）、平均精確度（Average Precision，AP）、召回率（Recall）和1分數4個指標來評價模型精度。

2 結果及分析

2.1 麥穗檢測模型評估

本研究中使用輸入模型的小麥圖像數據作為測試集，分別在測試集上計算精確度、召回率、平均精確度和1得分4個指標。識別麥穗的預測框與真實框的比值為置信度，在置信度閾值為0.5條件下，識別精確度為84.43%、召回率為91.05%、AP為91.96%、1分數0.88（圖4），表明模型在復雜環境下采集的測試集上的表現良好，能在田間環境下對不同小麥品種在單位面積中的穗數進行檢測。

為了比較不同深度學習模型對復雜背景中麥穗的檢測效果，本研究還選取了Single Shot MultiBox Detector（SSD）[34]和Faster Regions-based CNN（Faster -RCNN）[35]對麥穗數據集進行訓練。其中SSD是直接多目標框預測，Faster-RCNN先是得到預選框，之后在進行分類和回歸，這兩種目標識別模型均廣泛用于目標檢測中。將兩種模型與MobileNetV2-YOLOV4進行了比較后，表1列出了3種模型的評估參數。可見，3種方法對麥穗計數都能有較好的結果。本研究中使用的模型除了在精確率這項指標的精度不如SSD，其余3項指標的表現都遠優于SSD和Faster-RCN。更重要的是，MobileNetV2-YOLOV4的淺層構架和對計算硬件資源較低的需求使其更適合手機端的運行。

表1 3種深度學習方法在麥穗數據集上的預測結果

2.2 YieldQuant-Mobile使用流程

圖5顯示了YQ-M在安卓手機上的簡單使用流程。在完成注冊后，用戶進入圖像提取界面，點擊加載模型按鈕，等待界面彈出模型加載已完成的提示，然后點擊添加圖片按鈕，界面底部會出現選擇相冊或者拍照彈框，點擊相冊或者相機按鈕添加需檢測圖片，該界面將會展示所選圖片，用戶也可更換圖片。確定圖片后，選擇等分數選項，再點擊圖像分析按鈕，進入產量預測頁面，該頁面顯示對所選圖片的穗部檢測結果，包括紅色長方形邊框標記的穗部、檢測穗部個數及檢測所耗時間等信息。穗部檢測完成后，用戶需選擇作物所屬區域、品系、品種及積溫等信息。輸入完成后，點擊預測產量按鈕，會計算單位面積內產量，并展示結果。

2.3 YieldQuant-M麥穗計數及產量預測結果分析

根據不同小麥品種檢測結果，得到80個小麥品種單位面積中的麥穗個數。將3個重復中獲得的麥穗人工計數值與檢測值對比，本研究采用了線性回歸對YQ-M檢測值和人工結果進行了對比分析。圖6a表示不同小麥品種中1 m2小區內麥穗計數值個數和真實值的擬合結果，得到決定系數2值均值在0.96左右，表明輕量級深度學習模型對單位面積中不同品種麥穗數檢測值與人工計數值具有極顯著相關性，均方根誤差（RMSE）為23.494株/m2，代表了較高的精確度（=240個1 m2小區，3個重復下80個品種）。圖6b顯示了3個重復下對240個小區使用YQ-M軟件進行產量預測均值與實際產量的線性相關性，得到決定系數2值為0.839，表明理論產量與實際產量具有顯著相關性，RMSE為17.641 g/m2，表明產量預估精確度較為穩定。

2.4 YieldQuant-M運行性能檢測

為了在手機端正常運行，本研究使用的是8位量化方法來壓縮模型。為了比較輕量級模型與未量化模型及32位浮點型模型的運行性能，本研究基于精確度、召回率、模型大小與檢測速度等4個指標對不同模型進行了對比。如表2所示，與未量化模型相比，經過8位量化的模型在精確率和召回率上分別僅降低1.09和0.89個百分點，但模型大小比未量化模型減少了13.2 MB（為原模型的26%），在檢測速度上也提升了近200 ms（對圖片處理速度提升了約35%）。表明了構建的輕量級深度學習模型在智能終端上良好的運行性能和準確性。

表2 量化和未量化檢測模型在相同麥穗數據集上的結果對比

由于田間實際環境的多樣性和復雜性，識別每幅圖像中麥穗數量所用時間也是檢驗模型性能的一個重要指標。因此，本研究還分別使用了3款不同配置的智能手機進行了對比測試。如圖7所示，通過3種不同散點圖表示了3種不同手機識別80個小麥品種所需要的平均時間。其中圓形散點代表硬件配置最差的小米CC9e的識別時間，基本在1 400 ms上下波動；方形散點代表小米11的識別麥穗的時間，優于小米CC9e的識別效果，但是穩定性較差，識別時間上下浮動較大；華為Mate20 Pro的配置最高，從三角散點可見，識別時間最少并且穩定性較好。表明硬件配置好的手機運行輕量級麥穗識別模型的過程中用時更少。柱狀圖表示通過3種手機對80個品種的麥穗數檢測的平均值。如圖7所示，盡管不同品種穗數有一定差異，但YQ-M在不同配置的智能手機上運行時間波動不大，說明輕量級模型和安卓端軟件能在對不同品種的分析時保持較穩定的檢測結果和識別時間。

3 結論與展望

本研究通過結合了深度學習、嵌入式人工智能技術、安卓軟件開發和SQLite輕量級數據庫等多項前沿技術完成了離線情況下使用智能手機終端完成了對單位面積中的麥穗進行檢測，并結合品種數據庫預測產量。在安卓手機端搭建的智能化分析軟件。通過對80個小麥品種的田間測產試驗和結果比對表明：

1）智能手機在田間離線情況下完成了對單位面積中麥穗圖像的采集、分析和產量預測，證明了嵌入式人工智能技術能在智能移動設備上對作物可以進行實時的產量檢測。在結合小麥產量三要素（麥穗數、千粒質量、穗粒數）數據庫后，用戶可在麥穗識別模型的基礎上，通過開放端口完善歷史數據，完成更多小麥品種或其他谷類作物的田間測產工作。此外，在田間試驗中不斷收集到的圖像，還可以通過再訓練或遷移學習等方法持續擴展共享訓練集，為作物研究和農業生產提供服務。

2）該算法在置信度為0.5時對不同品種小麥的麥穗檢測精確率、召回率、平均精確度、1分數分別為84.43%、91.05%、91.96%、0.88，因此構建的麥穗檢測模型具有良好的檢測性能。通過使用YQ-M軟件對80個小麥品種進行田間麥穗檢測及產量預測，麥穗數量檢測結果和人工檢測值的決定系數為0.961，均方根誤差為23.494株/m2；測產和實際產量的決定系數為0.839，均方根誤差為17.641 g/m2。

YQ-M系統開放了部署多種輕量級模型的端口，為實現多種作物產量預測、作物品類擴充和系統功能提升提供了開放式平臺。考慮到田間環境和不同的作物研究應用場景，YQ-M軟件的操作盡量簡單易用，保證無需培訓就能使用軟件。此外，安卓應用軟件及關鍵代碼已上傳實驗室的GitHub共享空間（https://github.com/ The-Zhou-Lab/Yield Quant-Mobile）。

隨著智能手機配置的不斷提高、本研究工作可擴展至大部分小麥品種，為廣大農業從業人員和科研人員提供在田間開展經濟、便捷和可靠的產量量化分析的技術手段。手機硬件的提升為智能終端在田間作物試驗中的廣泛應用提供了新思路。例如，自帶顯微鏡功能的手機能在田間實現無損監測葉片氣孔等器官表型提供硬件支持。搭載熱成像功能的手機也可為提早發現田間植物病害提供便捷的光譜特征信息。這些新的硬件功能結合本研究構建的輕量級深度學習技術將為智能移動設備在田間表型采集和近實時離線分析提供重要的技術平臺。最后，通過開發智能終端的應用軟件來檢測各類作物的表型性狀，不但能為農業工作者和育種專家提供經濟、便捷的技術手段，還可對小農戶的實際生產提供方便易用的監測工具。通過智能測產可大幅降低保險公司理賠的人工成本，對不同商業應用場景提供可行的技術解決方案。為人工智能在作物研究、農業生產和整個農業產業鏈的應用提供新方法和新技術。

[1] Ariel F, Julia C, Roxana S, et al. Yield determination, interplay between major components and yield stability in a traditional and a contemporary wheat across a wide range of environments[J]. Field Crops Research, 2017, 203: 114-127.

[2] Jin X, Liu S, Baret F, et al. Estimates of plant density of wheat crops at emergence from very low altitude UAV imagery[J]. Remote Sensing of Environment, 2017, 198: 105-114.

[3] Ghahremani M, Ghassemian H. Remote-sensing image fusion based on curvelets and ICA[J]. International Journal of Remote Sensing, 2015, 36(16): 4131-4143.

[4] Naemura M, Fukuda A, Mizutani Y, et al. Morphological segmentation of sport scenes using color information[J]. IEEE Transactions on Broadcasting, 2000, 46(3): 181-188.

[5] Fernandez-Gallego J A, Kefauver S C, Gutiérrez N A, et al. Wheat ear counting in-field conditions: High throughput and low-cost approach using RGB images[J]. Plant Methods, 2018, 14(1): 1-12.

[6] Zhou C, Liang D, Yang X, et al. Wheat ears counting in field conditions based on multi-feature optimization and TWSVM[J]. Frontiers in Plant Science, 2018, 9: 1024-1040.

[7] Yulei Z, Gang S, Guohui D, et al. Large-scale field phenotyping using backpack LiDAR and CropQuant-3D to measure structural variation in wheat[J]. Plant Physiolgy, 2021,187(2): 716-738.

[8] 李毅念，杜世偉，姚敏，等. 基于小麥群體圖像的田間麥穗計數及產量預測方法[J]. 農業工程學報，2018，34(21)：185-194.

Li Yinian, Du Shiwei, Yao Min, et al. Mehtod for wheater counting and yield predicitng based on image of wheatear population in field[J]. Transactions of the Chinese Society of Agricultural Egineering (Transaction of the CSAE), 2018, 34(21): 185-195. (in Chinese with English abstract)

[9] 周濟，Tardieu F，Pridmore T，等. 植物表型組學：發展、現狀與挑戰[J]. 南京農業大學學報，2018，41(4)：580-588.

Zhou Ji, Tardieu F, Pridmore T, et al. Plant phenomics: history, present status and challenges[J]. Journal of Nanjing Agricultural University, 2018, 41(4): 580-588. (in Chinese with English abstract)

[10] 徐凌翔，陳佳瑋，丁國輝，等. 室內植物表型平臺及性狀鑒定研究進展和展望[J]. 智慧農業，2020，2(1)：23-42.

Xu Lingxiang, Chen Jiawei, Ding Guohui, et al. Indoor phenotyping platforms and associated trait measurement: Progress and prospects[J]. Smart Agriculture, 2020, 2(1): 23-42. (in Chinese with English abstract)

[11] Yang W, Feng H, Zhang X, et al. Crop phenomics and high-throughput phenotyping: Past decades, current challenges, and future perspectives[J]. Molecular Plant, 2020, 13(2): 187-214.

[12] David E, Madec S, Sadeghi-Tehran P, et al. Global Wheat Head Detection (GWHD) Dataset: A large and diverse dataset of high resolution rgb labelled images to develop and benchmark wheat head detection methods[J]. Plant Phenomics, 2020, 1: 1-10

[13] Zhang N, Zhao C, Quiring S M, et al. Winter wheat yield prediction using normalized difference vegetative index and agro-climatic parameters in oklahoma[J]. Agronomy Journal, 2017, 109(6): 2700-2713.

[14] Zhang Y, Gao J, Zhou H. Breeds classification with deep convolutional neural network[C]// Proceedings of the 2020 12th International Conference on Machine Learning and Computing. New York,USA:ACM,2020: 145-151.

[15] Zhao J, Zhang X, Yan J, et al. A wheat spike detection method in UAU images based on improved YOLOV5[J]. Remote Sensing, 2021, 13(16): 1-16.

[16] Joshua C, Carmel O, Rachel W, et al. SeedGerm:a cost-effective phenotyping platform for automated seed imaging and machine-learning based phenotypic analysis of crop seed germination[J]. New Phytologist, 2020, 228(2): 778-793.

[17] 鮑文霞，張鑫，胡根生，等. 基于深度卷積神經網絡的田間麥穗密度估計及計數[J]. 農業工程學報，2020，36(21)：186-194.

Bao Wenxia, Zhang Xin, Hu Gensheng, et al. Estimation and counting of wheat ears density in field based on deep convolutional neural network[J]. Transactions of the Chinese Society of Agricultural Engineering (Transactions of the CSAE), 2020, 36(21): 186-194.

[18] Alkhudaydi T, Reynolds D, Griffiths S, et al. An exploration of deep-learning based phenotypic analysis to detect spike regions in field conditions for UK bread wheat[J]. Plant Phenomics, 2019(7): 1-17.

[19] Zebin T, Scully P J, Peek N, et al. Design and implementation of a convolutional neural network on an edge computing smartphone for human activity recognition[J]. IEEE Access, 2019, 7: 133509-133520.

[20] Lu J, Hu J, Zhao G, et al. An in-field automatic wheat disease diagnosis system[J]. Computers and Electronics in Agriculture, 2017, 142: 369-379.

[21] Al-Hami M, Pietron M, Casas R, et al. Methodologies of compressing a stable performance convolutional neural networks in image classification[J]. Neural Processing Letters, 2020, 51(1): 105-127.

[22] Lin D, Talathi S, Annapureddy S. Fixed point quantization of deep convolutional networks[C]// Proceedings of the 33rd International Conference on International Conference on Machine Learning, New York,USA:PMLR,2016: 2849-2858.

[23] Xiaoliang Q, Fengxia Z, Cong L, et al. Wheat yield improvements in China:past trends and future directions[J]. Field Crops Research, 2015, 177: 117-124.

[24] Everingham M, Eslami A, Van L, et al. The pascal visual object classes challenge: a retrospective[J]. International Journal of Computer Vision, 2015, 111(1): 98-136.

[25] Sandler M, Howard A, Zhu M, et al. MobileNetV2: inverted residuals and linear bottlenecks[C]// Proceedings of the IEEE Computer Society Conference on Computer Vision and Pattern Recognition,Salt Lake City,USA:IEEE,2018: 4510-4520.

[26] Bochkovskiy A, Wang C Y, Liao H, et al. YOLOv4: optimal speed and accuracy of object detection[EB/OL]. [2020-05-09]. https://arxiv.org/abs/2004.10934vl.

[27] Yu D, Xu Q, Guo H, et al . An efficient and lightweight convolutional neural network for remote sensing image scene classificatio[J]. Sensors, 2020, 7: 2158-2173.

[28] Catalin B, Vlad-Rares D, Cristina R. MobileNetV2 ensemble for cervical precancerous lesions classification[J]. Processes, 2020, 8: 595-625.

[29] Wang C Y, Mark Liao H Y, Wu Y H, et al. CSPNet: a new backbone that can enhance learning capability of CNN[C]// IEEE Computer Society Conference on Computer Vision and Pattern Recognition Workshops, Washington, USA: CVPR, 2020: 390-391.

[30] Pan S J, Yang Q. A survey on transfer learning[J].IEEE Transactions on Knowledge and Data Engineering, 2009, 22(10): 1345-1359.

[31] Yosinski J, Clune J, Bengio Y, et al. How transferable are features in deep neural networks?[J]. Advances in Neural Information Processing Systems, 2014, 4: 3320-3328.

[32] Martin Abadi, Paul Barham, Jianmin Chen, et al. TensorFlow: A system for large-scale machine learning [C]//12th USENIX Symposium on Operating Systems Design and Implementation, Los Angeles, USA: ACM2016: 265-283.

[33] Ye J, Li X, Zhang X, et al. Deep learning-based human activity real-time recognition for pedestrian navigation[J]. Sensors, 2020, 9: 1-30.

[34] Liu W, Anguelov D, Erhan D, et al. SSD:single shot multibox detector[C]//Proceeding of the 14th European Conference on Computer Vision, Amsterdan,The Netherlands: ECCV, 2016: 21-37.

[35] Ren S, He K, Girshick R, et al. Faster R-CNN:Towards real-time object detection with region proposal networks[C]// Advances in Neural Information Processing Systems, Montreal, Canada: NeurIPS,2015: 91-99.

Combining lightweight wheat spikes detecting model and offline Android software development for in-field wheat yield prediction

Chen Jiawei1,2, Li Qing3, Tan Qiaoxing1, Gui Shiquan1, Wang Xiao3, Yi Fujin4, Jiang Dong3, Zhou Ji1,5※

(1.//,,210095,; 2.,,210095,; 3.,,210095,; 4.,,210095,; 5./,CB3 0LE,)

The number of spikes per unit area is akey yield component for cereal crops such as wheat, which is popularly used in wheat research for crop improvement. With the fast maturity of smartphone imaging hardware and recent advances in image processing and lightweight deep learning techniques, it is possible to acquire high-resolution images using a smartphone camera, followed by the analysis of wheat spikes per unit area through pre-trained artificial intelligence algorithms. Then, by combining detected spike number with variety-based spikelet number and grain weight, it is feasible to carry out a near real-time estimation of yield potential for a given wheat variety in the field. This AI-driven approach becomes more powerful when a range of varieties are included in the training datasets, enabling an effective and valuable approach for yield-related studies in breeding, cultivation, and agricultural production. In this study, we present a novel smartphone-based software application that combines smartphone imaging, lightweight and embedded deep learning, with yield prediction algorithms and applied the software to wheat cultivation experiments. This open-source Android application is called YieldQuant-Mobile (YQ-M), which was developed to measure a key yield trait (i.e. spikes per unit area) and then estimate yield based on the trait. Through YQ-M and smartphones, we standardized the in-field imaging of wheat plots, streamlined the detection of spikes per unit area and the prediction of yield, without a prerequisite of in-field WiFi or mobile network. In this article, we introduce the YQ-M in detail, including: 1) the data acquisition designed to standardize the collection of wheat images from an overhead perspective using Android smartphones; 2) the data pre-processing of the acquired image to reduce the computational time for image analysis; 3) the extraction of wheat spike features through deep learning (i.e. YOLOV4) and transfer learning; 4) the application of TensorFlow.lite to transform the trained model into a lightweight MobileNetV2-YOLOV4 model, so that wheat spike detection can be operated on an Android smartphone; 5) finally, the establishment of a mobile phone database to incorporate historic datasets of key yield components collected from different wheat varieties into YQ-M using Android SDK and SQLite. Additionally, to ensure that our work could reach the broader research community, we developed a Graphical User Interface (GUI) for YQ-M, which contains: 1) the spike detection module that identifies the number of wheat spikes from a smartphone image; 2) the yield prediction module that invokes near real-time yield prediction using detected spike numbers and related parameters such as wheat varieties, place of production, accumulated temperature, and unit area. During our research, we have tested YQ-M with 80 representative varieties (240 one-square-meter plots, three replicates) selected from the main wheat producing areas in China. The computed accuracy, recall, average accuracy, and1-score for the learning model are 84.43%, 91.05%, 91.96%, and 0.88, respectively. The coefficient of determination between YQ-M predicted yield values and post-harvest manual yield measurement is 0.839 (=80 varieties,<0.05; Root Mean Square Error=17.641 g/m2). The results suggest that YQ-M presented here has a high accuracy in the detection of wheat spikes per unit area and can produce a consistent yield prediction for the selected wheat varieties under complex field conditions. Furthermore, YQ-M can be easily accessed and expanded to incorporate new varieties and crop species, indicating the usability and extendibility of the software application. Hence, we believe that YQ-M is likely to provide a step change in our abilities to analyze yield-related components for different wheat varieties, a low-cost, accessible, and reliable approach that can contribute to smart breeding, cultivation and, potentially, agricultural production.

models; algorithm; yields; lightweight deep learning; wheat spike detection; Android system development; wheat

陳佳瑋，李慶，譚巧行，等. 結合輕量級麥穗檢測模型和離線Android軟件開發的田間小麥測產[J]. 農業工程學報，2021，37(19)：156-164.doi：10.11975/j.issn.1002-6819.2021.19.018 http://www.tcsae.org

Chen Jiawei, Li Qing, Tan Qiaoxing, et al. Combining lightweight wheat spikes detecting model and offline Android software development for in-field wheat yield prediction[J]. Transactions of the Chinese Society of Agricultural Engineering (Transactions of the CSAE), 2021, 37(19): 156-164. (in Chinese with English abstract) doi：10.11975/j.issn.1002-6819.2021.19.018 http://www.tcsae.org

2021-06-17

2021-09-12

江蘇省基礎研究計劃（BK20191311）；江蘇省現代農業重點項目（BE2019383）；中央高校基本科研專項資金（JCQY201902）

陳佳瑋，博士生，研究方向為表型分析與深度學習。Email：chenjiawei@njau.edu.cn

周濟，博士，教授，研究方向為作物表型組學，植物形態學，圖像分析，機器學習，稻麥育種。Email：Ji.zhou@njau.edu.cn（中），Ji.zhou@niab.com（英）

10.11975/j.issn.1002-6819.2021.19.018

S126

A

1002-6819(2021)-19-0156-09