深度學習在蘋果產業鏈中的應用與研究進展

黃昊，謝圣橋，陳度，王恒

（1.中國農業大學工學院，北京 100083；2.中國農業大學現代農業裝備優化設計北京市重點實驗室，北京 100083；3.洛陽智能農業裝備研究院有限公司，河南洛陽 471934）

隨著人工智能的興起，各個傳統產業都在嘗試與其進行結合，以實現產業的智能化升級與革新。我國的蘋果產業機械化和自動化生產水平不高，影響了產業的發展和市場競爭力，亟需探索人工智能技術的產業落地。

在人工智能領域中，深度學習是研究的熱點，其開端可以追溯到2006 年，Hinton 等[1]使用神經網絡進行數據降維研究。深度學習是由輸入層（input layer）、隱藏層（hidden layer）和輸出層（output layer）組成的多層結構的神經網絡，使用多階段非線性信息處理單元處理復雜的非線性問題，進而實現特征學習和模式分類[2-3]。

深度學習的過程由推理階段和訓練階段[4]組成。深度學習模型的每層節點（處理單元）都會連接到相鄰層的節點，每個連接都有相應的權重值，輸入乘以權重后在節點處進行求和，再將總和進行非線性變換（激活函數）后得到輸出，經過多次上述操作后實現對原始輸入的轉換或特征提取[5]，該過程為推理階段也叫前向傳播；訓練階段基于推理階段，在大量標注數據下通過反向傳播、損失函數與優化器等共同作用實現參數的優化[6]。

從2006 年發展至今，典型的深度學習模型有卷積神經網絡(convolutional neural network，CNN)、深度置信網絡（deep belief network，DBN）和堆棧自編碼網絡(stacked auto-encoder network)模型等[7]，對于蘋果產業鏈來說，將機器視覺與卷積神經網絡相結合是深度學習在該領域的重要應用，

VGG（visual geometry group）、FCN（fully convolutional networks）、YOLO（you only look once）和Faster R-CNN（region-convolutional neural network）等經典卷積神經網絡模型在蘋果種植、采摘收獲和產后檢測中的應用逐漸增多，也表明該技術與蘋果產業鏈具有較高契合度和研究價值。

本研究聚焦近幾年深度學習在蘋果產業鏈中的應用案例和研究進展，對相關研究進展進行歸納總結，在蘋果種植階段著重于病害識別、果樹疏花、長勢監測和品類識別方向的應用；在采摘收獲階段著重于采摘機器人對果樹與果實的辨識應用；在產后階段著重于基于顏色、大小和品質無損檢測的應用。

1 深度學習在蘋果種植階段中的應用

蘋果種植階段是果園管理的核心階段，其管理方法的科學性、合理性與先進性將對蘋果的品質、產量和質量具有最直接的影響，因此該階段也是深度學習發揮作用的最有價值的階段，由于深度學習強大的特征自動提取能力，其在病蟲害識別、果樹疏花、長勢監測與品類識別中的研究和應用相當廣泛。

1.1 蘋果樹病蟲害的識別

蟲害對蘋果產量和質量的影響巨大，因此，果樹病蟲害防治是蘋果在種植生產和果園管理過程中的重要工作，對于不同的病蟲害要采取不同的防治手段，蘋果果樹的病蟲害識別往往需要專業人士的幫助，但由于果園種植的人力成本限制，很少有蘋果園能配備專業的病蟲害防治專家。因此，運用深度學習對圖像深層信息的獲取能力，實現蘋果果樹病蟲害的自動化和智能化識別，已經成為蘋果病蟲害防治領域技術發展的重要方向。

蘋果樹葉片狀態最能直觀反映蘋果樹病蟲害類別的性狀表征，通過葉片表征信息快速準確地獲取蘋果樹病害類別將為蘋果病蟲害防治提供技術支持。但蘋果樹葉片的紋理形狀和病蟲害種類多樣，且不同種類的病蟲害又具有相似的葉部表征，故傳統的計算機視覺與識別算法在蘋果葉片病蟲害識別任務中的綜合性能相對不佳。

運用卷積神經網絡對圖像深層抽象特征的自動提取能力，使得葉片病蟲害識別的精度和效率都有了顯著提高。卷積神經網絡主要由輸入層（input layer）、卷積層（convolutional layer）、池化層（pooling layer）和全連接層（fully connected layer）組成（圖1），通過卷積塊的堆疊實現對蘋果葉片圖像深層信息的提取，再通過全連接層整合卷積層或者池化層中具有類別區分性的局部信息，最終實現病蟲害的識別分類。

圖1 卷積神經網絡Fig.1 Convolutional neural network structure

近年來，國內外科研人員圍繞卷積神經網絡識別蘋果葉片病蟲害開展了大量的研究工作。邸潔等[8]將Tiny-YOLO 運用于蘋果葉片病害的識別檢測中，將蘋果葉片病害識別檢測問題轉換成回歸問題，并在Darenet-19 的結構基礎上優化網絡模型結構，使得葉片病害的識別速度和準確率都得以提升。Francis 等[9]基于內存大小與綜合性能的比較，提出一種由4個卷積層與2個全連接層組成的自建神經網絡，發現小尺寸神經網絡在葉片病害識別中具有較好的識別精度；Zheng等[10]采用窮舉試驗設計方法，進一步分析索貝爾算子（Sobel operator）、數據增強、不同池化方法和不同網絡結構（包含卷積核尺寸、特征圖數量和卷積層的深度）對蘋果葉片病害識別精度的影響，并通過對比實驗找到了合適的網絡用于葉片病害識別；Agarwal 等[11]針對蘋果葉片病害識別提出了一種新的卷積神經網絡，該網絡主要由3個卷積層和3個最大池化層組成，其中還含有dropout 層用于防止過擬合，另外該模型的超參數由多次組合實驗比對得出，最終所得網絡模型性能優于傳統機器學習模型和部分預訓練的深度學習模型（VGG16、InceptionV3），并且該模型的參數和運行時間都明顯低于部分預訓練模型。上述研究的重要共性是在葉片病害識別任務中對于低內存與低延時的追求，高效能運算已逐漸成為該領域的研究重點。

在蘋果葉片病蟲害自動識別過程中發現，大多數葉片病蟲害的表征以葉片斑點的形式呈現，為了高效識別葉片病害，Son等[12]提出一種新的葉片病害斑點注意網絡（LSA-Net）用于葉片病害識別，如圖2 所示。該研究與以往的葉片病害區域分割不同，通過FS-SubNet（feature segmentation subnetwork，特征分割子網絡）和SAC-SubNet（spot-aware classification subnetwork，病害斑點區域分類子網絡）組成的LSA-Net 實現對蘋果葉片病害的高效準確識別，FS-SubNet將輸入圖像分割成背景、葉片區域和病害斑點區域，由于引入了病害斑點注意機制，使得LSA-Net 的分割網絡可以專注于特定病害表征區域的特征提取。

圖2 用于蘋果葉片病害識別的葉部病害斑點注意網絡（LSA-Net）結構Fig.2 Leaf spot attention network（LSA-Net）for apple leaf disease identification

遷移學習也是蘋果葉片病害識別的重要手段。Nagaraju 等[13]通過去除VGG16 最后1 層并添加1 個新的輸出層，得到微調后的VGG16 網絡用于葉片病害識別。得益于遷移學習的優勢，使得該團隊所得網絡的訓練參數相對于VGG16 減少了98.9%，從而減少了計算量，識別準確率到達97.87%，這對于追求高效訓練網絡以應對模型訓練計算力不足的場景具有參考價值；同樣采用VGG16 遷移學習，鮑文霞等[14]選擇在VGG16 網絡的瓶頸層后添加1 個選擇性核（selective kernel，SK）卷積模塊以提高多尺度特征提取的水平，并采用全局平均池化代替最大池化，以提高模型的收斂速度和抗過擬合能力。以上研究結果表明，運用遷移學習解決蘋果葉片病害識別問題的范式思路是在有先驗知識的神經網絡后部進行結構優化，以提升現有網絡對特定問題的處理能力。

1.2 蘋果樹疏花中的應用

蘋果樹的花果管理對于控制果樹產量、保障果品質量具有重要作用，在疏花過程中運用深度學習實現目標花朵的識別與定位是該研究領域的熱點。Wang等[15]在FCN8s的基礎上提出了FCNs-Edge的全卷積神經網絡（fully convolutional network，簡稱FCN），通過將另外2 個池化層與反卷積層組合，以及添加邊緣類的方式提高網絡的綜合性能，將包含更多局部特征和低維度特征的池化層和反卷積層相連接能夠強化對目標邊緣的檢測，因此所提出的FCNs-Edge 網絡無論是在白天還是夜晚，其模型的預測精度和召回率都明顯提升；Bhattarai 等[16]運用Mask R-CNN 實現蘋果花朵的分割，并開展了不同數據強化方案對目標檢測影響效果的對比研究。上述研究重心都在蘋果花朵的目標檢測上，這也是該研究領域的主流方向，但蘋果樹的疏花難點在于疏花策略的自動化生成，這將成為深度學習在蘋果樹疏花領域的新方向。

1.3 蘋果樹長勢監測中的應用

在種植過程中，對蘋果樹體及果實的生長狀態進行自動監測是智能化果園生產及果樹管理的重要基礎，將為果園的水-肥-藥管理、果樹修剪、產量預估等提供支撐。

果實監測是深度學習在種植監測中的主要應用。例如Mazzia 等[17]在Raspberry Pi 3 B+上部署YOLOv3-tiny 的果實長勢檢測模型用于蘋果種植監測系統的嵌入式硬件開發，為保障硬件的運算性能，該團隊采用Intel Movidius Neural Computing Stick (NCS)、Nvidia 的Jetson Nano 和Jetson AGX Xavier 為該硬件提供邊緣算力支持，并且比較各種設備之間的綜合性能差異，值得一提的是該團隊對用于蘋果檢測的YOLOv3-tiny 進行了針對性優化，選取了合適的網格尺寸，優化了小目標檢測的性能，整個研究對于小功耗下的蘋果目標檢測的邊緣計算具有參考價值；Wang 等[18]基于深度學習邊緣檢測網絡開發了果園蘋果生長監測系統，用于整個生長期內的蘋果大小尺寸遠程監測，該團隊在ResNet-50 的基礎上融合了多段其所提出的融合卷積特征（fused convolutional features，FCF）來實現蘋果邊緣檢測，此外為了實現對蘋果尺寸大小的視覺度量，該團隊使用區域生長的方法進行蘋果與校準球的分割，整項研究對于去除復雜背景檢測蘋果生長的分割具有參考價值。

在蘋果種植中除了果實監測外，樹體監測也是重要方向，其中對于被遮擋部分的果樹分割一直都是該方向的難題之一。Chen 等[19]就遮擋的果樹分割問題提出了遮擋難度指數（occlusion difficulty index）和深度難度指數（depth difficulty index），并運用于U-Net 和DeepLabv3 這兩種流行的語義分割模型、原始的Pix2Pix（生成式對抗網絡，GAN）和優化后的Pix2Pix 之間的對比性研究，結果表明在有遮擋的蘋果樹體分割任務中，傳統的用于無遮擋分割任務中的評價指標不能準確反映模型的性能。

1.4 蘋果種類識別中的應用

隨著育種技術的進步與分子生物技術的發展，蘋果種類繁多，能夠快速準確地識別出蘋果種類對于蘋果種植的精確管理具有重要意義。Liu等[20]提出了一種以蘋果葉片圖像為輸入的深度卷積神經網絡，實現了對14 種蘋果種類的自動識別，平均識別準確率可達97.11%。從該研究的對比實驗中可以看出，深度學習在蘋果品類識別任務中具有明顯優勢，相比于傳統的機器學習，其提出的卷積神經網絡在該任務上具有較高的泛化精度、穩定的收斂性和良好的特異性。

蘋果種類識別的另一大輸入類型為果實圖像輸入。例如，為了實現對紅富士、國光、紅元帥、黃元帥、嘎啦和青蘋果6 種蘋果的種類識別，Li 等[21]提出了一種由7 個卷積層、3 個最大池化層和2 個全連接層組成的淺層卷積神經網絡模型，實現了在無遮擋下92%左右的識別準確度。此外，在自然環境中存在樹葉和樹枝遮擋、蘋果表面腐爛或被其他蘋果遮擋等復雜情況，該研究引入分塊投票法以提升模型的識別精度和泛化能力，并在不同程度的遮擋實驗中取得了較好的效果。在與SVM、ResNet-18 和ResNet-50 等方法的對比實驗中發現：上述蘋果種類識別任務中ResNet-18的性能優于SVM，這說明深度學習的深層信息提取能力在圖像識別任務中相對于機器學習有一定優勢；但ResNet-50 的性能卻低于SVM，這證明當數據集的樣本量遠小于深度學習模型的學習能力時必然發生過擬合；所提出的淺層卷積神經網絡明顯優于所有對照模型，研究結果表明在特定任務中降低深度學習模型的復雜度依然可以有效保障模型性能。

張力超等[22]基于LeNet-5 提出了一種以果實圖像為輸入的改進神經網絡模型，以實現對紅富士和紅元帥這些具有相似外觀的蘋果種類識別。如圖3 所示，改進神經網絡模型在原始LeNet-5 的全連接層之前添加了展平層（flatten）用于數據的降維；將全連接層的激活函數由Sigmoid 換成了LeakyReLU,以防止反向傳播時的梯度消失以及神經元出現“凋亡”的情況；在全連接層之后添加Dropout層緩解模型的過擬合以便增強泛化能力。在與SVM+HOG 和SVM+G 的對比實驗中發現，提出模型的識別平均準確率和平均總耗時都顯著優于SVM方法。

圖3 LeNet-5模型的改進前后對比Fig.3 Comparison before and after improvement of LeNet-5

2 深度學習在蘋果采摘收獲中的應用

對果實進行精準、快速的識別是實現蘋果自動化采摘的關鍵技術之一。由于自然環境下蘋果果實辨識與定位受枝葉遮擋、光照強度以及高斯噪聲的影響，使得蘋果果實的自動化識別具有較大的難度[23]。

傳統果實檢測主要是依據果實的顏色、紋理和形狀等特征。馮娟等[24]采用隨機圓法和（RG）∕（R+G）顏色特征對230 幅蘋果圖像進行測試，識別準確率達92%。宋懷波等[25]利用K-means 聚類算法對蘋果圖像進行分割，進而獲得果實邊緣信息，實現果實目標的識別。劉曉洋等[26]利用改進的R-G 色差分割算法對70 幅蘋果圖像進行測試，識別準確率達83.7%。孫颯爽[27]利用流形排序法解決了在相似背景中青蘋果識別困難的問題，測試了120 幅青蘋果圖像，識別準確率達90.8%。傳統果實檢測方法受自然環境下天氣、光照強度和背景遮擋等因素的影響，難以具有通用性。

基于深度學習的蘋果識別能自動提取果實的特征參數，從而避免了傳統識別算法中復雜特征和數據的提取，目標識別的速度快、精度高，應用場景廣闊。張亞靜等[28]采用RGB顏色特征輸入神經網絡訓練模型，利用包含1 506個蘋果的圖像對模型進行了測試，識別準確率達86.7%。王津京等[29]將SVM 用于蘋果果實顏色和形狀等特征的訓練，把采集的特征信息輸入到由支持向量機構成的分類器中，代替CNN中的softmax層，通過200幅圖像的驗證性試驗測試，識別準確率可以達到93.3%。以上研究表明，使用SVM 分類器和CNN 融合的模型比單獨使用K-最鄰近算法的識別準確率高，可應用于采摘機器人作業過程中對果實目標的識別。

Faster R-CNN 方法可以依賴不同的CNN 架構實現快速的目標檢測，因而在蘋果收獲采摘過程中受到廣泛關注，例如Gené-Mola等[30]采用多模態Faster R-CNN 進行蘋果的檢測，并在其所提出的KFuji RGB-DS 數據庫（其中包含了真實果園中富士蘋果的多模態圖像）上進行評估實驗，結果表明，使用色彩與深度感知攝像頭作為果實識別的傳感器，能夠額外獲取被檢測目標的空間距離，在多模態Faster R-CNN 果實識別中提升準確率，但該方法的主要限制是深度傳感器的距離檢測精度受光照強度影響較大；Lfabc 等[31]采用3D 體感攝像頭Kinect V2 構建采摘機器人的室外機器視覺系統，并使用2 種基于Faster R-CNN 架構的ZFNet（Zeiler&Fergus Net）和VGG16 來進行對比實驗，結果表明，VGG16 在給定數據集下的識別準確率更高，并且通過結合景深信息來去除不需要的背景（包括目標果樹旁其他果樹上的樹葉和果實）能夠提升2.5%的蘋果識別準確率；Chu 等[32]提出了名為Suppression Mask R-CNN 的新型蘋果檢測模型，通過在標準的Mask R-CNN 中添加用來抑制網絡生成非蘋果特征的抑制分支來提升網絡的檢測精度，在嘎拉和Blondee蘋果的綜合果園數據集上進行實驗發現，該方法的檢測準確率高達88%，明顯高于YOLO v3、Faster R-CNN 和Mask R-CNN等早期的目標檢測模型。

雖然Faster R-CNN 是蘋果目標檢測中的主流算法之一[33]，但在較看重實時性的蘋果采摘收獲過程中，YOLO 和SSD 等運行效率更高的深度學習算法逐漸在該領域興起。例如Kuznetsova 等[34]使用YOLOv3 算法開發了一種用于蘋果采摘收獲機器人上的計算機視覺系統，通過增強對比度、采用中值濾波器進行輕微模糊、加厚檢測邊緣等預處理方法來減輕陰影、眩光、蘋果輕微損害和薄樹枝重疊蘋果對YOLOv3 果實檢測的負面影響，同時采用黃色像素[RGB 值為（248，228，115）]替代在圖像上呈現棕色陰影[RGB值從(70,30,0)到(255,1 540,0)]的蘋果上斑點、花被和細枝條的后處理方法來提升的果實識別準確率，通過上述的預處理和后處理方法能使YOLOv3 的蘋果識別準確率達到92%以上；武星等[35]設計的Tiny-yolo網絡，用輸入和優化策略對蘋果進行識別，精簡了網絡結構，提升了蘋果識別的精確度和速度；彭紅星等[36]以蘋果為研究目標，將ResNet-101 網絡作為SSD的目標特征提取網絡，并用遷移學習微調SSD 模型，采用梯度下降法進行模型訓練，辨識率為95.2%，檢測速度為0.125 s·幅-1，取得了較高的識別精度和較快的識別速度。

3 深度學習在蘋果產后無損檢測中的應用

產后無損檢測屬于蘋果產業鏈中的采后處理，隨著蘋果產量的逐年升高，實現大規模、自動化、高準確度的蘋果品質檢測和質量篩選是亟需解決的問題。深度學習在蘋果外部品質檢測和內部質量篩選中的應用，有望加快蘋果自動化分級的進程。

3.1 外部品質檢測中的應用

由GB∕T10651—2008中鮮蘋果質量等級（表1）要求可知[37]，基于外部品質檢測的蘋果產后分級指標主要包括蘋果顏色、大小和完整度等。

表1 鮮蘋果質量等級要求［37］Table 1 Fresh apple quality grade requirements［37］

何進榮等[38]用DXNet 模型對紅富士蘋果顏色、大小和果形等外觀品質進行分級，與VGG16、Xception、ResNet50、DenseNet121、Inception_V3 進行比較發現該模型的性能較優，準確率可以達到97.84%。薛勇等[39]用GoogLeNet 對蘋果進行表面缺陷檢測，并與AleNet 和LeNet-5 網絡進行對比，識別準確率最高，為91.91%，實現了小樣本數據訓練獲得較好的分類模型。Fan 等[40]使用4 層的卷積神經網絡在蘋果分揀機（每秒5 個蘋果的速度）上實現了蘋果外部缺陷的檢測，識別準確率能達到96.5%，且在每6 張蘋果圖像72 ms 處理時間下的驗證實驗中也能達到92%的識別準確率；Ohali 等[41]利用VGG16 特征提取模型對蘋果按顏色、紋理等特征，將蘋果分為3 個等級（1,2,3），系統的識別準確率為84.6%。Sofu等[42]利用MobileNet模型設計的蘋果檢測系統對3 個不同品種的蘋果同時進行檢測分級，以重量、大小和顏色為特征將蘋果劃分為不同類別，用238 個樣品進行檢測，分類準確率達到96.8%。

王立揚等[43]利用改進LeNet-5 對蘋果按照顏色、形狀及大小等指標進行分級，識別精確度達98.37%，并將模型移植到分級系統中，在實際應用中取得了良好的進展。石瑞瑤[44]用最小外接矩形法計算蘋果大小，結合卷積神經網絡對蘋果大小進行分級，準確率為89.75%。凌強[45]利用RGB模型進行蘋果顏色分選，用最小外接圓法對蘋果進行大小分選，識別準確率為91.32%；用CNN 對蘋果缺陷進行識別，準確率為96.89%，取得了較好的效果。

3.2 內部質量篩選中的應用

由GB∕T 10651—2008 中蘋果主要品種的理化指標參考值（表2）可知[37]，不同品種的蘋果其果實硬度和可溶性固形物含量（soluble solid content，SSC）都有不同的推薦范圍，即該品種蘋果成熟時應符合的基本內在質量要求，因此對收獲后的蘋果進行內部質量的篩選主要是對蘋果的粉質化、糖度和其他SSC進行檢測，基于人工品嘗和破壞性儀器測量的傳統內部篩選方法不能滿足蘋果產后無損檢測和果品快速分級的需求[46]，而現階段較為成熟的光譜分析、電特性檢測、CT(computed tomography)和電子嗅覺傳感器檢測等無損檢測方法雖然在蘋果內部質量篩選中取得了廣泛的運用，但模型建立過程復雜且繁瑣、檢測設備昂貴、針對性差等問題依然存在[47]，因此深度學習技術的引入將成為該領域的研究熱點。

Lashgari 等[48]提出采用聲波傳感技術與深度學習相結合的方式進行蘋果粉質化檢測，在該研究中，實驗人員以塑料球作為沖擊裝置產生聲波，并使用BSWA 設備記錄穿過樣本蘋果的聲波信號，之后利用短時傅里葉變換（short time Fourier transform，STFT）將每個聲波沖擊信號轉換為具有紋理的頻普圖像來獲取數據集，需要說明的是，該研究使用的蘋果樣本是在室溫（21 ℃）、低溫（6 ℃）和儲藏時間的組合條件下產生的，即通過不同溫度和不同儲藏時間的組合誘導不同程度的蘋果粉質化。最后在預訓練的AlexNet 和VGGNet 上進行模型微調，結果表明，上述2 種網絡在該方法下區分蘋果粉質化和非粉質化的準確率能夠分別達到91.11%和86.94%，并且AlexNet 的識別速度更快，該研究證明了在蘋果粉質化檢測中聲學信號與深度學習相結合的可行性。

Bai 等[49]基于光譜指紋特征和深度學習成功地建立了具有良好可靠性和準確性的蘋果SSC多元預測模型并準確檢測了多個產地的蘋果SSC。該團隊以光譜指紋特征作為輸入，通過深度學習識別蘋果的種類和產地并用其搜索專屬單源SSC檢測模型，最終實現蘋果多元SSC檢測模型的性能提升，與單源和雜交源模型相比，多元模型具有更穩定且準確的檢測性能，其原因在于該模型結合了種類和產地識別，以至于其能夠抵抗蘋果產地變化時對SSC檢測產生的干擾。

除了上述單一指標內部檢測外，蘋果糖度和硬度的同時檢測也逐漸興起，例如徐煥良等[50]提出一種基于光子傳輸模擬的蘋果品質檢測方法。該團隊為了解決樣本數量不足且較難獲取的問題，采用蒙特卡洛方法獲取2 萬張面光源下的蘋果表面光亮度分布圖，并用其作為樣本輸入到卷積神經網絡中進行預訓練，再以少量實測光譜蘋果圖像為樣本使用遷移學習進行模型微調，最終實現光譜信息和光學參數信息的結合預測。結果表明，該方法對蘋果糖度和硬度的檢測準確率為92.22%和86.97%，都明顯高于高光譜數據和光學參數數據的品種檢測模型，也略高于通過遷移學習得到的點光源條件下的模型。

4 深度學習在蘋果產業鏈中存在的問題與發展建議

本文以蘋果產業鏈中的果樹種植、收獲采摘和產后檢測3 個關鍵時期為主線，將近幾年深度學習在該領域的研究進行分類總結，并著重介紹了蘋果葉片病害識別、果實與樹體長勢監測、果實內外部無損檢測等相關方向的成功案例，但該領域的研究仍然面臨著困難和挑戰。

4.1 深度學習在蘋果產業鏈中的困難和挑戰

專業樣本數據集較少且獲取難度大。深度學習對數據具有“貪婪性”[51]，需要大量標注良好的數據集作為樣本進行訓練，在蘋果種植過程中獲取樣本的周期較長，且在蘋果的生長周期內不一定能夠獲取完整的數據集，以葉片病害為例，同一果園內難以完整采集系統性的病害樣本，故要實現較多種類病害樣本的采集就需要在同一地區的多片果園進行多年的圖片采集，并且同種病害在不同階段或不同品種上也會表現不同特征，從而提升樣本標簽化的難度，這些都將使深度學習在該領域的研究與應用成本陡升。

算法精度、計算開銷與模型尺寸之間具有不易調和性。為了提高模型的識別精度和魯棒性，需要模型算法能獲取樣本更多的深層信息和局部空間信息，實現樣本向高緯度抽象性信息更有效的映射，這將增加深度學習算法模型的復雜程度，使權重矩陣變大，最直觀的感受是模型的尺寸變大和模型預測的召回時間增長。在計算資源有限并且注重響應時間的邊緣場景中，尋找到算法精度與模型尺寸之間的平衡點或者探索合適的模型壓縮方法都是極具挑戰性的任務。

4.2 深度學習在蘋果產業鏈中的發展建議

面對數據集構建難度大、構建周期長的問題，可以從以下3 個方面探討解決思路：一是需要高校與研究機構牽頭，組建公共的、開源的大型蘋果果園數據集，彌補各研究團隊在數據集構建上的資源不足或不均的問題；二是優化樣本預處理方案，對獲取的樣本進行合適的預處理，減小樣本噪聲、突出樣本的特性，使所用樣本具有良好的特征代表性；三是探索合理且有效的數據增廣策略，實現在從有限的數據中提煉出更多有用的信息從而產生等價于更多數據的價值[52]。

對于大模型的使用，可以考慮壓縮模型尺寸和增大邊緣計算能力的2 條研究路線：一是可以考慮模型剪枝、知識蒸餾、網絡量化等模型壓縮與計算加速策略[53-54]，實現在精度影響可接受范圍內（或模型壓縮后再微調網絡）的模型尺寸優化，從而減小計算開銷；二是可以考慮匹配合適邊緣計算能力，例如NVIDIA的Jetson系列、Intel 的Movidius Myriad X 等先進的邊緣算力，可以為不同尺寸的模型部署提供合適的選擇。

5 展望

深度學習在圖像領域取的成功使得研究者們熱衷于用其解決各行各業中的難題，盡管現階段深度學習在蘋果產業鏈中的優勢與挑戰共存，但這并不妨礙深度學習在該領域會取得進一步的發展，因此，作如下展望。

①將深度學習運用于更多的蘋果產業鏈環節中。現階段的深度學習主要集中在果樹種植、采摘收獲和產后檢測中，未來應該繼續探索在木苗繁育、果汁加工和銷售運輸中的深度學習應用，最終實現蘋果全產業鏈的深度學習應用落地。

②多信息融合促進模型綜合能力提升。目前深度學習多以機器視覺為載體，未來的研究應采用更加多元的信息進行融合，例如機器嗅覺、機器觸覺以及天氣信息等，數據種類的增多固然會提高模型的訓練難度，但多源信息的融合會使深度學習在蘋果產業鏈的應用中創造更多的可能性，使得深度學習對于該行業的技術革新產生更大助力。

③完整數據鏈推動果園的智慧化管理。之前的研究多注重于單一領域或單一階段，未能聚焦蘋果產業鏈的全數據，若能嘗試將深度學習運用于全數據鏈（例如蘋果從木苗選育到蘋果銷售之間的所有數據），這將對蘋果果園的智慧管理產生重大影響。