嵌入式設備的輕量化百香果檢測模型

羅志聰 李鵬博 宋飛宇 孫奇燕 丁昊凡

(1.福建農林大學機電工程學院，福州 350002；2.福建省農業信息感知技術重點實驗室，福州 350002；3.福建農林大學計算機與信息學院，福州 350002)

0 引言

隨著農業智能化和農業數字革命的快速發展，利用計算機視覺進行果實識別和產量預估等精細化管理成為發展智慧農業的研究熱點[1-2]。百香果是福建富民產業的“福果”，百香果產業不僅有高效的經濟效益，還有助于推動福建農業的供給側結構改革[3]。目前，百香果的收獲仍局限于人工采摘，具有成本高、作業效率低、勞動強度大和風險高等缺點[4]。為了機械化采摘，實現百香果目標精準檢測與定位尤為重要。

針對復雜環境下的百香果果實識別與定位，傳統的方法效果不佳，而深度學習網絡[5-7]可以自動提取特征，將簡單的特征融合為更復雜的特征，通過復雜特征解決識別定位問題，在目標檢測方面精度和效率都得到了大幅提升。TU等[8]通過改進RCNN提出多尺度快速的區域卷積神經網絡(MS-FRCNN)對葉片嚴重遮擋的百香果進行檢測和計數。該方法識別能力較強，但網絡結構復雜、訓練速度過慢。唐熔釵等[9]通過在YOLO v3模型中加入密集網絡DenseNet來提高模型對自然環境下百香果的檢測精度，但加深網絡結構使得計算損耗增加。WU等[10]在YOLO v3網絡基礎上增強特征融合網絡和減少多尺度網絡檢測自然環境中的百香果，但對百香果的識別和定位具有局限性。TU等[11]提出的基于RGB-D檢測器與深度學習網絡結合的模型，在檢測百香果成熟度方面具有較高的檢測精度，但該網絡只存在理論研究，并沒有部署到嵌入式設備。雖然深度學習網絡的優化和改進在百香果的檢測和定位方面取得優異效果，但同時巨大參數量會導致硬件存儲成本和計算成本過高[12]，限制了在精準農業化管理中應用和推廣。尋找一種精度高、體積小的深度學習算法應用于嵌入式設備尤為重要。

目前學者在深度學習網絡輕量化方面做了多種嘗試，如設計輕量化網絡[13]、網絡剪枝[14]、知識蒸餾[15]、模型壓縮[16]等。輕量化卷積神經網絡通過減少計算量和參數量設計出更加高效的特征提取網絡結構，在減少參數的同時幾乎不影響網絡模型性能。如MobileNet[17]、ShuffleNet[18]、GhostNet[19]。

由于YOLO v5模型較大，在嵌入式平臺部署后實時檢測百香果的性能低。本文基于改進YOLO v5模型，以復雜環境下綠色百香果為研究對象，在確保檢測精度較高的情況下，使得模型輕量化且可部署于嵌入式平臺，節約邊緣計算設備資源從而達到實時檢測要求。

1 數據集建立

本文圖像采集地點為福建省漳州市詔安縣福果農業綜合開發有限公司的黃金百香果基地，采集時間為2021年6月底至8月初。選用尼康數碼相機設備拍攝，拍攝時相機距離百香果為80～100 cm，圖像尺寸為1 920像素×1 080像素。分別采集了百香果順光和逆光時獨立果實、多個果實、葉片遮擋和果實重疊下共1 000幅圖像，復雜環境下的百香果圖像如圖1所示。

圖1 復雜環境下百香果圖像

為了降低因訓練樣本多樣性不足而產生的模型過擬合現象，采用對原始圖像進行旋轉、鏡像、加入高斯噪聲和改變對比度等處理擴充數據集，增廣的百香果圖像如圖2所示。為了與原圖有所區別，高斯噪聲平均值和標準方差分別設置為3和40。對比度調節是將原圖像R、G、B3通道的強度值[0.4，1]映射到新圖像[0，1]中。最終獲得2 000幅復雜環境下百香果圖像作為數據集并保存為.jpg格式。使用人工標注工具LableImg對百香果目標進行標注，獲取準確的百香果位置數據。為了減少復雜背景像素對檢測結果的影響，標注時將百香果的最小外接矩形框作為真實框(Ground truth)，最終得到VOC格式的xml文件。文件中包含百香果名稱、尺寸和位置。對以上標注好的數據集劃分訓練集和測試集，并按照比例8∶2進行隨機分配。訓練集和測試集分別為1 600幅和400幅。

圖2 百香果增廣數據集

2 百香果檢測模型改進與部署

2.1 YOLO v5模型構建

YOLO系列算法[20-21]是目前應用最為廣泛的一階段目標算法之一，相比SSD算法，YOLO算法提取物體特征更充分，檢測精度高、速度快。相比Fast-RCNN[22]網絡，YOLO v5把檢測問題作為回歸問題處理，可以直接從圖像中得到邊界框坐標和所屬類別的概率，實現端到端的檢測性能優化。YOLO v5網絡結構可以分為4部分：輸入端(Input)、主干網絡(Backbone)、頸網絡(Neck)、檢測網絡(Detect)。主要結構如圖3所示。

圖3 YOLO v5網絡結構圖

輸入端由Mosaic數增強方式將百香果圖像進行隨機縮放、裁剪、排布后輸入網絡。主干網絡主要實現百香果的特征提取，由Focus模塊、C3模塊、標準卷積(CBS)模塊、SPP模塊組成。Focus模塊對輸入的百香果圖像進行切片操作，通過擴張通道數來提取百香果目標特征。C3模塊在CSP結構上改進得到，由于網絡優化中梯度信息重復，使計算量過高，去掉了殘差輸出后的批量歸一化層和激活函數層，減少了運算量，如圖4所示。CBS模塊包括二維卷積、批量標準化和激活函數(SiLU)。SPP模塊通過不同核尺寸提取百香果特征之后疊加進行特征融合。頸網絡主要實現百香果的特征融合，以路徑聚合網絡(PANet)為主，分為FPN結構和PAN結構。FPN結構從上往下提取特征層信息，提升了目標檢測效果。PAN結構從下往上提取特征層信息，得到豐富的位置信息。最后將提取的特征層進行融合，使得PANet網絡攜帶更強的語義特征，增強了定位能力。

圖4 C3網絡結構

檢測網絡以目標對象的概率類別、置信度得分、包圍框位置作為結果輸出。YOLO v5主要計算3類損失函數：邊框損失(Bounding box loss)、類間損失(Class loss)和目標損失(Object loss)。其中類間損失采用Focal loss損失函數[23]。

2.2 改進的百香果檢測模型

2.2.1模型輕量化

本研究在特征提取網絡層選取MobileNetV3[24]輕量化模型替換YOLO v5主干網絡，MobileNetV3結合了深度可分離卷積、線性瓶頸和倒置殘差結構，為了學習使用全局信息選擇性地強調具有信息性的特征，抑制不明顯特征而引入了SE結構。MobileNetV3特征提取網絡采用一個3×3的標準卷積和多個倒置殘差結構，不僅能夠減少網絡參數還能提取百香果的豐富特征信息。文中主干網絡選取的MobileNetV3結構如表1所示。

表1 主干網絡中MobileNetV3結構

在主干網絡中由于使用MobileNetV3深度可分離卷積替代了YOLO v5傳統卷積，在有效提取百香果特征的同時減少了參數量與計算量。假設Dk表示卷積核尺寸，M表示輸入特征圖通道數，N表示卷積核個數，DW和DH表示輸出特征圖的長和寬。深度可分離卷積參數量PD計算式為

(1)

深度可分離卷積計算量QD計算式為

(2)

傳統卷積參數量PN計算式為

(3)

傳統卷積計算量QN計算式為

(4)

深度可分離卷積和傳統卷積參數量比RP、計算量比RQ計算式為

(5)

(6)

2.2.2有效通道注意力機制

深度學習中注意力機制用來強調百香果目標處理對象的重要信息，以選擇出比當前任務目標更關鍵的信息。MobileNetV3在頸部采用SENet輕量化結構，SENet對每個通道獨立使用全局平均池化操作，使其生成的特征層具有全局感受野；使用2個非線性的全連接層，使得網絡提取豐富的特征信息。雖然在全連接層捕捉非線性通道交互采用降維方式控制模型復雜性，但是降維會使得通道注意力產生效率低和不必要的依賴關系，也會使所有通道產生消極影響。

本文采用ECANet(Efficient channel attention net)[25]替換SENet構建MvECA模塊，如圖5所示。

圖5 MvECA結構

該模塊避免了降維引起的檢測效果不理想，同時采用交互覆蓋率K的快速一維卷積有效地捕獲了跨通道交互信息，更好地捕捉百香果圖像重要特征，既提升模型效果又降低模型復雜度，該模塊引入很少的附加參數，并且在局部有適當的跨通道交互，更有效的學習通道注意力，帶來了顯著的性能增益。其中交互覆蓋率K與通道維數C之間的關系為

(7)

(8)

yi——當前目標的聚合特征

而所有通道共享相同的學習參數可以讓模型性能進一步提升。共享后通道注意力計算式為

(9)

最后，通過k個參數的一維卷積快速實現有效獲取局部跨通道的交互信息。

2.2.3逐點卷積網絡

通過輕量化網絡MvECA將主干網絡替換后，在與特征融合網絡堆疊時通道出現不匹配的情況。針對這一情況，再次對主干網絡進行修改。在主干網絡的第4層和第10層增加逐點卷積網絡(Poinrwise conv net)，方便特征提取和特征融合網絡在維度上更好連接，同時也會提高網絡對百香果檢測的平均精度，與標準卷積不同的是逐點卷積采用1×1的卷積核對上一層的特征層進行單點上的特征提取。該設計首先采用二維卷積提取百香果特征，接著歸一化處理特征使其保留原始的表達能力，最后輸入到非線性激活函數中。非線性激活函數使用h_swish函數

(10)

其中ReLU6函數在16位浮點數或者8位整型低精度時有較優的數值分辨率，易于量化部署，有利于在嵌入式移動平臺中使用。

綜上，最終改進后MbECA-v5結構如圖6所示。

圖6 MbECA-v5結構圖

2.2.4跨域與域內多輪訓練遷移學習策略

對于網絡模型參數的大量減少引起檢測精度下降問題，本文采用了跨域與域內多輪訓練相結合的學習策略進行知識遷移。即利用跨域與域內相結合的遷移方式在原來訓練70輪的基礎上再訓練70輪。雖然擴大復雜情況下百香果訓練數據集會更容易學習到百香果特征，提高檢測精度，但是由于受百香果成熟的季節性限制，大規模的數據集實地獲取較為困難，時間成本高。通常情況下，域內和跨域多輪訓練遷移方式也可以提高檢測精度，而對于識別對象為復雜環境下的百香果，遷移前后的源域和目標域相似度有差異，精度提升有限。因此在源域與目標域之間添加僅含百香果特征的過渡域，以減少源域和目標域之間的差異，大幅提高模型的檢測精度。

本文使用VOC2007數據集作為源域，原擴充的數據集為目標域，記作數據集2。由于通用百香果數據集少，因此將擴充的百香果數據集中500幅圖像隨機挑選為過渡域，記為數據集1。根據OTOVI等[26]提出預訓練模型在不相關的學習任務上比隨機初始化模型效果要好的觀點，將VOC2007數據集訓練模型的結果作為數據集2的預訓練模型，使用VOC2007數據集網絡模型特征參數學習復雜環境下百香果的特征，該策略稱為跨域遷移學習；將數據集1訓練模型結果作為數據集2的預訓練模型，用部分百香果特征參數調整復雜環境的百香果特征參數，該策略稱為域內遷移學習。將VOC2007數據集和數據集1共同訓練模型結果作為數據集2的預訓練模型，進一步學習復雜環境下的百香果特征，提升遷移學習的效果。該策略稱為跨域與域內結合學習。

2.3 訓練與嵌入式平臺

模型訓練平臺硬件配置為AMD Ryzen 7 5800H CPU @ 3.70 GHz，GeForce GTX 3060 Laptop GPU，16 GB運行內存，軟件環境為64位Windows 10系統，采用Pytorch 1.7深度學習框架和Python 3.7語言，配合CUDA 11.0進行訓練。

模型驗證和遷移部署設備采用英偉達公司Jetson Nano，GPU為128core Maxwell，CPU為四核ARM，A57@1.43 GHz，內存為4 GB、64位LPDDR4。相應配置系統為ARM版Ubuntu 18.04操作系統，模型運行環境的配置為Jetpack 4.5、Python 3.6、Pytorch 1.8、Torchvision 0.9、Cuda 10.2、Cudnn 8.0。Jetson Nano測試圖如圖7所示。

圖7 Jetson Nano 測試圖

2.4 模型評價指標

模型評價指標為精確率P、召回率R、平均精度均值(mAP)和浮點數計算量。精確率P表示預測的正確樣本占所有樣本的比例，召回率R表示預測的正確樣本占實際正樣本的比例，平均精度均值便于從宏觀角度評價不同卷積神經網絡模型對圖像識別性能。浮點數計算量用于衡量模型計算復雜度。

嵌入式設備實時檢測性能對在百香果園的應用非常關鍵，檢測速度也就成為了目標檢測算法的一個重要評價指標，用于評價模型部署在嵌入式平臺的性能。對于速度這一指標本文使用實時幀率FPS表征。

3 結果與分析

3.1 模型訓練結果與分析

試驗采用Adam優化算法進行優化，圖像尺寸調整為640像素×640像素，學習率(Learnning rate)為0.001，初始動量(Momentum)設置為0.937，初始權重衰減系數0.1，批尺寸(Batch size)設為8，訓練輪數(Epoch)為70。測試時設置交并比(IOU)為0.5，置信度為0.6。使用算法在數據集上進行訓練，訓練結束后保存精度最高的和最后一次的模型參數。

訓練過程的參數指標如圖8所示。隨著訓練輪數增加，精確率和召回率均不斷上升，訓練前15輪精確率和召回率曲線上升速度最快，當訓練達到70輪時，精確率和召回率曲線趨近于平緩，最終分別達到94.2%和83.6%。mAP曲線也隨著訓練次數的增加逐漸上升，最終復雜環境下百香果檢測平均精度均值達到92.5%，上述訓練曲線趨勢說明改進后的模型具有有效性和高識別性。

圖8 訓練模型參數指標變化趨勢

3.2 消融試驗

消融試驗結果如表2所示。從表2可以看出，利用輕量化網絡替換主干網絡減少了參數量，使用注意力模塊關注百香果整體，同時減小了網絡模型。添加設計的逐點卷積擬合通道和提升精度，使用遷移學習策略調整初始化網絡模型，大幅提升了模型的精確率、召回率和平均精度均值。

表2 消融試驗結果

由表2可知，在YOLO v5s網絡中將原來主干網絡替換為輕量化網絡后精確率、召回率和平均精度均值都有所下降，造成上述原因是改進的模型參數量和卷積層數減少，不利于復雜環境下百香果的特征提取，導致網絡提取特征能力下降。為了彌補替換主干網絡所帶來的精度大幅下降，在網絡中添加注意力機制和逐點卷積，可以看出，對召回率和平均精度均值都有明顯提升。最后利用跨域與域內多訓練相結合的遷移學習策略對模型初始化參數調整，減少前后源域與目標域的差異性，提升遷移訓練效果。與基線網絡相比，經過上述改進后的模型平均精度均值提高0.2個百分點，模型占用存儲空間(模型體積)僅為6.41 MB，減少為基線網絡的55.5%。

3.3 不同注意力機制對比試驗

在網絡輕量化模型的基礎上施加不同的注意力機制，展現不同注意力機制對模型檢測能力的影響，如表3所示。

表3 不同注意力機制試驗結果

從表3可以看出，相比SE、CBAM[27]和CA[28]注意力模塊，施加ECA模塊的MobileNetV3模型檢測精度最為理想，原MobileNetV3模型使用SE注意力模塊，檢測平均精度均值為78.2%。較SE注意力模塊，施加CBAM模塊檢測精度上升2.2個百分點，模型體積減少0.65 MB；施加CA模塊檢測精度提高2.7個百分點，體積減少0.37 MB。在不同的交互覆蓋率下施加ECA模塊檢測精度均有大幅提高，體積減少0.59 MB。說明在輕量化網絡中施加不同注意力機制會減少模型的體積，適合的注意力模塊會使得特征提取能力增強和檢測精度提高，需要根據不同的檢測目標加以選擇。與此同時，對比不同交互覆蓋率對ECA注意力模塊的影響，在交互覆蓋率為3時平均精度均值最高，為81.7%；說明上述組合方式能更為準確地檢測到復雜環境下百香果果實目標。

本文所引入的輕量化ECA模塊，使用捕獲跨通道交互的學習方式學習有效的百香果通道特征，提高了模型對于復雜環境下百香果目標的敏感程度，進而改善百香果檢測任務中果實重疊和密集時對檢測精度帶來的負面影響。

3.4 不同遷移學習方式訓練試驗

不同的遷移學習方式對模型的檢測精度有明顯的影響，結果如表4所示。

表4 不同遷移學習方式檢測能力對比

從表4可以看出，跨域與域內多輪訓練的遷移學習方式使模型精度達到最佳，為88.3%，結合圖8可以看出訓練輪次到達70輪時，平均精度均值曲線趨于穩定，但還具有上升的趨勢，因此采取多輪訓練方式可使平均精度均值達到相對較高水平。相比于跨域遷移、域內遷移和跨域與域內相結合遷移方式的平均精度均值分別提高5.4、5.0、0.9個百分點。由于跨域與域內相結合的方式在掌握通用特征后學習部分百香果特征，進而學習復雜環境下的百香果特征。相比于跨域遷移，利用部分百香果數據集作為過渡域可以減少源域和目標域相似度不同所引起的負面影響；而相比于域內遷移，僅含少量的百香果特征模型作為網絡初始化無法完成復雜環境下百香果檢測任務，通過通用數據集和少量百香果數據集融合的特征對網絡進行初始化，彌補不完全的百香果特征所造成信息的損失，而跨域與域內多輪訓練學習方式不僅具有跨域與域內相結合方式的優點，同時還可以將訓練達到飽和，獲得最佳的模型檢測精度和最強的泛化能力。

3.5 不同檢測模型綜合對比試驗

將改進模型與SSD、Faster RCNN、YOLO v5s、ShuffleNet-v5和GhostNet-v5模型在Jetson Nano上進行測試對比，試驗結果如表5所示。

表5 不同模型綜合對比結果

ShuffleNet-v5和GhostNet-v5模型是將YOLO v5s模型結構的主干網絡分別替換為ShuffleNet和GhostNet網絡。從表5可知，本文模型的平均精度均值為88.3%，相比于YOLO v5s提高0.2個百分點。相比于SSD、Faster RCNN、ShuffleNet-v5、GhostNet-v5目標檢測網絡，提高4.8、1.7、7.2、6.8個 百分點。在6種模型中MbECA-v5的平均精度均值最高，說明預測為正確百香果能力強，減少百香果采摘過程中誤檢率。本文模型體積僅為 6.41 MB，約為SSD、Faster RCNN、YOLO v5s的 1/14、1/81、1/2；從計算機和嵌入式平臺實時檢測速度考慮，改進后的模型MbECA-v5比其他6類模型速度均快。在計算機實時檢測速度為124.7 f/s,嵌入式平臺實時檢測速度為10.92 f/s，約為SSD、Faster RCNN、YOLO v5s的14、39、1.7倍；計算量相較于SSD及Faster RCNN減少89.2%和97.6%，相較于YOLO v5s及ShuffleNet-v5減少59.5%和4.8%，相較于GhostNet-v5增加1.5%。綜上所述，改進后的輕量化網絡MbECA-v5具有良好的測試性能，在邊緣設備上部署具有更好的實時性。

為了驗證不同模型在復雜環境下百香果的檢測效果，選逆光、重疊和密集百香果圖像進行測試。選取置信度閾值為0.6，IOU閾值為0.5。圖9為YOLO v5s和MbECA-v5 2種模型在Jetson Nano上檢測結果。其中藍色矩形框為預測結果，紅色矩形框為漏檢目標，黃色圓形框為誤檢目標。從圖9可知，在逆光時，2類模型預測結果均正確，無漏檢和誤檢現象產生。在重疊時，2種模型均存在漏檢現象，MbECA-v5模型預測僅漏檢1個百香果目標，YOLO v5s模型漏檢2個百香果目標且產生誤檢現象。在密集時，MbECA-v5檢測效果優異，而YOLO v5s均有漏檢和誤檢情況產生。綜上，從識別的效果得出改進模型提高了在干擾環境下的檢測能力，具有較好的魯棒性和泛化能力。

圖9 兩種模型檢測效果對比

4 結論

(1)提出一種基于嵌入式設備的輕量化模型MbECA-v5，以YOLO v5s為基礎模型，將原來的主干網絡替換為MobileNetV3網絡，在MobileNetV3網絡中引入ECA注意力機制提取百香果全局信息，引入了逐點卷積進行通道調節。利用跨域與域內多訓練相結合的遷移學習策略提高網絡檢測的精度。通過消融試驗分析驗證改進算法的有效性。

(2)復雜環境下百香果果實檢測結果表明，MbECA-v5模型對百香果果實識別精確率為95.3%，召回率為88.1%，平均精度均值為88.3%，與YOLO v5s相比，平均精度均值提高0.2個百分點。計算機和嵌入式實時檢測的平均幀率分別為124.7 f/s和10.92 f/s，檢測速度相比原模型分別提高22.1 f/s和4.53 f/s。在檢測效果上，改進的模型比YOLO v5效果更好。說明改進的算法綜合性能最佳，具有較好的魯棒性和泛化能力。

(3)改進的算法與常用的目標檢測網絡和輕量化網絡進行對比，本文模型的平均精度均值比SSD與Faster RCNN模型分別提高4.8、1.7個百分點。相比于ShuffleNet-v5與GhostNet-v5模型分別提高7.2、6.8個百分點。模型體積約為SSD與Faster RCNN模型的1/14和1/81。在嵌入式設備的檢測速度約為SSD與Faster RCNN模型的14倍和39倍，約為ShuffleNet-v5與GhostNet-v5模型的1.12倍和1.11倍。綜上，MbECA-v5模型減少嵌入式設備上的運行內存，可以兼顧精度和實時性，滿足快速、準確地對田間百香果圖像檢測的要求，可為百香果采摘機器人視覺識別系統提供技術和理論支持。