基于樹莓派及深度學習的柑橘識別系統設計*

陳品嵐，張小花，朱立學，李浩林

(1. 仲愷農業工程學院機電工程學院，廣州市，510225； 2. 仲愷農業工程學院自動化學院，廣州市，510225)

0 引言

近年來，隨著社會經濟的發展，水果的產量正在逐年增長，在2020年我國的果園面積為12 280 khm2，同年水果產量已經達到了289 620 kt。柑橘作為主產水果之一，其種植面積和產量每年都有小幅度增加，在2019年其占我國園林水果種植面積和產量的21.32%和24.08%[1]。柑橘測產是為產后服務、市場供求分析和項目實施等提供科學依據的一項具有重要意義的工作。因此設計一種輕便式的柑橘識別系統可為柑橘測產提供一定的設備支持，同時也可以為水果采摘機器人的識別系統提供一定的技術支撐。

水果外觀的特征因生物學的特性而有很大的不同，另外，自然環境的復雜性和時間變化也會增加水果外觀的變化。國內外眾多學者對自然環境中的果實識別分割方法進行了多方面研究。Kurtulmus等[2]使用顏色和Gabor紋理的特征分析方法識別了未熟的柑橘，其識別正確率達到75.3%，但對枝葉覆蓋的水果的識別效果較差。目前深度學習算法在復雜環境下對目標表現出良好的識別能力。Zhang等[3]提出一種改進型R-CNN(Regions-based Convolutional Neural Network)的蘋果樹枝條識別方法，使用深度和索引(Depth & Index，D & I)的融合檢測，提高了蘋果樹枝條識別準確率。岳有軍等[4]改進了Mask RCNN網絡，對復雜環境下的蘋果進行識別，增加加權損失函數來提高識別精度，其識別精度為92.26%。武星等[5]使用了輕量化網絡Light YOLOv3(You Only Look Once v3)對復雜背景下的蘋果進行檢測，改進了卷積塊和損失函數，并使用學習優化技術，最后其平均精度可達94.69%。趙德安等[6]也使用YOLOv3對蘋果進行目標檢測，平均精度為87.71%。彭紅星等[7]提出改進型SSD(Single-shot Multibox Detector)深度學習水果檢測模型，增加了網絡層數和使用了遷移學習，對在不同環境內的多種水果的平均檢測精度達88.4%。畢松等[8]提出基于Darknet19網絡模型的柑橘果實識別方法，對自然環境中存在多重干擾的柑橘識別準確率達到86.9%。對于上述文獻所使用的硬件設備相對于樹莓派(Raspberry Pi)來說，其體積較大，在一些果園中穿梭存在一定的困難。

國內各種識別系統被應用在樹莓派上。牛犇等[9]使用樹莓派為基礎構成的實時人臉表情識別系統，檢測采用Haar-like特征算法，分類器模型為深度學習卷積神經網絡模型。江美玲等[10]使用樹莓派為基礎構成的實時服裝識別系統，使用SSD檢測框架。本文為設計輕便式的柑橘識別系統，采用了樹莓派為系統硬件基礎，基于深度學習SSD網絡框架，對比不同訓練次數的識別結果，并根據環境光照強度對圖像使用直方圖均衡化處理。同時，接收GPS(Global Positioning System)數據，確定區域柑橘密度，進行數據可視化。

1 系統總體方案

1.1 系統總體框架

本文系統由樹莓派4B硬件平臺、攝像頭模塊、光照強度傳感器模塊和GPS定位模塊等硬件部分，同時包括樹莓派操作系統、虛擬環境、TensorFlow2.2.0、labelimg、OpenCV4等軟件部分共同構成。樹莓派4B使用1.5 GHz四核ARM Cortex-A72處理器，4 G內存，并引入USB3.0接口，支持雙頻無線Wi-Fi，5 V/3 A的USB-C接口供電，具有良好的性能和豐富的接口。Python語言的可讀性高而且面向對象的特性對于本系統的開發來說非常適合，故使用Python3編程語言進行柑橘識別系統的開發和設計，同時也是為了能更好地在樹莓派上對系統進行測試和驗證。系統總體框圖如圖1所示。

1.2 系統流程

系統整體的工作流程為啟動樹莓派并處于待機狀態，從命令行窗口進入已經安裝好TensorFlow的虛擬環境，運行柑橘識別函數，將樹莓派攝像頭采集到的柑橘圖像傳輸至柑橘識別模塊，在對柑橘進行檢測之前，要測量環境光照情況和進行系統定位，再對圖像進行預處理，通過圖像預處理可以提高模型識別的準確率，盡量降低由于光照問題對圖像識別質量的影響。然后在柑橘識別模塊上使用已訓練好的SSD神經網絡模型進行柑橘識別，將識別的結果進行標識和計數，同時也將結果顯示在顯示屏上，以便查看，如圖2所示。

圖2 系統工作流程圖Fig. 2 System work flow chart

2 系統硬件模塊設計

2.1 攝像頭模塊

在果園內對柑橘進行識別計數，為提高統計效率，所使用的攝像頭視場角應盡可能大，且適合樹莓派使用，因此，本系統選用的攝像頭模組為樹莓派專用的HBV-1509B-130型號模組，其對角視場角為130°，傳感器像素為1 080 pixel，焦距可調，參數滿足系統要求，且成本較低。HBV-1509B-130模組使用的接口為CSI(Camera Serial Interface)接口，樹莓派有其對應的CSI接口，使用排針將兩接口相連，配置樹莓派內部參數，即可完成攝像頭模塊的調用。

2.2 GPS定位模塊

本系統的運行環境一般情況為果園等一些戶外地帶，而且對于GPS模塊的啟動時間要求并不高。因此，本系統的GPS模塊可以使用的芯片為GY-GPS6MV2。它使用陶瓷片的尺寸相對于其他的模塊來說較大，對GPS信號接收較好。同時它有3種不同啟動方式，分別為冷啟動、溫啟動和熱啟動。

樹莓派與GY-GPS6MV2芯片之間的數據傳輸方式為串口傳輸，而樹莓派4B內存在兩個串口，分別是硬件串口、mini串口，本系統使用硬件串口與GPS模塊進行通信。使用硬件串口之前，需要在樹莓派內將硬件串口和mini串口的內部映射關系進行調換。GY-GPS6MV2芯片有4個引腳，將GY-GPS6MV2芯片的VCC接到樹莓派5 V的引腳，GND接GND，RX接TX，TX接RX，即分別接到樹莓派4B的4、6、8、10引腳，即可通過串口讀取GPS信息。

2.3 光照強度傳感器模塊

環境光照的強弱，會對識別的結果產生影響，為提高識別率和識別速度，故模塊對環境的光照檢測要快速。本系統的光照檢測模塊選擇為GY2561模塊芯片，其核心采用TSL2561芯片。它可以快速地將環境的光照強度檢測出來，并輸出數字信號。其芯片參數如表1所示。

表1 TSL2561芯片參數Tab. 1 TSL2561 chip parameters

此芯片能使用I2C或SMBus對數字信號進行傳輸，本系統使用的通信方式為I2C通信。通過命令寄存器控制要訪問的寄存器地址，控制寄存器芯片的啟動或停止，讀取數據寄存器，經過位運算和加法運算之后，便可生成對應ADC通道內的采樣值，采樣值經過轉換計算即可得到檢測到的光照強度。GY2561模塊芯片有5個引腳，將它的VCC接到樹莓派3.3 V的引腳，GND接GND，SDA接SDA0，SCL接SCL0，即分別接到樹莓派4B的1、9、3、5引腳。由于在檢測過程中并不需要使用到中斷信號，所以INT不需要連接到樹莓派的引腳上。

3 柑橘識別模型構建

本文使用的目標識別算法為SSD，以樹莓派作為硬件平臺，應用的軟件平臺為TensorFlow2.2.0+Python3.7+OpenCV4。SSD算法是基于多框預測，網絡結構主要包含了基礎網絡(Base Network)、輔助卷積層(Auxiliary Convolutions)和預測卷積層(Predicton Convolutions)。它結合了YOLO和Faster R-CNN的優點，達到了速度快并且準確度高。其網絡結構采用VGG16卷積神經網絡架構，但在VGG16的基礎上新增了卷積層來獲得更多的特征圖以用于檢測。SSD的網絡架構如圖3所示。

圖3 SSD網絡架構Fig. 3 SSD network architecture

SSD網絡算法輸入圖片為300像素×300像素，網絡淺層主要用來提取圖像中小目標特征，而深層網絡主要提取圖像中大目標特征。在自然環境下所采集的柑橘圖像，柑橘目標在圖像中多表現為小目標特征，故柑橘識別網絡需在淺層網絡對圖像提取更多的目標特征。VGG16網絡輸入圖片為224像素×224像素，共有13個卷積層和3個全連接層，其卷積層均是使用邊長為3，步長為1的卷積框。而SSD對VGG16做了改進，把全連接層FC6和FC7轉換成3×3卷積層和1×1卷積層，去除全連接層。此外，池化層的步長為2、邊長也為2的卷積框換為步長為1、邊長為3的卷積框，并增加網絡卷積層數，加深網絡結構，其目的是為了增加特征圖的數量，提高檢測精度。同時，此改進也有利于網絡對淺層目標的特征提取，進而提高網絡對柑橘的檢測精度。

3.1 SSD算法先驗框設置

在多尺度特征提取中，需要建立真實框與先驗框的匹配關系，通過交互比例確定類別，計算位置偏差和置信度。因此，先驗框的選擇對于提高訓練速度、降低目標偏差至關重要。先驗框尺度

(1)

式中：m——特征層數；

smin——最低特征層尺度；

smax——最高特征層尺度。

SSD先驗框是由每層的特征圖經過卷積之后產生的，根據設定的特征層尺度smin和smax，得到各個特征圖的先驗框尺度sk。

3.2 數據集創建

本文所需要使用的數據集為柑橘數據集，在搜索COCO數據集官網后，發現COCO2017版柑橘數據集共有1 699張圖片，其中標注框6 399個，平均每張圖片3.77個，該數據集的圖像多為高清、單角度、背景簡單、水果少、標注識別難度小，而且它與柑橘在自然場景中的實際情況有很大的不同。因此，本系統的數據集采用的柑橘圖片分為兩部分，一部分為fruit360數據集中背景簡單、數目少、標注識別難度小的柑橘圖片，另一部分為自然果園中背景復雜、數目多的柑橘圖片，使用人工對數據集進行標注。

使用labelimg對圖片中的訓練目標進行標注，形成數據集，標注過程中只有一個類：orange。本文數據集共手動標注了約600張圖片，整體的標注結果優于開源數據集，因此適合作為該模型的訓練數據集來標注和生成XML格式文件。標注原則：標注所有可見的柑橘類水果，標注可見水果的明顯部分，不標注只露出一小部分或者難以實現檢測識別的水果剩余部分，盡量將標注框與果實邊緣貼合，減少背景等不必要的干擾。將帶注釋的XML文件打包好，用于后面的訓練模型[11-12]。

3.3 損失函數算法

損失函數是位置誤差Lloc與置信度誤差Lconf兩者的加權和。即

(2)

式中：x——匹配orange類對應的先驗框與真實框的權重參數；

c——先驗框對背景、orange類別預測概率；

l——orange類先驗框位置；

g——orange類真實框位置；

N——匹配到真實目標(Ground Truth)的先驗框數正樣本量，如果N=0，則將損失設為0；

α——用于調整confidence loss和location loss之間的比例參數，默認α=1。

α可以衡量模型預測的好壞，用來表現預測與實際數據的差距程度。

3.4 訓練過程

在訓練的時候，首先要確定訓練圖片中的真實目標對應哪些先驗框。在每張訓練圖片中每個真實目標都會存在一個準確程度最大的先驗框進行匹配。與真實目標匹配的先驗框為正樣本，與背景匹配的先驗框為負樣本。若存在一些先驗框沒有真實目標與之匹配，但其準確程度大于識別置信度(本系統設定的識別置信度為0.5)，那么這些先驗框也與對應的真實目標進行匹配，故代表著一個真實目標可能會和多個先驗框進行匹配。但是一個先驗框不可以和多個真實目標進行匹配，如果多個真實目標和一個先驗框準確程度大于識別置信度，那么先驗框只和準確程度值最大的那個真實目標進行匹配。

在訓練過程中，真實目標能對應多個先驗框，而由于真實目標比先驗框少很多，即背景會比orange類多很多。為確保orange類和背景樣本保持在一定的比例，SSD會對背景進行抽樣，抽樣時按照置信度誤差，進行從大到小排列，選擇誤差相對比較大的n個背景來訓練，確保orange類和背景樣本比例在1∶3左右，同時也減少了運算量。

3.5 預測過程

在預測過程中，首先要確定預測框中的是否為orange類，根據預測框對應的置信度值去判斷。預測框對應的置信度值小于設定值則判斷為背景類，同時去除掉此類的預測框。對應每一個預測目標都會存在多個置信度值大于設定值預測框與之對應，因此需要對這些預測框根據置信度值從大到小進行排序，同時也要注意預測框的位置，防止預測框的位置不在圖片之中，然后選取n個置信度值最大的預測框。最后，把這些預測框用非極大值抑制算法(Non-Maximum Suppression，簡稱NMS算法)進行篩選，得到預測結果。

4 基于樹莓派的柑橘識別試驗

本文SSD網絡訓練在Ubuntu18.04操作系統下進行，系統硬件配置為Intel E5 2640V3處理器和英特爾RTX2080顯卡，顯存為8 G。網絡訓練使用TensorFlow2.2.0深度學習框架并配置CUDA10.1及CUDNN7.6.5進行加速。將訓練好的SSD網絡模型搭載在樹莓派上運行，樹莓派所安裝的系統為Linux系統，使用的TF卡內存為16 GB。系統的操作方式為遠程登錄操作，使用VNC服務可以通過VNC viewer軟件在計算機上對樹莓派進行遠程登錄操作進入可視化操作界面，有利于識別系統的使用和操作。

4.1 不同訓練次數的識別對比

在訓練過程中，將數據集分成9∶1的訓練集與測試集，訓練次數為100次。隨著訓練次數增多模型的訓練集損失值和測試集損失值最終會保持穩定，變化較小。為測試該算法在不同訓練次數模型下的識別性能，選用了訓練次數為5、40、70、100次進行性能測試，其模型的訓練集損失值、測試集損失值和準確率如表2所示。從表2中可以看出，對數據集進行優化和訓練次數增多，準確率也會有所改善，當網絡訓練100次后，其柑橘識別準確率最高，約為92.4%。但由于樹莓派硬件條件的限制，識別速度約為0.22 fps。

表2 模型訓練次數與損失值關系Tab. 2 Relationship between model training times and loss value

在本網絡訓練中，每次模型訓練都可以得到一個權重文件，為觀察不同訓練次數對果園柑橘的識別情況，使用訓練次數為5、40、70、100次的權重文件對柑橘進行目標識別預測，得到的識別結果如圖4所示。不同的訓練次數對柑橘的識別結果存在較大差異，訓練次數越高，識別準確率越高，即模型越好。訓練次數為100次時權重文件的模型可以將大部分的柑橘目標識別出來，只有小部分應遮擋嚴重未能準確識別。

(a) 訓練5次

(b) 訓練40次

(c) 訓練70次

(d) 訓練100次 圖4 訓練次數結果對比Fig. 4 Comparison of training times and results

4.2 直方圖均衡化前后的識別對比

在圖像采集過程中，常常因為光線因素的影響，會造成采集的一些圖像較亮或較暗，較亮會使得識別的目標區域高光，較暗會使得識別的目標區域模糊。對于光線的過亮或過暗都會對識別的準確率產生一定的影響，導致一些真實柑橘目標無法被正確檢測識別。當環境光照過弱或過強時，需要升高或降低識別圖像的對比度，即使用直方圖均衡化。使用直方圖均衡化，圖片整體亮度會發生變化，較暗區域對比度升高，較亮區域對比度降低更均勻地分布在直方圖上。在一般情況下，晴天室外的光照度約為30 000～130 000 Lux，陰天室外的光照度約為50～500 Lux，日出日落的光照度約為300 Lux。本系統所用的攝像頭中，在果園內當光照度小于100 Lux時，拍攝的畫面亮度過低，當光照度大于15 000 Lux時，拍攝的畫面亮度過強。故當光照度小于100 Lux或大于15 000 Lux時，系統識別圖像需要使用直方圖均衡化。

對圖像進行全局直方圖均衡化會導致柑橘特征上的一些細節變模糊，為更好保留目標特征，故使用局部的自適應直方圖均衡化。此方法在不影響圖像目標特征的前提下，還能很好地減少光照對識別結果的影響。通過對光照不足的圖像和經過直方圖均衡化的圖像進行識別，可以看到直方圖均衡化后的圖像識別效果更佳，對比前后的柑橘識別數目，直方圖均衡化后的識別結果能更好地反映區域內的柑橘密度，如圖5所示。

(a) 原始圖像

(b) 圖像直方圖均衡化 圖5 圖像直方圖均衡化后識別對比Fig. 5 Recognition and comparison after image histogram equalization

4.3 果園柑橘密度數據可視化

為測試本系統對柑橘的測產情況，在區域內均勻選取500個識別數據點，每個數據點的距離大于5 m，在識別過程中記錄的數據主要有3個，分別是經度、緯度和柑橘數量。將識別結果的歷史數據保存到.csv文件中，對GPS信息和識別的柑橘數量使用folium庫在地圖上做數據可視化，可以在地圖上看到柑橘的區域密度，每一個數據點的識別距離約為5 m，如圖6所示。圖6中地圖上柑橘區域密度與實際的柑橘區域密度較吻合，能較好地反映整體區域內的柑橘密度。

圖6 柑橘密度數據可視化Fig. 6 Visualization of citrus density data

5 結論

1) 柑橘測產可為柑橘產后的果園智能化管理提供基礎。針對目前一些識別設備體積大、成本高等問題，本文將樹莓派與深度學習方法相結合，提出了一種基于樹莓派及SSD的柑橘識別系統，搭建了一款輕便式的柑橘識別設備，實現對柑橘的準確識別。

2) 本文利用SSD實現對自然環境下柑橘果實的檢測和識別，試驗結果表明在訓練次數為5、40、70、100次的情況下，其準確率分別為57.4%、71.5%、85.2%、92.4%。經過測試發現模型對果園中柑橘密集和稀疏等情況下的圖像均有較好的檢測識別準確率，但對于極少部分體積較小和枝葉遮擋較為嚴重的柑橘果實的檢測識別準確率還有待提高。由于樹莓派硬件條件的限制，本系統的識別速度差，約為0.22 fps，所以算法還有待改進。在光照影響的情況下，使用直方圖均衡化其識別效果更佳。同時對識別所得數據進行可視化，能較好地反映果園內的生長狀況，有助于果園的管理和生產。

3) 將基于樹莓派的柑橘識別系統應用在采摘機器人的果實實時識別上，可以為采摘機器人的研制提供技術支撐，在未來具有良好前景和重要意義，并且隨著軟硬件和神經網絡學習算法的不斷發展，果園中的果實目標檢測設備將會更加簡便化，其識別算法的準確率會更高、速度會更快，采摘機器人技術也會繼續發展升級，智能、精準、高效、經濟、實用的采摘機器人將逐漸引用到果園中。