利用無人機航拍視頻結合YOLOv3模型和SORT算法統計云杉數量

陳鋒軍，朱學巖，周文靜，鄭一力，顧夢夢，趙燕東,4

利用無人機航拍視頻結合YOLOv3模型和SORT算法統計云杉數量

陳鋒軍1,2，朱學巖1,2，周文靜1,2，鄭一力1，顧夢夢3，趙燕東1,4※

（1. 北京林業大學工學院，北京 100083；2. 城鄉生態環境北京實驗室，北京 100083；3. 德州農工大學園藝系，大學城 77843；4. 林業裝備與自動化國家林業局重點實驗室，北京 100083）

準確、快速地統計苗木數量對苗圃的運營和管理具有重要意義，是提高苗圃運營和管理水平的有效方式。為快速準確統計完整地塊內苗木數量，該研究選取云杉為研究對象，以無人機航拍完整地塊云杉視頻為數據源，提出一種基于YOLOv3（You Only Look Once v3，YOLOv3）和SORT（Simple Online and Realtime Tracking，SORT）的云杉數量統計方法。主要內容包括數據采集、YOLOv3檢測模型構建、SORT跟蹤算法和越線計數算法設計。以平均計數準確率（Mean Counting Accuracy，MCA）、平均絕對誤差（Mean Absolute Error，MAE）、均方根誤差（Root Mean Square Error，RMSE）和幀率（Frame Rate，FR）為評價指標，該方法對測試集中對應6個不同試驗地塊的視頻內云杉進行數量統計的平均計數準確率MCA為92.30%，平均絕對誤差MAE為72，均方根誤差RMSE為98.85，幀率FR 11.5 幀/s。試驗結果表明該方法能夠快速準確統計完整地塊的云杉數量。相比SSD+SORT算法，該方法在4項評價指標中優勢顯著，平均計數準確率MCA高12.36個百分點，幀率FR高7.8 幀/s，平均絕對誤差MAE和均方根誤差RMSE分別降低125.83和173.78。對比Faster R-CNN+SORT算法，該方法在保證準確率的基礎上更加快速，平均計數準確率MCA僅降低1.33個百分點，但幀率FR提高了10.1 幀/s。該研究從無人機航拍視頻的角度為解決完整地塊的苗木數量統計問題做出了有效探索。

無人機；模型；算法；云杉；數量統計；YOLOv3；SORT

0 引 言

苗木數量是總結種苗生產與供需情況、分析和預測種苗供需關系的關鍵數據[1]。研究苗木數量自動統計有利于苗圃的庫存管理和生產成本核算，提高苗圃行業的智能化水平。目前，苗木數量的統計工作主要依靠人工目視，成本高、效率低、數據更新緩慢且無法保證統計的精度[2]。準確、快速地統計完整地塊內的苗木數量已成為當前迫切需要解決的問題之一。近年來，無人機和深度學習等新技術的發展為真正解決完整地塊內的苗木數量統計問題提供了可能。

國內外學者已在無人機航拍苗圃圖像的基礎上，采用傳統圖像處理[3-4]、機器學習[5]或深度學習[6]技術研究苗木的自動數量統計問題。傳統圖像處理方法一般在RGB[7]、HSV[8]、Lab[9]和YCbCr[10]等顏色空間分割苗木后采用連通區域統計[11]、平均像素面積[12]和霍夫圓檢測[13-14]等方法統計數量，并有效應用在蘋果[15]、菊花[16]和菌落[17]等的數量統計中。但是傳統圖像處理方法受光照、噪聲和雜草背景等因素干擾，導致苗木數量統計的準確率普遍偏低。

機器學習方法一般提取苗木的顏色[18]、形狀[19]和紋理[20]等淺層特征，通過支持向量機[21]、K均值聚類[22-23]、極限學習機[24]和反向傳播神經網絡[25]等方法統計苗木數量。目前，機器學習方法已被應用于麥穗[26]、棕櫚樹[27]和葉片氣孔[28]等的數量統計。Xie等[29]提出在Lab顏色空間分割煙草后采用支持向量機識別并統計煙草數量，準確率達到96.1%。但是機器學習方法中提取的顏色、形狀和紋理等淺層特征的表達能力有限，支持向量機和反向傳播神經網絡等機器學習方法不能解決苗木粘連和遮擋等問題，無法準確、快速地實現苗木數量統計。

深度學習方法一般通過大量帶標注的苗木圖像訓練Faster R-CNN[30]（Faster Region-based Convolutional Neural Network）和YOLOv3[31]等模型實現數量統計。目前，深度學習方法已應用于柑橘樹[32]、煙草[33]和棕櫚樹[34]等[35]的統計。Wang等[36]提出結合全卷積網絡分割和Harris角點檢測的麥穗數量統計方法，能夠統計遮擋、光照不均勻等復雜條件下的麥穗，準確率達到97.4%。Li等[37]搭建了一種可以統計棕櫚樹數量的卷積神經網絡模型，準確率達到96%。已有研究表明，深度學習方法對光照、遮擋等復雜環境條件具有很強的魯棒性，是統計苗木數量的一種理想方法。然而，以上數量統計方法大多只能統計圖像內的麥穗和棕櫚樹數量，并未實現對完整地塊內麥穗和棕櫚樹的數量統計。為此，陳鋒軍等[38]提出在Sift算法拼接獲得云杉試驗地塊的全景圖像后，利用改進YOLOv3模型統計試驗地塊云杉，準確率達到96.81%。但是，這種先拼接獲取完整圖像后進行數量統計的方式速度較慢。

為克服現有基于拼接圖像的完整地塊苗木數量統計速度較慢的問題，嘗試通過無人機航拍視頻的角度研究完整地塊的苗木數量統計。以無人機航拍云杉完整試驗地塊視頻為實驗數據，以YOLOv3模型和SORT算法為基礎，研究完整地塊內云杉數量的快速準確統計問題，以期實現完整地塊內云杉數量的快速準確統計。

1 研究區域和數據采集

1.1 研究區域

本文試驗場地位于內蒙古自治區呼和浩特市南部（111°49′47′′E，40°31′47′′N，海拔約1 134 m），總面積約2 136 hm2，如圖1所示。主要培育云杉、樟子松和油松等20余種苗木，儲量達到4 000余萬株，研究基地位置如圖1a所示。挑選地形相對平坦且相對規整的18.6 hm2的云杉種植區域作為訓練和測試區域，如圖1b和圖1c所示。研究區域內云杉株齡在8～30 a不等，行間距1.5 m，株距1 m，典型云杉植株如圖1d所示。

1.2 數據采集

本文選用大疆精靈4無人機采集云杉圖像和視頻數據，無人機鏡頭成像角度范圍-90°～30°，最大靜態圖像尺寸4 000像素í3 000像素，最大視頻分辨率4 096像素í2 160像素，幀率60幀/s。選擇天氣晴朗無風的環境采集圖像和視頻，具體時間為2018年11月和2019年9月，設置鏡頭成像角度-90°。采集圖像數據選擇區域M1～M6，無人機飛行速度4 m/s，如圖2a所示S型航線，飛行高度12～36 m，手動拍攝確保圖像之間重疊面積小于10%。視頻數據選擇T1～T6區域采集，T1和T2區域如圖1c所示，無人機飛行速度2 m/s，飛行高度和航線與圖像采集一致，如圖2b所示直線型航線。以采集的云杉圖像558幅建立訓練集，視頻6段建立測試集。

2 研究方法

深度學習中目標檢測模型YOLOv3檢測速度快，目標跟蹤算法SORT速度快、算力消耗小且跟蹤穩定，已被應用于車輛[39]和行人[40]等的跟蹤和數量統計中。Khazukov等[41]使用YOLOv3模型和SORT算法跟蹤街道車輛實現車流量統計和車速估計，對車輛統計的準確率超過92%，車速估計誤差不超過1.5 km/h。研究表明，YOLOv3和SORT可以快速準確統計視頻內的目標。為此本文提出基于YOLOv3和SORT的云杉數量統計方法，其基本流程如圖3所示，包括：1）基于YOLOv3的云杉檢測模型設計；2）基于SORT的云杉跟蹤算法設計；3）基于越線計數的云杉數量統計。

2.1 基于YOLOv3模型的云杉檢測

YOLOv3模型在保障精度的前提下運行速度快，故選作云杉檢測的基礎模型，并根據云杉的特點將矩形邊界框改進為橢圓形邊界框。本文改進的橢圓形邊界框具有以下兩個優點：1）橢圓形邊界框可以更好的擬合無人機航拍圖像和視頻中云杉樹冠的橢圓形狀；2）橢圓形邊界框可以從視覺上提升云杉數量統計的清晰程度。為此，將YOLOv3模型的矩形邊界框改進為擬合云杉樹冠的橢圓邊界框，具體如圖4所示。

YOLOv3云杉檢測模型包括Darknet-53特征提取模塊和多尺度預測模塊兩部分。Darknet-53模塊借鑒ResNet的殘差結構，使用1í1和3í3卷積核替代最大池化層，對輸入的云杉圖像或視頻提取和計算獲得云杉特征圖，有效的提取特征信息并減少參數量，具體如表1所示。

表1 Darknet-53特征提取模塊

注：í1，í2和í8表示該模塊重復1次，2次和8次。

Note: í1, í2 and í8 indicate that the module is repeated 1, 2 and 8 times.

多尺度預測模塊在13í13、26í26和52í52三個尺度上預測云杉。尺度感受野的大小隨13í13、26í26和52í52依次減小，分別適合預測大、中和小冠幅尺寸的云杉。

多尺度預測模塊輸出的矩形邊界框在當前特征圖上的坐標為（t,t,t,t），其中t和t為矩形邊界框在當前特征圖上的中心點坐標，t和t為矩形邊界框在當前特征圖上的寬度和高度。根據式（1）計算得到矩形邊界框在原始圖像上的坐標為（b,b,b,b），其中b和b為矩形邊界框在原始圖像上的中心點坐標，b和b為矩形邊界框在原始圖像上的寬度和高度，具體如圖5a所示。實線矩形框為多尺度預測模塊輸出的矩形邊界框；虛線矩形框為矩形邊界框的先驗框，由K均值聚類處理訓練集的標注文件得到。

橢圓邊界框的坐標參數（e,e,e,e）根據矩形邊界框的坐標參數（b,b,b,b）計算得到，計算過程如式（2）所示，轉化過程示意如圖5a所示。

式中（e,e）為橢圓邊界框的中心坐標，e和e分別為橢圓邊界框的半長軸和半短軸。由圖5b和圖5c可見，橢圓邊界框相比矩形邊界框更清晰的展示云杉檢測效果，有效減少矩形邊界框之間的重疊。

2.2 基于SORT算法的云杉跟蹤

基于SORT算法的云杉跟蹤分為云杉狀態估計、數據關聯匹配和跟蹤器更新3個步驟。

2.2.1 云杉狀態估計

為跟蹤YOLOv3模型檢測到的每一株云杉，定義8維狀態向量表征云杉的狀態，如式（3）。

云杉的狀態估計通過卡爾曼濾波器實現，包括預測和更新兩個階段。預測階段根據前一幀被跟蹤云杉的位置完成當前幀云杉位置的預測；更新階段根據當前幀檢測到的云杉位置更新預測階段的云杉位置。云杉的狀態預測如式（4）。

云杉的狀態更新如式（5）。

2.2.2 數據關聯匹配

2.2.3 跟蹤器更新

云杉數據關聯匹配后，跟蹤器需要更新以便進行下一幀的云杉跟蹤。跟蹤器更新主要包括以下3種情況：

1）對于匹配成功的跟蹤器，被檢測的云杉將繼承與其匹配成功的跟蹤器編碼，并利用該橢圓邊界框的狀態信息預測下一幀中云杉的位置；

4.2.2 基于基準、粗放和集約利用等三種情景的各類用地面積SD模型仿真結果中城市土地利用預測總面積年均增長率分別為0.305%、0.761%和0.163%，且其中年均用地面積占比最大的兩類建設用地是粗放利用方案中的住宅用地和交通運輸用地面積，其值分別達到12.416%和10.090%；基于三種情景的SD-MOP模型的仿真結果中預測用地總面積年均增長率分別為0.743%、2.551%和2.210%，且其中年均面積占比最大兩類建設用地則為粗放利用情景下的工礦倉儲用地和集約利用情景下的商服用地，其值分別達到16.924%和13.811%。

2）對于匹配失敗的跟蹤器，暫時保留該跟蹤器但不更新其狀態，并將該跟蹤器與下一幀的數據關聯匹配。當該跟蹤器與之后連續5幀未能匹配檢測結果時，刪除該跟蹤器；

3）對于匹配失敗的被檢測云杉，為其創建新的跟蹤器，分配新的編碼并利用當前被檢測云杉的信息進行下一幀的預測。

2.3 基于越線計數的云杉數量統計

無人機的飛行方向會影響視頻中云杉的運動方向，本文根據云杉運動方向設計兩種數量統計模式，如圖6所示。模式1的數量統計流程：1）統計視頻第一幀位于頂部區域的云杉數量，記為N；2）實時統計由底部區域運動到頂部區域的云杉數量，并在N上累加，直到第-1幀；3）統計第幀底部區域內的云杉，記為N。模式2的數量統計流程：1）統計視頻第一幀位于底部區域的云杉數量，記為N；2）實時統計由頂部區域運動到底部區域的云杉數量，并在N上累加，直到第-1幀；3）統計第幀頂部區域內的云杉，記為N。假設前-1幀統計結果為N，則模式1數量統計結果為N和N的和，模式2數量統計結果為N和N的和。

圖6中，計數線AB根據經驗劃定，兩種模式中頂部區域和底部區域的比例分別為1∶3和3∶1。并且，計數線AB的位置對計數結果影響很小。以模式1為例，統計誤差主要出現在統計第1幀位于頂部區域的云杉和統計最后1幀位于底部區域的云杉時。因為，這兩部分只依賴檢測，并直接將檢測到的云杉數量作為該部分的統計結果，這不可避免的存在誤檢和漏檢的情況。并且，該部分的誤差基本不受計數線位置變化的影響。

2.4 試驗設置

本文算法試驗的硬件環境為：Intel(R) Core i7-8700K CPU 3.70GHz，GeForce GTX 1080 Ti GPU；試驗操作系統為：Ubuntu 16.04；軟件試驗環境為：Python編程語言，Tensorflow框架。云杉檢測模型訓練過程設置批處理量為64，初始學習率為0.001，權值衰減為0.000 5，動量為0.9，丟棄比為0.5，迭代至10 000、40 000和50 000步時學習率分別衰減10倍。

橢圓邊界框的初始大小由先驗框確定，先驗框采用K均值聚類算法處理訓練集的標注文件獲得。本文獲得的對應416像素í416像素下的9個先驗框分別為[6, 7]，[11, 14]，[17, 20]，[21, 24]，[26, 25]，[30, 33]，[34, 35]，[42, 45]和[68, 90]。

3 結果與分析

3.1 試驗結果

本文算法在測試集中對應6個不同試驗地塊的視頻上進行測試，平均計數準確率MCA為92.30%，平均絕對誤差MAE為72，均方根誤差為98.85，幀率FR為11.5 幀/s。結果表明，本文基于YOLOv3和SORT的云杉數量統計方法能夠準確統計試驗地塊內的云杉數量。以試驗地塊T3為例，無人機采集試驗地塊T3獲得視頻共有1 141幀，數量統計結果如圖7所示。其中，第1幀的數量統計結果為10，前571幀的數量統計結果為49，整個試驗地塊的數量統計結果為135。云杉的跟蹤匹配過程部分云杉編碼發生跳變，但越線計數法有效解決編碼跳變對計數結果的影響，在地面雜草背景與云杉顏色十分接近的干擾下，實現云杉數量的準確統計。

注：矩形和橢圓邊界框均為云杉檢測框，邊界框上的數字為被跟蹤云杉的編號，實心點為被跟蹤云杉的中心。下同。測試視頻共包含1 141幀，圖中1、571和1 141是采用固定步長570幀獲得的典型幀。

3.2 對比試驗

為充分驗證YOLOv3+SORT算法的性能，以測試集中對應6個不同試驗地塊的視頻內云杉為實驗數據，以目標檢測領域表現良好的SSD和Faster R-CNN模型為檢測器，結合SORT算法進行數量統計。以試驗地塊T1為例，無人機采集試驗地塊T1獲得視頻共有441幀，3種不同方法的云杉數量統計結果對比如圖8所示。在圖 8中，SSD+SORT算法對第1幀的數量統計結果為25，對前221幀的數量統計結果為231，對整個試驗地塊的數量統計結果為526；Faster R-CNN+SORT算法對第1幀的數量統計結果為30，對前221幀的數量統計結果為352，對整個試驗地塊的數量統計結果為736；YOLOv3+SORT算法對第1幀的數量統計結果為30，對前221幀的數量統計結果為360，對整個試驗地塊的數量統計結果為744。在圖8a中，SSD模型在檢測云杉時出現了較為嚴重的漏檢，這也是導致SSD+SORT算法數量統計結果準確率低且誤差較大的主要原因。在圖8b和8c中，Faster R-CNN和YOLOv3模型能夠準確檢測視頻中的云杉，基本沒有漏檢和誤檢。同時通過對比可見，本文改進的橢圓邊界框能夠更加清晰的展示云杉檢測效果，尤其在云杉稠密的情況下極大的減少檢測結果重疊的情況。

對于3種不同方法數量統計的線性回歸分析如圖9所示。可以發現，本文基于YOLOv3和SORT的云杉數量統計方法的決定系數為0.999 8，比SSD+SORT算法的決定系數高0.001 1，與Faster R-CNN+SORT算法相同。

以平均計數準確率MCA、平均絕對誤差MAE、均方根誤差RMSE和幀率FR為評價指標，定量比較3種方法的性能，對測試集6個不同試驗地塊的視頻試驗結果如表2所示。

表2 不同云杉數量統計方法的定量評價

在3種方法中，本文基于YOLOv3和SORT的云杉數量統計方法準確率高并且檢測速度最快，對比Faster R-CNN+SORT算法，該方法在保證準確率的基礎上更加快速，平均計數準確率MCA僅降低1.33個百分點，但幀率FR提高10.1 幀/s，是完成視頻中云杉數量統計任務的最優方法。SSD+SORT算法在各項指標中表現欠佳，無法滿足視頻中云杉數量統計快速準確的需求。Faster R-CNN+SORT算法雖然在準確率方面表現好，但是在速度指標方面的表現還有很大的優化空間，不適用于視頻中云杉數量統計快速的需求。

4 結 論

本文以無人機航拍的云杉視頻為研究對象，針對統計完整地塊苗木數量的問題，提出一種基于YOLOv3和SORT的云杉數量統計方法。主要工作包括采集數據、構建YOLOv3檢測模型、設計SORT跟蹤算法和越線計數方法。試驗結果得到如下結論：

1）基于YOLOv3和SORT的云杉數量統計方法快速準確統計完整地塊內云杉的數量。測試結果顯示本文方法的平均計數準確率為92.30%、平均絕對誤差為72、均方根誤差為98.85、幀率為11.5 幀/s，線性回歸分析的決定系數為0.999 8。基于YOLOv3和SORT的云杉數量統計方法有效解決了完整地塊云杉數量難以快速準確統計的問題。

2）基于YOLOv3和SORT的云杉數量統計方法與SSD+SORT算法以及Faster R-CNN+SORT算法進行對比。測試結果顯示：在平均計數準確率、平均絕對誤差和均方根誤差這3個指標上，基于YOLOv3和SORT的數量統計方法顯著優于SSD+SORT算法，與Faster R-CNN+SORT算法相近，但幀率比其高出10.1 幀/s。是實現云杉數量快速準確統計的有效方法。

[1] Hao Z, Lin L, Liu J, et al. Automated tree-crown and height detection in a young forest plantation using mask region-based convolutional neural network (Mask R-CNN)[J]. ISPRS Journal of Photogrammetry and Remote Sensing, 2021, 178: 112-123.

[2] Xiong H, Cao Z, Lu H, et al. TasselNetv2: In-field counting of wheat spikes with context-augmented local regression networks[J]. Plant Methods, 2019, 15: 150.

[3] 肖德琴，張玉康，范梅紅，等. 基于視覺感知的蔬菜害蟲誘捕計數算法[J]. 農業機械學報，2018，49(3)：51-58.

Xiao Deqin, Zhang Yukang, Fan Meihong, et al. Vegetable pest counting algorithm based on visual perception[J]. Transactions of the Chinese Society for Agricultural Machinery, 2018, 49(3): 51-58. (in Chinese with English abstract)

[4] 梁習卉子，陳兵旗，李民贊，等. 質心跟蹤視頻棉花行數動態計數方法[J]. 農業工程學報，2019，35(2)：175-182.

Liang Xihuizi, Chen Bingqi, Li Minzan, et al. Dynamic counting method of cotton rows in video based on centroid tracking[J]. Transactions of the Chinese Society of Agricultural Engineering (Transactions of the CSAE), 2019, 35(2): 175-182. (in Chinese with English abstract)

[5] Li D, Guo H, Wang C, et al. Individual tree delineation in windbreaks using airborne-laser-scanning data and unmanned aerial vehicle stereo images[J]. IEEE Geoscience and Remote Sensing Letters, 2016, 13(9): 1330-1334.

[6] Wang J, Chen X, Cao L, et al. Individual rubber tree segmentation based on ground-based LiDAR data and Faster R-CNN of deep learning[J]. Forests, 2019, 10(9): 793.

[7] 趙靜，潘方江，蘭玉彬，等. 無人機可見光遙感和特征融合的小麥倒伏面積提取[J]. 農業工程學報，2021，37(3)：73-80.

Zhao Jing, Pan Fangjiang, Lan Yubin, et al. Wheat lodging area extraction using UAV visible light remote sensing and feature fusion[J]. Transactions of the Chinese Society of Agricultural Engineering (Transactions of the CSAE), 2021, 37(3): 73-80. (in Chinese with English abstract)

[8] Mekhalfi M, Nicolo C, Lanniello L. Vision system for automatic on-tree kiwifruit counting and yield estimation[J]. Sensors, 2020, 20(15): 4214.

[9] Payne A, Walsh K, Subedi P. Estimation of mango crop yield using image analysis - Segmentation method[J]. Computers and Electronics in Agriculture, 2013, 91: 57-64.

[10] Jiang H, Chen S, Li D, et al. Papaya tree detection with UAV images using a GPU-accelerated scale-space filtering method[J]. Remote Sensing, 2017, 9(7): 721.

[11] Dorj U, Lee M, Han S. A comparative study on tangerine detection counting and yield estimation algorithm[J]. Journal of Information Security and Applications, 2013, 7(3): 405-412.

[12] Waleed M, Um T, Khan A. Automatic detection system of olive trees using improved k-means algorithm[J]. Remote Sensing, 2020, 12(5): 760.

[13] Hassler S, Baysal-Gurel F. Unmanned aircraft system(UAS) technology and applications in agriculture[J]. Agronomy-Basel, 2019, 9(10): 618.

[14] Dilek K, Serdar S, Nathan A, et al. Automatic citrus tree extraction from UAV images and digital surface models using circular Hough transform[J]. Computers and Electronics in Agriculture, 2018, 150: 289-301.

[15] Linker R, Cohen O, Naor A. Determination of the number of green apples in RGB images recorded in orchards[J]. Computers and Electronics in Agriculture, 2012, 81(1): 45-57.

[16] Scott J, Gent D, Hay F, et al. Estimation of pyrethrum flower number using digital imagery[J]. Horttechnology, 2015, 25(5): 617-624.

[17] 李艷肖，胡雪桃，張芳，等. 基于高光譜技術的菌落圖像分割與計數[J]. 農業工程學報，2020，36(20)：326-332.

Li Yanxiao, Hu Xuetao, Zhang Fang, et al. Colony image segmentation and counting based on hyperspectral technology[J]. Transactions of the Chinese Society of Agricultural Engineering (Transactions of the CSAE), 2020, 36(20): 326-332. (in Chinese with English abstract)

[18] Bargoti S, Underwood J. Image segmentation for fruit detection and yield estimation in apple orchards[J]. Journal of Field Robotics, 2017, 34(6): 1039-1060.

[19] Wu B, Yu B, Wu Q, et al. Individual tree crown delineation using localized contour tree method and airborne LiDAR data in coniferous forests[J]. International Journal of Applied Earth Observation and Geoinformation, 2016, 52: 82-94.

[20] 杭艷紅，蘇歡，于滋洋，等. 結合無人機光譜與紋理特征和覆蓋度的水稻葉面積指數估算[J]. 農業工程學報，2021，37(9)：64-71.

Hang Yanhong, Su Huan, Yu Ziyang, et al. Estimation of rice leaf area index combining UAV spectrum, texture features and vegetation coverage[J]. Transactions of the Chinese Society of Agricultural Engineering (Transactions of the CSAE), 2021, 37(9): 64-71. (in Chinese with English abstract)

[21] 梁習卉子，陳兵旗，李民贊，等. 基于HOG特征和SVM的棉花行數動態計數方法[J]. 農業工程學報，2020，36(15)：173-181.

Liang Xihuizi, Chen Bingqi, Li Minzan, et al. Method for dynamic counting of cotton rows based on HOG feature and SVM[J]. Transactions of the Chinese Society of Agricultural Engineering (Transactions of the CSAE), 2020, 36(15): 173-181. (in Chinese with English abstract)

[22] 劉哲，黃文準，王利平. 基于改進K-means聚類算法的大田麥穗自動計數[J]. 農業工程學報，2019，35(3)：174-181.

Liu Zhe, Huang Wenzhun, Wang Liping. Field wheat ear counting automatically based on improved K-means clustering algorithm[J]. Transactions of the Chinese Society of Agricultural Engineering (Transactions of the CSAE), 2019, 35(3): 174-181. (in Chinese with English abstract)

[23] 李莉，王宏康，吳勇，等. 基于K-means聚類算法的草莓灌溉策略研究[J]. 農業機械學報，2020，51(1)：295-302.

Li Li, Wang Hongkang, Wu Yong, et al. Investigation of strawberry irrigation strategy based on K-means clustering algorithm[J]. Transactions of the Chinese Society for Agricultural Machinery, 2020, 51(1): 295-302. (in Chinese with English abstract)

[24] Shang L, Guo W, Nelson S. Apple variety identification based on dielectric spectra and chemometric methods[J]. Food Analytical Methods, 2015, 8(4): 1042-1052.

[25] 徐洋，陳燚，黃磊，等. 基于多層BP神經網絡和無參數微調的人群計數方法[J]. 計算機科學，2018，45(10)：235-239.

Xu Yang, Chen Yan, Huang Lei, et al. Crowd counting method based on multilayer BP neural networks and Non-parameter tuning[J]. Computer Science, 2018, 45(10): 235-239. (in Chinese with English abstract)

[26] 李毅念，杜世偉，姚敏，等. 基于小麥群體圖像的田間麥穗計數及產量預測方法[J]. 農業工程學報，2018，34(21)：185-194.

Li Yinian, Du Shiwei, Yao Min, et al. Method for wheatear counting and yield predicting based on image of wheatear population in field[J]. Transactions of the Chinese Society of Agricultural Engineering (Transactions of the CSAE), 2018, 34(21): 185-194. (in Chinese with English abstract)

[27] Djerriri K, Ghabi M, Karoui M, et al. Palm trees counting in remote sensing imagery using regression convolutional neural network[C]//IGARSS 2018 - 2018 IEEE International Geoscience and Remote Sensing Symposium, Valencia, Spain: IEEE, 2018.

[28] 孫壯壯，姜東，蔡劍，等. 單子葉作物葉片氣孔自動識別與計數技術[J]. 農業工程學報，2019，35(23)：170-176.

Sun Zhuangzhuang, Jiang Dong, Cai Jian, et al. Automatic identification and counting of leaf stomata of monocotyledonous crops[J]. Transactions of the Chinese Society of Agricultural Engineering (Transactions of the CSAE), 2019, 35(23): 170-176. (in Chinese with English abstract)

[29] Xie H, Fan Z, Li W, et al. Tobacco plant recognizing and counting based on SVM[C]// 2016 International Conference on Industrial Informatics - Computing Technology, Intelligent Technology, Wuhan, China: IEEE, 2016.

[30] 姜海燕，徐燦，陳堯，等. 基于田間圖像的局部遮擋小尺寸稻穗檢測和計數方法[J]. 農業機械學報，2020，51(9)：152-162.

Jiang Haiyan, Xu Can, Chen Yao, et al. Detecting and counting method for small-sized and occluded rice panicles based on in-field images[J]. Transactions of the Chinese Society for Agricultural Machinery, 2020, 51(9): 152-162. (in Chinese with English abstract)

[31] 易詩，沈練，周思堯，等. 基于增強型Tiny-YOLOV3模型的野雞識別方法[J]. 農業工程學報，2020，36(13)：141-147.

Yi Shi, Shen Lian, Zhou Siyao, et al. Recognition method of pheasant using enhanced Tiny-YOLOV3 model[J]. Transactions of the Chinese Society of Agricultural Engineering (Transactions of the CSAE), 2020, 36(13): 141-147. (in Chinese with English abstract)

[32] Osco L, Arruda M, Junior J, et al. A convolutional neural network approach for counting and geolocating citrus-trees in UAV multispectral imagery[J]. ISPRS Journal of Photogrammetry and Remote Sensing, 2020, 160: 97-106.

[33] Fan Z, Lu J, Gong M, et al. Automatic tobacco plant detection in UAV images via deep neural networks[J]. IEEE Journal of Selected Topics in Applied Earth Observations and Remote Sensing, 2018, 11(3): 876-887.

[34] Raul M, Lodewijk V, Joris I. DiSCount: computer vision for automated quantification of striga seed germination[J]. Plant Methods, 2020, 16(1): 60.

[35] Zhou W, Zhu X, Chen F. Spruce counting based on Lightweight Mask R-CNN with UAV Images[J]. International Journal of Circuits, Systems and Signal Processing, 2021, 15: 634-642.

[36] Wang D, Fu Y, Yang X, et al. Combined use of FCN and harris corner detection for counting wheat ears in field conditions[J]. IEEE Access, 2019, 7: 178930-178941.

[37] Li W, Fu H, Yu L, et al. Deep learning based oil palm tree detection and counting for high-resolution remote sensing images[J]. Remote Sensing, 2017, 9(1): 22.

[38] 陳鋒軍，朱學巖，周文靜，等. 基于無人機航拍與改進YOLOv3模型的云杉計數[J]. 農業工程學報，2020，36(22)：22-30.

Chen Fengjun, Zhu Xueyan, Zhou Wenjing, et al. Spruce counting method based on improved YOLOv3 model in UAV images[J]. Transactions of the Chinese Society of Agricultural Engineering (Transactions of the CSAE), 2020, 36(22): 22-30. (in Chinese with English abstract)

[39] Ibryaeva O, Shepelev V, Kuzmicheva O, et al. A study of the impact of the transport queue structure on the traffic capacity of a signalized intersection using neural networks[J]. Transportation Research Procedia, 2020, 52: 589-596.

[40] Alver Y, Onelcin P, Cicekli A, et al. Evaluation of pedstrian critical gap and crossing speed at midblock crossing using image proccessing[J]. Accident Analysis and Prevention, 2021, 156(4): 106127.

[41] Khazukov K, Shepelev V, Karpeta T, et al. Real-time monitoring of traffic parameters[J]. Journal of Big Data, 2020, 7: 84.

[42] Bewley A, Ge Z, Ott L, et al. Simple online and realtime tracking[C]// 2016 IEEE International Conference on Image Processing (ICIP), Phoenix, AZ, USA: IEEE, 2016: 3464-3468.

Quantity statistics of spruce under UAV aerial videos using YOLOv3 and SORT

Chen Fengjun1,2, Zhu Xueyan1,2, Zhou Wenjing1,2, Zheng Yili1, Gu Mengmeng3, Zhao Yandong1,4※

(1.,,100083,;2.,100083,;3.,,77843,;4.,100083,)

A seedling quantity is a key indicator to predict the actual production, supply, and demand for the operation and management of a nursery. The manual visualization has still dominated the statistics for the number of seedlings in complete plots. However, the application needs cannot be fully met in recent years, such as high cost, low efficiency, and slow data update. Therefore, it is necessary to fast and accurately estimate the number of seedlings in the whole plots. Taking the spruce as the research object, this study aims to propose a quantity statistics approach under Unmanned Aerial Vehicle (UAV) aerial videos using YOLOv3 and SORT. The specific procedure included the data acquisition, YOLOv3 detection model, SORT tracking, and cross-line counting. Two areas were divided for the image and video acquisition, each with 6 complete test plots. In the stage of data acquisition, 558 images and 6 videos were captured by a DJI Phantom 4 (UAV). The quantity statistics dataset was then constructed with the acquired images and videos, where the training dataset contained 558 images, and the test dataset contained 6 videos. Subsequently, a YOLOv3 model was selected to detect the spruce, while a SORT model was to track the spruce, and the cross-line counting to count the number of spruce. The performance of the combined YOLOv3+SORT was also quantitatively evaluated using Mean Count Accuracy (MCA), Mean Absolute Error (MAE), Root Mean Square Error (RMSE), and Frame Rate (FR). It was found that the MCA of 92.30%, MAE of 72, RMSE of 98.85, and FR of 11.5 frames/s for the test dataset in the quantity statistics. The experimental results showed that quick and accurate counting was achieved for the number of spruce in the complete plots. The YOLOv3+SORT was also compared with the SSD+SORT and Faster R-CNN+SORT, in order to further verify the performance of the model. The results showed that the YOLOv3+SORT performed over the SSD+SORT in all four evaluation indexes. Particularly, the YOLOv3+SORT was much faster with higher guaranteed accuracy, with 1.33 percentage points lower MCA, and 10.1 frames/s higher FR, compared with the Faster R-CNN+SORT. In summary, the quantity statistics using YOLOv3 and SORT can be widely expected to serve as an effective way to rapidly and accurately count the number of seedlings in the whole plots. This study can also offer promising potential support to the seedling quantity statistics from the perspective of UAV aerial videos.

unmanned aerial vehicle; model; algorithm; spruce; quantity statistics; YOLOv3; SORT

陳鋒軍，朱學巖，周文靜，等. 利用無人機航拍視頻結合YOLOv3模型和SORT算法統計云杉數量[J]. 農業工程學報，2021，37(20)：81-89.doi：10.11975/j.issn.1002-6819.2021.20.009 http://www.tcsae.org

Chen Fengjun, Zhu Xueyan, Zhou Wenjing, et al. Quantity statistics of spruce under UAV aerial videos using YOLOv3 and SORT[J]. Transactions of the Chinese Society of Agricultural Engineering (Transactions of the CSAE), 2021, 37(20): 81-89. (in Chinese with English abstract) doi：10.11975/j.issn.1002-6819.2021.20.009 http://www.tcsae.org

2021-06-27

2021-10-06

國家重點研發計劃（2019YFD1002401）、中央高校基本科研業務費專項資金資助（2015ZCQ-GX-04）和北京市共建項目聯合資助

陳鋒軍，博士，副教授，研究方向為林業信息檢測。Email：chenfj227@bjfu.edu.cn

趙燕東，博士，教授，博士生導師，研究方向為生態智能檢測與控制。Email：yandongzh@bjfu.edu.cn

10.11975/j.issn.1002-6819.2021.20.009

TP391.4

A

1002-6819(2021)-20-0081-09