基于改進Faster R-CNN和Deep Sort的棉鈴跟蹤計數

黃成龍 張忠福 華向東 楊俊雅 柯宇曦 楊萬能

(1.華中農業大學工學院, 武漢 430070; 2.華中農業大學作物遺傳改良國家重點實驗室, 武漢 430070)

0 引言

棉鈴是棉花經授粉子房生長后形成的果實。棉鈴的生長發育過程大致可分為體積膨大期、棉鈴充實期、脫水成熟期[1]。棉鈴作為棉花重要的產量與品質器官,單株鈴數、鈴長、鈴寬、長寬比等相關的表型性狀一直是棉花育種的重要指標與研究方向[2-3]。文獻[4]指出鈴數是構成棉花產量的重要三要素之一,單株鈴數又與棉花品種、栽培環境等條件息息相關。文獻[5]研究表明,單位面積成鈴數增加會使平均鈴重降低,但由于補償作用,增加的鈴數補償了鈴重降低造成的產量損失,從而使得棉花產量增加,因此鈴數對棉花產量的影響較大。文獻[6]也指出通過對鈴數和鈴重的雙重調控可以有效提高棉花的產量。因此,棉鈴單株鈴數的精準測量,對棉花產量預測、相關基因位點的鑒定、探究產量與外部環境交互作用以及優勢棉花品種的選育具有重要意義。

傳統的棉鈴計數主要依賴人工,存在主觀、低效、接觸干擾等問題,無法滿足高通量、智能化棉花育種的需求。近年來,隨著深度學習的快速發展,基于單階段、多階段的目標檢測算法受到越來越多研究人員的關注[7]。在農業領域,目標檢測方法被廣泛應用于病蟲害與雜草識別[8-11]、作物及其器官分類與識別[12-14]、耕地信息提取與產量預測[15-16]等。文獻[17]提出了一種基于弱監督深度學習架構的田間小麥病害自動診斷系統,使用的VGG-FCN-VD16和VGG-FCN-S兩種深度學習網絡檢測準確率均可達95%以上;文獻[18]采用特征增強與多尺度融合的方法改進SSD模型,實現了對田間雜草的有效檢測。因此基于深度學習的棉鈴識別,將為棉鈴計數提供新的途徑。

然而棉鈴由于受到葉片的遮擋,無法通過單一視角圖像的目標檢測完成棉鈴計數,而多視角目標跟蹤將為棉鈴準確計數提供新的解決方案。目標跟蹤是指通過對比構成視頻的圖像序列中目標的外觀形貌信息與空間位置變化,實現前后幀同一目標的匹配[19]。在計算機視覺領域中,目標跟蹤按照研究對象的不同,可分為單目標跟蹤與多目標跟蹤,主要應用于車、船舶流量監測[20-22],行人跟蹤[23],無人駕駛和虛擬現實等[24-25]領域。對于單目標跟蹤而言,其主要任務為跟蹤視頻畫面中的單個目標,主要解決目標尺度、光照變化問題,可應用于高效運動與外觀模型設計[26-27]。對于多目標跟蹤,其主要任務為同時跟蹤視頻畫面中的多個目標,為目標分配ID并維持ID的長久有效性,得到目標的運動軌跡,需要解決目標遮擋、軌跡追蹤以及多目標間相互影響等問題[28-29]。多目標跟蹤目前在農業領域已有較為深入的應用,如畜禽行為監測[30-31]、農產品流水線跟蹤[32]等。文獻[32]針對柑橘分揀費時費力的問題,提出了一種基于深度學習的柑橘檢測與跟蹤算法,可以實現柑橘旋轉跟蹤和高精度分揀。

本文以盆栽棉花植株為研究對象,針對不同視角下棉鈴遮擋的問題,提出一種以改進Faster R-CNN、Deep Sort和撞線匹配機制為主要算法框架的棉鈴檢測與跟蹤方法,實現單株棉花棉鈴的準確跟蹤計數,并開發相應的用戶軟件為棉花育種研究提供技術工具。

1 試驗材料與數據集

1.1 試驗材料

本試驗于2021、2022年在華中農業大學棉花7號玻璃溫室進行,采用溫室栽培方法進行盆栽棉花管理,采用肥力均勻一致的土壤,隨機選取105份不同基因型盆栽棉花植株作為試驗材料。由于棉花葉片的遮擋,使用靜態圖像檢測的方法無法準確獲取植株全部棉鈴數量,因此采用旋轉視頻拍攝方式,獲得多角度、全方位的圖像序列,成像方式如圖1所示。將盆栽棉花置于旋轉平臺上,手機固定在三角支架上保證棉花植株位于手機視野內,為避免背景干擾以及鏡面反射影響選用純色漫反射背景布;旋轉平臺順時針方向旋轉周期為22～60 s,所得視頻單幀圖像分辨率為3 000像素×2 000像素,幀率為30 f/s,保存為MP4格式,試驗所得視頻數量共105個。將拍攝視頻按比例8∶2劃分為訓練集與測試集。

圖1 多視角棉花棉鈴成像裝置Fig.1 Cotton boll imaging device based on multi view

1.2 數據集標注

數據集采用開源軟件Darklabel進行標注,如圖2所示。采用該軟件對每一幀圖像中的棉鈴進行框選,并為前后幀同一棉鈴進行ID匹配,標注完畢后得到txt格式文件,后用自主編寫的格式轉換Python腳本進行相應修改使之符合MOT16數據集格式。

圖2 基于Darklabel軟件的棉鈴跟蹤標注Fig.2 Cotton boll labeling and tracking based on Darklabel software

2 棉鈴跟蹤與計數方法

本文提出的棉鈴動態跟蹤與計數方法如圖3所示,研究采用改進的Faster R-CNN目標檢測網絡、Deep Sort多目標跟蹤器和撞線匹配機制為主要架構,實現在旋轉視頻下對棉鈴準確計數。主要流程包括以下步驟:①基于棉花勻速旋轉視頻,利用改進的Faster R-CNN網絡對當前幀里的棉鈴進行識別、定位。②基于獲取的棉鈴位置信息,采用Deep Sort多目標跟蹤器,通過卡爾曼濾波預測當前幀中的棉鈴在下一幀圖像中可能存在的位置,同時目標檢測網絡對下一幀圖像中棉鈴進行檢測。③應用匈牙利匹配算法將預測信息與目標檢測信息進行比較,若成功匹配,則前后幀的匹配物體共用同一ID,如此循環實現棉鈴的動態跟蹤。此外為解決棉鈴計數ID 跳變問題,本文在跟蹤器后又設計了撞線匹配機制,匹配后的棉鈴自右向左經過圖像中軸線時,系統會將此棉鈴ID進行記錄,同時棉鈴數量加1,植株旋轉一周后即可實現所有棉鈴計數的目的。

圖3 棉鈴跟蹤與計數流程圖Fig.3 Flow chart of cotton boll tracking and counting

2.1 基于改進Faster R-CNN的棉鈴檢測

基于深度學習的目標檢測算法根據有無候選框生成可分為單階段目標檢測算法和多階段目標檢測算法兩類。單階段目標檢測算法直接對圖像進行預測生成結果,檢測速度快,但檢測精度相對不高,其中代表性的目標檢測框架有YOLO[33]和SSD[34]等;多階段目標檢測算法先對圖像進行候選框提取,然后基于候選區域做二次修正得到檢測結果,檢測精度高,但檢測速度較慢,其中以Faster R-CNN[35]應用最為廣泛。

由于單個棉鈴占整個圖像尺寸較小,Faster R-CNN對棉鈴的識別屬于小目標檢測,在經過特征提取多次池化后,棉鈴的特征信息會顯著減弱。因此本文引入特征金字塔網絡(Feature pyramid network,FPN)[36],如圖4所示,通過對不同特征層尺度變換后進行連接,FPN實現了多層特征信息的融合,為候選框的生成、檢測框的分類與回歸提供了可能,從而有效提高了Faster R-CNN對小目標識別的精度。

圖4 特征金字塔網絡結構圖Fig.4 Feature pyramid network structure diagram

候選區域選擇網絡(Region proposal network,RPN)中使用導向錨框(Guided Anchoring)策略生成Anchor[37]。目標檢測算法按有無Anchor可分為Anchor-base和Anchor-free兩種,Faster R-CNN屬于Anchor-base類別,按預先定義的規則共生成9種不同尺寸的Anchor,由于本數據集中棉鈴與傳統數據集中的標注物體尺寸和分布相差較大,使用預先定義的Anchor并不能將棉鈴這種小目標物體很好地框選出來,而Guided Anchoring改變固有的Anchor生成方式,對Anchor位置和形狀分別進行預測,同時采用特征調整模塊,以生成與目標物體更適應的Anchor大小。

非極大值抑制(Non-maximum suppression,NMS)算法通過計算檢測框的交并比(Intersection over union,IoU),設置IoU閾值以去除同一物體的重復檢測框。當兩個物體距離極近時,傳統NMS算法可能會將另一物體的檢測框全部去除,造成漏檢情況。Soft NMS[38]算法通過線性加權或高斯加權對置信度重置函數進行改進,對于大于IoU閾值的檢測框并不直接舍棄,而是降低檢測框的分數從而提高檢測準確率。本試驗棉花旋轉過程中會出現棉鈴距離很近甚至相互重疊的情況,因此本文在模型推理過程中引入Soft NMS算法以減少棉鈴漏檢的發生。

本文采用上述3種方法對Faster R-CNN網絡結構和推理過程進行優化,特征提取網絡(backbone)采用ResNet50,改進Faster R-CNN網絡結構如圖5所示。在對檢測結果進行量化分析時,選用精準率P、召回率R、IoU閾值取0.75時平均精度均值mAP75(Mean average precision)等目標檢測網絡分類評價指標以及檢測速度(Frames per second, FPS)。

圖5 改進Faster R-CNN網絡結構圖Fig.5 Improved Faster R-CNN structure diagram

2.2 基于Deep Sort的棉鈴跟蹤

2016年BEWLEY等[39]提出在線實時多目標跟蹤算法——Sort算法。Deep Sort[40]跟蹤器是對Sort的改進算法,其在Sort基礎上采用級聯匹配和基于深度學習的外觀提取模型,同時加入馬氏距離和余弦距離度量,考慮預測信息和檢測信息運動狀態和外觀形貌的匹配。上述優化方法使Deep Sort進行多目標跟蹤時相比Sort目標ID跳變減少45%。本文Deep Sort算法對棉鈴的跟蹤流程如圖6所示,主要分為以下步驟:

圖6 基于Deep Sort的棉鈴自動跟蹤流程圖Fig.6 Flow chart of cotton boll tracking based on Deep Sort

(1)目標檢測:基于視頻第1幀棉鈴Faster R-CNN檢測結果創建對應初始軌跡(Tracks)并通過卡爾曼濾波(Kalman filter)預測第2幀圖像棉鈴可能存在的位置,即預測軌跡。

(2)級聯匹配:在第2幀圖像中,預測軌跡分為確定(Confirmed state, CS)和不確定(Unconfirmed state, US)兩種狀態,CS被認為是棉鈴,US則不確定是否為棉鈴;而CS將與第2幀的檢測結果進行關聯,即考慮CS與檢測框運動狀態和外觀形貌是否匹配,關聯方法采用級聯匹配,得到第2幀初步的匹配軌跡(Matched tracks)、未匹配軌跡框(Unmatched tracks)和未匹配檢測框(Unmatched detections)3種結果;其中匹配軌跡直接進行卡爾曼濾波更新至棉鈴軌跡中,未匹配軌跡框和未匹配檢測框則代表匹配失敗等待后續處理。

(3)交并比匹配:上述未匹配軌跡框和未匹配檢測框繼續進行關聯,方法采用IoU匹配,兩者的IoU值越大說明兩者越接近,同一棉鈴的可能性越大,通過設定IoU閾值繼續篩選出匹配軌跡、未匹配軌跡框和未匹配檢測框3種結果;其中,匹配軌跡與步驟(2)中相同,通過卡爾曼濾波更新至棉鈴軌跡中;進一步篩選后的未匹配軌跡框和未匹配檢測框等待后續處理。

(4)未匹配檢測框處理:檢測框依然匹配失敗的原因可能為未匹配檢測框內的棉鈴是這一幀新出現的目標或是由于長時間遮擋,棉鈴再次出現時沒有對應的預測軌跡;因此對于未匹配檢測框需要重新建立新軌跡,同時對建立的新軌跡進行確認,若是棉鈴而非其他物體則同樣將新軌跡更新至原棉鈴軌跡中。

(5)未匹配軌跡框處理:由于Faster R-CNN漏檢會導致未匹配軌跡框情況的發生,需要對未匹配軌跡框進行確認,若非棉鈴則進行刪除;若是棉鈴,則先進行保留,在30幀內如成功與后續幀檢測框匹配,則更新至棉鈴軌跡中,若未成功匹配則進行刪除,重復上述步驟實現視頻流多目標跟蹤。

Deep Sort跟蹤器在外觀形貌匹配時引入基于深度學習的特征提取模型,提高了溫室場景下棉鈴的跟蹤精度,同時也可以有效地避免非遮擋情況下ID 跳變的發生,為后續實現撞線特征提取與計數提供了較好的技術支撐。本文在對跟蹤結果進行量化分析時選用多目標跟蹤精度RMOTA作為評價指標,相關計算公式為

式中mt——整個視頻棉鈴漏報數量之和

ft——整個視頻棉鈴誤報數量之和

st——ID跳變總次數

gt——視頻序列中真實目標數量

t——測試視頻數量

2.3 撞線特征提取與棉鈴計數

由于棉鈴在旋轉過程中會出現葉片遮擋的情況,同一棉鈴在跟蹤過程中仍會發生ID 跳變。如圖7所示,同一棉鈴在第35幀ID為3,在第100幀由于葉片遮擋暫時消失無法跟蹤,而在第255幀再次出現時,會被誤認為新出現的棉鈴,系統錯誤將其ID匹配為9。故如果以棉鈴最后一幀出現的最大ID作為棉鈴計數的參考,則計數結果將比棉鈴實際數量偏大。為解決ID跳變問題,本文在跟蹤器Deep Sort后設計了撞線匹配機制,如圖8所示。首先成功跟蹤后的棉鈴,取識別棉鈴矩形框的中心點,中心點在經過圖像中軸線右側掩膜區域時,系統會獲取該棉鈴ID并計入列表a。然后當后續幀棉鈴又經過圖像中軸線左側掩膜區域時,獲取該棉鈴ID計入列表b并查詢列表a中是否含有該ID;若含有,則計數器加1,同時刪除兩個列表中的ID。考慮到相鄰棉鈴幀之間存在像素間隔,且棉鈴矩形框的中心點也會出現一定范圍的波動,同時避免掩膜內ID 跳變的影響,本研究掩膜寬度選用100像素,以保證所有棉鈴矩形框的中心點能有效落入掩膜區間。該撞線匹配機制可以有效克服棉鈴旋轉過程中ID 跳變帶來的影響,實現對棉鈴的精確計數。

圖7 同一棉鈴跟蹤示例Fig.7 Examples of tracking the same cotton boll

圖8 撞線匹配機制掩膜區域Fig.8 Mask area of colliding line and matching mechanism

系統總體代碼基于mmtracking平臺,Pytorch框架,Python選取3.7版本,在Linux Ubuntu 18.04系統上執行,使用NVIDIA-GPU RTX 2080ti進行模型訓練及測試。對計數結果進行量化分析時選用決定系數R2、均方誤差(Mean square error,MSE)、平均絕對誤差(Mean absolute error,MAE)和平均絕對百分比誤差(Mean absolute percentage error,MAPE)評價指標,其中決定系數R2越接近1,MSE、MAE、MAPE越小,說明模型測量精度越高。

3 試驗結果與分析

3.1 棉鈴目標檢測結果

取IoU閾值0.75時,通過改變置信度閾值,獲得不同置信度閾值下的P、R,繪制精準率-召回率曲線,曲線與x、y軸正方向所圍面積即為mAP75,mAP75綜合考量P、R,其值越接近1說明模型對棉鈴檢測效果越好。研究對比Faster R-CNN、RetinaNet、SSD、YOLOF、YOLO v5和改進Faster R-CNN模型,各模型精準率-召回率曲線如圖9所示,各模型精準率P、召回率R、F1值、mAP75和FPS如表1所示。結果表明IoU閾值為0.75時,Faster R-CNN、RetinaNet、SSD、YOLO v5、YOLOF和改進Faster R-CNN對應mAP75分別為0.95、0.89、0.92、0.93、0.83和0.97,改進Faster R-CNN mAP75較改進前提升0.02。由于改進Faster R-CNN是在Faster R-CNN基礎上進行的改進,因此也屬于兩階段目標檢測網絡,檢測時間較YOLO v5略長,Faster R-CNN、RetinaNet、SSD、YOLO v5 、YOLOF 和改進Faster R-CNN各模型檢測速度(FPS)分別為20.3、20.9、46.4、21.5、 31.8、15.1 f/s。基于檢測的多目標跟蹤算法最終效果在很大程度上取決于檢測器,檢測效果優異的目標檢測模型能極大減少最終計數的錯誤。因此本文通過改進Faster R-CNN目標檢測網絡提升了對棉鈴檢測效果,為后續目標跟蹤與計數提供了重要技術支撐。

表1 各模型精準率、召回率、F1值、mAP75和FPSTab.1 Precision, recall, F1, mAP75 and FPS of each model

圖9 精準率-召回率曲線Fig.9 Precision-recall curves

3.2 棉鈴跟蹤與計數

跟蹤模型選用Tracktor、Deep Sort和Sort共3種,與改進Faster R-CNN分別實現棉鈴跟蹤,跟蹤評價結果如表2所示,跟蹤的時間序列如圖10所示,改進后Faster R-CNN與Deep Sort算法的跟蹤效果最優,RMOTA為0.91,較Tracktor和Sort算法分別提高0.02和0.15,跟蹤可信度得到大幅提高。但由于目標尺度和遮擋等原因,同一棉鈴前后幀匹配ID 極易發生多次跳變,這也是產生跟蹤誤差的主要原因,單純使用匹配ID的方法作為棉鈴計數的最終結果會產生較大誤差。因此本文在Deep Sort跟蹤器后設計了一種撞線匹配機制:匹配后的棉鈴自右向左經過圖像中軸線時,系統會記錄此棉鈴ID,棉鈴數量加1,棉花經旋轉一周后最終達到棉鈴計數的目的。計數結果如表2所示:改進Faster R-CNN和Deep Sort所得棉鈴R2、MSE、MAE和MAPE分別為0.96、1.19、0.81和5.92%,同時改進Faster R-CNN和Deep Sort計數結果與人工統計值差異如圖11所示,綜合表2和圖11可得本文提出的方法對棉鈴數量的統計與人工值具有較高的一致性,可以實現對棉鈴的準確計數。

表2 跟蹤與計數評價指標Tab.2 Evaluation indicators of tracking and counting

圖10 棉鈴跟蹤序列圖Fig.10 Tracking sequence diagrams of cotton bolls

圖11 棉鈴數量人工測量值與算法檢測值對比Fig.11 Comparison between manual measurement and algorithm measurement of cotton bolls

3.3 棉鈴跟蹤計數軟件

基于改進Faster R-CNN、Deep Sort多目標跟蹤器、撞線匹配機制設計了一款棉鈴自動檢測跟蹤計數軟件,如圖12所示。軟件所在環境為cudatoolkit 10.1、cython 0.29、matplotlib 3.4.2、mmcv-full 1.3.10、mmdet 2.12.0、mmtrack 0.5.0、numpy 1.20.3、OpenCV 4.1.2、pyqt 5 5.15.6、Python 3.7和Pytorch 1.6.0,“Selectmodel”和“Initialize”控件可選擇模型并對網絡進行初始化,“Input video”控件用于選擇需要檢測的棉花視頻,檢測過程中會在“TrackingResult”控件中顯示棉鈴識別和追蹤的過程,檢測結束在右側輸出棉鈴數量。該軟件集成了所需的環境和庫函數,可直接復制應用于其它計算機,避免配置環境等繁瑣步驟。

圖12 棉鈴跟蹤軟件Fig.12 Software of cotton boll tracking

4 結論

(1)針對棉鈴在檢測過程中目標尺寸較小的問題 ,提出一種改進Faster R-CNN算法。采用特征金字塔實現了多層特征信息的融合;結合Guided Anchoring生成與目標物體相適應的Anchor大小,增強了對棉鈴等小目標的檢測能力;利用 Soft NMS改進了置信度重置函數,對大于IoU閾值的檢測框進行保留,可有效提高檢測準確率。試驗結果表明:改進Faster R-CNN在6種模型中效果最優,mAP75和F1值分別達到0.97和0.96,較改進前的Faster R-CNN分別提升0.02與0.01。

(2)然后針對棉鈴多目標跟蹤的問題,采用Deep Sort跟蹤器通過卡爾曼濾波和匈牙利匹配實現前后幀同一棉鈴的對應關聯,并進行ID匹配。試驗結果表明:改進Faster R-CNN與Deep Sort跟蹤結果RMOTA達到0.91,較Tracktor和Sort算法分別提高0.02和0.15。

(3)最后針對葉片遮擋產生的ID跳變問題,本文在Deep Sort跟蹤器后設計了撞線匹配機制實現全視頻棉鈴高精度計數。試驗結果表明:改進Faster R-CNN、Deep Sort和撞線匹配算法所得計數結果R2、MSE、MAE和MAPE分別為0.96、1.19、0.81和5.92%,與人工值具有較高一致性。