基于深度學習的溝渠實時監控跟蹤技術研究

摘要：針對傳統溝渠監控與跟蹤精度低，導致溝渠監控實時性不佳的問題，提出一種基于深度霍夫優化投票的三維單目標跟蹤算法。首先，采用面向目標特征提取方法對目標信息進行編碼處理；通過投票和篩選方式生成高置信度的潛在目標中心；基于聯合提議和驗證生成最終預測結果。實驗結果表明，提出的算法能夠有效避免耗時的三維全局搜索，具備較強的魯棒性。相較于傳統SC3D三維點云目標跟蹤算法，本算法的準確率和精準率分別提升了24.6%和26.7%，且在相同的測試集中可取得更低的計算復雜度。由此得出，提出的算法可實現溝渠的實時監控和準確跟蹤。

關鍵詞：深度學習；溝渠；實時監控；目標跟蹤；霍夫優化投票

中圖分類號：TP277.2文獻標識碼：A文章編號：1001-5922（2024）10-0117-04

Research on real-time monitoring and tracking technologyfor ditches based on deep learning

LI Kun1，BIAN Junwei2，HAN Peng1，SUN Xueqi2

（1. Shandong Water Diversion Project Operation and Maintenance Center，Jinan 250000，China；2. Water Resources Research Instltute ofShandong Province，Jinan，250000，China）

Abstract：In order to solve the problem of poor real-time performance of traditional ditch monitoring and trackingaccuracy，a three-dimensional single-target tracking algorithm based on deep hough optimization voting was pro?posed. The target oriented feature extraction method was used to encode the target information. The high confidencepotential target centers were generated through voting and screening methods. The final prediction result was gener?ated based on joint proposal and validation. The experimental results showed that the proposed algorithm effectivelyavoided time-consuming 3D global search and had strong robustness. Compared to the traditional SC3D 3D pointcloud target tracking algorithm，the success rate and accuracy of this algorithm had been improved by 24.6% and26.7%，respectively，and lower computational complexity could be achieved in the same test set. This indicates thatthe proposed algorithm can achieve real-time monitoring and accurate tracking of ditches.

Key words：deep learning；trenches；real time monitoring；target tracking；hoff optimization voting

通過智能設備實現溝渠目標跟蹤和定位，幫助農業管理人員進行溝渠狀態管理和農產品調整。針對目標跟蹤和實時監控問題，已有學者進行了大量研究，并取得了一定的應用成果。為實現水稻生長的自動化監控和實時跟蹤，提出了一種基于互相關與Transformer雙層特征融合的目標跟蹤算法，通過此算法提升了水稻監控的實時性[1]；以工業制造領域的焊接工具為研究對象，提出了將激光技術與UWB序列匹配算法相結合，通過其完成焊接工程的目標準確跟蹤[2]；針對農業巡檢機器人的單目標跟蹤問題，提出了以深度霍夫優化投票算法作為基本算法，通過其實現了三維時敏單目標跟蹤[3]。以上研究雖然取得了一定的應用效果，但溝渠實時監控和準確跟蹤的準確率還有待提高。針對此問題，提出一種基于深度學習的溝渠實時跟蹤算法，并進行實驗驗證。

1目標跟蹤算法框架

為實現溝渠實時監控與準確跟蹤，本研究以PointNet++網絡和深度霍夫優化投票算法作為基礎框架，得到一種三維目標跟蹤算法進行溝渠監測與跟蹤。該算法的輸入為模板點云與搜索點云，輸出為目標預測位置。算法整體結構如圖1所示。

由圖1可知，該算法主要由面向目標的特征提取、潛在目標中心的生成、聯合提議與驗證、模板點云更新4個模塊組成[4-6]。進行種子點特征提取后，即可對目標信息進行編碼處理，并通過投票篩選方式獲得置信度較高的潛在目標中心，最終生成預測結果。

2目標跟蹤具體實現

2. 1面向目標的特征提取

為實現跟蹤目標的特征提取，首先對模板中的目標信息進行編碼處理，并置于搜索空間內；然后深入挖掘2個空間內的相似性，從而獲取準確特征。原始點云的采樣過程如圖2所示。

上述采樣過程中，以目標模板Ptemp={p=（xyiiizi）}i=1和搜索空間點云Psea={si=（xiyizi）}i=1為目標，通過PointNet++網絡獲取模板種子點集Q={qi}i=1和搜索種子點集R={rj}i=1。其中，M1和M2分別表示模板種子點集和搜索種子點集中種子的數量，qi和rj分別表示模板種子點和搜索種子點；獲取目標信息后，將提取的搜索種子特征與目標特征相結合。

對模板種子點集Q中的目標信息進行編碼，并置于搜索種子點集R中，采用余弦相似度計算方法求出2個點集間的相似度，可得到相似度矩陣T=（MM）[8]。21

2. 2潛在目標中心生成和篩選

通過單個搜索種子點能夠獲取目標的局部信息，但無法實現目標位置的準確預測。針對此問題，提出引入霍夫投票原理。在投票時將搜索種子點dj回歸到潛在目標中心，然后通過聯合提議和驗證得到最終結果。同時，為提升目標跟蹤精確度，將對每個搜索種子點d進行置信度得分設置，并基于得分j排名選擇其中一半的搜索種子點，以實現聯合提議和驗證[9]。由此得到生成高置信度的潛在目標中心過程如圖3所示。

每個搜索種子點d采用多層感知機預測出Djxdj和Dfd，以生成cj=xc;fc?R3+dj?jj?。為篩選出置信度最高的潛在目標中心，提出的對每個搜索種子進行置信度得分設置，并采用交叉熵函數對置信度得分進行訓練，并基于置信度得分從潛在目標中心中選出置信度最高的潛在目標中心[11]。

2. 3聯合的提議和驗證

完成潛在目標中心生成和篩選后，即可進行聯合的提議和驗證。聯合提議和驗證的原理為從置信度較高的潛在目標中心中進行采樣點提取，并基于此采樣點進行簇分類；然后基于各個簇進行提取結果和得分生成，最終從生成結果中篩選出得分最高的提議，將其作為最終預測結果。

2. 4模板點云的更新

目標跟蹤過程中，目標物體的外形可能會出現細微變化。為更好對變化的目標物體進行實時跟蹤，提出采用第一幀中指定的模板點云和前一幀預測的目標點云進行融合，以生成下一幀中的模板點云。完成當前幀預測后，即可基于點云更新策略進行下一幀點云預測[12]。基于此策略可實現磨板點云有效更新和準確預測。且更新結果中包含目標點云的真實值和預測值，從而使得目標物體外觀出現變化時，依舊可實時進行每一幀目標點云預測。

3實驗結果與分析

3. 1實驗環境

為取得更好的試驗效果，實驗將以大小為8GB×2，3200 MHZ內存的Inter Core i7-9700K型號CPU@3.6 GHz作為硬件設備，選用Nvidia RTX2080s作為圖形處理器，通過其實現溝渠圖像處理。軟件設備選用Ubuntu10.04，分別在Pytuon3.7和Pytorch1.6.0平臺上進行算法訓練和測試。

3. 2數據來源

實驗數據來源于KITTI Visio Benchmark Suite數據集，該數據包含了某地區的溝渠場景共計400張圖像。該數據集主要包括20種室外場景和9種類型的目標。為更好的對提出的算法進行訓練和測試，以8∶2的分配比例進行數據劃分。

3. 3實驗配置

深度學習的PointNet++網絡中，主要通過回歸損失函數Lreg、Lbox和分類損失函數Lcla、Lpro進行多參數優化。其中，Lcla和Lpro均采用交叉熵損失函數；Lbox采用Smooth-L1損失函數[13-14]。

將以上4個損失函數進行合并后，可得到總的損失函數Ltotal，具體表達式為[15]：

其中，當γ、γ和γ分別取值為0.18、1.47123和0.18時[16]。

網絡訓練中，通過Adam優化器對模型參數進行優化，batchsize大小設置為12；初始學習率設置為0.001。

通過訓練發現，在經過120次迭代后，因此，將最佳迭代次數設置為120。

3. 4評價指標

實驗采用精準率和準確率作為評價指標。準確率即算法預測的三維目標框a與真實三維目標框b的重合率得分（OS）。OS的具體表達式[17]為：式中：|×|為區域的體積。

3. 5實驗結果與分析

3. 5. 1消融實驗結果

（1）不同特征提取方式：為驗證本算法的特征提取效果，實驗將增加不使用相似度矩陣、不使用模板特征和添加搜索種子點的目標特征提取算法3種作為對比算法，將其與本算法進行對比分析[18-19]。

由此，得到不同特征提取方法的結果如表1所示。

由表1可知，所提算法特征提取方法的準確率和精準率分別為61.3%和69.8%，本方法的準確率和精準率明顯更高。

（2）對潛在目標進行篩選和置信度得分的有效性：為驗證所提方法對潛在目標進行篩選和置信度得分的有效性，實驗將對潛在目標進行篩選和刪除潛在目標中心的置信度得分，以驗證本方法的有效性。由此得到對比結果如表2所示。

由表2可知，沒有置信度得分的準確率和精準率分別取值為46.1%和53.2%；不進行篩選的準確率和精準率分別為49.4%和58.9%，進行潛在目標篩選和置信度刪除的準確率和精準率分別為61.7%和69.8%。對潛在目標進行篩選后，模型準確率和精準率分別提升了12.3%和10.9%；對潛在目標置信度得分將模型的準確率和精準率分別提升了15.6%和16.6%。說明采用本算法后可顯著提升提議質量，目標跟蹤精度也明顯提升。

（3）對不同提議數量的魯棒性：為驗證提出的聯合提議和驗證方法的魯棒性，實驗在不同數量的提議下，將本方法與傳統的SC3D方法進行對比分析，對比結果如圖4所示。

由圖4可知，在不同的提議數量下，本方法的成功率與準確率始終高于SC3D算法，且在僅有10個提議的情況下，本算法的工成功率和準確率依舊高于SC3D算法。由此說明，本算法可高效生成高質量的提議，在提議數量較少時，依舊可取得較高的穩定性和魯棒性。

（4）不同模板點云更新方式：為驗證提出的模板點云更新方法的性能是否有效，實驗將提出的融合第一幀與前一幀的預測結果與第一幀的真實值、前一幀的預測結果和融合前所有幀的預測結果進行對比分析，得到對比結果如表3所示。

由表3可知，提出的模板點云更新方法的成功率和精準率分別為62.1%和82.2%，相較于其他模板更新方法的準確率和精準率更高。

3. 5. 2定量實驗

為驗證提出的基于深度學習的溝渠監控與跟蹤算法的性能，實驗依舊將本算法與SC3D算法進行對比分析，得到2種算法的溝渠跟蹤結果如表4所示。

由表4可知，在相同幀數下，本方法的準確率和精確率分別為63.3%和86.9%，SC3D算法的準確率和精確率分別為38.7%和60.2%，相較于本方法低24.6個百分點和26.7個百分點。由此可知，本方法對溝渠的實時監控和跟蹤效果更好。

4結語

通過消融實驗、定量實驗和定性實驗分析可知，提出的面向目標特征提取方法可實現目標信息的有效編碼處理；進行目標中心投票和篩選后，獲取了有效的特征參數，也進一步驗證了提出的方法的有效性。實驗驗證可知，在相同的試驗場景下，本方法進行溝渠跟蹤的準確率和精準度均高于傳統的SC3D算法，本算法在點云密集和點云稀疏的情況下，依舊可取得較好的預測效果，其可視化分析結果與目標框十分接近。綜合分析可知，本算法可實現溝渠的實時監控和準確跟蹤，時間復雜度明顯低于其他算法。具有實際參考價值和應用意義。

【參考文獻】

[1]李子萬，范慧杰，王強，等.基于互相關-Transformer雙層特征融合的目標跟蹤算法[J].機器人，2024，46（1）：16-26.

[2]郭林，劉冉，藍發籍，等.基于激光與UWB序列匹配的目標跟蹤[J].控制與決策，2024，39（8）：2613-2621.

[3]楊璽，雷航，錢偉中，等.基于深度霍夫優化投票的三維時敏單目標跟蹤[J].航空兵器，2022，29（2）：45-51.

[4]李海鵬，聶朝陽.基于不確定區域的水下純方位目標跟蹤方案[J].電子與信息學報， 2024， 46 （1）： 109-117.

[5]毛煥，陳宇麟，嚴舒婷，等.結合重識別特征和運動預測的多目標跟蹤方法[J].無線電通信技術，2023，49（4）：740-745.

[6]葉文韜，劉鈞，李登峰.改進YOLOX-Tiny與DeepSort相結合的多目標跟蹤算法[J].西安工業大學學報，2023，43（3）248-259.

[7]陳汶銘，洪濡，蓋紹彥，等.基于特征融合和相似度估計網絡的三維多目標跟蹤[J].光學學報，2022，42（16）：175-184.

[8]楊佳峰，江瀟瀟，馬天鳴，等.基于粒子群算法的WSN多目標跟蹤能量均衡算法[J].火力與指揮控制，2023，48（3）：43-48.

[9]石健彤，王瑜，畢玉，等.基于注意力機制的特征融合孿生網絡目標跟蹤算法[J].傳感器與微系統，2024，43（8）：145-149.

[10]李曉艷，王鵬，郭嘉，等.基于雙注意力機制的多分支孿生網絡目標跟蹤[J].浙江大學學報（工學版），2023，57（7）：1307-1316.

[11]都立立，邢傳璽，萬志良，等.基于CKF-SLAM改進的無人水下航行器動態目標跟蹤算法研究[J].云南民族大學學報（自然科學版），2024，33（1）：102-110.

[12]魏冬梅.基于卷積神經網絡的移動網絡目標跟蹤與控制[J].沈陽工業大學學報，2023，45（3）：342-347.

[13]尹丹丹，劉強，侯曉凌.三維空間VR成像的小區域目標跟蹤仿真[J].計算機仿真，2023，40（5）：248-251.

[14]陳李田，張云，李宏博，等.基于隨機有限集的視頻SAR多目標跟蹤方法[J].空軍工程大學學報，2023，24（2）：77-82.

[15]楊柳，劉啟亮，袁浩濤.城市激光點云語義分割典型方法對比研究[J].地理與地理信息科學，2021，37（1）：17-25.

[16]王浩云，肖海鴻，馬仕航，等.基于MRE-PointNet+AE的綠蘿葉片外形參數估測算法[J].農業機械學報，2021，52（1）：146-153.

[17]李偉強，雷航，張靜玉，等.基于標簽分布學習的三維手部姿態估計[J].計算機應用，2021，41（2）：550-555.

[18]范德和，李新海，周恒，等.基于卷積神經網絡的設備運行狀態智能控制優化模型分析[J].粘接，2023，50（6）：179-182.

[19]朱譽，劉洋，于珍，等.多級智能技術安全校核母線負荷預測系統優化設計[J].粘接，2023，50（2）：176-179.