基于孿生網絡的輕量化單目標跟蹤算法研究

摘" 要：針對目前多數基于孿生網絡的單目標跟蹤算法模型參數大，難以在嵌入式平臺等移動端設備部署的問題，設計了一種基于SiamRPN改進的輕量化孿生網絡單目標跟蹤算法。算法使用裁剪過的MobileNetV3替換AlexNet作為特征提取網絡，降低算法的參數量；融合了MobileNetV3的高低層特征，整合不同尺度的特征信息，增強算法對目標多尺度變化的適應能力；使用GhostConv替換原網絡模型頭部的普通卷積，使用深度可分離卷積進行相關運算，在保證特征提取能力的同時進一步減少了參數量。在OTB數據集上進行測試的結果表明：改進后的算法在準確率上提高了1.6%，成功率提高了3.8%，模型參數量為2.9 MB，減少了98.3%，證明改進后的目標跟蹤算法模型具有顯著的性能優勢。

關鍵詞：SiamRPN；單目標跟蹤；輕量化網絡；特征融合

中圖分類號：TP301.6；TP183 文獻標識碼：A 文章編號：2096-4706（2025）03-0084-06

Research on Lightweight Single Object Tracking Algorithm Based on Siamese Network

LI Qinghua， ZHANG Xueqiu， ZHANG Yushan

（College of Mechanical Engineering， Chongqing University of Technology， Chongqing， 400054，China）

Abstract： Aiming at the problem that most of the Single Object Tracking algorithms based on Siamese Network have large model parameters and are difficult to deploy on mobile devices such as embedded platforms， a Single Object Tracking algorithm of improved lightweight Siamese Network based on SiamRPN is designed. The algorithm uses the clipped MobileNetV3 to replace AlexNet as the feature extraction network to reduce the number of parameters of the algorithm. It integrates the high-level and low-level features of MobileNetV3， integrates the feature information of different scales， and enhances the adaptability of the algorithm to the multi-scale changes of the object. GhostConv is used to replace the ordinary convolution of the head of the original network model， and the Depthwise Separable Convolution is used with for correlation operation， which further reduces the number of parameters while ensuring the feature extraction ability. The test results on the OTB dataset show that the improved algorithm improves the accuracy by 1.6%， and the success rate by 3.8 %. The number of model parameters is 2.9 MB， which is reduced by 98.3 %. It is proved that the improved object tracking algorithm model has significant performance advantages.

Keywords： SiamRPN; Single Object Tracking; lightweight network; feature fusion

0" 引" 言

目標跟蹤源于計算機視覺，以圖像、視頻數據為基礎，融合了圖像處理、模式識別、人工智能、自動控制等多個領域。近年來，人工智能快速發展，計算機視覺研究也屢獲突破，目標跟蹤的相關研究也進展顯著，并廣泛應用于安防監控、智能交通、人機交互、自動駕駛以及軍事偵察等諸多領域[1-2]。

單目標跟蹤的任務是給定第一幀用邊界框標記的感興趣目標后，在視頻的后續幀中自動給出目標的位置和形狀[3]。2010年以前，目標跟蹤算法主要構建于生成式模型之上，如卡爾曼濾波、MeanShift算法等。2010年開始，基于相關濾波的目標跟蹤算法快速發展，出現了KCF、MOSSE等算法，傳統相關濾波的檢測速度快，但是不會顯示保存訓練樣本，非最近幾幀樣本信息逐漸失效，會導致目標定位誤差增大[4]，隨后的相關濾波研究加入深度學習特征提取網絡，雖然精度提升了，但是檢測速度也大幅下降了。隨著時間推移，2016年以后，得益于計算機算力的顯著提高以及大規模深度學習數據集的涌現，基于孿生網絡的目標跟蹤算法開始備受關注。SiamFC使用全卷積孿生網絡進行相似性學習，來解決跟蹤任意對象的問題，實現了精度和速度間的平衡，在單目標跟蹤領域取得較好成績[5]。SiamRPN引入了區域建議網絡，通過預設錨框來解決目標尺度變化的問題，得到了更加精準的跟蹤框[6]。最近，基于Transformer的目標跟蹤算法在檢測精度上有了很大的提升，如SwinTrack和SeqTrack等算法。但它們的模型較大且計算復雜，SwinTrack的參數量和浮點運算量分別為22.7M和6.4GFLOPs。而SeqTrack-B256的參數量和浮點運算量則高達89M和66GFLOPs。這使得這些算法不適合在嵌入式平臺或移動設備上部署[7]。

隨著基于孿生網絡的目標跟蹤算法的不斷發展，這些算法在魯棒性和準確性方面表現出了顯著的優勢。然而，現有的單目標跟蹤算法通常存在模型參數龐大、計算復雜度高的問題，這使得它們在嵌入式平臺和移動設備上的應用受到限制。為了解決這一挑戰，提出了一種輕量化且高效的單目標跟蹤算法，旨在提升在資源受限環境下的應用性能。算法基于SiamRPN目標跟蹤算法，選用高效的MobileNetV3[8]作為特征提取網絡，以降低計算和參數負擔，同時保持良好的性能。此外，通過融合MobileNetV3的高低層特征，增強算法對目標多尺度變化的適應能力。為了進一步優化算法效率，將檢測頭部的普通卷積替換為GhostNet[9]中的GhostConv，并采用深度可分離卷積來減少冗余計算。

1" 算法結構設計

1.1" 算法整體架構

基于孿生網絡的輕量化單目標跟蹤算法結構如圖1所示。為實現這一算法，以SiamRPN為基準框架做了3點設計與研究：一是修改特征提取骨干網絡AlexNet為裁剪過的MobileNetV3；二是拼接融合MobileNetV3的深層特征和淺層特征；三是將頭部RPN網絡的普通卷積改為GhostConv模塊，并且將相關運算的普通卷積修改成了深度可分離卷積。

1.2" 特征提取網絡

在特征提取網絡部分，摒棄了原始SiamRPN中使用的AlexNet，轉而采用輕量化的MobileNetV3網絡，其模塊結構如圖2（a）所示。如圖2（c）所示，MobileNet系列首先由MobileNetV1引入了深度可分離卷積，將標準卷積操作拆分為深度卷積和逐點卷積兩個步驟，深度卷積負責對每個通道單獨進行特征提取，逐點卷積則用來融合通道間信息，如此一來，在大幅減少計算量的同時，還能保證模型的特征提取能力，而MobileNetV2在此基礎上增加了殘差結構，如圖2（b）所示，當網絡堆疊層數增多時，能夠有效緩解梯度消失問題，讓模型訓練更加順暢，同時允許網絡學習到更復雜的特征。隨后，MobileNetV3在MobileNetV2的基礎上引入了SENet（Squeeze-and-Excitation Networks）通道注意力機制，讓模型可以更加關注信息量最大的通道特征，而抑制不重要的通道特征。得益于深度可分離卷積等先進設計，MobileNetV3能夠以較少的參數和較低的計算量，高效地從輸入圖像中提取出具有代表性的特征，為后續的目標跟蹤流程奠定了堅實的基礎。

為了將MobileNetV3嵌入到孿生網絡的特征提取部分，并實現輕量化的特征提取網絡，對其堆疊的網絡結構進行了部分調整。去掉了網絡最后用于分類的部分，并且其特征提取部分僅選用前10層，修改了部分層的卷積步長，具體的相關參數如表1所示，以輸入圖像特征為255×255×3為例，最后通過卷積的輸出圖像特征為32×32×96。

1.3" 特征融合處理

由于MobileNetV3高低層特征所蘊含的不同尺度信息，因此，在采用MobileNetV3作為特征提取網絡的基礎上，設計了高低網絡層特征融合機制，將高層語義豐富但分辨率較低的特征與低層分辨率高但語義相對較弱的特征進行拼接融合，使得融合后的特征既能捕捉到目標的細節信息，又具備較強的語義理解能力，從而更好地應對目標在跟蹤過程中出現的多尺度變化情況。

在實際的處理流程中，采用了一種通道拼接的融合策略，具體方案如圖3所示。在上一小節改進的MobileNetV3網絡基礎上，選取其第4層的輸出特征圖，并提取出該網絡最后一層的輸出特征圖。隨后，將這兩個來源于不同層級的特征輸出，按照通道維度進行拼接融合操作。完成拼接后，考慮到后續計算成本、模型復雜度以及特征表達的精準度需求，進一步運用1×1的卷積核來對融合后的高維輸出進行降維處理，將輸出通道數量從136降低至96，在保留核心特征信息的同時，精簡了數據規模，為后續高效的模型運算創造了有利條件。

1.4" 輕量化頭部網絡

在目標跟蹤算法中，頭部網絡對于最終準確檢測和定位目標起著關鍵作用。為了進一步優化算法性能，同時降低計算資源的消耗，對原有的頭部網絡進行了輕量化改進，將其中的普通卷積替換為GhostNet中的GhostConv，并在相關部分采用深度可分離卷積減少相關計算量，實現方式如圖4所示。

GhostConv是一種高效的卷積方式，傳統卷積操作生成的特征圖中存在冗余信息，而GhostConv通過巧妙的設計旨在減少這種冗余，同時保留關鍵的特征表達能力。GhostConv處理輸入先進行1×1的卷積將輸出通道減半，并保留這次的卷積特征信息，然后進行卷積核為3×3大小的卷積，最后將輸出與之前的1×1卷積輸出進行拼接融合，每次的卷積操作默認添加了批量歸一化和激活函數。

2" 實驗方法與結果分析

2.1" 實驗平臺與數據集介紹

實驗使用的硬件平臺配置為AMD R5 5600G CPU，機身內存16 GB，英偉達GeForce RTX2080Ti GPU。軟件環境為Ubuntu 20，CUDA 10.2，Python 3.8，PyTorch 1.10.1。

模型驗證基于開源框架PySot修改，在模型訓練階段，為了確保訓練過程的有效性和結果的可重復性，batch-size設置為32，總的迭代次數（epoch）設置為20次，每次迭代訓練時，凍結前10個epoch中的骨干網絡參數，學習率在前5個epoch從0.001線性增加到0.005，在后續epoch中按對數下降到0.000 5，每個epoch的訓練批量設置為32，設置VIDEOS_PER_EPOCH為400 000，CLS_WEIGHT和LOC_WEIGHT的設置都為1.0。使用公開工具包PySOT-Toolkit對模型性能進行評估。

訓練使用的數據集是GOT-10K[10]，它依據WordNet50結構構建，涵蓋了87種不同的運動模型和560種常見目標。數據集包含了大約10 000個視頻片段和150萬個目標標注框。GOT-10K數據集首次將單樣本協議的訓練測試方法（One Shot Protocol）應用在目標跟蹤數據集，避免測試集和訓練數據集之間的重復，利于完成非特定目標的跟蹤任務，實驗設置GOT-10K的NUM_USE參數為100 000。

測試數據集使用OTB100[11]，它一共有100段視頻序列，對于每個視頻序列，都有一個文件，其中記錄了每一幀中目標位置的矩形邊界框信息，該數據集由10種不同類型的目標組成，依據在跟蹤過程中所遇到的挑戰，劃分為11類標簽，包括遮擋、變換、視野消失、尺度變換、面內旋轉、背景擾動、面外旋轉、快速移動、低分辨率、光照變化和移動模糊。OTB以這些標簽標記每個視頻，單個視頻可能有多個標簽，便于識別其屬性。

2.2" 評估數據集和評估指標

在OTB數據集評價指標中，遵循一次性評估協議（One-Pass Evaluation， OPE），選取準確率（Precision）與成功率（Success）當作評價指標[12]。在輕量性方面，將從改進后的PT模型大小參數進行對比考慮。

評價指標里的成功率Psuc，指的是預測邊界框跟人工標注邊界框的重疊率超出特定閾值的幀數在總幀數當中所占的比例，計算式如下：

（1）

式中，α表示閾值，IoU表示預測框與真實框的交并比。

準確率即預測框中心位置和真實框中心位置的間距δ小于特定閾值的幀數占總幀數的比例，其計算式為：

（2）

式中，β表示閾值，通常設置為20。

2.3" 消融實驗

為了評估不同改進策略對模型性能的作用效果，設計了一系列消融實驗。以經典的SiamRPN模型為基準，構建了如下幾種不同配置的改進模型：

1）模型A。作為對照，使用未經改動的原始SiamRPN架構，以此為后續改進效果評估提供基線參考。

2）模型B。在SiamRPN的基礎上，修改骨干網絡為MobileNetv3，并將頭部相關卷積部分使用深度可分離卷積。

3）模型C。在模型B的基礎上，加入MobileNetV3的高低特征融合機制。

4）模型D。在模型C的基礎上，將頭部的普通卷積改成GhostConv。

通過上述逐步遞增改進模塊的方式，精準測試各模塊單獨及協同作用下對整體網絡性能的提升貢獻，并將具體的模型消融實驗數據結果以直觀的曲線圖形式呈現，如圖5所示。

將訓練好的模型數據導出，查看模型參數量，結果如表2所示，根據實驗結果可知，改進后的算法相當于原模型準確率提升1.6%，成功率提升3.8%，PT模型大小減少了172.1 MB，僅有2.9 MB，改進后的單目標跟蹤算法模型能夠在準確率和成功率提升的同時，大幅降低模型參數量。

2.4" 對比實驗

通過將改進后的算法與傳統目標跟蹤算法進行對比，評估了其在單目標跟蹤任務中的性能，具體實驗結果如圖6所示。

為了更好地評估改良后的算法在復雜環境中的跟蹤性能，在實驗結果中導出了在OTB數據集上帶有四種不同場景標簽下的實驗測試結果，包括尺度變化、低分辨率、快速運動和光照變化，如表3所示。實驗結果展示了不同跟蹤算法在測試數據集OTB不同場景下的成功率和準確率。

詳細分析表3中的各項數據能夠清晰地發現，經過優化改進之后的SiamRPN算法展現了較好的性能表現。無論是在光照復雜多變的場景之中，還是面對目標快速運動、尺度變化等極具挑戰性的諸多場景下，該算法都始終能夠維持著相對較高的成功率以及準確率。進一步彰顯出改進后的SiamRPN算法在實際應用中的巨大優勢與潛力。

3" 結" 論

針對基于孿生網絡的單目標跟蹤算法大部分計算資源消耗較大的挑戰，提出了一種基于SiamRPN算法改良的單目標跟蹤算法。該算法通過修改特征提取網絡，改進卷積和相關的方式，更有效地提取與利用目標特征，提升了目標跟蹤的整體性能以及對復雜場景的適應能力。對實驗結果進行分析，得出以下結論：

1）改進后的算法相較于原SiamRPN算法，在公開的目標跟蹤數據集OTB上測試成功率提高了3.8%，準確率提高了1.6%，且模型的參數量減少了98.3%，顯著優化了算法對資源的利用效率，使其更適用于資源受限的應用平臺。

2）在與其他傳統目標跟蹤模型的對比實驗中，改進后的算法在不同場景下的成功率和準確率等關鍵性能指標上均展現出明顯優勢。未來，將著重聚焦于進一步優化特征融合策略，增強算法對復雜環境干擾因素的魯棒性，并持續探索更高效的輕量化方法，致力于實現算法在更多類型邊緣設備上的流暢部署以及實時性能的深度優化，以更好地滿足不同應用場景下的目標跟蹤需求。

參考文獻：

[1] 馬玉民，錢育蓉，周偉航，等.基于孿生網絡的目標跟蹤算法綜述 [J].計算機工程與科學，2023，45（9）：1578-1592.

[2] 王夢亭，楊文忠，武雍智.基于孿生網絡的單目標跟蹤算法綜述 [J].計算機應用，2023，43（3）：661-673.

[3] FU C H，LU K H，ZHENG G Z，et al. Siamese Object Tracking for Unmanned Aerial Vehicle： A Review and Comprehensive Analysis [J].Artificial Intelligence Review，2023，56（Suppl 1）：1417-1477.

[4] 侯艷麗，魏義侖，王鑫濤，等.復雜場景下一種改進的單目標跟蹤算法研究 [J].計算機仿真，2024，41（2）：300-305.

[5] BERTINETTO L，VALMADRE J，HENRIQUES J F，et al. Fully-convolutional Siamese Networks for Object Tracking [C]//Computer Vision-ECCV 2016 Workshops.Amsterdam：Springer International Publishing，2016：850-865.

[6] LI B，YAN J J，WU W，et al. High Performance Visual Tracking with Siamese Region Proposal Network [C]//2018 IEEE/CVF Conference on Computer Vision and Pattern Recognition（CVPR）.Salt Lake City：IEEE，2018：8971-8980.

[7] 丁奇帥，雷幫軍，吳正平.基于孿生網絡的輕量型無人機單目標跟蹤算法 [J/OL].航空學報，2024：1-16（2024-09-03）.http：//kns.cnki.net/kcms/detail/11.1929.v.20240902.1443.018.html.

[8] HOWARD A，SANDLER M，CHEN B，et al. Searching for MobileNetV3 [C]//2019 IEEE/CVF International Conference on Computer Vision（ICCV）.Seoul：IEEE，2019：1314-1324.

[9] TANG Y H，HAN K，GUO J Y，et al. GhostNetV2： Enhance Cheap Operation with Long-range Attention [J/OL].arXiv：2211.12905 [cs.CV].（2022-11-23）.https：//arxiv.org/abs/2211.12905.

[10] HUANG L H，ZHAO X，HUANG K Q. GOT-10K： A Large High-diversity Benchmark for Generic Object Tracking in the Wild [J].IEEE Transactions on Pattern Analysis and Machine Intelligence，2021，43（5）：1562-1577.

[11] WU Y，LIM J，YANG M-H. Object Tracking Benchmark [J].IEEE Transactions on Pattern Analysis and Machine Intelligence，2015，37（9）：1834-1848.

[12] 鐘曉偉，王志勝，叢玉華.基于輕量孿生網絡的無人機目標跟蹤算法 [J].彈箭與制導學報，2023，43（5）：25-33.

作者簡介：黎清華（2000—），男，漢族，重慶開州人，碩士在讀，研究方向：嵌入式和圖像處理；張雪秋（1995—），男，漢族，四川渠縣人，碩士在讀，研究方向：計算機軟件和自然語言處理；張雨珊（2000—），女，漢族，重慶人，碩士在讀，研究方向：計算機軟件。