基于暹羅結構輕量級網絡的目標跟蹤

徐文豪 張秀梅 王振興

摘? 要：隨著深度學習在計算機領域應用層次的不斷加深，在圖像分類、目標檢測和跟蹤等領域所使用的卷積神經網絡的深度也隨之加大。輕量級網絡的提出很大程度上解決了網絡模型過大的問題，已被廣泛應用到圖像分類、目標檢測等領域。文章設計一種新型無padding的暹羅結構輕量級網絡框架，融合SiamFC目標跟蹤框架，模型大小縮減為原算法的三分之一，精度和成功率分別提高0.34、0.12，跟蹤速度達到102幀/秒。

關鍵詞：輕量級網絡；暹羅網絡；目標跟蹤

中圖分類號：TP391? 文獻標識碼：A? 文章編號：2096-4706（2023）17-0084-04

Target Tracking Based on Siamese Structured Lightweight Network

XU Wenhao， ZHANG Xiumei， WANG Zhenxing

（School of Physics and Electronic Information， Dezhou University， Dezhou? 253023， China）

Abstract： With the continuous deepening of the application level of deep learning in the computer field， the depth of convolutional neural networks used in image classification， object detection， and tracking has also increased. The proposal of lightweight networks has largely solved the problem of excessively large network models and it has been widely applied in fields such as image classification and object detection. This paper designs a new type of non padding Siamese lightweight network framework that integrates the SiamFC target tracking framework. The model size is reduced to one-third of the original algorithm， and the accuracy and success rate are improved by 0.34 and 0.12， respectively， the tracking speed reaches 102 FPS.

Keywords： lightweight network; Siamese network; target tracking

0? 引? 言

計算機視覺是深度學習最熱門的研究領域之一，而目標跟蹤[1]又是計算機視覺領域的重要發展方向，其廣泛應用于視頻監控[2]、人機交互[3]等方面。當前主流的目標跟蹤算法分為兩類，一類是基于Siamese[4]網絡的目標跟蹤算法，采用Siamese的網絡結構進行跟蹤算法的設計，另一類是基于非Siamese網絡的目標跟蹤算法，對該類算法的研究通常是建立在相關濾波算法的基礎之上的。這一類算法大多是在相關濾波器的基礎上進行設計，但隨著算法的不斷改進，跟蹤速度與跟蹤性能無法達到良好的平衡，那些能夠有效平衡目標跟蹤速度與精度的SiamFC算法贏得廣大研究者的青睞。

SiamFC[5]提出全卷積網絡相似性學習的策略，采用大量監督數據進行網絡訓練，使得網絡模型能夠適應各種不同的跟蹤目標。SiamRPN借鑒了目標檢測中的RPN結構，在SiamFC的基礎之上引入RPN結構，一定程度上解決了目標框不靈活的問題。SiamRPN++采用一種新型采樣策略，打破了空間不變性的限制，在SiamRPN的基礎上成功應用深層網絡。SiamMASK也是第一次將目標跟蹤與分割聯系在一起，使得目標跟蹤向像素級別發展。

隨著深度學習的不斷發展，目標跟蹤性能在不斷提升的同時，其網絡結構層也在不斷加深，參數不斷增加，這為計算機訓練以及模型應用帶來很大的負擔。通常，移動端的內存量較小，而神經網絡訓練的網絡模型往往體積較大，這不利于網絡模型移植到移動端，無法實現更廣泛的應用。為有效解決這個問題，許多研究人員將研究方向轉為能夠產出同樣性能，但卻擁有更小參數模型的輕量級網絡。近些年，輕量級網絡在不斷發展的過程中，其訓練速度較快、部署簡單便捷的特點得到更多研究人員的關注。

1? 目標跟蹤算法介紹

目標跟蹤算法通過提取視頻或圖像序列的上下文信息實現對目標的建模，完成目標的外觀檢測與運動軌跡定位。本文算法是在暹羅與輕量級網絡的基礎上實現的，因此本章主要介紹暹羅網絡、輕量級網絡以及SiamNpd網絡的基本原理。

1.1? 暹羅結構網絡目標跟蹤

最近幾年，卷積神經網絡在深度學習領域展現出巨大的發展潛力，已廣泛應用于圖像分類、人臉識別、目標檢測等領域，其性能遠超傳統算法。在目標跟蹤領域，傳統算法通常使用跟蹤視頻進行在線學習，這種學習方式只能是淺顯地了解外觀模型，無法真正應用到目標跟蹤中。采用卷積神經網絡進行特征提取，以保證目標特征提取的全面性。但是卷積神經網絡通過全連接層進行輸出時，參數過大也會影響跟蹤效果。此后，有眾多研究者采用暹羅網絡[6]進行目標跟蹤，該網絡由兩個相同的分支組成，它們共享相同的參數和權重，可直接對卷積層特征進行處理，因而在目標跟蹤領域受到廣泛的歡迎。

暹羅網絡[7]第一次應用到目標跟蹤領域是借助SINT，SINT也是將目標跟蹤問題轉化為特征塊匹配問題的先導，SINT的參數量較多，所以跟蹤速度并不理想。真正引領研究人員關注孿生網絡的應該是SiamFC算法，該算法摒棄了傳統的FC全連接層，大大減少了網絡的參數，大幅度提高了跟蹤速度，同樣也是將目標跟蹤問題轉化為目標特征的相似性問題。然而，SiamFC的計算量過于龐大，只能在GPU中實時運行，所以它無法真正地應用到生產生活當中。

1.2? 輕量級網絡

輕量級網絡的出現是為了解決網絡模型參數過大的問題，在保持模型精度的同時，能夠減少網絡模型的參數量和復雜度[8]。

在輕量級網絡[9]中，被人們關注較多的有SqueezeNet系列、ShuffleNet系列和MobileNet系列。其中SqueezeNet的參數壓縮采用Fire模塊實現，并加入分離卷積予以改進。ShuffleNet提出了channel split操作，通過特征重用提高網絡的魯棒性。MobileNet網絡雖然深度變大，但準確率和實效性都能夠得到很好的保證。

1.3? SiamNpd網絡模型

暹羅結構網絡與輕量級網絡在很多領域取得不錯的效果，在目標跟蹤方面，如果我們能夠建立一個統一的跟蹤框架，將兩個網絡的優勢有機結合，則可以在提高算法性能的同時降低模型大小。截至目前，由于基于暹羅網絡結構的目標跟蹤必須滿足空間不變性，而絕大部分輕量級網絡都加入了padding結構，這就導致無法直接將輕量級網絡應用到暹羅網絡結構中。而且大部分目標跟蹤算法應用的還是偏大型的網絡模型，網絡模型的參數過大也會影響目標跟蹤的推理速度。

在此背景下，本文設計一種可以兼容輕量級網絡與暹羅網絡結構的輕量級框架，能夠發揮暹羅網絡在跟蹤方面的優勢，又能夠利用輕量級網絡在保持精度的同時減少網絡模型參數。

2? 網絡結構設計與實現

目標的檢測與跟蹤離不開卷積神經網絡[10]的實現，其中網絡結構也是目標檢測器[11]的核心內容。本節先對暹羅網絡實現的目標跟蹤進行介紹，再從本文算法的整體結構和核心網絡層展開論述。

2.1? 整體結構

如圖1所示為整體的SiamFC暹羅網絡結構，其中Backbone部分為我們所應用的新型輕量級網絡，其主要作用是對圖像進行特征提取。暹羅網絡可以分為上下兩個部分，上半部分為模板分支，下半部分為搜索分支，上下兩部分的Backbone共享相同的網絡參數，相較于傳統兩分支特征提取網絡降低一半的參數量。

首先將圖片預處理為127×127×3和255×255×3的模板圖像和搜索圖像。分別將模板圖像和搜索圖像輸入模板分支和搜索分支的Backbone進行特征提取，最終得到7×7×256的模板特征和22×22×256的搜索特征。之后再對兩部分特征進行卷積操作，最終得到17×17×1的特征得分圖。將特征得分圖最高點部分回歸到原圖即對應我們的跟蹤目標。圖1中的*表示卷積操作。

卷積操作計算式如下：

F（x，z） = φ（z）*φ（x）

其中，φ（z）、φ（x）分別表示提取的模板特征與搜索特征。

2.2? 網絡結構

如表1所示為Backbone網絡整體結構，包括兩個普通卷積層Conv1、Conv4，兩個1×1卷積層Conv2、Conv3，4個DW卷積層，以及兩個最大池化層。普通卷積層的作用是實現不同channel相同空間位置之間的信息交流以及增加channel數量，1×1卷積的作用主要是增加channel數量，減少參數量。DW卷積層的作用是在減小特征圖尺寸的同時減少參數量，降低運算成本。兩個池化層用于減小特征圖的尺寸。我們摒棄了卷積神經網絡中第一層使用的11×11大小的卷積核，改用3×3大小的卷積核。在進行特征提取時，為了避免邊緣特征等細節特征的遺失，所選用的卷積核尺寸不能過大，否則會對后續特征的利用造成很大影響，不利于跟蹤邊緣目標。在進行特征圖尺寸縮減的過程中，采用增加特征圖通道數量的方法彌補尺寸縮減對特征參數量及特征數量的影響。

2.3? 核心網絡層

如圖2所示為整體網絡結構圖，其中的Block為核心網絡層。如圖3所示為核心網絡層細節圖，核心網絡層包括1個1×1卷積和2個3×3DW卷積。

我們采用1×1卷積核對網絡的前半部分執行升維操作，從而保留更多的特征，緊接著使用兩個連續的DW卷積進行尺寸縮減，減少參數量，降低運算成本。網絡的每個分支都包括兩個Block，第一個Block用于將channel的數量從96提升到192，并且進行兩次DW卷積縮小尺寸，DW卷積不參與改變channel的數量。第二個Block用于將channel數量提高到384，并再次縮小尺寸。DW卷積可以對每個channel進行獨立卷積，但是無法進行通道間的信息交流，為了解決這一問題，我們最后加入一個卷積層Conv4，實現不同channel相同空間位置之間的信息交流，同時縮減channel數量。

3? 實驗結果

目標跟蹤算法的性能優劣主要由定性和定量兩方面的指標來權衡，本節給出了算法實現的環境搭建，并從定量和定性兩個方面對本文算法做出了評價與分析。

3.1? 實驗環境

開發平臺：跟蹤算法使用Python語言和PyTorch框架。

硬件支持：使用GeForce RTX 3060顯卡。

訓練過程：選取GOT10k數據集，共訓練50個epoch。

測試過程：選取OTB2015數據集，該數據集具有100個人工標注好的視頻序列，OTB2015數據集評估跟蹤算法性能的指標有兩個——跟蹤精度和成功率。跟蹤精度是指預測位置中心點與benchmark中標注的中心位置之間的像素距離。成功率是指預測目標與benchmark的重合程度。

3.2? 定量分析

我們基于不同的性能指標對本文算法與SiamFC算法進行了對比，主要有模型復雜度、精確度、成功率、平均FPS四個指標。

如表2所示，本文算法的模型復雜度縮減為原算法的1/3，精度上前者比后者提高了3.1%，成功率上前者比后者提高了0.9%。另外，本文算法在跟蹤速度上達到105幀/秒，有了明顯的提升。實驗表明，本文算法既能降低模型復雜度，又可以使算法性能得以提高，能夠確保目標跟蹤的實時性和精確性。

3.3? 定性分析

定性分析的關鍵在于不同場景下視頻序列的跟蹤效果，如圖4所示為本文算法的跟蹤效果圖。

跟蹤序列分別對應OTB2015數據集的CarScale、Dog、Shaking、Girl視頻序列，這四個視頻序列分別對應遮擋、尺度變化、光照變化、相似目標干擾四個目標跟蹤場景。可以看出，本文算法可以很好地適應各種復雜場景，能夠圓滿地完成目標跟蹤任務。

4? 結? 論

本文提出一種融合暹羅網絡的輕量級網絡模型，實現了在降低網絡模型復雜度的同時進一步提高算法性能的目標。另外，模型復雜度的降低也為網絡模型的移植提供了便利。在后續的研究中，我們會在此基礎上進一步提高跟蹤算法的準確率和跟蹤速度。

參考文獻：

[1] 王玲，王家沛，王鵬，等.融合注意力機制的孿生網絡目標跟蹤算法研究 [J].計算機工程與應用，2021，57（8）：169-174.

[2] 肖貴燈.基于計算機視覺算法的視頻智能監控與跟蹤系統研究 [J].自動化技術與應用，2021，40（6）：84-88.

[3] 王文斌，李琨.基于特征跟蹤的人機交互多點手勢識別仿真 [J].計算機仿真，2022，39（2）：176-179+370.

[4] 孫禾，陳一新.基于多標準和改進Siamese網絡的相似航班號判斷方法研究 [J].中國安全生產科學技術，2023，19（1）：47-53.

[5] 楊芷娟，唐燦，曹曉莉，等.基于改進Siam-HRNet算法的遙感影像森林覆蓋語義變化檢測 [J].自動化與儀器儀表，2022（7）：9-14.

[6] 陳磊，陳穎，李文舉，等.殘差塊改進暹羅網絡的遙感圖像配準 [J].計算機仿真，2022，39（3）：224-229.

[7] 朱利華，朱玲玲.基于暹羅網絡的云計算隱私保護算法 [J].西南師范大學學報：自然科學版，2021，46（7）：84-89.

[8] 李運寰，聞繼偉，彭力.高幀率的輕量級孿生網絡目標跟蹤 [J].計算機科學與探索，2022，16（6）：1405-1416.

[9] 洛怡航，趙振宇，胡銀記，等.基于孿生網絡的輕量級高速跟蹤算法 [J].電光與控制，2022，29（1）：51-55+79.

[10] 宋云博，陳冬艷，郝赟，等.基于級聯卷積神經網絡的高效目標檢測方法 [J].計算機工程與應用，2021，57（5）：139-145.

[11] 李頎，陳哲豪.基于改進單次多目標檢測器的果面缺陷冬棗實時檢測 [J].江蘇農業學報，2022，38（1）：119-128.

作者簡介：徐文豪（1996—），女，漢族，山東臨沂人，助教，碩士，研究方向：目標檢測與跟蹤。