一種基于改進RT-MDNet的全景視頻目標跟蹤算法

王殿偉,方浩宇,劉 穎,伍世虔,謝永軍,宋海軍

(1.西安郵電大學 通信與信息工程學院,西安 710121； 2.武漢科技大學 信息科學與工程學院,武漢 430081；3.中國科學院 西安光學精密機械研究所,西安 710119)

目標跟蹤是在視頻序列中給定第1幀目標位置信息后，能夠估計之后視頻幀中同一目標位置與尺度信息的算法，在智能交通系統、監控系統等領域都有廣泛的應用[1].目標跟蹤算法受相似背景干擾、目標遮擋、目標尺度變化等因素的影響，導致精度較差和適用性較差，因此，如何提高目標跟蹤算法魯棒性和準確性是一項挑戰[2].

近些年來深度學習的運用，使計算機視覺領域的發展更為迅速.Nam等[3]提出了MDNet，使用了卷積神經網絡結構，用于學習目標的通用特征表示.Yun等[4]結合監督學習和強化學提出ADNet，訓練網絡學習識別目標，通過強化學習預測目標的變化姿態及尺度，算法較好地解決了尺度變化的問題，但精度不佳.Li等[5]將Siamese FC與RPN網絡相結合提出Siamese RPN，利用相關濾波的方法提升了跟蹤精度，具有實時的性能，但算法易受到背景的干擾.Jung等[6]在MDNet的基礎上提出RT-MDNet，設計損失函數和采用自適應的RoIAlign，簡化特征提取網絡結構，在保持了相同精度的同時，將速度提升了近25倍，但是算法對于目標尺度變化估計很局限，無法直接應用于全景視頻圖像的目標跟蹤.

針對上述問題，本文提出了一種利用長短期記憶網絡(Long Short-Term Memory, LSTM)改進RT-MDNet的目標跟蹤算法，改進算法增大網絡的輸入以適應全景圖像的輸入特征，調整生成樣本尺度，訓練網絡能更好地適應全景圖像的目標形變，提高網絡跟蹤精度.在原有的網絡結構中增加尺度變化模塊，利用LSTM網絡學習尺度變化過程，結合之前視頻幀的位置信息，自適應地調整當前視頻幀的尺度變化程度，以適應全景圖像中目標跟蹤的尺度變化和目標形變問題.算法很好地提高了跟蹤精度，保持了一定的運算速度.

1 全景視頻的目標跟蹤

全景數據具有更高的分辨率，同時伴隨著更復雜的場景和更高的計算要求，目標對象與攝像頭相對運動時，距離的變化在跟蹤中會以尺度變化的方式反映出來，當目標對象與攝像頭距離越靠近,這種尺度變化程度會更嚴重[7].RT-MDNet算法對于尺度變化的映射較為簡單，不能很好地適應全景視頻中的變化幅度，訓練RT-MDNet用于全景視頻序列的目標跟蹤時，實驗結果如圖1所示.

圖1 不同場景下出現的尺度變化問題

圖1中為原網絡輸出結果與真實值，實驗結果覆蓋的多個場景均出現了很大程度的尺度變化，而改進前原網絡應對尺度變化的能力很弱，需要分析全景圖像成像方式和數據特性，針對全景數據調整網絡結構，使其具有更好的適用性和應對尺度變化的能力.

1.1 本文算法流程框架

RT-MDNet使用BoundingBox regression方法對邊框進行調整，BoundingBox regression根據第1幀真實值和預選值做線性映射改善目標尺度變化.在全景視頻中尺度隨著目標的運動有規律的變化，在跟蹤過程中僅使用第1幀做線性映射難以估計目標的尺度變化.針對已有算法應用于全景圖像目標跟蹤時，跟蹤精度較低且尺度變化適應性差的問題，提出了一種基于改進RT-MDNet的全景視頻目標跟蹤算法.隨著視頻序列的移動，依據LSTM網絡擁有長時間記憶單元的優勢，結合不同頻幀之間的尺度變化信息，利用神經網絡學習數據集中尺度變化的方式，算法的整體流程如圖2所示.

由圖2可知輸入圖像經過共享的3個卷積層提取特征圖，經過Adaptive RoIAlign提取出預選框特征送入全連接層區分前景背景，最后目標框經過LSTM網絡自適應的選取目標框尺度，LSTM網絡輸出最終的改進結果.網絡整體參數針對全景數據進行改進，使網絡更加適用全景數據的特性，使用Adaptive RoIAlign進行特征提取降低了計算成本減少了卷積過程損耗，利用區域間的損失函數加強了網絡對于相似目標的區分能力，提升了網絡的跟蹤精度.

圖2 本文算法整體網絡框架

1.2 實例間區分的損失函數

RT-MDNet的損失函數引入了實例，在區分目標背景的同時，可較好地在特征空間中將不同視頻序列的目標進行區分.RT-MDNet的最后一個全連接層根據輸入的視頻序列在線調整參數，輸出網絡得分，并通過Softmax區分目標對象與背景干擾，通過另一個Softmax區分不同視頻域之間的目標類.整體的損失函數L為

L=Lcls+α·Linst,

(1)

式中Lcls和Linst分別為目標背景二分類和實例嵌入的損失函數，α是控制兩個損失函數之間的超參數.

(2)

式中:yi∈{0,1}2×D是真實值的one-hot編碼，對應在視頻序列d中c個類別的輸出為1或是0.實例間的損失函數由下式給出:

(3)

式中:+d為損失函數中實例嵌入的損失只由正樣本給出，算法引入了當前序列的實例特征，使當前序列中的目標分數變大，其他序列目標分數變小，用以區分其他類似對象對目標的影響.

1.3 Adaptive RoIAlign

目標跟蹤與目標檢測中常用RoIPooling作為區域特征的映射方式[4,8]，通過RoIPooling將目標預選區域通過卷積的方式映射到固定尺寸的特征圖，然后進入全連接層進行分類和預選框回歸操作.RoIPooling的局限性在于，映射的過程中會出現兩次量化的過程，量化的過程會損失掉一部分特征信息.目標足夠大的時候這種損失可以忽略，然而全景視頻中由于其成像特性，距離稍遠的目標會呈現得很小，在持續的目標跟蹤中細小的誤差將會持續累積，小目標出現頻繁時這種損失對原有特征產生很大的影響從而導致目標丟失.

為了解決這一問題，MaskR-CNN[9]對RoIPooling改進，提出了RoIAlign，在遍歷預選框時不再進行量化操作，而是通過雙線性插值來得到近似特征，以實現對目標更精準地定位.RT-MDNet采用的Adaptive RoIAlign方式與MaskR-CNN相似，雙線性插值的步長由輸出的RoI feature的大小決定，顯著提高了跟蹤算法的性能.RoIAlign整體流程如圖3所示.

圖3中預選框經過卷積提取到的RoI尺度為W×H，預期經過RoIAlign得到的RoI尺度為W′×H′，[·]是舍入算子通過卷積操作得到最終的輸出.Adaptive RoIAlign圖層生成7×7的特征圖，并在圖層之后應用Maxpooling最終生成3×3的特征圖.在本文算法中采用Adaptive RoIAlign方法映射特征圖，加強算法對于全景視頻中小目標跟蹤的魯棒性.

1.4 LSTM

Hochreiter等[10]于1997年在RNN網絡基礎上提出LSTM網絡.LSTM通過引入更新門、遺忘門和輸出門，同時考慮了時間序列的機制，解決了RNN網絡中的梯度消失問題，LSTM網絡已經在目標檢測，目標跟蹤領域中取得了很好的成果[11].在跟蹤中對目標框進行調整時如果只知道當前輸入，所輸入的信息對尺度變化的估計是不夠精確的，利用LSTM的記憶單元連接先前的信息結合到當前任務中，可以更好地調整原始網絡的輸出目標框尺度.

圖3 Adaptive RoIAlign特征映射流程

LSTM在t時刻隱藏單元為:

Γu=σ(Wu[a〈t-1〉,x〈t〉]+bu),

(4)

Γf=σ(Wf[a〈t-1〉,x〈t〉]+bf),

(5)

Γo=σ(Wo[a〈t-1〉,x〈t〉]+bo).

(6)

式中:Γu、Γf和Γo分別為更新門、遺忘門和輸出門，σ為sigmoid激活函數，a〈t-1〉為上一時刻的輸出，x〈t〉為當前時刻的輸入，Wu、Wf、Wo和bu、bf、bo分別是不同門的參數與偏差項.更新門和遺忘門控制記憶細胞的更新，更新門記錄當前的尺度，遺忘門選擇保留更顯著的特征，在記憶細胞中保留之前視頻幀的尺度變化，記憶細胞公式由下式給出:

(7)

(8)

a〈t〉=Γo*tanhc〈t〉，

(9)

式中:c〈t〉是經過輸出門Γo得到當前網絡的輸出a〈t〉.本文設計的網絡結構由3層LSTM和1個全連接層組成，整體的預測網絡結構如圖4所示.

圖4 LSTM網絡結構

目標在全景視頻中的尺度變化方式受其位置因素的影響，變化模式較為單一.深層次的LSTM網絡利用多層的神經網絡從多個不同維度理解尺度特征的變化，在多個層次中分解輸入尺度特征，低維度輸入映射到高維度相當于將低維特征分解到多個維度，再利用高維度的特征擬合全景視頻尺度變化方式，在高維空間中學習運動規律，更容易學習并且能達到更高的準確率.隨著視頻幀的進行，LSTM學習在不同時刻多維度的尺度表達并將其特征保留在記憶細胞中，從高維度學習解決尺度變化的問題.

神經網絡中增加網絡層數可以擬合更加復雜的映射，因此增加神經網絡深度是網絡搭建中有效的優化方式.但是過深的神經網絡不僅會造成過擬合，而且會造成計算資源的浪費.為平衡網絡計算復雜度以及追蹤的精度，本文設置3組實驗來驗證LSTM的層數選擇，LSTM分別為2層、3層、4層.網絡中使用盡可能少的神經元數量達到需求的準確率是搭建結構中的重點.在實驗中采用Adam算法優化網絡訓練，針對歸一化的數據采用tanh激活函數，在多次實驗中衡量損失值的變化趨勢調整學習率和訓練批量，使損失值下降的更為平滑，并且梯度向最優方向迭代.通過實驗對比網絡節點數對精度的影響，本算法選擇先分解輸入特征再聚合的網絡結構，最后通過全連接層輸出目標框.圖5為選取一部分實驗數據進行網絡預訓練的實驗結果圖.

圖5 不同網絡層數損失值和精度結果對比

圖5中分別代表2層、3層、4層LSTM網絡在訓練中的損失值與精度的變化曲線.3次實驗中均選擇相同的實驗數據和網絡參數，2層LSTM網絡損失值局部收斂得更快一些，在精度和損失值趨于平緩時準確率并不理想.2層網絡在訓練中受深度的限制，精度提升緩慢原因在于提取的特征少，處于當前最優的情況，損失值不再下降.3層和4層的LSTM趨近于收斂后，可以達到更低的損失值和更高的準確率，3層的LSTM在達到準確率要求的同時運用了更少的計算資源.

表1 3種網絡結構參數量對比

原網絡輸出每幀目標的位置信息和尺度信息，利用LSTM網絡的記憶特性結合之前幀的位置信息和尺度信息，學習當前幀的目標尺度變化.輸入經過3層LSTM網絡得到輸出a〈t〉，a〈t〉再經過全連接層得到當前網絡的尺度變化.圖6為改進后LSTM網絡的目標框與原網絡輸出目標框的結果.

圖6 原網絡與改進網絡實驗結果對比

圖6(a)為原網絡輸出結果，圖6(b)為改進網絡的輸出結果.由圖可知目標由近及遠的過程中出現了大幅度的尺度變化問題，原網絡難以適應尺度變化，經過改進的網絡在跟蹤中能自適應調整目標框尺度，取得更好的跟蹤效果.

2 實驗結果與分析

目前常用的目標跟蹤算法都是基于公開數據集，如OTB[12]，VOT[13]等數據集，盡管在公開數據集中可以獲得特征表達，但由于數據集場景還是較為單一，導致在跟蹤方面的有效性受到數據集的限制.為了在全景數據上有更佳的表現力，就需要可用于訓練和測試的全景數據集.為了解決上述問題，本文建立了用于目標跟蹤的全景數據集，該數據集包含標注了多個場景、不同時間(白天、夜晚)條件下的行人、車輛等數據，可以實現神經網絡端到端的訓練.所有訓練及測試數據集均為泰科易720 Pro七目全景相機采集所得，分為4個類別進行了標注，處理后的圖片分辨率2 000×1 000.

硬件配置為CPU Intel Xeon E5-2620v4×2，顯卡GPU NVIDIA Titan XP×4.在Ubuntu系統中使用Python作為實驗平臺，訓練的LSTM網絡用Keras框架搭建.

2.1 主觀分析

為了評估算法在全景圖像中的有效性，本文選取了多個不同場景不同目標的全景視頻作為測試數據，并與MDNet，ADNet，RT-MDNet和Siamese RPN算法的跟蹤結果做主觀和客觀分析.實驗結果中全景視頻序列涵蓋了目標變形，目標旋轉，光照變化，長時間跟蹤等諸多現實挑戰情況，為了突出對比性能結果的好壞，對整幅全景圖進行了截取，并選取出其中具有較復雜的尺度變化問題的視頻序列.結果圖中不同的線型代表不同的跟蹤算法中的目標框，其主觀結果如圖7所示.

圖7 4個不同場景下不同算法結果對比

圖7(a)至(d)分別為自行車、汽車、夜晚和白天的行人視頻序列，序列中均出現了較大程度的尺度變化和外觀變化.在圖7(a)序列中目標旋轉和光照的影響比較大，MDNet和ADNet不能很好地應對這種變化，出現了跟蹤丟失的情況，本文算法對受光照影響的目標跟蹤效果較好.圖7(b)序列中物體出現了劇烈的旋轉和尺度變化，ADNet和Siamese RPN具有應對尺度變化的模塊，在圖7(b)中對于尺度變化的適應比RT-MDNet和MDNet稍好一些，但是在全景數據上依然很難達到很好的視覺效果，本文改進算法也能較好地適應這種情況.圖7(c)中5種算法均有較好的準確率，圖7(d)中Siamese RPN在受到具有相似特征的背景干擾時發生了目標丟失的情況，本文改進算法在準確跟蹤目標的同時，目標框能夠結合之前視頻幀自適應的變化.圖8、圖9和圖10為采用本文算法得到的完整實驗結果與真實值對比及其跟蹤目標的放大圖.

由圖8可見，全景視頻序列中小目標較為普遍，小目標尺度變化程度不明顯，本算法在應對全景視頻中的小目標時，依然能夠準確穩定地追蹤，具有較好的魯棒性.

由圖9可見，在多個目標交叉運動時，雖然受多個相似目標的影響出現了小幅度的漂移，但在后續視頻幀中仍然可以穩定跟蹤目標對象.本算法在區分相似的群目標時，能持續跟蹤選定目標，具有較好的自適應跟蹤能力.

圖8 小目標情況下的實驗結果

圖9 多個目標交叉運動的實驗結果

圖10中出現了目標遮擋的問題，對跟蹤結果產生了一定的影響，但接下來的視頻幀目標重新出現改進算法能夠繼續跟蹤目標，本算法在應對遮擋問題上仍有不錯的表現.

綜上所述，RT-MDNet與MDNet都達到了很好的精度，但缺少對目標尺度變化的估計.ADNet和Siamese RPN具有應對尺度變化的能力，但是不能滿足全景數據的目標變化.在速度上全景圖像由于具有很高的分辨率所以很難達到實時的要求，本文算法在應對不同光照條件、不同目標時可以較好地應對目標的尺度變化，并提供了準確率和重疊率.

圖10 目標遮擋情況下的實驗結果

2.2 客觀分析

為了評估算法性能，利用重疊率(Intersection over Union，IOU)和距離精度作為客觀分析指標來評估算法.重疊率表示跟蹤結果與真實值重疊部分與整體之間的比值，距離精度表示跟蹤結果中心位置與真實值結果中心位置的歐氏距離.評估性能時須得到當前幀重疊率和距離精度，當大于一定閾值判定為預測準確，判定為預測準確的視頻幀與整體視頻幀的比率稱之為成功率和精度.在全景圖像數據集上試驗得到預測結果IOU和目標框，可視化為曲線圖11.計算兩個標準中不同閾值所對應成功率和精度來生成這兩個對比圖，根據其中的成功率和準確率得分對跟蹤器進行排名.

圖11 4種算法在全景數據集上的測試結果

圖11給出RT-MDNet、MDNet、ADNet和Siamese RPN，4種算法與本文改進算法精確率和成功率的比較.ADNet丟失目標的視頻幀較多，所以在精度圖中的表現較差，而在成功率圖中IOU高于RT-MDNet和MDNet.Siamese RPN應對尺度變化的能力強于其他4種算法，但成功率略低于MDNet和RT-MDNet.從圖11中可以看出本文改進算法在精度測算圖和成功率測算圖中對于原算法均有明顯的提升.表2中給出各算法在歐氏距離閾值為20像素時跟蹤器的精確率，IOU大于閾值0.5時跟蹤器的成功率，數據集距離精度的平均值，即平均中心位置誤差和基于全景數據集的平均FPS.

由表2可知，由于全景圖像具有較大的分辨率，復雜的目標形變和尺度變化，導致RT-MDNET精確率只有80.1%，成功率只有51.6%，本文算法適應了全景數據特性，通過采用LSTM算法減少尺度變化對目標跟蹤網絡產生的影響，降低了跟蹤難度，從而提升了算法跟蹤性能.最終，本文算法精確率為86.9%，成功率為79.9%，速度也優于ADNet與MDNet.

表2 各算法在不同指標下性能對比

綜上所述，RT-MDNet與MDNet都達到了很好的精度，但在應對尺度問題時難以適應變化程度.ADNet在應對尺度變化的問題強于前者，但還是達不到對于全景數據的需求.Siamese RPN較好地應對了尺度變化的問題，但相關濾波方法容易受到相似特征背景的影響導致精確率較低.通過以上對比試驗可以得出,經過LSTM網絡的本文算法在主觀標準和客觀標準上均有很大的提升，在應對不同光照條件，不同目標時可以較好地應對目標的尺度變化和遮擋，并提高了在全景圖像上的準確率和重疊率，跟蹤效果明顯提升.

3 結 論

為了解決基于全景數據集的目標跟蹤的問題，本文提出了一種基于RT-MDNet和LSTM網絡的全景圖像跟蹤算法，采用卷積神經網絡提取特征，并利用RoIAlign方法來減少卷積過程中對特征區域的損耗，增強網絡的魯棒性；使用區分多視頻序列間目標的損失函數，使網絡可以更好的區分相似目標加強網絡的適用性；設計LSTM網絡自適應地選取邊界框的尺度，針對數據集改進網絡結構，以應對全景數據中出現的目標形變和尺度變化問題，最終輸出目標位置信息.

實驗結果表明，本文算法具有較高的跟蹤精度，能夠在目標扭曲、旋轉劇烈、目標運動快、背景相似干擾等多種挑戰下長期穩定地跟蹤目標，在保持了精度的同時對全景數據的IOU得分實現了有效的提高.但是由于全景圖像分辨率較大的原因，伴隨著運算量大的問題，導致算法速度受到限制，目前還難以滿足實時的需求.進一步裁剪網絡、優化算法、實時處理將會是以后的重點研究方向.