基于行蹤標識量的跨監控探頭軌跡預測方法

袁 首,喬勇軍,王麗媛,陳青華

(海軍航空大學, 山東 煙臺 264001)

0 引言

在智能監控、自動駕駛、航班飛行[1]等應用領域中,對監控探頭中的軌跡進行預測是一個熱點且具有挑戰性的問題。但目前該領域的工作集中于單監控探頭軌跡預測,即在同一監控探頭視圖下的未來預測,使得模型無法預測目標如何進入到新場景[2],并且限制在1～5 s的短期軌跡預測[3]。為了解決這個問題,首次提出了跨監控探頭軌跡預測問題,即利用軌跡來預測目標接下來將在哪個監控探頭中出現,何時出現以及在視圖中的何處出現,這和以往的工作不同,之前使用軌跡信息進行行人重識別或是跟蹤是后置性的,而這次是先驗性的,便于監視人員提前做出預警和判斷。

首次考慮在跨監控探頭設置下的軌跡預測,其關聯到數據集使用、行人重識別、監控探頭軌跡預測等內容,而當前最新相關領域研究并不一定完全適用。在數據集方面,使用鳥瞰角度收集的行人軌跡預測的數據集如UCY[4]、ETH[5]、Stanford Drone等[6],只在單監控探頭下適用;其他諸如Duck-MTMC等[7]多監控探頭的數據集無法公開提供。因此對于本問題的應用場景,使用一個專門應對于跨監控探頭軌跡預測數據集(across-monitoring vidicon trajectory prediction dataset,AMVTP)[8]。在行人重識別方面,絕大多數工作集中在圖像級匹配上,只使用了視覺線索[5,9];在Market-1501[10]數據集上,rank 1的行人重識別表現從2015年的47.3%[10]提升到2019年的96.8%[11],但在匹配之前,必須首先對人進行檢測和跟蹤,需要在一個大型監控探頭網絡上同時運行,會造成計算成本的高昂;Wang等[12]證明,通過回溯性地利用軌跡信息和視覺特征,可以在流行的Duke-MTMC數據集上獲得最有效的結果;但注意,以上的行人重識別均是后置性的,即在目標出現之后進行識別抓取,而非本文提出問題中先驗預測性的考量。在單監控探頭軌跡預測方面, Social lstm[13]、Social gan等[14]方式在結合池化層的影響時被提出;關注于通過提取社會交往特征的Sophie[15]則用來避免在群體運動中與他人的碰撞;從非最低點視點提取人體姿態[16]以及利用光流[17]也考慮到了將環境約束應用于軌跡預測。在多監控探頭方面,考慮到包含檢測、跟蹤和行人重識別的大計算需求,將其應用在跨監控探頭軌跡預測網絡中是一個挑戰。Jain等[18]研究了縮放監控探頭跟蹤對大型網絡的影響,并表明將搜索空間過濾到高流量區域可以以很小的召回成本來減少搜索空間;Alahi等[19]設置密集的監控探頭組來預測目標的出發地和目的地,其使用最低點視點和深度傳感器在坐標空間來繪制軌道;喬少杰等[20]使用序列頻繁擴展的方式來把閾值以上的連續軌跡作為軌跡值從而實現軌跡的預測匹配;Hsu等[21]反應性地利用了軌跡信息,使得跨監控探頭視圖匹配對象的次信息來源用于補充現有基于外觀的模型。

基于此,以跨監控探頭軌跡預測的新問題為背景,引入了行蹤標識量的思想,提出了相應系統模型將問題予以解決。該問題包括目標接下來將在哪個監控探頭中出現,何時出現,在視圖中何處出現3個任務。解決問題的模型使用到了本文構建的用來代替坐標的行蹤標識量,其可以將跨監控探頭的視點劃分為不同的網格單元,直觀地為不同未來位置建模,且易于表示任意數量視點中的目標位置。最后通過搭建的模型,先驗性的在物體進入下一個監控探頭視圖之前預測其未來一系列信息。實驗驗證表明,該方法可以很好地解決相關問題,并且對該領域的前期研究做出了一定貢獻。

1 問題描述

1.1 目標接下來將在哪個監控探頭中出現

在給定的B(s-n:s)中,尋找C的一個子集,目標可以出現在將來任意的timestep中(最多為m),同時也可以在C中任意數量的監控探頭中出現。這是一個分類問題,需要得到每個監控探頭中出現目標的概率,P(ci|B(s-n:s)),ci∈C,每個預測的概率值均在0～1。更確切的說,輸出的是一個長度為k的向量,[P(c1|B(s-n:s)),…,P(ck|B(s-n:s))]。

1.2 目標將何時出現

1.3 目標將在視圖中何處出現

在上述兩步的基礎上,需要對目標進行空間定位。將每個監控探頭的視圖劃分成長×寬為l×w的網格,并定義每個單元網格rxy中出現目標的概率為P(ci,sj,rxy|B(s-n:s)),其中x=1,…,l以及y=1,…,w。因而,本問題輸出的是一個k×m×l×w的四維張量Z,包含概率P(ci,sj,rxy|B(s-n:s)),其中ci∈C,j=1,…,m,x=1,…,l以及y=1,…,w。

2 模型構建

將首先闡述行蹤標識量的構建,再以此為基礎針對問題提出相應的解決模型。

2.1 行蹤標識量的構建

當下主流的軌跡表示是通過坐標來標記[13-15],如(x,y,l,w)s,表示在timestep為s時目標的位置以及長寬。但是這種標記方法有一定的缺陷,例如該方法不定義零軌跡,即當目標被遮擋導致檢測算法失效時,坐標就不可用;同時坐標軌跡的方法只能表示從一個監控探頭觀察到的軌跡,除非所有對象均在所有監控探頭中可見,也需要精確測量監控探頭的位置以及內在的參數,但并不總是可以實現的;最后由于軌跡預測任務具有的確定性,導致無法應對目標在某一點可以有多個移動方向概率的多模態情形。

由于上述的不足,本研究中提出了一種跨監控探頭的行蹤標識量構建方式,來彌補缺陷,更好地服務于問題的解決,構建方式如下。

圖1 目標出現示意圖Fig.1 Target appearance diagram

2) 對于每個監控探頭ci的視圖,把其中檢測到的目標用Bounding Box框出,并用Bi代表。如圖2所示。

圖2 各探頭檢測目標示意圖Fig.2 Schematic diagram of each vidicon detecting targets

3) 針對每一個Bi,將其轉化成大小為l×w的矩陣熱圖Hi,其中每個單元格都是一個二進制的值,用0和1表示其中是否存在該目標。目標可以依據其大小占有任意數量的網格單元,如圖3所示。

圖3 各探頭矩陣熱圖示意圖Fig.3 Matrix heat map of each vidicon

4) 將得到的k個監控探頭矩陣熱圖按照監控探頭尺寸堆疊,并沿m個timestep長度展開,使用高斯核平滑熱值,使得每個單元格的值在0～1,最后得到大小為k×m×l×w的行蹤標識量F。其表示在多個監控探頭視圖中的目標軌跡,可以表示的目標位置包括過去的輸入和未來的預測。如圖4所示。

圖4 行蹤標識量F示意圖Fig.4 Track identifier F schematic diagram

提出的行蹤標識量,表示直觀方便,可以代表空軌跡,取代了之前丟棄數據或者使用占位符值的方式;也可以在多個監控探頭視圖中展現;同時考慮目標的尺寸大小變化,使其可以占有多個網格單元,這是相比于以往單監控探頭表示效果的提升。

2.2 解決模型的構建

定義一個解決跨監控探頭軌跡預測問題的系統模型:AMVS+。接3.1的內容,基于行蹤標識量思想所構建的模型需要對所有監控探頭均可使用,這種統一化的思想使得解決“哪個”、“何時”、“何處”問題更加的簡便,并且容易擴展。

如圖5所示為AMVS+模型的整體架構圖,其包含處理模塊和預測模塊兩大部分,當帶有矩陣熱圖的行蹤標識量輸入到處理模塊后,基于預激活ResNet-200的3D CNN對其進行數據處理,之后把處理得到的信息傳遞到預測模塊中,根據目的的不同經過FC層、1D-tCNN層或者3D-tCNN層輸出“哪個”、“何時”以及“何處”問題的答案張量。

圖5 AMVS+模型架構圖Fig.5 AMVS+ model architecture diagram

2.2.1處理模塊

處理模塊由conv1、Max Pooling池化層和Big block三部分構成。conv1接收矩陣熱圖來進行卷積運算,其中卷積核大小為7×7×7,通道數為64,并以2個步長對輸入進行時空下采樣。之后采用大小為3×3×3的Max Pooling方法來對信息中有目標相互影響的情況進行綜合分析,過濾無用信息,保留有用特征。得到的信息輸入到Big block中進行最后一步時空采樣處理,其是由經過預激活ResNet-200結構構成的一種3D CNN的組合,結構簡單有效,基礎模塊命名為little block,如圖6所示。

圖6 little block示意圖Fig.6 Little block schematic diagram

每一個little block都由3個卷積層組成。第一和第三卷積層的核尺寸為1×1×1,而第二卷積層的核尺寸為3×3×3。但是第3個卷積層的通道數是一和二的4倍,主要起到先降維減少運算量,后升維輸出的作用。預激活ResNet架構按照Batch Normalization、ReLU和卷積順序組成。shortcut pass快捷通道將塊的頂部跳級鏈接到塊中最后一個卷積層之后的層。使用的這種預激活方式,有助于優化訓練,并減少過度擬合,而且由于這些連接通過網絡的梯度流從后期層到早期層,可以促進非常深層網絡的訓練。先由little block按照通道和重復方式構成conv2_x、conv3_x、conv4_x和conv5_x四部分,其通道數F和重復次數N構成的數據對(F,N)分別為(64,3)、(128,24)、(256,36)、(512,3),再由這4部分順序連接構成Big block。

2.2.2預測模塊

3 實驗驗證與結果分析

實驗采用跨監控探頭軌跡預測數據集(AMVTP)進行可行性的驗證,本章首先介紹數據集基本情況,之后給出相應的評估標準,繼而對比基線和相關模型進行結果分析。實驗運行在Windows 10操作系統,使用PyCharm編譯軟件,PyTorch 1.1.0,GPU為NVIDIA GEFORCE RTX 2080 Ti,使用Cuda10.1以及Cudnn v7.5.0進行加速。

3.1 AMVTP數據集

采用專門為AMVS+所構建的AMVTP數據集來訓練評估本研究模型。該數據集選取了某基地在室內外架設的12個監控探頭中10天360個小時的數據作為視頻來源,包含了重疊和非重疊視圖,當目標離開一個監控探頭視圖,然后會在不超過10 s后重新出現在另一個視圖中,同時在此期間,目標也可以在任何數量的其他監控探頭視圖中可見。

在每個監控探頭的交叉軌跡中只針對一個目標,目標之間的互動干擾由于平均每幀1.41個的低密度行為而受到限制。首先使用半自動的方法進行視頻過濾,得到1.0 k個可以使用的視頻,之后利用預訓練的檢測和跟蹤算法生成目標的Bounding Box,并且通過選定IOU≥0.5來手動驗證其準確性。為了避免數據采集周期長導致的跨監控探頭軌跡唯一的問題,專門提供多視角偏離來為重疊的視角添加新的注釋,并且手動參考監控探頭的拓撲圖和時間戳來舍棄錯誤的匹配。

在實驗中使用5-fold交叉驗證來評估每個模型,驗證集和測試集的記錄時間與訓練集不同。在每個fold中,選擇6 d進行訓練,剩下的4天被分成相同大小的驗證集和測試集。針對基于神經網絡的學習方法,每種都訓練了10個epoch,batch size值選用16,學習率為1×10-3,全連接層之間的dropout系數設置為0.2。

3.2 評價指標

考慮到該模型是針對3個問題,即將在哪個監控探頭、何時、何處出現,因而結合高不確定性和多模態性,評價指標也將從3個方面進行考量,按照哪個、何時、何處的順序,對應的下標依次為1、2、3。

3.2.1哪個監控探頭中出現

由于本文根據目標在單個監控探頭中的軌跡預測接下來其會在哪個監控探頭中出現,關注點是目標接下來出現的監控探頭的正確性。因此,在本研究中采用直觀的評價方法,計算所有模型問題的平均精度(AP),得到AP1,并且繪制precision-recall曲線(PRC)。之所以不采取受試者工作特征曲線(ROC),是因為在本實驗中正例(對象存在)和負例(無對象存在)樣本比例懸殊較大,ROC在這種情況下表現的過于完美,而PRC則可以正確反映問題。

因而在“哪個監控探頭中出現”問題中,評價指標為AP1。

3.2.2何時出現

(1)

表示有目標出現的所有監控探頭的預測與真值timestep之間的時間重疊。

證明較為直觀,假設目標在某監控探頭中被探測到,接下來便會有模型預測得到的此時timestep以及目標現實中運動到同一時間的未來timestep,將二者相比得到的結果便是此時預測與真值的時間重疊,將其擴展到所有監控探頭,便可以得到一個0～1的比較值,即目標出現的所有監控探頭的預測和真值timestep之間的時間重疊,來細化表明預測結果的好壞。

因而在“何時出現”問題中,評價指標為AP2和COM2。

3.2.3何處出現

該問題也繼承4.2.1提出的評價指標AP3,并且針對4.2.2提出的COM公式進行如下修改,提出COM3,其中重復出現的標識解釋同COM2,R+和R為預測和真正目標所在的網格單元集合。則:

(2)

計算所有監控探頭和timestep的預測和真值網格單元位置之間的空間重疊。

證明如下,假設目標在某監控探頭中被探測到,接下來便會模型預測得到的未來目標出現網格單元以及現實中目標運動到的網格單元,將二者相比得到的結果便是此時預測與真值的空間重疊,將其擴展到所有timestep以及所有監控探頭,便可以得到一個0～1的比較值,即所有監控探頭和timestep的預測和真值網格單元位置之間的空間重疊。

目前主流軌跡預測[13-15]采用標準平均位移誤差(ADE)和最終位移誤差(FDE)為評價指標,也采用這樣的方式來評估,但需要根據問題的實際做出如下更正。按照ADE和FDE定義的公式,需要計算得出矩陣熱圖Hi的單個坐標值,方式是通過計算重心Axy來得到。

(3)

因而在“何處出現”問題中,評價指標為AP3、COM3、ADE3和FDE3。

3.3 實驗模型的創建

根據跨監控探頭軌跡預測問題的特點,構建了以下基線作為對比。

1) 實際距離最短法。依照實際探取到的監控探頭之間的物理距離,預測目標會出現在距離最近的下個探頭中。僅適用于“哪個”問題。

2) 軌跡最相似法。在訓練集中找到與當前觀測到的軌跡最相似的那個,并預測二者具有相同的軌跡,目標繼而進入相同的下一個監控探頭中,時間與位置也同樣。

3) 訓練集均值法。針對某一個特定監控探頭所有訓練集的觀測值做處理,并且取其ground truth標簽的均值作為結果。

4) Hand-crafted特征法。從Bounding Box中提取素材,構建了10維Hand-crafted特征。包含x和y方向的速度,x和y方向的加速度,最后觀察到的Bounding Box的高度和寬度,以及它的4個坐標。根據監控探頭捕捉到的二維坐標系統計算所有特征,并用全連接層對其進行分類。除此以外,使用歸一化的Bounding Box坐標作為輸入,為每個監控探頭采用一個單獨的網絡模型,應用于3個不同問題。

同時對比文獻[8]中的AMVS模型。

5) AMVS-GRU。如文中所示,并做了擴充。針對“何時”任務,使用另一個GRU作為解碼器,它有128個隱藏單元,后面是一個全連接的分類層。在“何處”任務中,譯碼器GRU之后是2D-tCNN層,用于空間上采樣。

6) AMVS-LSTM。在原模型的基礎上后續增加同上。

本文模型。

7) AMVS+。構建方法同3.2。

3.4 實驗與分析

3.4.1實驗設置

提出的AMVS+模型可以在所有監控探頭中共同使用,因此需要較大的表示能力。在保持視頻幀的原始縱橫比的情況下,需要對輸入熱圖Hi大小進行考量,有16×9、32×18和48×27三種可供選擇。熱圖尺寸越大,模型的表示能力就越強,但代價是參數數量越多,而且容易過度擬合訓練數據。因而,決定使用32×18的熱圖尺寸。此外,用于平滑的高斯濾波器核大小應介于0～4,平滑通過減少檢測和跟蹤階段錯誤的影響從而具有正則化效果。依據熱圖的尺寸和實驗目標,通過交叉驗證選取不同值使得結果最好。在“哪個”和“何時”問題中,核大小使用2;在“何處”問題中,核大小使用4。在預測模塊均使用了Sigmoid激活函數和二元交叉熵損失函數進行訓練。激活的二分類會將每個輸出映射到0～1之間的值,表示每個監控探頭中目標出現、時間以及位置的概率。使用Adam優化器,學習率為1×10-4,提取大小為512的特征向量,并且使用batch size為64進行訓練。需要注意的是,在“何處”問題中,使用熱圖尺寸大小32×18,因此,輸出行蹤標識量的大小為[12×60×32×18]。不將高斯核平滑應用于行蹤標識量目標的ground truth。使用轉置卷積層對提取的特征向量進行上采樣,以行蹤標識量輸出來表示目標未來的位置。

3.4.2結果分析

1) 針對于“哪個”問題

實驗模型的AP1如表1所示,對應的PRC如圖7所示。

圖7 各模型的PR圖Fig.7 PRC of each model

從結果可以看出,相比于基線和AMVS方法,本研究的AMVS+模型在數據集上取得了很好的效果。AMVS+模型的AP值比實際距離最短法提高了82.3%,比軌跡最相似法提高了30.4%,比訓練集均值法提高了17.3%,比Hand-crafted特征法提高了14.1%,比AMVS-GRU和AMVS-LSTM的平均AP值提高了3.2%。可以發現,結果分成3個區間,基線方法由于自身結構簡單導致分類滯后以及過于依賴數據集本身而忽略現實條件等問題,導致在訓練集上效果一般,無法適應復雜的情況。比如實際距離最短法的AP值最低,是因為過度理想化,好比2個監控探頭離得最近但是分別在室內外,目標也不可能穿透墻壁而進入。AMVS方法的效果已經足夠優異,但AMVS+從提高分類精確度的目標出發,前移了池化層位置、增加了預激活ResNet-200層中的卷積運算次數并且深度使用Sigmod進行二分類,可以在保證訓練質量的同時減少過擬合情況的產生,在計算成本增加不多和實時性差別不大的前提下,既提高了結果的精確度,也證實了AMVS+模型的高度可擴展性,為解決“何時”和“何處”問題奠定了基礎。

2) 針對于“何時”問題

實驗模型的AP2和COM2結果如表2所示,AP值對應的PRC如圖8所示,與3)的COM值對比如圖9所示。

表2 各模型的AP值和COM值Table 2 AP and COM values of each model

圖8 各模型的PR圖Fig.8 PRC of each model

圖9 2)和3)的COM值對比圖Fig.9 Comparison of COM values on 2) and 3)

從結果可以看出,AMVS+模型在AP值預測方面依舊表現突出,比基線方法平均AP值提高了34.0%,比AMVS方法平均AP值提高了5.9%,這和“哪個”問題的結果相似,原因便不再重復。在COM值方面,軌跡最相似法取得了最好的結果,AMVS+模型緊隨其后,差距僅為0.012。分析原因,因為COM值反映的有目標出現的所有監控探頭的預測與真值timestep之間的時間重疊,或者說時間timestep的占比,而軌跡最相似法在訓練中不斷地學習已有的路徑,在數據集相對不大的條件下容易獲得較好的結果。從另一個方面看,在這種不利條件下AMVS+模型性能也緊隨其后,說明選用轉置卷積使得該模型有很強的適應性以及可用性,又在側面證實其優勢。訓練集均值法效果一般,主要是由于其對某一個特定監控探頭所有訓練集的觀測值進行處理,而數據集中監控探頭數目較多,容易出現相互干擾,尤其在處理二維的時間序列時不利于做出正確的結果。AMVS模型表現依舊穩定,其在最后預測模塊采用的結構與AMVS+類似,主要的差距點是之前模塊的結構,相關原因已經在“哪個”結果中做出了解釋。還需要注意的是,某些基線(如訓練集均值法)在AP2方面表現良好,卻在COM2方面表現不佳,這說明有效地預測目標在正確的監控探頭中出現和在監控探頭中可見的正確時間窗口不一定總是同時發生。

3) 針對于“何處”問題

實驗模型的AP3、COM3、ADE3和FDE3結果如表3所示,AP值對應的PRC如圖10所示,與2)的COM值對比如圖9所示,ADE和FDE值對比如圖11所示。

表3 各模型的AP、COM、ADE、FDE值Table 3 AP,COM,ADE and FDE values in each model

圖10 各模型的PR圖Fig.10 PRC of each model

圖11 ADE和FDE值對比圖Fig.11 Comparison of ADE and FDE values

從結果中可以發現,相比于“哪個”和“何時”問題,“何處”問題模型的AP值普遍要低得多,雖然AMVS+模型依舊取得了最好的結果。這是由于“何處”問題公式的復雜性比其他公式大得多,是在考慮目標將重新出現的監控探頭和將出現的timestep的基礎上做的將出現在視圖中位置的預測,因而無法實現復雜度和精確度之間較高程度的兼容,這也是下一步將要著重解決的問題。反觀COM3結果,軌跡最相似法和AMVS+的表現依舊強勁,顯著優于其他模型,而且最差保持在六成的重疊度,滿足實際情況下的使用。但AMVS模型效果不佳,分析原因是因為其設計的初衷只考慮了“哪個”問題,因而在頻繁增加后置模塊之后不能夠很好地適應新情況從而效果有所損失。再看ADE值和FDE值,即使將公式做了更改使得精度更高,但AMVS+模型依舊很好地實現了減少預測誤差的目標。綜合來看,AMVS+模型的ADE值比最高值降低了53.2%,比AMVS模型平均值降低了20.5%;FDE值則比最高值降低了52.2%,比AMVS模型平均值降低了9.5%。說明本研究中使用little block進行concat得到的Big block以及3D-tCNN進行四維張量的輸出確實可以起到保證參數量的同時減小誤差的作用。同時AMVS模型表現效果也較好,主要是因為和AMVS+使用均tCNN來進行空間上采樣的緣故。還需要注意的是,某些基線(如Hand-crafted特征法)在ADE3和FDE3結果表現較好,而在AP3和COM3方面表現較為一般,這是因為與AP值度量不同,COM值和位移誤差的度量不考慮目標未出現的監控探頭視圖中的錯誤預測,導致其雖然準確地預測了目標軌跡,但錯誤地為出現在其他監控探頭視圖中的目標分配了高可能性。

總而言之,從上面的結果分析中可以發現,使用行蹤標識量作為輸入的學習模型通常優于其他基線,可以完成跨監控探頭軌跡預測問題的解決。并且將基于預激活ResNet-200的3D CNN置于架構中效果也突出,因為實驗時使用48×27的分辨率,而不是視頻識別中常用的224×224或更高分辨率,這大大減少了參數的數量,并便于在相對適中的數據集上進行訓練。但同時低分辨率意味著有效信息變少、識別難度增加,因而對于使用的目標識別算法提出了更高要求;并且低分辨率也易出現丟幀現象,這就需要識別損失函數的魯棒性以及數據集的豐富性足夠優異,因此將分辨率與參數量的代價進行合理約束也是值得思考的問題。此外,將軌跡表示為張量型的行蹤標識量使本文能夠同時在多個監控探頭視圖中建模相對對象位置,從而提高輸入時的性能,并提供一種直觀的方式來表示目標的多模態未來。行蹤標識量也使得問題解決更為簡便,因為可以使用單個模型,而不是為每個監控探頭創建單獨的模型。需要注意的是,本研究中的方法和對比模型、基線要求在訓練和測試時有相同的監控探頭網絡。

4 結論

提出了一種針對跨監控探頭軌跡預測問題的解決方案,通過構建行蹤標識量首次解決了目標接下來將出現在哪個監控探頭、何時以及何處出現的問題,在AMVTP數據集上取得了很好的結果,為跨監控探頭軌跡預測問題的研究提供了新思路。同時本研究思路還有以下的優勢:

1) 長期預測行蹤標識量的使用,減少了對整體系統網絡的依賴,長時使用可以通過刪除單個監控探頭視點的約束來實現。

2) 智能監控當通過監控探頭網絡跟蹤特定感興趣的目標時,可以使用AMVS+模型的預測來智能監控個別熱點,而不是持續監控所有探頭。

3) 跟蹤加強位置預測可與行人重識別模型結合使用,以實現更穩健的跨監控探頭跟蹤。

4) 強魯棒性目標預測在跨監控探頭視圖中的位置增加了冗余,即使模型上的一個或多個監控探頭不再工作的情況下,仍然可以識別目標。

5) 可擴展性以本文構建的行蹤標識量和AMVS+模型為基礎,其在解決軌跡預測時可以簡便的使用單個模型,因而便于將其擴展到多目標條件下跨監控探頭軌跡預測問題,解釋也更為直觀。

但同時也意識到幾點不足,首先本研究中使用的數據集內容豐富度需要加強,容量有待進一步擴充;其次模型構建時基于行蹤標識量的方法較為單一,僅有本文介紹的AMVS+一種,需要增加對比基線以提高說服力;此外由于本研究方向內容較新,可供參考文獻較少,故需要緊跟國際前沿研究來開拓視野。

跨監控探頭軌跡預測問題的復雜度高,依舊有許多研究空白。接下來將考慮構建使用更多的相關數據集,從而在不同環境下對模型進行訓練評估;同時在多目標條件下的跨監控探頭軌跡預測問題中開展研究,從而補充完善現有的行蹤標識量構建方法,使得應用領域更為廣闊;此外鑒于本文AMVS+模型的構建是以3D-CNN為基礎,后續可以考慮改用CNN-GRU或2D-1D-CNN等其他深度學習框架為基礎,構建更多有效的軌跡預測模型。