基于Social Transformer 的井下多人軌跡預測方法

摘要：目前煤礦井下人員軌跡預測方法中，Transformer 與循環神經網絡（RNN）、長短期記憶（LSTM）網絡相比，在處理數據時不僅計算量小，同時還有效解決了梯度消失導致的長時依賴問題。但當環境中涉及多人同時運動時，Transformer 對于場景中所有人員未來軌跡的預測會出現較大偏差。并且目前在井下多人軌跡預測領域尚未出現一種同時采用Transformer 并考慮個體之間相互影響的模型。針對上述問題，提出一種基于SocialTransformer 的井下多人軌跡預測方法。首先對井下每一個人員獨立建模，獲取人員歷史軌跡信息，通過Transformer 編碼器進行特征提取，接著由全連接層對特征進行表示，然后通過基于圖卷積的交互層相互連接，該交互層允許空間上接近的網絡彼此共享信息，計算預測對象在受到周圍鄰居影響時對周圍鄰居分配的注意力，從而提取其鄰居的運動模式，繼而更新特征矩陣，最后新的特征矩陣由Transformer 解碼器進行解碼，輸出對于未來時刻的人員位置信息預測。實驗結果表明， Social Transformer 的平均位移誤差相較于Transformer 降低了45.8%，且與其他主流軌跡預測方法LSTM，S?GAN，Trajectron++和Social?STGCNN 相比分別降低了67.1%，35.9%，30.1% 和10.9%，有效克服了煤礦井下多人場景中由于人員間互相影響導致預測軌跡失準的問題，提升了預測精度。

關鍵詞：電子圍欄；井下多人軌跡預測；Transformer；交互編碼；Social Transformer

中圖分類號：TD67 文獻標志碼：A

0 引言

近年來電子圍欄技術在煤礦井下危險作業區域人員安全防護領域得到廣泛應用[1]，但該技術僅限于對已發生危險進行判別，難以預測未發生風險。人員軌跡預測技術通過學習個體或群體移動模式，預測未來行動路徑，結合電子圍欄，能提前識別潛在危險，保障井下安全生產。

早期的人員軌跡預測采用線性[2]或高斯回歸模型[3-4]、時間序列分析[5]和自回歸模型[6]手動計算人員未來位置，不僅計算量大、耗時長，且預測誤差較大。隨著神經網絡的發展，Zhang Jianjing 等[7]采用循環神經網絡（Recurrent Neural Network，RNN）模型表示人員運動信息，例如人的速度、方向和運動模式。然而，RNN 的單一信息傳輸通路和多次非線性激活操作在處理長期序列時可能導致長期記憶丟失[8]。為解決該問題，Song Xiao 等[9]提出了基于RNN的長短期記憶（Long Short-Term Memory， LSTM）網絡模型進行人員軌跡預測，LSTM 引入了2 條計算通道，用于解決長期記憶丟失問題。然而，由于LSTM采用順序輸入方式融入序列位置信息，導致模型并行性較差， 同時過度依賴歷史數據， 訓練復雜度高。T. Salzmann 等[10]結合LSTM 與CNN 提出了Trajectron++，能夠針對多個互動的行人生成多模態預測軌跡，但面臨長時間預測的問題。A. Mohamed等[11]提出的Social?STGCNN（Spatio-Temporal GraphConvolutional Neural Network）通過建模人與人之間的關系來更好地考慮人員與周圍物體相互作用的影響，但模型復雜且運算時間較長，不具備實時性。V.Shankar 等[12]使用Transformer 進行人員軌跡預測，具有強大的并行性。與RNN，LSTM 等相比，Transformer在處理數據時顯著降低了計算負擔，同時有效解決了梯度消失導致的長時依賴問題。然而，Transformer在處理單人軌跡預測方面表現出色，但當環境中涉及多人同時運動時，其對于場景中所有人員未來軌跡的預測會出現明顯偏差。這是因為個體在移動過程中受到周圍人員的影響，而Transformer 在人員軌跡預測時未充分考慮周圍人員的運動狀態[13-15]，導致對目標軌跡的預測存在偏差。

為解決上述問題，本文基于Transformer 設計了交互層，提出了一種基于Social Transformer 的井下多人軌跡預測方法。對井下每個人員進行獨立建模，獲取其歷史軌跡信息，同時考慮目標周圍人員運動狀態，通過交互編碼預測井下多人場景中目標的未來軌跡。

1 方法整體結構

基于Social Transformer 的井下多人軌跡預測方法的網絡模型結構如圖1 所示。首先通過Transformer編碼器對多人歷史軌跡信息進行特征提取，接著由全連接層對特征進行表示；然后通過交互層相互連接，該交互層允許空間上接近的網絡共享信息，計算預測對象在受到周圍鄰居影響時對周圍鄰居分配的注意力，提取其鄰居的運動模式，進而更新特征矩陣；最后新的特征矩陣由Transformer 解碼器進行解碼，輸出對未來時刻的人員位置信息預測。

2 Transformer 網絡模型

2.1 Transformer 網絡模型結構

Transformer 網絡模型結構如圖2 所示。Transformer 由6 個編碼器和6 個解碼器組成。編碼器包含自注意力層、前饋全連接層及規范化層，負責提取輸入序列的特征。解碼器包含自注意力層、編解碼注意力層、前饋全連接層和規范化層，負責將編碼器提取到的特征轉換成輸出。將一組包含行人當前位置二維坐標和歷史位置二維坐標的序列輸入Transformer 模型中，通過位置編碼標記時間戳后進入編碼器，然后每一個編碼器使用上一個編碼器的輸出作為輸入進行特征提取，最后將特征矩陣輸入解碼器進行解碼，得到預測結果。

2.2 自注意力機制

Transformer 以自注意力機制為核心，自注意力機制結構如圖3 所示[16]。自注意力機制可以使模型關注需要關注的部分，從而減少因關注無關部分造成的資源浪費。對于一個序列X，自注意力機制可以計算X 中每個元素之間的相關程度，從而得到一個注意力矩陣。自注意力機制中有3 個矩陣，分別為Q（Query， 提問） 矩陣、K（Key， 鍵） 矩陣及對應的V（Value，值）矩陣，Q，K，V 都是對X 進行不同線性變換之后的結果，都可獨立作為X 的代表。

圖3 中，首先計算Q 和K 的點積，為了防止點積結果過大，將結果除以dK（dK為K 的維度），然后利用softmax 將結果歸一化為概率分布，再乘以V 得到權重求和的表示。

式中：A（i） 為目標i 的注意力；T 為輸入序列的長度。

3 Social Transformer 網絡模型

Social Transformer 網絡模型包括時序建模、周圍人員尋找、信息交互編碼及未來軌跡預測等關鍵步驟，利用自注意力機制提取目標周圍鄰居的運動狀態，并準確評估其對目標軌跡的影響程度，彌補了傳統Transformer 網絡模型在復雜場景下的局限性，可實現更精準的多人軌跡預測。

3.1 時序建模

Social Transformer 對于多人場景中每一個行人進行獨立建模，使用Transformer 編碼器對目標歷史軌跡進行特征提取，通過自注意力機制計算行人在不同時刻位置之間的自注意力，從而提取出行人的時間維度及運動模式，并且完成時序建模。

該建模方式不僅能夠更加深入地理解每一個行人的運動特征，同時通過自注意力機制，能夠捕捉到行人在不同時間點上的關鍵運動信息，為多人軌跡預測提供可靠的時序基礎。

3.2 周圍人員尋找

令hi = A（i），表示行人 i 對于自身的注意力。hi可以體現行人i 的運動特征，通過建立交互層，將行人i 及其鄰居的特征信息融合，進而使得行人i 能夠提取其周圍人員的運動特征信息，從而對未來軌跡做出更好的判斷。

對于每一時刻，根據行人的位置信息構建一個空間圖。由于在1 個場景中，1 個人不可能與所有其他人同時產生聯系，因此引入距離閾值R，該閾值表示在未來一段時間內可能與行人i 發生交互的人與行人i 之間的最大距離。若兩者之間的距離大于R，則表示2 人之間不存在邊；若距離不大于R，則認定行人i 將會與對方發生交互，即這2 人之間存在邊，意味著行人i 的未來行動軌跡將受到對方運動狀態的影響。行人i 的鄰居j 的集合為

式中：m 為鄰居數量：（xit，yit），（xjt ，yjt）分別為行人i、鄰居j 在t 時刻的位置坐標。

3.3 信息交互編碼

對鄰居j 的信息進行交互編碼。本文基于圖卷積設計了一種新的交互層，用于將多人的運動特征進行信息融合。

自注意力機制可看作是無向全連接圖上的消息傳遞，具體而言，對于行人i 的運動特征信息hi，提取矩陣Q 的行向量qi、矩陣K 的行向量及矩陣V 的行向量vi。同理，對于鄰居j，提取其矩陣Q 的行向量qj、矩陣K 的行向量kj及矩陣V 的行向量vj。則可定義圖卷積中從鄰居j 到行人i 的消息傳遞為

Mj→i = qikTj（3）

本文設計的交互層可以理解為一個基于注意力的圖卷積機制，行人間的信息可通過圖的邊進行傳遞。對于任意圖G，G 含有m 個節點（表示鄰居），代表場景內m 個預測對象，這些對象互相連接。在圖G 中，行人i 對于其鄰居j 分配的注意力為

式中dki為ki的維度。

因此，行人i 對于所有鄰居分配的注意力為

式中f （·） 為全連接操作，通過全連接層將行人 i 的鄰居j 的特征信息進行初步融合。

行人與附近人員信息交互過程如圖4 所示。在階段1，將行人i 與附近人員抽象到二維坐標系中，其中黑色圓圈代表行人i，其余圓圈代表附近人員；在階段2，在一定的空間距離內選取行人i 周圍鄰居；在階段3 與階段4，將行人i 周圍鄰居的特征信息進行匯聚。

Social Transformer 網絡模型在預測行人i 的未來軌跡時，不僅要考慮其周圍鄰居的運動特征，還需要將行人i 本身的運動特征作為重要考量，因此，將行人i 對自身的注意力及對所有鄰居的注意力進行進一步信息融合：

最后，通過一個具有ReLU 非線性的嵌入函數φ（·）的編碼器優化特征[17-18]，完成信息交互編碼。

Aopt （i） = encoder （φ（A（i））;C） （8）

式中：Aopt （i）為優化后的行人i 對自身的注意力及對所有鄰居的注意力融合結果；encoder（·）為編碼操作；為初始值大于0 且小于1 的隨機平均數，隨著模型不斷迭代訓練調整，直到模型性能達到最優。

3.4 未來軌跡預測

Zi作為編碼器最終的輸出，輸入到解碼器中。在解碼器每一層，使用上個時間點的預測結果、上一層解碼器的輸出及上一層編碼器輸出的特征矩陣進行解碼。預測時，本文選取最后一個時刻的特征矩陣，與高斯噪聲結合后進行預測。目的是能較好地對軌跡預測中的不確定性進行建模，并可用于產生多種預測結果。最后得到行人i 在未來一段時間內的軌跡預測。

4 實驗與結果分析

4.1 數據集與評價指標

為了定量評估本文方法在進行井下多人軌跡預測時的效果，本文使用5 個人員軌跡預測數據集，包括4 個開放數據集及1 個由數百段不同井下場景視頻構成的煤礦井下人員軌跡自建數據集。

BIWI Hotel， Crowds UCY， MOT PETS 及SDD（Stanford Drone Dataset）數據集為人員軌跡預測領域較為權威的4 個開放數據集，包含酒店、街道等人員密集場景，共有11 448 條人員軌跡。自建數據集由896 條井下人員軌跡構成，包含12 座井工礦的井下變電所、井下水泵房、井下車場、膠帶行人側等場景的多人軌跡數據，能較為全面地覆蓋煤礦井下行人場景。

為衡量多人軌跡預測方法的精度，引入平均位移誤差（Average Displacement Error， ADE）作為評價指標[19]，該指標是指預測軌跡和真值軌跡所有點的平均歐氏距離，能夠反映預測軌跡的整體準確性。

式中：F 為預測的未來坐標的數量；xgtn為第 n 個坐標的基準位置；xpredn為第 n 個坐標的預測位置。

4.2 模型訓練

Social Transformer 網絡模型在具有Theano[20]的單個GPU 上進行訓練。為了在訓練模型時充分利用數據集，本文使用留一法，從5 個數據集中選擇4 個作為訓練集，使用這4 個訓練集來訓練模型，將剩余的1 個數據集作為測試集，用于評估模型性能，重復上述步驟，確保每個數據集都作為測試集被使用1 次，從而覆蓋所有可能的組合。模型訓練時，輸入的人員歷史位置坐標首先通過全連接層編碼為一個大小為32（代表一次性能輸入32 個人員位置坐標）的向量，隨后經過ReLU 激活函數處理。處理輸入數據時，設置丟棄比率為0.1，嵌入特征的維度為32。為了找到最佳學習率，在簡化版本的模型上進行超參數搜索， 范圍為0.000 1～ 0.004， 間隔為0.000 1，并選擇最佳性能的學習率（0.001 5）來訓練模型。本文使用Adam 優化器，批量大小為16，進行300 個epochs 的網絡訓練。每個批次包含大約256個行人，在不同的時間窗口內，通過一個注意力掩碼矩陣掩蓋掉當前時刻之后的信息，以加速訓練過程。采用的損失函數為

4.3 定量實驗

在定量實驗中，對于場景中的每一個人，預測其12 幀（4.8 s）內的運動軌跡。將Social Transformer 與LSTM， Transformer， S?GAN[21]（Sequential GenerativeAdversarial Networks） ， Trajectron++， Social?STGCNN進行比較，每種方法重復運行20 次，最終取平均值，結果見表1。

由表1 可看出， Social Transformer 在5 種數據集的測試中， ADE 均為最低， 表現優異。相比于Transformer，Social Transformer 在ADE 指標上降低了46.8%，精度提升明顯，由此可見，在Transformer 中加入交互層能夠大幅提升模型在多人軌跡預測時的精度。

井下場所的智能視頻分析對于實時性要求很高，因此對上述6 種方法的訓練時間及預測時間進行比較， 結果如圖5 所示。對于相同的訓練集，LSTM 訓練時間為89 h，預測時間為198 ms，均為最高。Trajectron++和Social?STGCNN 在訓練時間和預測時間上的表現較為優秀，分別為44 h、43 ms 和49 h、29 ms。而Social Transformer 在訓練和預測2 個階段都表現出較高的效率，具有最短的訓練時間和預測時間，分別為29 h、22 ms，在6 種軌跡預測方法中耗時最少。

4.4 消融實驗

在進行人員軌跡預測時，預測序列長度及歷史數據的多少是影響預測結果的重要因素，為分析這2 種因素對于本文方法進行多人軌跡預測結果的影響，進行消融實驗。

4.4.1 預測序列長度對軌跡預測效果的影響

將預測序列從12 幀（4.8 s）更改為28 幀（11.2 s），挑選來自5 個數據集的1 000 條人員軌跡進行實驗，各方法預測結果見表2。

由表2 可看出，3 種方法在進行人員軌跡預測時的誤差均會隨著預測時間的延長而增加，其中SocialTransformer 的ADE 最低。從預測未來12 幀到預測未來28 幀，LSTM 的ADE 提高了181%，而Transformer與Social Transformer 的ADE 分別提高了93% 和66%。Social Transformer 在預測序列長度增加后的誤差增長幅度明顯低于LSTM，略低于Transformer，這是由于Social Transformer 在進行人員軌跡預測時，會將周圍人員的運動狀態及其未來軌跡一起進行交互編碼，對于預測長時間的序列具有更好的穩定性。

4.4.2 歷史數據缺失對軌跡預測效果的影響

分別設定不同程度的歷史數據缺失，挑選來自5 個數據集的1 000 條人員軌跡進行實驗，各方法預測結果見表3。

由表3 可看出，缺失歷史數據會提高預測結果的ADE，其中，LSTM 尤其難以處理歷史數據缺失問題，一旦缺失數據量過大，預測結果準確性將受到極大影響，在缺失6 幀時，LSTM 的ADE 較無缺失情況提升了87%；相比之下，Transformer 和Social Transformer在面對歷史數據缺失時，其ADE 的提升幅度較小，分別提高了33%，29%。

4.5 定性實驗

采用井下多人場景（中央變電所、水泵房及副井口車輛轉載點） 的視頻進行定性實驗， 分別使用LSTM， Transformer， Social Transformer 對人員未來7 幀（2.8 s）的運動軌跡進行預測，并對視頻中人員預測軌跡與基準軌跡的重合程度進行主觀判斷，預測效果分別如圖6?圖9 所示，紅色方框為人員歷史軌跡，藍色方框為人員基準軌跡，黃色方框為人員預測軌跡。

由圖6 可看出，對單人場景的人員軌跡進行預測時， Transformer 與Social Transformer 的預測效果基本相同，預測軌跡和基準軌跡基本無偏差，而使用LSTM 處理后的預測軌跡則與基準軌跡產生少量偏差。由圖7（a）、圖8（a）可看出，對多人場景的人員軌跡進行預測時，采用LSTM 處理后的預測軌跡與基準軌跡從前2 幀開始就出現誤差，且誤差隨著預測時間延長而增加，導致對于最終位置的預測偏差較大。由圖9（a）可看出，LSTM 在預測時傾向于沿用歷史軌跡的運動趨勢，并未考慮對向行人的運動狀態，從而造成預測失準現象。由圖7（b）、圖8（b）、圖9（b） 可看出， 采用Transformer 預測的效果比LSTM 略好，預測軌跡與基準軌跡更貼近，這是因為Transformer 會更好地利用歷史數據對未來做出推測，而LSTM 由于梯度消失，造成預測結果失準。由圖7（c） 、圖8（c） 、圖9（c） 可看出， 采用SocialTransformer 預測時，盡管每一幀的預測位置與基準位置略有偏差，但由于考慮了周圍人員的運動狀態，使得整體預測軌跡與基準軌跡保持近似。因此Social Transformer 相較于LSTM 和Transformer，在進行多人場景的人員軌跡預測時具有一定的精度提升效果。

5 結論

1） 基于Transformer 模型進行改進，并將改進后的Social Transformer 網絡模型用于井下多人軌跡預測。采用時序建模，提取行人的時間維度運動模式，確定目標周圍鄰居；通過設計交互層，使用自注意力機制提取目標鄰居運動狀態對于目標未來軌跡的影響；將預測目標及其鄰居的運動特征信息進行融合，從而更精準地預測目標未來軌跡。

2） 實驗結果表明，Social Transformer 的ADE 相較于Transformer 降低了45.8%，且與主流軌跡預測方法LSTM，S?GAN，Trajectron++和Social?STGCNN相比分別降低了67.1%，35.9%，30.1% 和10.9%，有效解決了煤礦井下多人場景中由于人員間互相影響導致預測軌跡失準的問題，能夠同時預測多人軌跡，提升了預測精度。

參考文獻（References）：

[ 1 ]劉海忠. 電子圍欄中心監控平臺的設計與開發[D]. 武漢：華中師范大學，2012.

LIU Haizhong. Design and development of centermonitoring platform for electronic fence[D]. Wuhan：Central China Normal University，2012.

[ 2 ]JEONG N Y，LIM S H，LIM E，et al. Pragmatic clinicaltrials for real-world evidence： concept andimplementation[J]. Cardiovascular Pevention andPharmacotherapy，2020，2（3）：85-98.

[ 3 ]KLENSKE E D， ZEILINGER M N， SCHOLKOPF B，et al. Gaussian process-based predictive control forperiodic error correction[J]. IEEE Transactions onControl Systems Technology，2016，24（1）：110-121.

[ 4 ]HUNT K J， SBARBARO D， ?BIKOWSKI R， et al.Neural networks for control systems-a survey[J].Automatica，1992，28（6）：1083-1112.

[ 5 ]PRESTON D B. Spectral analysis and time series[J].Technometrics，1983，25（2）：213-214.

[ 6 ]AKAIKE H. Fitting autoregreesive models forprediction[M]//PARZEN E，TANABE K，KITAGAWAG. Selected papers of Hirotugu Akaike. New York：Springer-Verlag New York Inc，1998：131-135.

[ 7 ]ZHANG Jianjing， LIU Hongyi， CHANG Qing， et al.Recurrent neural network for motion trajectoryprediction in human-robot collaborative assembly[J].CIRP Annals，2020，69（1）：9-12.

[ 8 ]SHERSTINSKY A. Fundamentals of recurrent neuralnetwork （RNN） and long short-term memory （LSTM）network[J]. Physica D： Nonlinear Phenomena， 2020.DOI：10.1016/j.physd.2019.132306.

[ 9 ]SONG Xiao， CHEN Kai， LI Xu， et al. Pedestriantrajectory prediction based on deep convolutional LSTMnetwork[J]. IEEE Transactions on IntelligentTransportation Systems，2020，22（6）：3285-3302.

[10]SALZMANN T， IVANOVIC B， CHAKRAVARTY P，et al. Trajectron++： dynamically-feasible trajectoryforecasting with heterogeneous data[C]. 16th EuropeanConference on Computer Vision， Glasgow， 2020：683-700.

[11]MOHAMED A， QIAN Kun， ELHOSEINY M， et al.Social-STGCNN： a social spatio-temporal graphconvolutional neural network for human trajectoryprediction[C]. IEEE/CVF Conference on ComputerVision and Pattern Recognition， Seattle， 2020：14424-14432.

[12] SHANKAR V， YOUSEFI E， MANASHTY A， et al.Clinical-GAN： trajectory forecasting of clinical eventsusing transformer and generative adversarialnetworks[J]. Artificial Intelligence in Medicine， 2023，138. DOI：10.1016/j.artmed.2023.102507.

[13]HAN Kai， WANG Yunhe， CHEN Hanting， et al. Asurvey on vision transformer[J]. IEEE Transactions onPattern Analysis and Machine Intelligence， 2023，45（1）：87-110.

[14]GRAHAM B， EL-NOUBY A， TOUVRON H， et al.LeViT： a vision transformer in ConvNet’s clothing forfaster inference[C]. IEEE/CVF International Conferenceon Computer Vision，Montreal，2021：12259-12269.

[15]ARNAB A， DEHGHANI M， HEIGOLD G， et al.ViViT： a video vision transformer[C]. IEEE/CVFInternational Conference on Computer Vision，Montreal，2021：6836-6846.

[16]VASWANI A， SHAZEER N， PARMAR N， et al.Attention is all you need[C]. 31st Conference on NeuralInformation Processing Systems， Long Beach， 2017：5998-6008.

[17]劉赟. ReLU 激活函數下卷積神經網絡的不同類型噪聲增益研究[D]. 南京：南京郵電大學，2023.

LIU Yun. Research on different types of noise gain inconvolutional neural networks under ReLU activationfunction[D]. Nanjing： Nanjing University of Posts andTelecommunications，2023.

[18]靳晶晶，王佩. 基于卷積神經網絡的圖像識別算法研究[J]. 通信與信息技術，2022（2）：76-81.

JIN Jingjing， WANG Pei. Research on imagerecognition algorithm based on convolutional neuralnetwork[J]. Communications and InformationTechnology，2022（2）：76-81.

[19]ALAHI A，GOEL K，RAMANATHAN V，et al. SocialLSTM： human trajectory prediction in crowdedspaces[C]. IEEE Conference on Computer Vision andPattern Recognition，Las Vegas，2016：961-971.

[20]BERGSTRA J， BREULEUX O， BASTIEN F， et al.Theano： a CPU and GPU math compiler in Python[C].The 9th Python in Science Conference， 2010. DOI：10.25080/majora-92bf1922-003.

[21]PESARANGHADER A， WANG Yiping， HAVAEI M.CT-SGAN： computed tomography synthesis GAN[C]//ENGELHARDT S，OKSUZ I，ZHU Dajiang，et al. Deepgenerative models， and data augmentation， labelling，and imperfections. Berlin：Springer-Verlag，2021：67-79.

基金項目：中央高校基本科研業務費專項項目（FRF-TP-24-060A） ；天地科技股份有限公司科技創新創業資金專項項目（2023-TDZD005-005，2023CG-ZB-10）。