基于時空圖卷積網絡的多變量時間序列預測方法

收稿日期：2022-05-18；修回日期：2022-07-07" 基金項目：遼寧省重點研發計劃資助項目（2020JH2/10100039）

作者簡介：李懷翱（1998-），男，山東濟寧人，碩士研究生，主要研究方向為深度學習與時間序列預測；周曉鋒（1978-），女（通信作者），遼寧本溪人，副研究員，博士，主要研究方向為機器學習與工業過程優化（zhouxf@sia.cn）；房靈申（1974-），男，遼寧沈陽人，研究員，博士，主要研究方向為智能產線研發與數字化設計；李帥（1988-），男，遼寧錦州人，副研究員，博士，主要研究方向為工業大數據智能分析與挖掘；劉舒銳（1993-），男，湖北襄陽人，助理研究員，碩士，主要研究方向為工業過程建模與控制.

摘 要：

為了擴大時空圖卷積網絡的預測范圍，將它應用在關聯關系未知場景下的多變量時間序列預測問題，提出一種附加圖學習層的時空圖卷積網絡預測方法（GLB-STGCN）。圖學習層借助余弦相似度從時間序列中學習圖鄰接矩陣，通過圖卷積網絡捕捉多變量之間的相互影響，最后通過多核時間卷積網絡捕捉時間序列的周期性特征，實現對多變量的精準預測。為驗證GLB-STGCN的有效性，使用天文、電力、交通和經濟四個領域的公共數據集和一個工業場景生產數據集進行預測實驗，結果表明GLB-STGCN優于對比方法，在天文數據集上的表現尤為出色，預測誤差分別降低了6.02%、8.01%、6.72%和5.31%。實驗結果證明GLB-STGCN適用范圍更廣，預測效果更好，尤其適合自然周期明顯的時間序列預測問題。

關鍵詞：多變量時間序列預測；時空圖卷積網絡；圖神經網絡；時間卷積網絡

中圖分類號：TP391"" 文獻標志碼：A""" 文章編號：1001-3695（2022）12-006-3568-06

doi："" 10.19734/j.issn.1001-3695.2022.05.0235

Multivariate time series forecasting with spatio-temporal graph convolutional network

Li Huai’ao1，2，3，4，Zhou Xiaofeng1，2，3，Fang Lingshen5，Li Shuai1，2，3，Liu Shurui1，2，3

（1.Key Laboratory of Networked Control Systems， Chinese Academy of Sciences， Shenyang 110016， China; 2.Shenyang Institute of Automation， Chinese Academy of Sciences， Shenyang 110016， China; 3.Institute for Robotics amp; Intelligent Manufacturing， Chinese Academy of Sciences， Shenyang 110169， China; 4.University of Chinese Academy of Sciences， Beijing 100049， China; 5.Kunshan Intelligent Equipment Research Institute， Suzhou Jiangsu 215347， China）

Abstract：

In order to expand the prediction range of spatio-temporal graph convolutional network and apply them to the multi-variate time series prediction problems in the scenario of unknown correlation， this paper proposed a graph learning based spatio-temporal graph convolutional network（GLB-STGCN）. The graph learning layer learned the graph adjacency matrix from the time series with the help of cosine similarity， then the graph convolution network captured the interaction between multi-variables， and finally the multi-kernel time convolution network captured the periodic characteristics of the time series for precise prediction. To verify the effectiveness of GLB-STGCN， this paper used 4 public datasets from astronomy， electricity， transportation and economy and 1 industrial production dataset for the prediction experiments. The results show that GLB-STGCN outperforms the comparison methods， especially on astronomical datasets， with prediction errors reduced by 6.02%， 8.01%， 6.72%， and 5.31%， respectively. The experimental results prove that GLB-STGCN has a wider application range and better prediction effect， especially for time series prediction problems with obvious natural cycles.

Key words：multivariate time series forecasting; spatio-temporal graph convolutional network（GCN）; graph neural network; temporal convolutional network（TCN）

0 引言

隨著數據時代的到來和信息科技的發展，各個領域都采集到海量數據并嘗試利用人工智能技術挖掘時間序列中蘊涵的信息。這些信息能夠幫助領域內的工作人員對未來變化趨勢進行預測，并基于預測結果作出合理的決策，改善領域的發展。比較典型的應用場景如交通領域的交通流量預測和金融經濟領域的銀行利率預測。在這些預測任務中，往往存在許多相互關聯的變量，難以只使用它們當中的一個或部分進行預測，因而這些預測任務也被稱為多變量時間序列預測問題。

解決多變量時間序列預測問題的關鍵在于對多變量之間關聯關系的描述，只有準確清晰地表達各個變量之間的相互影響，才能實現好的預測效果。統計學習方法如自回歸模型（autogressive model，AR）［1］和高斯過程模型（Gaussian process，GP）［2］假設多變量之間存在線性關聯關系，而這種假設對于復雜場景顯然并不適用，導致這些統計學習方法的預測效果并不理想。近些年涌現出的許多深度學習方法如長短期網絡（long short term network，LSTNet）［3］和時間注意力機制—長短期記憶網絡（temporal pattern attention long short term memory network，TPA-LSTM）［4］借助于深層網絡強大的表達能力，能夠捕捉多個變量之間的非線性相關關系，達到更好的預測結果。但是它們沒有考慮各個變量之間成對的依賴關系，導致這些方法的局部信息表達能力依然有限，不能很好地描述多變量之間的相互影響。

圖神經網絡的成功帶動了時空圖神經網絡的發展。時空圖神經網絡是針對時間序列預測任務的圖神經網絡，借助于圖神經網絡強大的局部信息提取能力，以時空圖卷積網絡為代表的時空圖神經網絡在交通流量預測［5～8］和流行疾病傳播預測［9］等多個領域取得了很好的效果。時空圖神經網絡能夠以圖結構數據準確描述多變量之間的關聯關系，實現很好的預測效果。但是這些時空圖卷積網絡方法都依賴已知的圖結構，不能應用于關聯關系未知的場景。為此，本文提出了一種附加圖學習層的時空圖卷積網絡（GLB-STGCN）。圖學習層首先為每個變量生成一個節點嵌入向量，借助余弦相似度為每個節點選擇最相似的節點成為鄰居節點，學習圖鄰接矩陣；然后通過圖卷積網絡使每個變量的深層特征中蘊涵了鄰居節點的時間序列信息，考慮它們之間的相互影響；最后通過多核時間卷積網絡捕捉不同變量的不同周期性特征，實現各個變量的準確預測。

1 相關工作

1.1 圖神經網絡

圖神經網絡是在圖結構上進行學習和訓練的神經網絡。圖神經網絡假設節點的狀態會受到它鄰居節點的影響［10］，通過圖信號傳播和圖信號融合更新每個節點的狀態，學習每個節點深層的特征，借助這些深層特征完成節點或圖的分類或預測。

圖卷積網絡（GCN）［11］是應用最廣泛的圖神經網絡學習方法。它每次將節點的狀態更新為自身狀態和鄰居節點狀態的平均狀態，實現圖信號傳播和圖信號融合。圖卷積網絡的公式表達為

Hl=σ（D－12（A+I）D－12Hl－1W）（1）

其中：Hl-1是第l層的輸入；Hl是第l層的輸出；A是圖鄰接矩陣；I是單位矩陣；D是圖鄰接矩陣A的度矩陣；W是權重矩陣；σ是激活函數。

圖卷積網絡能夠有效地提取局部信息，在節點分類問題和圖分類中都取得了很好的效果。但是圖卷積網絡并不能直接提取時間序列中的長期宏觀信息，限制了它在時間序列預測領域的應用。

1.2 時空圖卷積網絡

時空圖卷積網絡是在圖卷積網絡的基礎上發展起來的，主要用于解決多變量時間序列預測任務。為了彌補圖卷積網絡在捕捉時間序列長期依賴能力上的不足，時空圖卷積網絡往往會借助卷積神經網絡（CNN）［12］或時間卷積網絡（TCN）［13］或長短期記憶網絡（LSTM）［14］之類的深度學習方法提取時間序列的周期性和波動性信息，然后結合GCN提取多個時間序列之間的短期局部信息，實現多變量時間序列預測。時空圖卷積網絡（spatio-temporal graph convolutional network，STGCN）［5］是一種結合CNN和GCN的時空圖卷積網絡，借助GCN強大的局部信息表達能力實現了對交通流量的精準預測。在此基礎上，注意力時空圖卷積網絡（attention based spatial-temporal graph convolutional network，ASTGCN）［6］引入了注意力機制捕捉交通流量數據中的時空依賴，達到了更好的效果。這兩種方法都使用兩個獨立的模塊分別提取時間依賴和空間依賴，而時空圖序列模型（spatial-temporal graph to sequence model，STG2Seq）［7］提出了使用兩種注意力機制的門控圖卷積模塊同步捕捉交通流量數據中的時間依賴和空間依賴的方法，比分別提取兩種依賴的預測效果有了進一步的提升。時空同步圖卷積網絡（spatial-temporal synchronous graph convolutional network，STSGCN）［8］則更進一步地考慮了交通流量數據中的時空同步依賴，取得了比之前方法都更好的預測效果。除了用于預測交通流量，時空圖卷積網絡在其他領域也取得了很好的效果，如用于行人軌跡預測的注意力時空圖神經網絡（AST-GNN）［15］和用于流行疾病預測的（message passing neural network，MPNN）［9］，還有用于預測學生畢業去向的基于社交圖嵌入的自注意力模型（social graph embedding based self-attention neural network，SGE-SANN）［16］。但這些時空圖卷積網絡僅能應用于圖結構已知的場景下，對于多變量之間的關聯關系未知的場景，時空圖卷積網絡的使用受到了很大的限制。

2 GLB-STGCN

2.1 方法架構

GLB-STGCN首先經過圖學習層，對每個變量進行節點嵌入表示，根據節點嵌入向量之間的余弦相似度選擇相似的節點成為鄰居節點，學習圖鄰接矩陣，和主任務一起學習更新節點嵌入向量，從而學習得到穩定的圖結構。在此基礎上，通過圖卷積網絡，每個節點的深層特征中融合鄰居節點的時間序列信息，對預測任務中多變量之間的關聯關系進行建模。之后再通過多核時間卷積網絡，采用四種不同大小卷積核的組合捕捉不同的周期性特征，并使用深層神經網絡的結構取得更好的效果，由稠密連接得到最終預測結果。GLB-STGCN架構如圖1所示。

2.2 圖學習層

圖學習層的目標是從時間序列數據中學習圖鄰接矩陣來描述各個變量之間的關聯關系，圖中的每一個節點代表預測任務中的一個變量。考慮到真實世界中圖往往具有稀疏低秩的特點，并且鄰居節點之間在特征上往往更為相似［17］，圖學習層會對每個變量進行節點嵌入表示，然后根據各個節點嵌入向量的余弦相似度選擇最近似的節點成為彼此的鄰居。

首先，對于n個變量，定義n個節點，初始時為每個節點隨機生成節點嵌入向量E0，E1，… ，En-1。然后，圖學習層成對計算各個變量的節點嵌入向量之間的余弦相似度，每個節點選擇與自身余弦相似度大于0的最多K個節點作為自己的鄰居節點，形成圖鄰接矩陣A。余弦相似度常常用于評價兩個向量或個體的相似程度，并且更加關注個體內容，而各個節點嵌入向量又是各個變量整體特征的良好表征，會隨著方法的訓練過程進行更新。因此余弦相似度大于0的兩個節點嵌入向量對應的變量彼此在特征上更加相似，所以圖學習層認為這兩個變量成為彼此的鄰居節點才更加符合鄰居節點之間在特征上更為相似的真實世界圖特性。通過這種思路構建的圖鄰接矩陣A可以更加準確地描述多變量之間的關聯關系，并且具有稀疏低秩的特點。最后，隨著方法訓練過程的進行，方法會更新每個節點的節點嵌入向量E0，E1，… ，En-1，使它們對各個變量的特征表達更加準確。伴隨著主任務的學習，得到的圖鄰接矩陣A對多變量之間關聯關系的描述也更加真實貼切。圖鄰接矩陣A會在隨后的圖卷積網絡中用于圖信號傳播和圖信號融合，作為考慮各個變量之間相互影響的重要依據。這里的K是圖學習層的稀疏化系數，用來調整學習到的圖鄰接矩陣的稀疏化程度，通過適當調節K接近最真實的稀疏化程度，可以過濾掉一些不重要的關聯，提升方法訓練速度。圖學習層的公式表達如下：

Cij=Ei·ETj‖Ei‖2·‖Ej‖2（2）

A=ReLU（tanh（C－I））（3）

Aij=1" j∈topK（Ai：）0" jtopK（Ai：）（4）

其中：C表示余弦相似度矩陣；Cij是節點i和j的余弦相似度。根據各個節點的余弦相似度，每個節點選擇與自身余弦相似度大于0的最多K個節點作為自己的鄰居節點，形成圖鄰接矩陣A。topK（Ai：）表示選擇i行中最大的K個數的索引組成的集合。

相比于Wu等人［18］提出的自適應圖鄰接矩陣的方法和文獻［19］提出的使用注意力機制學習圖結構的方法，圖學習層的計算代價更小，從而使方法的運行速度和訓練速度都更快。

2.3 圖卷積網絡

圖卷積網絡的目標是捕捉多變量時間序列之間的短期局部信息。多變量之間的相互影響體現在各個變量的周期性會影響與之相關變量的未來變化趨勢，通過圖鄰接矩陣描述這些變量的關聯關系，再經過圖卷積網絡融合各個節點的信號并傳播，使得每個節點的深層特征中蘊涵了它鄰居節點的時間序列信息，從而達到更好的預測效果。

圖卷積網絡的輸入數據是多變量時間序列數據，或者是深層網絡中多變量時間序列的深層特征表達。同時圖卷積網絡還從圖學習層中獲得了圖鄰接矩陣A來描述多變量之間的關聯關系。由于多變量時間序列預測問題的一個普遍假設是各個變量的動態穩定性會因其相關變量的波動而受到影響，產生同向波動或反向波動。在神經網絡中，這些波動正是以時間序列數據的形式體現的，并能夠被神經網絡的深層特征所表達。因此圖卷積網絡以圖鄰接矩陣A為依據，得到各個變量的相關變量，并以圖信號傳播和圖信號融合的方式將相關變量的時間序列信息融合到自身的時間序列信息中，從而將受到影響產生的同向波動或反向波動在深層特征中表達，作為預測結果的重要依據，實現準確預測。圖卷積網絡層如圖2所示，對應的公式表達如下：

H=σ（D－12（A+I）D－12XW）（5）

其中：X是圖卷積網絡層的輸入；H是圖卷積網絡層的輸出；A是元空間域映射函數學習到的圖鄰接矩陣；I是單位矩陣；D是圖鄰接矩陣A的度矩陣；W是權重矩陣；σ是激活函數。

2.4 多核時間卷積網絡

在多變量時間序列預測問題中，不同變量的時間序列往往表現出不同的周期性，有些變量的周期長，有些變量的周期短，很難使用一個大小的卷積核捕捉所有變量的長期宏觀信息。

為了解決各個變量周期性不同的問題，提出了一種新的多核時間卷積網絡。多核時間卷積網絡選擇1×2、1×3、1×5和1×7這四種卷積核，由這四種卷積核大小可以捕捉60、24、7和30這幾種常見的自然周期，并且根據這幾種自然周期的因式分解中各種卷積核大小的出現頻次，為1×2、1×3、1×5和1×7這四種卷積核提取到的時間特征賦予不同的重要程度。

隨后，由于四種不同大小的卷積核得到的時間特征尺度不同，通過上采樣的方式將得到的四種時間特征整合到相同尺度，然后分別將1×2、1×3、1×5和1×7這四種卷積核提取到的時間特征上采樣到6、3、2和1個通道，從而體現不同時間特征的重要程度，最終經過一個1×1卷積層將多通道信息融合，加入稠密連接層。

多核時間卷積網絡如圖3所示。

2.5 稠密連接

為了使預測效果達到最優，方法采用了深層圖卷積網絡和多核時間卷積網絡的結構。但是它同樣面臨著所有深層圖卷積網絡都會面臨的過平滑問題［20］。

為了緩解深層圖卷積網絡的過平滑問題，進一步提高方法的預測效果，在輸出最終預測結果前加入一層稠密連接層。多核時間卷積網絡的每層輸入結果都會加入到稠密連接層中，最終由這些隱含層的特征加輸入的原始時間序列數據經過一層全連接神經網絡得到最終的預測結果。稠密連接層的公式為

Y=f（X⊕H（1）⊕…⊕H（m））（6）

其中：X表示輸入的原始時間序列數據；Y表示最終的預測結果；H（i）表示第i層小質數時間卷積網絡的輸入結果；⊕表示拼接操作； f（·）表示全連接神經網絡。

3 實驗結果

為了充分驗證GLB-STGCN的有效性，本文選擇來自天文、電力、交通和經濟四個領域的公共數據集和一個真實工業場景生產數據集上進行預測實驗。

3.1 公共數據集描述

公共數據集選擇了來自天文、電力、交通和經濟四個領域的四個多變量時間序列預測數據集。每個數據集上的預測目標都是間隔一段時間后的每個變量的預測結果，根據預測結果與真實數據的誤差和相關系數評價預測方法的好壞。LSTNet［3］和TPA-LSTM［4］都選擇了這四個數據集進行實驗驗證各自方法的有效性，這也是文章沿用這些數據集的原因。有關這四個數據集的描述信息如表1所示。

同時，本文也沿用了LSTNet［3］和TPA-LSTM［4］中實驗所使用的評價指標，相對平方根誤差（root relative squared error，RSE）和經驗相關系數（empirical correlation coefficient，CORR）作為評價方法預測效果的依據。RSE和CORR的計算公式為

RSE=∑（i，t）∈ΩTest（Yit－Y^it）2∑（i，t）∈ΩTest（Yit－mean（Y））2（7）

CORR=1n∑ni=1∑t（Yit－mean（Yi））（Y^it－mean（Y^i））∑t（Yit－mean（Yi））2（Y^it－mean（Y^i））2（8）

3.2 工業數據集描述

由于四個公共數據集的預測目標都是間隔一段時間后的每個變量的預測結果，而現實中許多問題并不需要預測每一個變量，更多的情況是預測一個變量作為目標，對它未來一段時間的變化趨勢進行作圖。因此，本文在公共數據集預測實驗的基礎上增加了一個真實工業場景生產數據集預測實驗。并通過作圖的方式直觀地對比預測效果。

真實工業場景生產數據集來自一個卷煙廠松散回潮過程的傳感器數據。該過程涉及到的變量有10個，其中煙絲含水量是該場景下的預測目標。松散回潮過程的作業以批次為單位，每個批次持續40 min左右，采樣頻率為6 s。通過滑動窗口加Shapelets算法［21］確定4 min為最佳預測周期，也就是預測使用的時間序列長度為40個采樣點。在此基礎上，通過滑動窗口預測未來4 min煙絲含水量的變化趨勢。工業數據集的描述信息如表2所示。

3.3 對比方法

為了驗證GLB-STGCN的有效性，將其與下列七種方法進行對比：

a）AR［1］，一種自回歸預測模型。

b）向量自回歸—多層感知器（vector autoregression model multilayer perceptron，VAR-MLP）［22］，結合自回歸預測模型和多層感知機模型優點的一種混合模型。

c）GP［2］，高斯過程時間序列預測模型。

d）循環神經網絡—門控循環單元（recurrent neural network gated recurrent unit，RNN-GRU）［23］，使用門控循環單元作為記憶單元的循環神經網絡模型。

e）LSTNet［3］，一種結合CNN和RNN的多變量時間序列預測模型。

f）TPA-LSTM［4］，一種注意力機制增強的循環神經網絡模型。

g）多變量時間序列圖神經網絡（multivariate time series forecasting with graph neural network，MTGNN）［18］，一種自適應圖鄰接矩陣增強的時空圖神經網絡模型，用于解決多變量時間序列預測問題。

上述方法中，AR［1］和GP［2］是統計學習方法的代表，VAR-MLP［22］結合了統計學習方法和深度學習方法。以RNN-GRU［23］為代表的循環神經網絡是最常用的解決時間序列預測問題的深度學習方法。LSTNet［3］和TPA-LSTM［4］是針對多變量時間序列預測問題提出的深度學習框架，而MTGNN［18］是圖神經網絡解決多變量時間序列預測問題的經典應用。因此選擇這些方法進行對比可以充分驗證GLB-STGCN的預測效果有效性。

實驗中，所有對比方法的超參數都根據原論文的建議調整至最優。

3.4 公共數據集對比實驗

公共數據集對比實驗中將GLB-STGCN與上述七種方法進行對比，實驗結果如表3～6所示。可以看出，GLB-STGCN在四個不同領域的預測任務中不同預測間隔條件下的預測效果都相對更好。特別在solar-energy數據集中的表現尤為出色，將該預測任務在四種預測間隔下的誤差分別降低了6.02%、8.01%、6.72%和5.31%。分析原因主要因為solar-energy數據集來自天文領域的太陽能監測數據，而恒星的能量和性質往往表現出很強的日周期、月周期和年周期，更加符合GLB-STGCN的假設。在這種場景下使用多核時間卷積網絡能夠更好地捕捉時間序列的周期性，從而獲得更加理想的預測效果。GLB-STGCN沒能在exchange-rate數據集上取得更好的效果，主要是因為經濟領域中匯率的波動并不呈現出非常明顯的自然周期，會更多地受到社會因素的影響。

除了solar-energy數據集之外，GLB-STGCN在其他幾個數據集上的預測效果相比于MTGNN［18］的預測效果提升并不顯著。分析其原因，主要是electricity和traffic數據集的變量個數較多而exchange-rate數據集變量個數較少。當數據集的變量個數較多時，圖卷積網絡的表達能力是限制方法預測準確度的最關鍵因素，由于GLB-STGCN和MTGNN［18］都是基于圖卷積網絡的預測方法，所以在這兩個數據集上的預測效果差距不大。而當數據集的變量個數較少時，多變量之間的關聯關系相對較為簡單，圖卷積網絡尚不能充分發揮自身的優勢，因此GLB-STGCN和MTGNN［18］在易受社會因素影響的exchange-rate數據集上的表現都并不出色，沒有TPA-LSTM［4］的預測效果好。但盡管如此，GLB-STGCN在所有四個公共數據集上的預測效果都較MTGNN［18］更好，說明GLB-STGCN的確能夠對多變量之間的關聯關系進行更準確的描述，并且對不同變量的時間序列的不同周期性有更好的適應性，在各個場景下的多變量時間序列預測問題上的效果更加準確可靠。

3.5 工業數據集對比實驗

工業數據集對比實驗更看重方法中預測目標未來一段時間變化趨勢的預測結果與真實變化趨勢的差異，具體來說就是煙絲含水量預測趨勢是否更加貼近真實的煙絲含水量變化。相比于評價指標，趨勢的一致性顯得更加重要，因而選擇作圖的方式進行預測效果對比，結合平均絕對誤差（MAE）驗證方法的預測效果，對比實驗結果如圖4、5所示。

從圖4中可以看出，相比于對比方法，GLB-STGCN的預測效果更好，煙絲含水量預測趨勢更加貼近未來4 min的煙絲含水量變化趨勢。從圖5的MAE評價指標的對比結果也可以看出，GLB-STGCN預測效果更好，相比于MTGNN［18］的預測結果，預測誤差平均降低了12.30%。并且，GLB-STGCN的預測趨勢更真實，對于波動的捕捉更加敏感，明顯改善了預測方法的滯后性，充分保證了在真實工業場景下的可用性。

3.6 運行時間對比實驗

為了解決關聯關系未知場景下時空圖卷積網絡應用受限的問題，本文提出了使用圖學習層學習圖鄰接矩陣的方法。除了這些方法以外，近幾年國內外研究中還提出了使用自適應圖鄰居矩陣的方法和注意力機制的方法解決圖結構未知的問題，如對比方法MTGNN［18］就使用了自適應圖鄰接矩陣，自注意力動態圖學習網絡（dynamic graph representation learning via self-attention network，DySAT）［19］使用了注意力機制學習動態圖結構。但是這兩種方法計算代價相比于本文提出的圖學習層更高。運行時間對比實驗通過使用自適應圖鄰接矩陣和注意力機制代替圖學習層，在運行時間相對較短的exchange-rate數據集和工業數據集的預測實驗中進行運行時間的對比，以此證明圖學習層的計算代價更低。運行時間對比實驗結果如圖6所示，其中exchange-rate數據集上的運行時間對比實驗選擇的預測間隔是三個采樣點。

從圖6中可以看出，無論在公共數據集預測實驗還是工業數據集預測實驗中，圖學習層的運行時間都短于自適應圖鄰接矩陣和注意力機制的運行時間，自適應圖鄰接矩陣的計算代價較小于注意力機制的計算代價。

4 結束語

本文提出了一種附加圖學習層的時空圖卷積網絡預測方法（GLB-STGCN）用來解決多變量時間序列預測問題。借助圖學習層，GLB-STGCN能夠從時間序列中學習符合真實關聯關系的圖鄰接矩陣用于訓練時空圖卷積網絡，配合多核時間卷積網絡捕捉自然周期的能力，即使多變量之間關聯關系未知的場景下仍然能夠獲得很好的預測效果，這極大程度地擴展了時空圖卷積網絡的預測范圍。在天文、電力、交通和經濟四個領域的數據集上的實驗結果表明GLB-STGCN優于對比方法，并且更加適合解決自然周期明顯的多變量時間序列預測任務，同時在一個真實工業場景生產數據集上的預測實驗還證明了GLB-STGCN可以在多變量時間序列預測問題中對單個預測目標實現極佳的預測效果。未來的工作重點將集中在如何使用有向加權圖描述多變量之間的關聯關系并在圖卷積網絡中合理地利用加權圖的權重。

參考文獻：

［1］Ho S L，Xie Min. The use of ARIMA models for reliability forecasting and analysis［J］. Computers amp; Industrial Engineering，1998，35（1-2）： 213-216.

［2］Roberts S，Osborne M，Ebden M，et al. Gaussian processes for time-series modelling［J］.Philosophical Transactions，2012，371：20110550.

［3］Lai Guokun，Chang Weicheng，Yang Yiming，et al. Modeling long-and short-term temporal patterns with deep neural networks ［C］// Proc of the 41st International ACM SIGIR Conference on Research amp; Deve-lopment in Information Retrieval. 2018： 95-104.

［4］Shih S Y，Sun Fankeng，Lee H Y. Temporal pattern attention for mul-tivariate time series forecasting［J］. Machine Learning，2019，108（8）： 1421-1441.

［5］Yu Bing，Yin Haoteng，Zhu Zhanxing. Spatio-temporal graph convolutional networks： a deep learning framework for traffic forecasting［C］// Proc of International Joint Conference on Artificial Intelligence. 2018： 3634-3640.

［6］Guo Shengnan，Lin Youfang，Feng Ning，et al. Attention based spatial-temporal graph convolutional networks for traffic flow forecasting［C］// Proc of AAAI Conference on Artificial Intelligence. 2019： 922-929.

［7］Bai Lei，Yao Lina，Kanhere S S，et al. STG2Seq： spatial-temporal graph to sequence model for multi-step passenger demand forecasting［C］// Proc of International Joint Conference on Artificial Intelligence. 2019： 1981-1987.

［8］Song Chao，Lin Youfang，Guo Shengnan，et al. Spatial-temporal synchronous graph convolutional networks： a new framework for spatial-temporal network data forecasting［C］// Proc of AAAI Conference on Artificial Intelligence. 2020： 914-921.

［9］Panagopoulos G，Nikolentzos G，Vazirgiannis M. Transfer graph neural networks for pandemic forecasting［J］. Proceedings of the AAAI Conference on Artificial Intelligence，2021，35（1）： 4951-4958.

［10］Ying Zhitao，Bourgeois D，You Jiaxuan，et al. Gnnexplainer： generating explanations for graph neural networks［J］. Advances in Neural Information Processing Systems，2019，32： 9240-9251.

［11］Kipf T N，Welling M. Semi-supervised classification with graph con-volutional networks ［EB/OL］. （2017-02-22）. https：//arxiv.org/abs/1609.02907.

［12］陳啟鵬，謝慶生，袁慶霓，等. 基于深度門控循環單元神經網絡的刀具磨損狀態實時監測方法［J］. 計算機集成制造系統，2020，26（7）： 1782-1793. （Chen Qipeng，Xie Qingsheng，Yuan Qingni，et al. Real-time monitoring method for wear state of tool based on deep bidirectional GRU model［J］. Computer Integrated Manufacturing System，2020，26（7）： 1782-1793.）

［13］Lea Colin，Flynn M D，Vidal R，et al. Temporal convolutional networks for action segmentation and detection［C］// Proc of IEEE Conference on Computer Vision and Pattern Recognition. Piscataway，NJ： IEEE Press，2017： 1003-1012.

［14］倪維健，孫宇健，劉彤，等. 基于注意力雙向循環神經網絡的業務流程剩余時間預測方法［J］. 計算機集成制造系統，2020，26（6）： 1564-1572. （Ni Weijian，Sun Yujian，Liu Tong，et al. Bussiness process remaining time prediction using bidirectional recurrent neural networks with attention［J］. Computer Integrated Manufacturing System，2020，26（6）： 1564-1572.）

［15］Zhou Hao，Ren Dongchun，Xia Huaxia，et al. AST-GNN： an attention-based spatio-temporal graph neural network for interaction-aware pedestrian trajectory prediction［J］.Neurocomputing，2021，445：298-308.

［16］楊光澤，歐陽勇，孫思思，等. 基于圖卷積網絡嵌入社交關系的畢業去向預測［J］. 計算機應用研究，2021，38（11）： 3322-3326，3365. （Yang Guangze，Ouyang Yong，Sun Sisi，et al. Prediction of graduation destination based on graph convolutional network embeded social relations［J］. Application Research of Computers，2021，38（11）： 3322-3326，3365.）

［17］Jin Wei，Ma Yao，Liu Xiaorui，et al. Graph structure learning for robust graph neural networks［C］// Proc of the 26th ACM SIGKDD International Conference on Knowledge Discovery amp; Data Mining. 2020： 66-74.

［18］Wu Zonghan，Pan Shirui，Long Guodong，et al. Connecting the dots： multivariate time series forecasting with graph neural networks［C］// Proc of the 26th ACM SIGKDD International Conference on Know-ledge Discovery amp; Data Mining. 2020： 753-763.

［19］Sankar A，Wu Yanhong，Gou Liang，et al. Dynamic graph representation learning via self-attention networks ［EB/OL］. （2019-06-15）. https：//arxiv.org/abs/1812.09430.

［20］Li Guohao，Müller M，Thabet A，et al. DeepGCNs： can GCNs go as deep as CNNs？ ［C］// Proc of IEEE/CVF International Conference on Computer Vision. Piscataway，NJ： IEEE Press，2019： 9266-9275.

［21］Grabocka J，Schilling N，Wistuba M，et al. Learning time-series shapelets［C］// Proc of the 20th ACM SIGKDD International Confe-rence on Knowledge Discovery and Data Mining. 2014： 392-401.

［22］Zhang G P. Time series forecasting using a hybrid ARIMA and neural network model ［J］. Neurocomputing，2003，50（1）： 159-175.

［23］Fu Rui，Zhang Zuo，Li Li. Using LSTM and GRU neural network methods for traffic flow prediction ［C］// Proc of the 31st Youth Academic Annual Conference of Chinese Association of Automation. Piscataway，NJ： IEEE Press，2016： 324-328.