融合傳遞熵的圖神經網絡農產品期貨預測模型

張 杰，甄柳琳，徐 碩，翟東升

北京工業大學 經濟與管理學院，北京100124

農業是國計民生的基礎，農產品經濟更關乎我國的經濟命脈。作為我國最早推出的期貨種類，農產品期貨市場正呈蓬勃態勢發展，是金融市場不可或缺的組成部分。近年來，隨著全球經貿發展、金融危機及地緣政治等因素影響，全球經濟不確定性上升，農產品期貨價格波動不穩定性加劇。如何結合相關變量、利用技術手段量化預測價格波動規律，對我國宏觀政策制定、預警系統性金融風險、加速推動更有效的期貨市場體系的建立具有指導價值。也為投機者規避價格風險，進行套期保值與套利策略制定提供依據。

在金融時間序列預測研究中，有學者采用統計學方法進行預測，如VAR[1]、ARIMA[2]等。該類方法具備靈活性和適應性，但往往對非線性序列擬合效果不佳[3]。金融時間序列具備非線性、多噪聲的復雜特征，如何捕捉序列的動態變化趨勢是一個巨大的挑戰。

近年來，隨著人工智能的發展，深度學習方法被廣泛應用到金融時間序列預測問題上。基于卷積神經網絡（CNN）、循環神經網絡（RNN）的方法能夠在時間尺度上實現特征提取任務[4]，而如何挖掘變量間相關性特征問題得到了廣泛關注。近期開發的LSTNet[5]、TPA-LSTM[6]模型在CNN、RNN網絡的基礎上引入編碼器-解碼器結構及注意力機制，有效捕獲多元時間序列的非線性模式。然而，該類模型在處理較長序列時表現不佳，且并未對變量間的依存關系進行顯式建模，弱化了模型的可解釋性。

有學者將多元時間序列視為圖結構，將變量視為圖形中的節點，利用圖卷積網絡捕獲節點間的相互依賴關系[7]。目前，基于圖卷積網絡的方法主要分為基于譜（spectral-based）和基于空間（spatial-based）的方法[8]。基于譜的網絡往往利用正則化拉普拉斯矩陣研究無向圖特征，而金融時間序列變量間往往存在因果關系信息，即節點間具備有向相關性特征。故基于空間的模型能夠更適應于處理有向多源輸入，但如何利用圖神經網絡對金融時間序列變量間的因果關系進行定量表征仍是一個挑戰。

為應對以上挑戰，本文提出了一種端到端的預測框架。設計時間卷積網絡捕獲代表序列的節點特征，發現多頻率時間模式，應對長序列處理挑戰；利用傳遞熵構建節點間的鄰接關系矩陣，解決序列間的因果關系特征問題；設計圖神經網絡模型TE-GNN（graph neural network with transfer entropy），并應用于農產品期貨預測任務中。主要貢獻概括如下：

（1）構建融合傳遞熵的圖神經網絡模型，以變量間的因果關系作為先驗信息構建傳遞熵圖，指導預測任務。

（2）在端到端學習框架中，從圖的角度出發，提取時間維度信息表示節點特征；同時利用傳遞熵矩陣表示節點間的鄰接關系，最后使用圖神經網絡融合鄰域節點間的信息，對多元時間序列進行建模。

（3）在真實的大豆期貨數據集上進行實驗。結果表明，TE-GNN模型的預測效果在MAE、RMSE指標上優于現有通用的時間序列預測模型。

1 文獻綜述

目前已有學者就農產品期貨價格預測問題進行了研究，預測方法集中于利用統計學方法與深度學習方法。

就統計學方法而言，自回歸模型、移動平均模型及指數平滑模型等視序列具備線性變化特征，通過挖掘歷史數據隱含信息實現價格波動趨勢的預測。Yang等[9]構建具有時變稀疏性的HAR模型，利用波動率及其他潛在預測因子實現對中國農產品期貨波動率的預測；Wang[10]構建ARIMA模型，利用自回歸系數(p)、差分時間(d)和移動平均系數(q)對大豆期貨收盤價進行預測。以統計學為學科基礎的預測模型具備良好可解釋性的優點，但往往需要復雜的特征工程，且對具備非線性復雜特征的農產品期貨數據的預測能力往往表現不佳。

隨著人工智能的發展，深度學習模型在圖像識別、自然語言處理等領域表現良好。從非線性特征出發，通過堆疊神經網絡實現對復雜非線性特征的擬合，成為了當前領域研究的熱點與前沿。Zong等[11]采用BP神經網絡對農產品期貨價格進行預測，驗證了模型具備比統計模型更高的預測精度；Kurumatani[12]構建基于遞歸神經網絡（RNN）的時間序列預測方法，驗證了RNN網絡在農產品期貨價格預測上的有效性。為解決傳統的循環神經網絡對金融時間序列預測的長期依賴問題及梯度爆炸問題，Jia等[13]設計結合長短期記憶網絡（LSTM）及注意力機制的時間序列預測模型，對農產品價格指數進行預測，有效提高了傳統模型的預測精度。

上述研究主要致力于對序列本身波動特征的挖掘，農產品期貨價格走勢仍反映了市場中交易雙方博弈過程中的信息。我國農產品期貨進出口依存度高、需求量大。考慮到由供求關系導致的價格波動情況，通過表征國際農產品期貨價格的相關性特征，對價格波動走勢進行預測，將有效提高預測精度[14]。

圖是一種多元時間序列的特殊表達形式，將變量視為節點，利用節點間的鄰接關系可清晰地表征變量間的相關性特征。在構建圖的過程中，現有方法假定節點間皆存在依存關系[15]。事實上，變量間的因果干預作用將對序列未來值產生影響，通過先驗因果信息表達變量之間的相互作用將為預測提供指導[16]。目前對序列因果關系表征集中于利用格蘭杰因果關系檢驗與基于因果分析的傳遞熵方法。前者針對平穩序列構造自回歸等經典計量經濟模型，依次判斷變量間是否存在長期均衡的因果關系，缺點是無法較好地處理變量間的非線性關系。傳遞熵方法在處理非線性關系時表現良好，目前已在金融時間序列挖掘、信號處理等領域得到廣泛應用[17]。

鑒于此，本文提出一種融合傳遞熵的圖神經網絡農產品期貨預測模型，利用時間卷積模塊提取序列時間維度信息，并映射為圖中的節點特征；同時，將傳遞熵矩陣視為節點間的鄰接矩陣，表達國內外市場農產品期貨價格的因果依賴關系；利用圖卷積模塊識別圖結構特征，捕獲信息從鄰域傳遞到節點本身的高級表示，最終得到TE-GNN模型的單步預測輸出。

2 TE-GNN模型

2.1 問題定義

針對各國市場農產品期貨價格的預測任務，給定多元時間序列X={X1,X2,…,XT}∈?T×N,令表示第t個時間步處N個變量的觀測值，Xn∈?T表示第n個變量在T個時間步內的觀測值。構建圖G=(V,E)，其中V為節點集，E為邊集。從圖的角度看，視不同市場的期貨價格變量為圖中的節點；計算變量間的傳遞熵作為圖鄰接矩陣，表述節點間的有向關系。根據T時段內的歷史價格數據X和反映變量間依賴關系的圖G，預測未來第h天的期貨價格構建映射關系f(·)表示如下：

2.2 模型結構

模型整體結構框架如圖1所示。輸入農產品期貨歷史價格數據，利用時間卷積模塊識別序列時間模式，并映射為圖結構中的節點特征，其中每個變量視作一個節點；計算輸入序列的傳遞熵矩陣，作為權重系數表示節點間的鄰接關系，由此將序列映射為圖結構。利用圖卷積模塊實現鄰域節點間的信息交互。為避免梯度消失問題，使用殘差連接方法[18]連接m層輸出特征，經標準卷積操作將隱含特征投影為所需尺寸，實現多元時間序列預測任務。

圖1 TE-GNN模型整體結構框架Fig.1 Overall structure framework of TE-GNN model

2.3 時間卷積模塊

在輸入時間窗口內，構建圖G表示節點特征及變量間的鄰接關系。在分析表示節點特征的單變量序列時，需考慮觀測值隨時間變化的趨勢。金融時間序列往往伴隨著一定的周期性時間模式，故設置時間卷積模塊，以多個特定的時間周期為單位提取序列特征，實現序列長短期信號模式的挖掘。時間卷積模塊通過識別單個變量的時間依賴性信息，表示為節點的隱含特征向量，結構如圖2所示。

圖2 時間卷積模塊Fig.2 Temporal convolution module

時間卷積模塊利用擴張卷積（dilated convolution）[7]處理輸入數據，即在標準的卷積核中注入空洞，從而在保留模型參數量的同時增加感受野大小。通過一組具有不同尺寸的濾波器，實現對序列不同頻率時間模式特征的提取。使用p個不同的一維卷積濾波器Wi(i=1,2,…,p)，生成不同尺寸的卷積核1×ki(i=1,2,…,p)，對輸入序列Xn∈?T進行時間尺度的卷積。串聯卷積提取的特征，實現序列不同時間模式特征的挖掘，過程表示如下：

其中，tanh(·)為雙曲正切激活函數，并用作過濾器，σ(·)為sigmoid激活函數，用于控制卷積核傳遞給下一模塊的信息量比率。*表示卷積運算，⊙表示元素哈達瑪積，Concat(·)表示串聯運算。金融時間序列具有的固定周期多為5、7、12、24、28、60，為表示包含這些周期的時間模式，采用四種濾波器尺寸，即p=4,Wi=2、3、6、7，生成1×2、1×3、1×6、1×7大小的卷積核來覆蓋上述固定周期。

2.4 基于傳遞熵的鄰接關系構建

傳遞熵（transfer entropy）常用于對變量間信息傳遞過程的研究。通過計算一個變量信息量傳遞后被觀測變量的不確定度，來表征兩個變量之間的因果關系。

在多元時間序列預測任務中，通過計算傳遞熵作為節點的鄰接矩陣，表示其余變量對目標變量的影響程度，將有效降低模型訓練難度，防止不相關變量被模型學習。當變量Y由未知變為已知時，變量X的信息量的增加即為Y到X的傳遞熵，表示如下：

則變量X和Y間的因果關系可表示如下：

當TX,Y＞0時，表示變量X是Y的原因，TX,Y＜0則表示X是Y的結果。

利用傳遞熵矩陣作為多元時間序列的先驗信息，通過計算序列的傳遞熵矩陣T∈?N×N作為圖的鄰接矩陣，表示節點間的交互關系。傳遞熵矩陣T的第i行第j列元素Tij表征了變量Xi和變量Xj間的因果關系，當i=j時，取Tij=1；當i≠j時，Tij計算公式如下：

其中，Xi,Xj∈?T，分別表示序列X的第i個、第j個變量，Tij數值的大小將直接反映變量Xj對Xi的影響程度。

2.5 圖卷積模塊

繼提取節點特征及節點間的鄰接關系后，輸入的多元時間序列由矩陣X∈?T×N轉為由N個節點構成的圖特征矩陣H∈?N×c，其中c為時間卷積通道數。實現圖的構建過程后，利用圖卷積模塊處理圖特征矩陣，將節點信息與鄰域信息結合，實現對節點信息流的表示，結構如圖3所示。

圖3 圖卷積模塊Fig.3 Graph convolution module

通過傳遞熵矩陣T表示節點的鄰接關系，利用信息傳播與注意力機制[19]兩個組件處理節點信息流。信息傳播部分結合圖結構特征，遞歸地傳播節點信息，表示如下：

其中，H(k)表示傳播層深度為k時的信息傳播狀態，α為控制節點保持原始狀態比例的超參數，h={h1,h2,…,hN}為時間卷積模塊輸出的每個節點的隱含層狀態，T為X的傳遞熵矩陣。

注意力機制部分利用參數矩陣β(k)充當信息傳播狀態的權重，篩選重要信息特征并傳播給下一層，由此可實現網絡節點本身及鄰域信息的特征提取，表示如下：

2.6 輸出模塊

為將隱含層信息輸出為期望的維度，在輸出模塊進行殘差連接操作和設置標準卷積層。由于最終輸入到輸出模塊的信息為多個模塊的拼接，故使用卷積核大小為1×Li的標準卷積并進行殘差連接，將輸入信息標準化，使其具備相同的序列長度，其中Li為第i層輸出的序列長度。此外，利用卷積核大小為1×l的標準卷積層，在指定的維度下輸出最終的預測值X?T+h∈?N。

3 實驗與結果

3.1 實驗數據

作為較早推出的農產品期貨品種，大豆期貨價格走勢呈非線性、非平穩特征，如何對大豆期貨價格走勢進行預測則成為了一項備受關注的課題[20]。目前，美國、日本、巴西等大豆主產國在中國大豆進口貿易中占據主導地位，合理利用國內外大豆期貨市場間的聯動性特征將有效提高預測性能。選用2012年3月21日至2019年12月30日期間內，中國大連商品交易所（DCE）上市的黃大豆一號期貨合約、美國芝加哥商品交易所（CBOT）、日本東京商品交易所（TOCOM）及巴西圣保羅證券期貨交易所（BM&F）上市的大豆期貨合約的日收盤價格數據作為數據集，數據來源于英為財情（Investing）。以時間為尺度匹配、對齊各國期貨交易所的大豆期貨交易數據，考慮到由節假日、停盤等因素導致的數據缺失問題，將缺失數據對應時間步的各國期貨交易所數據皆予以剔除處理，由此可獲得1 673組樣本觀測值，樣本總數為6 692條，實驗數據的描述性統計如表1所示。

觀察表1可知，不同市場大豆期貨原始價格數據均值、偏度及峰度等統計量相差較大，考慮到不同變量數據間不同量綱的影響，對數據集進行MinMaxScaler歸一化處理，定義如下：

表1 大豆期貨價格數據的描述性統計Table 1 Descriptive statistics of soybean futures price data

其中，xnorm為x在[0，1]之間的縮放表示，x、xmax及xmin分別表示各國大豆期貨收盤價數據的原始觀測值及其最大值、最小值。按時間順序劃分訓練集（80%）、驗證集（10%）和測試集（10%），使用滑動窗口技術以窗口長度為T時間步長的多元時間序列作為TE-GNN模型的輸入，以任一時間t+1為始的輸入{Xt+1,Xt+2,…,Xt+T}∈?T×N都可得到預測值X?t+T+h∈?N。

3.2 對比方法

為驗證TE-GNN模型的預測性能，將模型與以下7種基線模型進行比較：

（1）VAR[1]：向量自回歸模型，可分析序列自身滯后項的影響及相關變量的滯后項對未來值的影響。

（2）RNN-LSTM[13]：長短期記憶網絡，主要利用門控單元來解決循環神經網絡梯度爆炸問題。

（3）LSTNet[5]：一種專門針對多元時間序列設計的深層神經網絡，結合了卷積神經網絡、遞歸神經網絡及自回歸組件。

（4）Seq2Seq-LSTM[21]：一種循環神經網絡的變體，基于編碼器-解碼器結構下的LSTM網絡。

（5）TPA-LSTM[6]：一種基于注意力機制的遞歸神經網絡，主要利用注意力機制選擇相關變量進行加權，從而實現多元時間序列預測任務。

（6）GMAN[22]：一種基于多級注意力機制神經網絡，在編碼器-解碼器結構下為序列的變量相關性特征和時間模式特征加權。

（7）MTGNN[7]：一種基于圖神經網絡的多元時間序列預測模型，可自適應地提取圖結構關系。

3.3 實驗設置

（1）指標設置

為衡量模型預測性能，采用兩種傳統的評價指標來評價多元時間序列預測模型性能，平均絕對誤差（mean absolute error，MAE）及相對平方根誤差（root mean square error，RMSE），定義為：

其中，N為變量個數，D為窗口個數，表示第j個窗口下第i個變量的觀測值，表示對應的模型預測值。通過上述兩個指標衡量觀測值與預測值間的差異，誤差越小，表示該模型具有的預測性能越好。

（2）參數設置

利用Python 3.7及PyTorch 1.2深度學習框架構建模型，使用網格搜索法確定最優超參數，通過L1正則化計算損失。設置dropout率={0.1，0.2，0.3}，Batch size={16，32，64}，時間窗口大小Window={12，24，36}，學習率=1E-4，殘差連接通道數為16，輸出通道為64。

此外，對具有代表性且對預測效果產生重要影響的模型參數進行調優，包括網絡層數m、時間卷積層中卷積核通道數c及圖卷積層信息傳播深度k。在控制模型其他參數不變情況下，設計參數取值水平為m={1，3，5，7}，c={16，32，64，128}，k={1，3，5，7}，參數對預測結果的影響如圖4所示。由圖4可選擇網絡層數為m=5、卷積核通道數c=64、信息傳播深度k=3。

圖4 模型參數對預測結果的影響Fig.4 Influence of model parameters on prediction results

模型訓練集及驗證集損失值隨迭代次數增加的變化趨勢如圖5所示，訓練集在經過50次迭代后，損失值將基本不再下降，故選擇TE-GNN模型迭代次數為50次。此外，對于所有基線的神經網絡模型，遞歸層與卷積層的隱藏層維數={16，32，64，128}。不同優化器在相同參數環境下對模型性能的影響情況如表2所示，Adam優化器通過動量累積梯度，具備收斂速度快、波動幅度小的優點，故采用Adam優化器對神經網絡模型進行優化。

表2 優化器對預測結果的影響Table 2 Influence of optimizers on prediction results

圖5 隨迭代次數增加TE-GNN模型損失值變化情況Fig.5 Loss of TE-GNN model changes with number of iterations

3.4 實驗結果分析

本文構建TE-GNN預測模型，利用傳遞熵矩陣表示不同市場下的大豆期貨變量間的因果鄰接關系；時間卷積模塊通過設置不同尺寸的卷積核，識別序列周期性時間模式，并用作節點特征表示；在圖卷積模塊通過設置信息傳播與注意力機制實現節點及其鄰域特征信息的提取與選擇。表3總結了基線模型與TE-GNN模型在預測時間步長h={1，3，5，7}情況下的預測結果。每個預測時間步長下不同指標的最佳預測結果如表3粗體所示。

表3 TE-GNN模型與基線模型的預測結果Table 3 Prediction results of TE-GNN model and baselines 10-2

實驗結果表明，基于傳遞熵和圖神經網絡的TE-GNN模型在不同預測時間步長下的MAE、RMSE指標預測結果皆優于基線模型。其中在h=1時，TE-GNN模型在MAE誤差指標上比基線模型降低2.53%至80.70%，在RMSE誤差指標上降低1.60%至76.48%；h=3時，在MAE誤差指標上比基線模型降低1.45%至66.75%，在RMSE誤差指標上降低0.93%至60.52%；h=5時，在MAE誤差指標上比基線模型降低6.05%至54.09%，在RMSE誤差指標上降低4.11%至52.05%；h=7時，在MAE誤差指標上比基線模型降低4.46%至54.95%，在RMSE誤差指標上降低1.89%至49.51%。

如圖6所示，TE-GNN模型在短期及中長期預測性能皆由于基線模型，能夠實現變量時間模式特征的表征及變量間依賴關系特征的提取任務。相比之下，VAR模型考慮變量間的跨期動態相關性，但由于其無法處理非線性復雜變量間的因果關系而具備最大的預測誤差。RNN-LSTM網絡、LSTNet及在編碼器解碼器結構下的Seq2Seq-LSTM網絡僅關注了序列的時間相關性特征而具備了較差的預測效果。相對而言，TPA-LSTM模型及GMAN模型引入了注意力機制，為序列的時間相關性及變量間的非線性相關性動態加權，具備了更好的預測性能。此外，MTGNN模型通過圖學習層自適應嵌入圖的鄰接關系，作為基于圖神經網絡的多元時間序列預測模型，能夠更好地識別變量間的依賴關系及時間模式特征，但卻忽略了金融時間序列變量間的因果關系，故具備高于TE-GNN模型的誤差水平。

圖6 TE-GNN模型與基線模型的預測結果Fig.6 Prediction results of TE-GNN model and baselines

為能夠明確TE-GNN模型的預測性能，可視化測試集部分的預測結果。以中國大連商品交易所上市的黃大豆一號期貨收盤價變量在預測時間步長h=3的情況下為例，對預測結果進行反歸一化，預測值與實際觀測值走勢如圖7所示。TE-GNN模型能夠對大豆期貨價格數據進行良好的擬合，且能夠檢測出波動幅度較大處的價格走勢。TE-GNN模型在預測過程中出現誤差較大的 時 刻 為 在2019年9月27日 至2019年10月23日及2019年10月31日至11月18日兩段時間內出現 的谷值點處，前一段時刻內由于受技術性賣盤打壓，且在美國農業部發布季度作物供需報告前，投資者軋平頭寸，導致我國大豆期貨收跌；后一段時刻由于中美貿易協議簽訂受APEC會議取消及中美貿易不確定性影響，導致我國大豆期貨價格走勢出現波谷。故引入事件分析法將更準確地擬合波峰、波谷處的價格數據，為模型的進一步優化提供參考。

圖7 DCE黃大豆一號期貨收盤價的預測結果Fig.7 Forecasting results of closing price of soybean No.1 futures in DCE

此外，為明確模型各模塊對最終預測效果的影響方向及程度，并驗證上述改進來自于添加的每個組件的效用而非特定的參數集，對TE-GNN模型進行了消融研究。使用相同的超參數集，分別設置如下：

（1）w/o TE：將傳遞熵矩陣替換為全1矩陣，即假設變量與所有的其他變量相關。

（2）w/o m_k：取消多尺度濾波器設置，將時間卷積層中濾波器大小固定為1×7。

（3）w/o GCN：去除整個圖卷積層部分，并將圖卷積層替換為線性連接組件。

（4）w/o ATT：去除圖卷積層中的注意力機制組件，將信息傳播的輸出直接傳播給下一模塊。

消融研究的實驗結果如圖8所示。觀察實驗結果可知，完整的TE-GNN具備最佳預測效果。設置表征變量間因果關系的傳遞熵矩陣將顯著改善模型預測效果，驗證了傳遞熵矩陣能夠作為鄰接矩陣表征變量間的有向相關性，在TE-GNN模型中起著重要作用；多尺度濾波器的設置能夠有效減小模型誤差，驗證了不同尺寸濾波器在捕獲時間頻率模式信息的有效性；圖卷積模塊的設置顯著改善了預測結果，因為該組件的設置能夠識別節點間的交互信息，實現有效的信息傳播與特征篩選；圖卷積層中的注意力機制組件的引入也將提高模型預測性能，這驗證了注意力機制作為特征篩選器作用的合理性。

圖8 消融研究結果Fig.8 Ablation study results

4 結束語

本文針對具備聯動性的農產品期貨序列，提出了一種基于傳遞熵和圖神經網絡的深度學習預測模型。視多元時間序列為圖結構，利用時間卷積模塊捕獲節點特征，識別序列時間模式周期性頻率特征；采用傳遞熵矩陣表征節點間的因果鄰接關系；利用圖卷積層實現對圖結構特征信息的提取、傳播及篩選，從而獲取精準的預測效果。在真實的大豆期貨數據集上進行實證研究，TE-GNN模型具備比LSTNet、TPA-LSTM、MTGNN等七種基線模型更好的預測效果，表明從變量間的因果關系角度出發，提取序列時間模式特征及變量間的交互信息，可為農產品期貨價格預測任務提供更準確的指導，且通過消融研究驗證了模型中重要組件設置的合理性。

考慮到模型對特定突發金融事件導致的價格波谷上的預測誤差，在以后的工作中，可引入特定的事件類別數據作為變量，使模型能夠更準確地擬合波峰、波谷處的價格趨勢特征。