基于強化學習的配對交易投資策略實證研究

黃圳峰

（北方工業大學經濟管理學院（北京市石景山區），北京 100043）

0 引言

配對交易策略誕生于20世紀80年代，其主要思想是利用證券資產價差的均值回復性進行統計套利。該策略背后的邏輯較為簡單：尋找兩只長期趨勢相近的證券資產，當資產走勢出現偏離時進行做多和做空操作，一段時間后當走勢回歸預設值時再進行平倉。大量的實證研究已經證明其在世界各國金融市場的有效性，作為一類市場中性策略，配對交易策略受到投資者和金融機構的一致認可。

然而，隨著時間的推移，配對交易策略的套利空間逐漸縮小，收益率出現明顯的下降，該策略在交易過程中很難取得理想的效果。這一方面是由于量化交易的廣泛普及使得金融市場的有效性得到了提高，另一方面主要原因在于策略本身的評估時間窗口、交易時間窗口、開倉閾值、平倉閾值等主要參數常常采用經驗值或固定常數，這使其在面對低信噪比、高動態特性的金融市場時交易行為僵化，因而很難長時間保持穩定的正向收益。

事實上，金融資產價格作為時間序列數據存在明顯的異方差性，這意味著配對交易策略的交易邏輯需要隨著市場條件的變化進行動態調整，從而不斷修正自己的交易行為。對此，很多學者提出了各種各樣的改進方案，包括引入GARCH模型、O-U過程、最優閾值等。雖然這些方案在參數優化上有一定的效果，但同時也引入了新的假設和經驗參數，并不能很好地適應變化莫測的金融市場環境。

強化學習是近年來人工智能領域最受關注的熱點之一，其中，Google旗下的DeepMind團隊將強化學習算法應用于游戲中，分別在視頻游戲、機器博弈等領域取得了豐碩的成果。2016年、2017年其研制的圍棋博弈智能體AlphaGo屢次擊敗人類頂尖棋手，震撼了社會各界。在這之后，許多學者將強化學習算法引入各類領域當中，所構造的智能體展現出了極強的學習能力和適應能力。因此，本文將強化學習算法與配對交易策略相結合，以美國股市中的公共事業股作為研究對象，開發一種更加智能的配對交易策略。這種新型交易策略不僅可以擺脫經驗性參數的約束，同時也能更及時地捕捉潛在的交易時機并進行自動化交易，從而提升配對交易策略的套利空間以及市場適應能力。

1 文獻綜述

1.1 配對交易交易模型設計的相關研究

唐國強（2016）［1］利用切比雪夫不等式和夏普比率在回歸殘差的基礎上構建套利閥值統計量，在利潤最大化的前提下求得最優閥值，并利用最優閥值對樣本外數據進行套利分析。麥永冠（2014）［2］認為，有效的建倉策略可以提高配對交易的年收益率；價差動量效應和均值回復效應有助于解釋價差變化和收益率差異；配對交易在成熟有效市場不一定適合，但在發展中國家有著廣闊的前景。

隨著研究的深入，一些學者開始注意到靜態參數和模型的局限性。Do（2010）［3］在研究中發現，GGR模型設定的交易期限過短，導致很多配對交易被強行平倉。Huck（2009）［4］用S&P100成分股進行配對交易，測試了不同的形成期長度和開倉閾值，發現其與策略收益存在顯著相關性。Alexakis（2010）［5］認為長期的協整關系會受到市場條件的影響，因此當市場環境發生變化時，套利組合應隨之調整。

對此，有學者提出了相應的改進方法。包括何樹紅（2013）［6］建立了基于GARCH模型的協整套利策略，實證結果表明改進后的配對策略可以取得更好的收益。另有學者將固定參數改為了動態 參 數，劉 陽（2016）［7］等 將 神 經 網 絡 與 動 態GARCH模型相結合，通過挖掘價格偏差中的非線性特征，使得動態GARCH模型能即時發現波動性變動，從而降低靜態模型的預測偏差。

1.2 基于強化學習的配對交易策略的相關研究

為使配對交易策略具備更強的市場適應性，有學者將強化學習算法與配對交易相結合，并成功提高了配對交易策略的盈利能力，降低了交易風險。Fallahpour（2016）［8］等人首次將強化學習與協整配對交易策略相結合，將估計窗口、交易窗口、交易閾值與止損閾值進行離散化處理，以索提諾比率為獎勵函數，利用強化學習中的策略梯度法調整參數，使其能適應市場環境的變化。胡文 偉（2017）［9］等 進 行 了 類 似 的 研 究。Kim（2019）［10］基于DQN算法訓練智能體，并以最大平均收益為目標進行優化，使得訓練后的智能體可以自動選擇最優的交易窗口，調整止損邊界。在Kim的基礎上，Brim（2020）［11］將DQN的改進型算法Double Deep Q-Network應用于配對交易模型構建中，實證表明改進的交易模型可以有效地學習和改進決策。在訓練過程中他們還引入負獎勵乘數，用來調整系統的靈活性，使得交易策略面臨的市場風險更低。

2 模型的設計與構建

2.1 交易對的選擇

交易對選擇的第一步是確定備選資產池A，這一步的目的是為后續挑選合適的配對資產做準備，主要的分析框架包括：同行業配對、基本面配對、上下游產業鏈配對、同一公司不同交易所標的資產的配對等。參考畢秀春（2020）［12］、傅毅（2017）［13］、黃曉薇（2015）［14］等人的研究，本文選用同行業配對的方法。相較于其他方法，同行業配對具有操作簡便、可靠性高、普適性強的特點。

Clegg和Krauss（2018）［15］將部分協整理論應用于配對交易后發現，協整法相對與其他方法具有更高的平均利潤率、更多的交易次數、更短的持倉時間、更大的均值回歸標準差和更高的夏普比率等優點，因而本文在根據行業確定了備選資產池A之后，首先對所有資產進行相關性分析，篩選出相關性最高的m對資產作為預選標的資產對A_pre。這之后通過EG兩步法檢驗A_pre的協整性。最后將通過協整檢驗的資產對作為配對交易的研究對象。

2.2 配對交易策略的設計

在對胡文偉（2017）［9］、Brim（2020）［11］、Kim（2019）［10］等人的策略設計思路進行整理并改進之后，本文的配對交易策略設計如下：

設定初始資金port_init_cash為100000美元，假設有A、B兩個配對資產，無手續費、印花稅，每日進行交易，交易單位為100股，首先輸入200天的數據進行模型的初始化，使用的交易策略為策略，之后每天進行一次訓練。在執行動作之前，預設參數op_A為開倉-平倉信號，當op_A>=0時，分別代表賬戶內持有A的長頭寸或者未持有A的頭寸，當op_A<0時，代表持有A的短頭寸，資產A的往期持倉量和往期價格a_volume i，a_price i，資產B的往期持倉量和往期價格b_volume i，b_price i，B的當期價格為b_price t，當期賬戶的總價值為port_value，上一期賬戶總價值為port_value_old，具體交易流程如下：

（1）執行買入操作且o p_A>=0（開倉），即買入100股A，成本定義為long_cost，賣出100股B，成本為s hort_cost，上一期現金流為port_init_cash，當前現金流為port_cash。則現金流變化為：

賬戶價值port_value為：

（2）買入操作且op_A<0（平倉），即買入100股A，收益定義為short_ret urn，賣出100股B，收益為l on g_retur n。

則現金流變化為：

賬戶價值port_value為：

賣出操作同理不再贅述。

本文設置3種交易策略作為基準與本文的改進型配對交易策略進行比較：

（1）指數化策略（SPY）.將所有資金在期初購買S&P500指數基金并持倉到期末，每日對持倉的總價值進行計算。

（2）隨機交易策略（Random）.采用與本文相同的配對交易環境，隨機執行買入、賣出、持有三個動作，每日對持倉的總價值進行計算。

（3）傳統配對交易模型（GGR）。參考Gatev,Goetzmann和Rouwenhorst（2006）［16］研究中所采用的配對交易策略。

2.3 強化學習模型的構建

上文已介紹了強化學習中包含的基本元素，下面介紹基于配對交易環境下的強化學習過程中幾個重要元素的實際意義：

（1）狀態S t。配對交易策略的收益情況與短期市場行情變化和行業趨勢相關，本文將一些相匹配的市場趨勢指標、宏觀經濟指標、價格統計量作為狀態的特征。

1）交易資產收盤價的價差：配對交易的核心特征，用以描述兩個資產的偏離程度。

2）股票價格的變異系數：利用一段時間內價格的標準差除以價格的平均值可以得到變異系數，通過變異系數可以衡量單一股票價格的離散程度。

3）S&P500指數：衡量市場趨勢和宏觀經濟狀況。

4）VIX指數：衡量當前市場波動率。

5）美聯儲的聯邦基金利率：指美國同業拆借市場的利率，其變動能夠敏感地反映銀行之間資金的余缺，進而影響消費、投資和國民經濟。

6）交易賬戶的總價值：包括現金資產和證券資產兩部分。

（2）動作a t。在金融市場上，一般的交易行為包括買入、賣出、持有、止損，因此本文將動作集設置為{buy,sell,hold,s top}，假設有A、B兩項資產，bu y代表買入100股A，賣出100股B；s el l代表賣出100股A，買入100股B；hold代表持有操作，s top代表將交易對全部平倉。

（3）策略函數π(s)。使用ε-gr eedy算法，假設貪婪系數為0.9，則選取使得動作值函數最大的動作的概率為0.9，隨機采取動作的概率為0.1。

（4）動作值函數q(s,a)。采用函數逼近的方法計算動作值函數。當逼近值函數的結構確定之后（線性逼近時選定了基函數、非線性逼近時選定了神經網絡的結構），可以將值函數的逼近等價于參數的逼近，值函數的更新等價于參數的更新。

（5）獎勵函數R t。當天賬戶總價值為por_value，前一天的賬戶總價值為por_value_old，則R t=por_val ue-por_value_old。

（6）神經網絡的構造。Zhang（2003）［17］、Ba?hadir（2008）［18］等發現神經網絡在股票預測等問題上的表現強于很多傳統方法，本文此處簡化處理，選擇使用多層感知機［19］對特征進行擬合，將特征作為輸入，因而輸入層的節點數為7；隱藏層為兩層，節點數設置為16，輸出層節點數為4，激活函數選擇ReLU函數，優化器選擇梯度下降優化器。

3 基于強化學習算法的配對交易策略的實證分析

3.1 數據獲取與預處理

從雅虎金融上下載了2010年1月4日至2016年11月30日相關25支股票的日度數據，內容包括開盤價、收盤價、最高價、最低價、調整后的收盤價、交易量等信息，將數據格式轉化為DataFrame格式方便后續處理，缺失數據以None進行填充后剔除。之后將數據劃分為訓練集和測試集兩個部分，訓練集時間為2010年1月4日至2015年12月31日，測試集時間為2016年1月1日至2016年11月30日。

3.2 協整關系的檢驗

3.2.1 相關性分析

首先針對這25支股票自2010年1月4日至2016年11月30日的收盤價數據進行相關性分析，計算每兩支股票的皮爾遜相關系數，之后設置篩選條件為相關性大于0.95的交易對為備選的交易樣本，便得到了7個預選交易對，如表1所示。

表1 備選交易對

3.2.2 協整檢驗

采用EG兩步法對備選交易對進行協整檢驗，驗證備選交易對中每支股票是否是一階單整的，此處利用ADF檢驗統計量分別檢驗在1%、5%、10%的臨界值下的顯著性水平。從表2中可以看到，訓練集ADF檢驗1%、5%、10%的臨界值分別為-3.435、-2.863、-2.568。測試集ADF檢驗1%、5%、10%的臨界值分別為-3.459、 -2.867、-2.574，當差分階數為0時均不能拒絕原假設，序列不平穩。一階差分后數據ADF檢驗結果顯示p值均小于0.01，有高于99%的把握拒絕原假設，此時序列平穩，因而所有價格序列都是一階單整的。

表2 收盤價一階單整檢驗結果

再利用ADF檢驗統計量檢驗OLS回歸后的殘差是否平穩，有三組交易對xel-cms、pnw-dte、pnw-scg回歸后的殘差通過協整檢驗，具有長期相近的趨勢，本文選擇協整系數較高的pnw-scg交易對作為最終的交易樣本。

3.3 實證結果分析

表3和表4匯總了本文七種策略的各項性能表現，其中Random為隨機動作模型，SPY為指數化策略、GGR為Gatev,Goetzmann和Rouwenhorst提出的傳統的配對交易策略。

表4 pnw-scg回測結果對比（測試集）

首先將經典配對交易策略和基于DQN系列算法的配對交易策略進行比較。在表3中可以看到，在訓練集上，DQN系列策略在累計收益率和年化收益率方面較GGR策略有了較大的提高，例如基于Double-DQN的配對交易策略累計收益率和年化收益率分別達到了79.77%和19.28%，而在測試集上基于Dueling-DQN累計收益率和年化收益率最高為18.33%和28.96%。麥永冠（2014）［2］同樣通過改進建倉策略的方式提高來配對交易的收益率，但其并未使用強化學習的改進思路，在各市場上的平均年收益率為1%～2%。

表3 pnw-scg回測結果對比（訓練集）

在最大回撤方面，基于DQN系列算法的策略普遍低于Random策略和SPY策略，這與胡文偉（2017）［9］Kim（2019）［10］Brim（2020）［11］的研究結果一致。而從累計凈值可以看到，由于GGR策略交易次數和交易量較低，使其回撤也相對較小，因而不具備可比性。

在年夏普比率方面，基于DQN算法的配對交易策略在訓練集上達到了1.85，基于PRDQN算法的配對交易策略在測試集上達到了1.67，而GGR策略僅為-0.81和-0.04。從整體上看，基于DQN系列算法的配對交易策略的夏普比率也普遍達到了0.9以上，綜合水平高于三類基準策略。

在DQN系列算法內的比較研究中，可以看到Double DQN、Prioritized Experience Replay（DQN）算法的配對交易模型的成功降低了經典DQN算法容易出現的過擬合問題［20］［21］。在圖1（a）中，隨著迭代次數的增加，DQN算法的Q值在不斷上升（紅線），而Double DQN算法中的Q值上升更為緩慢，且總體數值大于0，因此相較于DQN算法，Double DQN、Prioritized Experience Replay（DQN）算法改進后的配對交易模型泛化能力較強。

圖1 訓練過程對比

基于Dueling DQN算法的配對交易策略在訓練過程中有著明顯的速度優勢，將狀態值和動作優勢值區分開，使得網絡架構和強化學習算法可以進行更好的結合［22］。從圖1（b）可以看到，在4000步左右Dueling DQN算法已經學習到了配對交易的規律開始產生正向收益，而DQN算法則在8000步之后才開始收斂。圖1（c）表明Dueling DQN算法的訓練損失相較于DQN在多步迭代后降到了很低的水平，因而可以認為在配對交易策略的訓練過程中，Dueling DQN算法的收斂性更好，訓練速度更快。

4 結語

本文將強化學習和配對交易相結合，設計構造了一類可適應市場條件變化并實現自動開倉、平倉、持有、止損的智能配對交易策略。模擬交易的結果表明，傳統的交易模型在當前市場條件下確實很難取得比較豐厚的收益，而基于強化學習的配對交易模型從訓練數據中學習到了一定的配對交易規則，相較于胡文偉（2017）［9］、麥永冠（2014）［2］使用Q-learning、Sarsa或計量經濟學方法改進配對交易，本文使用DQN系列算法可以有效提高收益率并降低回撤率，并參考Kim（2019）［10］的研究為配對交易模型添加了止損機制，使其更好的平衡了收益與風險，而同時也獲得了更高的夏普比率。此外，不同于Brim（2020）［11］、胡文偉（2017）［9］等人的研究中只使用單一的強化學習算法改進配對交易策略，本文對多種DQN算法進行了比較研究。結果發現，基于Double DQN、Prioritized Experience Replay（DQN）算法的配對交易模型泛化能力更強，而基于Duel?ing DQN算法的配對交易模型收斂性更好，訓練速 度 更 快。這 符 合Schaul（2015）［21］、Wang（2016）［22］等對于傳統DQN算法的改進目標。

本文的局限在于：①沒有進一步考慮交易費用、滑點等因素。②神經網絡的設計相對簡單，導致模型無法擬合更復雜的函數，策略收益率、夏普比率等指標還有進一步提高的空間。③研究對象局限在股票市場，未將研究范圍擴展至期貨、數字貨幣等市場。

在解決上述問題的同時，未來的研究也將引入更復雜的強化學習算法，如DDPG、PPO等深度強化學習算法，同時將更多的交易策略納入研究范圍，拓展強化學習在金融市場交易問題中的應用范圍。