基于深度強化學習卡爾曼濾波鋰離子電池SOC估計

高洪森，游國棟，王 雪，房誠信，張 尚

(1. 天津力神電池股份有限公司，天津 300384；2. 天津科技大學電子信息與自動化學院，天津 300222)

隨著新能源交通工具的普及，鋰離子電池具有了廣泛的應用空間．鋰離子電池的狀態估計是儲能系統的重要組成部分之一[1-3]．鋰離子電池狀態估計的準確性與電池的充放電過程以及新能源交通工具的運行狀態密切相關．為了提高鋰離子電池狀態估計的精度，國內外相關學者進行了大量研究．

卡爾曼濾波(Kalman filter)是一種利用線性系統狀態方程，通過系統輸入輸出觀測數據，對系統進行最優估計的算法．由于觀測數據中包括系統中的噪聲和干擾的影響，所以最優估計也可看作是濾波過程，是一種常見的鋰離子電池狀態估計算法[4-5]．鋰離子電池運行狀態復雜，狀態估計受很多因素的干擾．針對串聯鋰離子電池組不一致性辨識與狀態估計，葛云龍等[6]提出一種STF&LM算法，該算法將各單體狀態、內阻估計誤差控制在合理范圍內，提升了電池組不一致性辨識與狀態估計．程澤等[7]在分析鋰離子電池二階RC等效電路基礎上，將Sage-Husa自適應濾波思想與傳統平方根無跡卡爾曼濾波(squareroot unscented Kalman filter，SRUKF)相結合，構建了一種自適應平方根無跡卡爾曼濾波算法，該算法提高了對電池歐姆電阻和容量的估計．上述算法大都設置已知系統的噪聲特性，然而系統的過程噪聲方差陣或觀測噪聲方差陣事先是未知的，并且具有很強的不確定性和時變性，因此如果出現錯誤的參數估計常常會造成濾波的發散．

深度強化學習將深度學習感知能力和強化學習決策能力相結合，可直接根據輸入圖像進行控制，是一種更接近人類思維方式的人工智能方法[8-10]．文獻[11]利用深度強化學習思維，提出了一種強化學習的鋰離子電池的狀態估計算法，該方法對于鋰離子電池的狀態估計更加精確和靈活，弊端是更改參數存在困難．文獻[12]和[13]分別將神經網絡和卡爾曼濾波算法相結合，提出了兩種不同的算法，實驗均驗證了能夠提高鋰離子電池狀態估計的精度．上述算法中初始學習參數的選擇主要依靠經驗，若選擇不當的話，很容易產生局部最優解．趙明等[14]將深度學習與卷積神經網絡相結合，應用于地震波形自動分類與識別，并以汶川余震事件中 8900個檢測數據作為訓練值，訓練和檢測準確率均達到 95%以上．針對蜂窩網資源分配多目標優化問題，廖曉閩等[15]構建了一種深度強化學習的蜂窩網資源分配算法，論文通過 Q-learning機制設計了誤差函數，DNN的權值利用梯度下降法訓練，訓練結果表明該算法能夠自主設置資源分配方案的偏重程度，且收斂速度快．

基于上述分析，本文通過對鋰離子電池二階 RC等效電路拓撲，建立了離散系統數學模型，提出了一種新的深度強化學習卡爾曼濾波鋰離子電池荷電狀態(SOC)估計方法．首先，通過分析鋰離子電池二階RC等效電路模型，建立了電池的狀態空間模型，并利用傳統的卡爾曼濾波算法構建了鋰離子電池的離散系統數學模型．結合人工智能思想，進一步設計了一個深度強化學習卡爾曼濾波鋰離子電池SOC估計方法．最后，通過貝葉斯規則確保了最佳協方差．仿真結果表明，該算法能夠較好地提高電池 SOC估計的精度．

1 電池狀態空間模型

1.1 電池模型的建立

鋰離子電池的運行狀態較為復雜，其涉及電化學反應、電荷傳遞等多個相互耦合的過程，具有強烈的非線性動態特性．針對鋰離子電池的 SOC估計，學者們建立了不同的模型，其主要包括等效電路模型、電化學模型和人工神經元網絡模型．等效電路模型可以更準確地表達鋰離子電池外特性，最能代表電池的動態特性線性模型．論文將二階等效電路模型作為研究對象(如圖1)，數學模型為

式中：r0為鋰離子電池內阻；r1、r2，C1、C2為鋰離子電池的極化內阻和極化電容；it為鋰離子電池電流；u0為鋰離子電池內阻端電壓；uOCV為鋰離子電池開路電壓；u1、u2分別為鋰離子電池的極化內阻 r1、r2的電壓；ut為鋰離子電池開路端電壓；t為運行時間．

圖1 鋰離子電池等效電路Fig. 1 Equivalent circuit model for lithium-ion battery

采用安時積分法有鋰離子電池的SOC

式中：λ為庫侖效率系數；Qc為電池標定容量；t0為初始時間；St0和St分別為SOC的初始值和變化值．

式中：τ1=r1C1，τ2=r2C2；uk( uk= it,k)為控制變量；yk( yk= ut,k)為觀測變量；T為變化周期；為系統噪聲干擾，協方差為Q；vk為觀測噪聲干擾，協方差為R．

1.2 電池模型的參數辨識

通過放電實驗可以得到SOC-OCV關系式．圖2為天津力神公司生產的 18650型鋰離子電池在常溫(20～25℃)下的SOC-OCV特性曲線圖．

圖2 鋰離子電池SOC-OCV特性曲線Fig. 2 SOC-OCV characteristic mapping curve of lithium-ion battery

2 深度學習卡爾曼估計電池SOC

結合公式(1)—(3)，應用卡爾曼濾波器，建立鋰離子電池的離散系統數學模型

式中：噪聲干擾wk、vk分別設置為 wk∈(0,Q)，vk∈(0,R)．

強化學習由動物學習、參數擾動自適應控制等理論發展而來，是一種機器學習算法．深度強化學習將深度學習的感知能力和強化學習的決策能力相結合，不斷以試錯的方式與環境進行交互，通過最大化累積獎賞的方式獲得最優策略[10]．本文采用深度 Q網絡(DQN，deep Q-network)具體求解資源分配問題，核心思想是將值網絡作為評判模塊，基于值網絡遍歷當前觀測狀態下的各種動作，與環境進行實時交互，將狀態、動作和獎懲值存儲在記憶單元中，采用 Q-learning算法反復訓練值網絡，最后選擇能獲得最大價值的動作作為輸出．基于深度強化學習的卡爾曼鋰電池SOC估計的基本框架如圖3所示．

圖3 深度強化學習的卡爾曼濾波SOC估算原理圖Fig. 3 SOC estimation process under reinforcement learning of Kalman filters

圖 3中sk為算法進行到第 t(t＝1，2，…，k，…，n)步時對應的觀測，uk為觀測sk下所執行的動作，r(sk, uk) =rk為觀測sk下執行動作uk后，獲得的獎賞(或懲罰)．

深度學習卡爾曼估計電池 SOC估算流程如圖 4所示．

圖4 深度學習卡爾曼濾波鋰離子電池SOC估算流程圖Fig. 4 SOC estimation flow chart under reinforcement learning of Kalman Filters

將卡爾曼濾波算法與深度強化學習相結合，對鋰離子電池SOC進行估計，有動作狀態值函數

定義最佳Q函數為

利用貝葉斯規則，方程(6)可以改寫為

式中：f為過渡函數，即 sk+1=f(sk, uk, ak)．

由此可知，設置sk和uk為決策量，則可獲得最佳協方差．

3 仿真及實驗分析

在 MATLAB環境下，模擬天津力神公司生產的18650型鋰離子充放電過程，仿真數據采用圖 2數據，SOC真實的初始值為 1，設定初始值為 0.9．圖 5為平方根高階容積卡爾曼濾波(square-root unscented Kalman filter，SRUKF)和深度強化學習卡爾曼濾波(reinforcement learning Kalman filter，RLKF)SOC 估計曲線．由圖 5可以看出：兩種方法都能較準確地跟蹤鋰離子電池 SOC的設置值，其中本文所提方法較接近SOC的設置值．

圖5 SOC估計曲線Fig. 5 SOC estmation curves

圖6為兩種方法對SOC估計誤差的比較曲線.

圖6 SOC估計誤差比較曲線Fig. 6 Comparative curves of SOC estmation errors

由圖6可以看出：平方根高階容積卡爾曼濾波策略估計值與設定值的誤差維持在 0.16上下，本文所提方法估計值與設定值的誤差保持在 0.14左右，誤差較前一種方法小，表明對鋰離子電池的 SOC估計精度較高，進而證明深度強化學習卡爾曼濾波可以提升鋰離子電池的SOC估計精度．

為了進一步驗證所提方法的有效性，本文通過設定工況(采用美國聯邦城市運行工況(federal urban driving schedule，FUDS))對鋰離子電池的充放電進行實驗，并對兩種方法(SRUKF和 RLKF)的估計結果進行了對比．采用安時積分法獲得鋰離子電池SOC的實際值，和仿真一樣SOC真實的初始值設置為1，初始值設定為0.9．圖7和圖8分別為SOC估計比較曲線和SOC估計誤差比較曲線．

圖7 FUDS工況下SOC估計曲線Fig. 7 SOC estmation curves of FUDS test

圖8 FUDS工況下SOC估計誤差比較曲線Fig. 8 Comparative curves of SOC estmation errors in FUDS test

由圖7可知：兩種方法均可快速準確地跟蹤到鋰離子電池SOC的設置值，符合工程鋰離子電池SOC的變化特性．由圖 8可知：RLKF算法對鋰離子電池SOC估計精度更高，且自適應能力更強．在開始的200min內，估計值與真實值之間的差值基本保持在0.14以下；在200min之后，誤差值持續降低，原因是RLKF具有在線修正 SOC估計誤差的特性．反觀SRUKF算法鋰離子電池SOC估計誤差曲線，在有效的工況時間內，其估計誤差已超過了 0.16．進一步驗證了RLKF算法對鋰離子電池SOC估計的有效性．

4 結 語

針對鋰離子電池的荷電狀態(state of charge，SOC)估算精度問題，結合傳統的卡爾曼濾波算法和深度強化學習思想，論文提出了一種新的深度強化學習卡爾曼濾波鋰離子電池 SOC估計方法，并進行了仿真驗證．仿真及實驗結果表明，該估算方法在利用兩種算法優點的基礎上，通過貝葉斯規則可以確保系統的最佳協方差，有效降低了估算過程的計算量，進而提升SOC估算的精度，具有較好的實用性．