基于卷積網絡的雙熱電偶動態溫度測量方法

虞思思李文軍崔志文金敏俊

(中國計量大學計量測試工程學院，浙江 杭州 310018)

工業、農業、國防等領域中存在測量動態溫度的需求[1]。熱電偶因其成本低、可靠性高等優點被廣泛應用[2]。但熱電偶存在熱慣性，動態響應存在遲滯，動態溫度測量存在動態誤差[3]。為了減小動態誤差，通常采用硬件補償法和軟件補償法。硬件補償法采用硬件電路進行補償，存在通用性差等缺點。軟件補償法利用數據驅動的方式建立模型，對測量值進行修正，重建動態溫度，具有補償精度高、通用性強等特點。

雙偶法通常使用兩支具有不同時間常數的熱電偶來重建真實溫度[4]。Yanfeng Li等使用雙熱電偶來測量等速流動環境中的動態氣體溫度，并利用小時間常數熱電偶的輸出數據重構輸入動態溫度[5]。Xingyu Ren等用兩個不同直徑的細絲熱電偶組成雙熱電偶探頭對湍流乙烯擴散火焰進行高頻溫度測量，并補償湍流氣體溫度[6]。Peter C Hung等提出了一種差分方程sDEd方法，利用兩支熱電偶的輸出以解決高頻波動的損失[7]。

物理傳感器測量的動態流量、壓力和溫度[8]都可以看作時間序列。熱電偶是測量溫度的傳感器，其測量的溫度數據也可以看作時間序列。在時間序列研究中，自回歸滑動平均模型(autoregressive moving average，ARMA)以及差分整合移動平均自回歸模型(autoregressive integrated moving average，ARIMA)應用廣泛。但是，這兩種模型都屬于線性數學模型，存在著諸多局限性，如線性模型只在線性關系問題中表現良好[9]。近年來，深度學習方法日益成為研究的熱點。Lucas等通過卷積神經網絡(convolutional neural networks，CNN)提取氣象數據特征以計算日參考蒸散量[10]；Shi等將長短期記憶人工神經網絡模型(long short-term memory，LSTM)引入降水量研究；Pradeep He wage等使用時間卷積網絡模型(temporal convolutional networks，TCN)對氣象數據進行分析[11]。

本文提出了基于卷積神經網絡和基于時間卷積網絡的雙熱電偶動態測溫模型。將偽隨機二值序列作為激勵溫度[12]，獲得兩支時間常數互異的熱電偶在高低溫雙溫度源激勵下的理論測量值。將兩支熱電偶的理論測量值視為時間序列并作為CNN和TCN的輸入，通過CNN和TCN重建動態溫度，采用RMSE和R2對CNN模型和TCN模型的動態溫度重建進行評價。搭建了雙熱電偶動態溫度測量實驗系統，以兩支K型鎳鉻鎳硅熱電偶為實驗對象，給出了一個算例。

1 雙熱電偶動態測溫模型

1.1 基于卷積神經網絡的雙熱電偶動態測溫模型

卷積神經網絡(convolutional neural networks，CNN)是包含卷積計算且具有深度結構的前饋神經網絡，是深度學習的代表算法之一[13]。在時間序列建模中，CNN也表現出了良好的性能。

CNN的基本結構一般由輸入層、隱藏層、全連接層以及輸出層構成，隱藏層主要包含卷積層和池化層?；诰矸e神經網絡的雙熱電偶動態測溫模型如圖1所示。

圖1 基于卷積神經網絡的雙熱電偶動態測溫模型

假設熱電偶1測量值序列T1為{T1(k)｜k＝1，2，…，n}，熱電偶2測量值序列T2為{T2(k)｜k＝1，2，…，n}，真實溫度序列T r為{T r(k)｜k＝1，2，…，n}。CNN將序列問題轉化為根據T1、T2去預測T r。

卷積層(Convlution)體現了局部連接和權值共享兩種核心思想，有效的減少了網絡的參數數量，緩解了模型的過擬合問題，使運算變得簡潔、高效[14]。

局部連接，即卷積層中的節點只與前一層的局部節點相連，只學習局部特征。

權值共享意味著整個溫度時間序列的元素都共享了相同的權值，即每個卷積核在遍歷整個時間序列時，卷積核的參數值不變。不僅減小了模型復雜度，且很好的利用了元素間的局部相關性。

卷積操作可以看作在溫度時間序列上應用和滑動卷積核[15]。與圖像不同的是，卷積核只顯示一維(時間)而不是二維(寬度和高度)，輸入溫度時間序列T1的卷積運算表達式為:

式中:“*”為卷積運算，k為時間序列長度，b為偏置參數，f為非線性函數例如校正的線性單元

(ReLU)。

池化層一般在卷積層之后。池化層通過池化操作進一步減少參數的數量，通過在溫度時間序列的滑動窗口上聚合來減少其長度，簡化模型的復雜性、提高計算速度以及提高所提取特征的魯棒性。最常用的池化方法有最大池化(max-pooling)和平均池化(mean-pooling)。池化在防止過度訓練和減少計算復雜度方面起著至關重要的作用。

卷積層參數誤差會造成估計均值的偏移，而采用最大池化操作能夠減小偏移帶來的誤差。假設輸入為n H×n W×n C，經過最大池化操作后輸出為:

式中:l為池化核大小，s為步長。

扁平化層(Flatten)將提取的特征轉化為一維特征向量，然后使用聯合層(Concatenate)將兩個特征向量進行融合，最后通過全連接層(Fully-connected)進行輸出。

1.2 基于時間卷積網絡的雙熱電偶動態測溫模型

時間卷積網絡(Temporal Convolutional Network，TCN)，是一種能夠處理時間序列數據的網絡結構，是將CNN思想引入時序數據處理的一種新方法[16]。與CNN相比，TCN具有時間因果性和更靈活的感受野。基于時間卷積網絡的雙熱電偶動態測溫模型如圖2所示。

圖2 基于時間卷積網絡的雙熱電偶動態測溫模型

與CNN方法類似，TCN也將序列問題轉化為根據T1、T2去預測T r。

TCN中的因果卷積與普通卷積不同，其一個時間的輸出僅與前一層中更早時間的元素卷積，不考慮未來的信息。一個簡單的因果卷積只能回顧一個網絡深度上呈線性大小的歷史，這使得將上述因果卷積應用于需要較長歷史的溫度時間序列時卷積層數會增加，而卷積層數增加會帶來梯度消失、訓練復雜及擬合效果不好等問題。為解決這一問題，TCN引入擴張卷積，使感受野成倍增大。擴張卷積又稱膨脹卷積或空洞卷積，除卷積核大小外，擴張卷積還有一個參數即擴張因子d，用來表示擴張的大小，擴張因子d通常以2的指數形式增加，d＝2m，m∈{0，1，…，n}。輸入溫度時間序列T1中元素s的擴張卷積運算表達式為

式中:“*”為卷積運算，d為擴張因子，l為卷積核大小。選擇更大的卷積核和增加擴張因子d都可以增加感受野，使頂層的輸出代表更廣泛的輸入。因果擴張卷積如圖3所示，其中d＝2m，m∈{0，1，2}。

圖3 因果擴張卷積

TCN的感受野取決于網絡深度、卷積核大小和擴張因子，當輸入數據量更大時，模型仍會非常深，因此提高模型精度、避免特征信息丟失過多，進而穩定更深層的時間卷積網絡變得非常重要。TCN增加了殘差連接使輸入數據可以跨層被直接添加到輸出中，因輸入與輸出數據可能維度不同，使用1×1卷積來確保維度的一致。

TCN通過堆疊若干個殘差塊來構造完整結構，每個殘差塊通常由若干層因果擴張卷積以及與之配套的權值規范化(WeightNorm)、激活函數、隨機失活率(Dropout)和殘差連接組成[17]。圖4所示的殘差塊包含兩層因果卷積以及與之配套的權值規范化、ReLU、隨機失活率和殘差連接。

圖4 殘差塊

1.3 評價指標

為了比較CNN和TCN模型動態溫度重建的精度，采用統計指標均方根誤差(Root Mean Square Error，RMSE)和擬合優度(Goodness of Fit)對兩種模型進行評價。

均方根誤差是模型預測值與真值偏差的平方與時間序列長度n比值的平方根，用來衡量模型預測值同真值之間的偏差。其表達式為

式中:n為時間序列長度，T r為真值，T p為模型預測值。均方根誤差越小，說明模型預測的越準確；均方根誤差越大，則越不準確。

擬合優度指模型預測值對真值的擬合程度。度量擬合優度的統計指標是可決系數R2，其表達式為

2 雙熱電偶動態測溫仿真

2.1 熱電偶理論測量數據集

Victor在測試熱電偶動態響應性能時，采用偽隨機二值序列(pseudo-random binary sequence，PRBS)作為激勵溫度[18]。因此，使用偽隨機二值序列作為熱電偶在高低溫雙溫度源下的無量綱激勵溫度。如圖5所示，y坐標表示無量綱溫度，其中0代表低溫溫度源，1代表高溫溫度源。設定的采樣頻率為50 Hz，采樣時間長度為200 s，數據長度為10 000。

圖5 激勵溫度

根據Li[19]，假設熱電偶1的時間常數τ1＝0.045s，則其傳遞函數為

將圖5中的激勵溫度應用于式(7)的熱電偶1，得到理想情況下的響應，如圖6所示。

圖6 熱電偶1理想響應

為了使理論測量數據集更接近實際應用數據集，在上述數值中加入不同強度的高斯噪聲，噪聲大小可由信噪比(signal-to-noise ratio，SNR)控制，信噪比的定義如下

式中:P s和P n分別代表信號和噪聲的有效功率。

本文以步長為10 dB，SNR在20 dB至60 dB范圍內，獲得多組熱電偶理論測量值。熱電偶1在SNR為20 dB和60 dB時的理論測量值如圖7(a)、(b)所示。

圖7 熱電偶1在SNR為20 dB和60 dB時的理論測量值

類似地，假設熱電偶2的時間常數τ2＝0.135s，則其傳遞函數為

將熱電偶1和熱電偶2的測量值序列T1、T2作為模型的輸入，真實溫度序列T r作為輸出。如圖8所示，T1(k)、T2(k)分別為在k時刻熱電偶1和熱電偶2的測量值，Tr(k＋1)為在k＋1時刻的真實溫度。具體而言，取[T1(k－1)，T1(k)，T1(k＋1)]和[T2(k－1)，T2(k)，T2(k＋1)]作為輸入樣本，T r(k＋1)作為輸出樣本，滑動窗口每次移動的距離為1。

圖8 模型的輸入輸出樣本

滑動窗口遍歷序列后得到輸入輸出樣本數據集，將其70%劃分為訓練集用于訓練模型，30%劃分為測試集用于測試模型。

2.2 卷積網絡模型參數設置

2.2.1 CNN模型參數

兩個序列利用卷積層和最大池化層完成特征的提取，經扁平化層將特征映射為一個一維向量，合并兩個一維向量，通過適當的隨機失活率緩解模型的過擬合問題，再通過全連接層進行輸出。CNN模型的參數設置如表1所示。

表1 CNN模型參數設置

2.2.2 TCN模型參數

擴張因子d＝2m，m∈{0，1，2，3，4，5}。兩個序列經因果擴張卷積完成提取特征后，利用權值規范化簡化計算，再通過適當的隨機失活率緩解模型的過擬合問題。TCN模型的參數設置如表2所示。

表2 TCN模型參數設置

2.3 計算結果

對熱電偶1和熱電偶2的測量值序列T1、T2進行CNN和TCN建模，重建動態溫度。在SNR為20 dB時兩種模型的動態溫度重建如圖9(a)所示，兩種模型在3.2 s～12.8 s的動態溫度重建與激勵溫度的局部放大如圖9(b)所示。

在SNR為30 dB～60 dB范圍內，步長為10 dB，兩種模型在3.2 s～12.8 s的動態溫度重建與激勵溫度的局部放大如圖10所示。

由圖9～圖10可以看出，在SNR為20 dB～60 dB噪聲環境下，兩種模型的動態溫度重建誤差主要在溫度階躍處。且與CNN模型相比，TCN模型的動態溫度重建更接近激勵溫度。

圖9 SNR為20 dB時的動態溫度重建

圖10 SNR為30 dB～60 dB時的動態溫度重建局部放大圖

根據式(4)和式(6)，計算RMSE和R2，用于評價模型的精度，結果如表3所示。

由表3可以看出，在SNR為20 dB～60 dB噪聲環境下，與CNN模型相比，TCN模型的RMSE更低，R2更高，表明TCN模型的動態溫度重建精度更高。且隨著信噪比的減小，與CNN模型相比，TCN模型的RMSE和R2更為穩定，表明TCN模型具有更強大的抗噪聲能力。

表3 在SNR為20 dB～60 dB噪聲環境下兩種模型的RMSE和R2

3 雙熱電偶動態測溫實驗

3.1 實驗裝置

搭建了雙熱電偶動態溫度測量實驗系統。實驗裝置包括上位機、數據采集卡、熱風槍以及熱電偶。雙熱電偶動態溫度測量實驗系統如圖11所示。

圖11 雙熱電偶動態溫度測量實驗系統

K型熱電偶具有靈敏度高、熱電性能穩定等特點。因此，采用兩支絲徑比為2的K型鎳鉻鎳硅熱電偶為實驗對象[20]，熱電偶A的絲徑為0.3 mm，熱電偶B的絲徑為0.15 mm。由于實驗中真實溫度變化未知，所以以高精度熱電偶的測量值為標準，高精度熱電偶的絲徑為0.1 mm。

實驗原理是利用兩支熱風槍A、B產生低溫氣流和高溫氣流，熱電偶測溫結點在兩種氣流間來回擺動，數據采集卡采集熱電偶A、B的測量值TA、TB以及高精度熱電偶的測量值Tr。

3.2 實驗結果

設定熱風槍A溫度為50℃，熱風槍B溫度為250℃。采樣頻率為50 Hz，采樣時間長度為200 s，數據長度為10 000。熱電偶的實驗測量值如圖12所示。

圖12 熱電偶實驗測量值

在建立模型前，對熱電偶A、B的測量值TA、TB以及高精度熱電偶的測量值Tr進行歸一化處理，其表達式為

式中:Tmin為溫度序列數據的最小值，Tmax為溫度序列數據的最大值。熱電偶測量值歸一化如圖13所示。

圖13 熱電偶測量值歸一化

由圖13可以看出，高精度熱電偶的動態響應優于熱電偶A、B，熱電偶B的動態響應優于熱電偶A。

對熱電偶A、B歸一化后的測量值進行CNN和TCN建模，重建動態溫度。兩種模型的動態溫度重建與高精度熱電偶測量值對比如圖14所示。

由圖14可以看出，CNN模型的動態溫度重建誤差主要在溫度階躍處。

圖14 模型輸出與高精度熱電偶測量值對比

根據式(4)和式(6)，計算RMSE和R2，用于評價模型的精度，結果如表4所示。

表4 兩種模型的RMSE和R2

表4中的實驗數據處理結果是在與仿真一致的模型參數條件下獲得的。由表4可知，采用雙熱電偶測量動態溫度時，TCN模型的RMSE為0.028 4，R2為0.994 0，優于CNN模型，表明TCN模型的動態溫度重建精度更高。且根據計算結果可知，熱電偶B測量值與高精度熱電偶測量值之間的RMSE為0.092 9，R2為0.938 9，因此TCN模型輸出溫度應優于熱電偶B。

在相同的實驗環境下，其他條件不變，改變兩支熱風槍的溫度分別為50℃、300℃和150℃、250℃，獲得兩組新的實驗數據，將得到的新的實驗數據代入已訓練好的TCN模型中進行預測，兩組實驗的RMSE分別為0.044 1和0.034 8，R2分別為0.983 3和0.989 2。因此已訓練好的TCN模型對于其他真實實驗溫度，其預測效果同樣較好。

4 結論

為了獲得更精確的動態溫度，提出了基于卷積網絡的雙熱電偶動態溫度測量方法。采用卷積網絡中的CNN和TCN對兩支同一材質不同絲徑熱電偶的測量值序列進行建模，重建真實溫度。計算結果和實驗結果表明，與CNN模型相比，TCN模型的RMSE更低，R2更高。因此，基于時間卷積網絡的測量方法能夠提高動態溫度測量的精度，且結果優于基于卷積神經網絡的方法。