面向光場火焰溫度場重建的特征提取優(yōu)化方法

單良，華夏杰，牛玉風(fēng)，趙騰飛，洪波，孔明

（1 中國計量大學(xué)信息工程學(xué)院，浙江省電磁波信息技術(shù)與計量檢測重點實驗室，浙江 杭州 310018；2 中國計量大學(xué)計量測試工程學(xué)院，浙江 杭州 310018）

火焰作為人類最早接觸和利用的能源，是支撐人類生存與發(fā)展的原動力之一。火焰溫度場重建在電力生產(chǎn)[1]、材料加工[2]和航天發(fā)動系統(tǒng)[3]等領(lǐng)域發(fā)揮著重要作用，也在推演能量損耗[4]、確定組分產(chǎn)物[5]、維穩(wěn)鍋爐狀態(tài)[6]等工作中具有指導(dǎo)意義。在熱電偶[7]為代表的接觸式測溫中，測溫器件直接接觸火焰，測溫范圍受材料限制。而以激光干涉[8]為代表的主動探測，設(shè)備較為昂貴，系統(tǒng)復(fù)雜，常搭建于實驗室環(huán)境。隨著儀器科學(xué)[9]和光學(xué)傳感技術(shù)[10]的發(fā)展，基于輻射測溫的溫度場重建[11]逐漸趨于主流，相比其他測溫方法具有獨特的優(yōu)勢。光場相機測溫[12]不會干擾燃燒環(huán)境，并且搭建簡便，同時具備靈敏的輻射響應(yīng)能力與較高的準(zhǔn)確度，受到國內(nèi)外研究者的青睞。

近年來，基于深度學(xué)習(xí)的溫度場重建在工業(yè)環(huán)境中得到了廣泛的應(yīng)用[13]。唐廣通等[14]提出了多層感知機重建爐膛溫度場的方法，通過機組調(diào)峰測算了用料量與風(fēng)強對溫度的影響；李智聰?shù)萚15]選用多層感知機預(yù)測了乙烯層流擴散火焰的溫度與碳煙體積分布，具有良好的抗噪能力。多層感知機在測量燃燒參數(shù)表現(xiàn)優(yōu)異，但當(dāng)重建對象為火焰三維溫度場時，需要重建的數(shù)據(jù)量較大，訓(xùn)練所需開銷過高。卷積神經(jīng)網(wǎng)絡(luò)（CNN）對于圖像類型的輸入具有廣泛的適用性[16]。Wang等[17]提出了一種集成火焰特征提取與分類的端到端框架，實現(xiàn)了高效的爐膛燃燒狀態(tài)檢測；Jin 等[18]根據(jù)12 個傳統(tǒng)相機構(gòu)成的火焰層析成像系統(tǒng)，提出一種基于CNN 的火焰形態(tài)重建網(wǎng)絡(luò)，相比傳統(tǒng)投影迭代算法，重建速度顯著提升；張杰等[19]采用精簡的卷積-池化結(jié)構(gòu)，提出了基于光場圖像的火焰溫度場快速重建網(wǎng)絡(luò)，相比傳統(tǒng)的非負(fù)最小二乘法[20]重建單峰火焰，平均相對誤差降低了一個數(shù)量級。

現(xiàn)有的CNN 用于三維溫度場重建時已取得了良好效果，但在對宏像素圖像（MPI）進(jìn)行特征提取時使用了3×3卷積核，沒有考慮光場圖像中光線角度的動態(tài)分布情況[21]。在計算機視覺領(lǐng)域，如何設(shè)計合適的圖像特征提取方法是實現(xiàn)超分辨率的重要思路。WAFA等[22]提出了一種利用全四維光場空間和角度信息進(jìn)行光場空間超分辨的網(wǎng)絡(luò)，同時考慮所有的子孔徑圖像（SAI），利用極線像平面信息平滑視圖誤差；Wang 等[23]設(shè)計了一種基于宏像素表示的光場圖像超分辨率聚合網(wǎng)絡(luò)，使用兩種特殊卷積分別提取空間信息和角度信息，并對殘差模塊混合信息進(jìn)行聚合，在超分辨率領(lǐng)域取得了優(yōu)于CNN 的性能。結(jié)果表明，根據(jù)光場圖像的像素排列規(guī)則對卷積方法進(jìn)行改進(jìn)，可以更準(zhǔn)確地提取圖像特征，提高重建精度。Yue 等[24]考慮到單幅圖像的不同縮放尺寸對特征提取的貢獻(xiàn)不同，提出了信道注意力模塊來估計權(quán)重，構(gòu)建了漸進(jìn)通道注意的超分辨率網(wǎng)絡(luò)。通過在CUFED5 等數(shù)據(jù)集上的驗證，與IENet、EDSR 等先進(jìn)方法相比，該網(wǎng)絡(luò)獲得了更高的峰值信噪比，表明優(yōu)化特征分類對重建精度具有顯著影響。

本文整合深度學(xué)習(xí)燃燒診斷與火焰形態(tài)識別框架，根據(jù)超分辨率領(lǐng)域?qū)鈭鎏卣魈崛〉膬?yōu)化思想，對特征提取過程進(jìn)行了改進(jìn)，提高溫度場的重建精度。具體體現(xiàn)在使用SAI圖像代替MPI圖像作為輸入；設(shè)計了一種雙分支卷積方法來提取光場圖像的空間和角度特征；進(jìn)一步利用通道注意機制[25]來優(yōu)化不同特征的權(quán)重，實現(xiàn)光場圖像先驗信息的補充，并使端到端映射更加嚴(yán)格，提高了溫度場重建的精度。最后以MRE 和MMRE 為指標(biāo)，設(shè)計了正交試驗與K折交叉試驗，驗證上述因素對重建精度的影響。

1 光場特征的優(yōu)化提取方法

1.1 傳統(tǒng)的溫度場重建網(wǎng)絡(luò)結(jié)構(gòu)

CNN 是一種用于二維形態(tài)特征識別的多層感知機。在火焰溫度場重建任務(wù)中，神經(jīng)網(wǎng)絡(luò)通過識別火焰圖像各尺度的特征，學(xué)習(xí)得到灰度值信息與溫度場的映射關(guān)系。基于光場圖像的傳統(tǒng)三維火焰溫度場重建網(wǎng)絡(luò)[19]如圖1所示。

圖1 溫度場重建網(wǎng)絡(luò)結(jié)構(gòu)

這類網(wǎng)絡(luò)以光場MPI圖像為輸入，通過5次卷積和池化操作，將特征樣式整理成復(fù)數(shù)的小圖像塊。將圖像塊中的元素展平成一維向量，并與同樣展平的三維溫度場數(shù)據(jù)相連接，形成一個展平-全連接模塊，如圖1(b)所示。卷積層負(fù)責(zé)提取當(dāng)前層級的特征，使用較小的卷積核對圖像中的每個像素進(jìn)行正相關(guān)運算，識別感受野內(nèi)的特征樣式。池化層負(fù)責(zé)對圖像進(jìn)行降采樣，減小其尺寸并擴展感受野。全連接層負(fù)責(zé)關(guān)聯(lián)向量對，將展平的元素作為特征向量，解碼為三維溫度場數(shù)據(jù)，最終完成重建。

然而，這類網(wǎng)絡(luò)的特征提取方法主要面向二維平面圖像，還不能很好地理解光場圖像的三維信息。當(dāng)該網(wǎng)絡(luò)直接用于光場火焰圖像時，僅僅抓取了相鄰像素包含的追跡光線角度特征，沒有考慮視角間距下像素所代表的另一類追跡光線空間特征。并且卷積核下像素對應(yīng)的物點坐標(biāo)呈不規(guī)則排列，特征向量的數(shù)物特性不夠嚴(yán)謹(jǐn)。

1.2 優(yōu)化的溫度場重建網(wǎng)絡(luò)結(jié)構(gòu)

本文優(yōu)化后的溫度場重建網(wǎng)絡(luò)如圖2(a)所示，以光場SAI圖像為輸入，整體框架沿用特征提取模塊與池化層重復(fù)搭建，最后進(jìn)行元素展平連接溫度場數(shù)據(jù)。設(shè)計優(yōu)化后的特征分流提取模塊（OHFEM）如圖2(b)所示。該模塊采用兩個分支去提取光場圖像的空間特征和角度特征，并使用注意力模塊（CBAM）[26]優(yōu)化角度特征的提取。

圖2 基于SAI特征分流的溫度場重建網(wǎng)絡(luò)結(jié)構(gòu)

1.3 基于SAI圖像的特征分流原理

在使用圖1所示的傳統(tǒng)網(wǎng)絡(luò)重建溫度場時，常使用大小為3×3 的卷積核，導(dǎo)致提取的特征雜糅。圖3(a)為選擇中心視角為6×6的火焰MPI圖像，圖3(b)為圖3(a)紅色框中的放大圖像。黃色框表示每個微透鏡下對應(yīng)的像素簇。藍(lán)色、紫色和綠色框都是3×3卷積核的處理對象。圖3(c)為對應(yīng)顏色框下3×3像素對應(yīng)的物點位置，該坐標(biāo)可由光線追跡與火焰切面的交點關(guān)系得到。

圖3 MPI圖像的3×3次卷積信息偏移

從圖3(b)中藍(lán)色框和紫色框中的像素對應(yīng)物點關(guān)系可知，當(dāng)卷積核下的像素均位于同一個微透鏡下時，這些像素接收到的光線在物面呈規(guī)則的等距分布。然而，當(dāng)卷積核下的像素不屬于同一微透鏡時，如圖3(b)中綠框所示，虛線框內(nèi)的物面交點并非等距排列在黑點處，而是落在實線框內(nèi)的綠點處。這種偏移來自于光場相機主透鏡-微透鏡陣列-傳感器的獨特結(jié)構(gòu)，并受到像素簇對應(yīng)的微透鏡位置的影響。因此在對火焰MPI圖像進(jìn)行3×3卷積處理時，提取的特征混淆了物理映射關(guān)系，忽略了不同微透鏡下相同坐標(biāo)像素的空間特征。為解決上述問題，本文將MPI圖像的像素重新排列得到SAI圖像，其中包含36張不同視角的子圖像，如圖4所示。

圖4 SAI圖像

特征分流首先需要將不同角度的SAI圖像疊放在通道維度，作為優(yōu)化的溫度場重建網(wǎng)絡(luò)輸入。當(dāng)采用1×1卷積核對光場圖像進(jìn)行采樣時，可以得到光場的角度特征。同理采用3×3卷積核采樣時，可以得到光場的空間特征。將得到的兩類特征繼續(xù)在通道維度上疊放，并傳遞到下一個層級。這一過程可以歸納為基于SAI圖像的特征分流模塊（HFEM），如圖5所示。

圖5 特征分流提取原理

SAI圖像的1×1卷積核下的像素來自不同視角、相同坐標(biāo)的像素，對應(yīng)的物點分布間距相對較短，便于獲取目標(biāo)像素與局部區(qū)域的關(guān)系，反映小范圍灰度值變化的細(xì)節(jié)。該處理相當(dāng)于MPI圖像的3×3卷積特征提取，但不存在跨像素簇的特征雜糅。SAI 圖像的3×3 卷積核下像素為同一視角、相鄰坐標(biāo)的像素，對應(yīng)的物點分布間距較遠(yuǎn)，便于目標(biāo)像素在環(huán)境中的定位，反映了廣域的空間位置信息，彌補了傳統(tǒng)重建網(wǎng)絡(luò)中空間特征提取的不足。

1.4 基于注意力的權(quán)重分配原理

本文提出通過注意力機制進(jìn)一步優(yōu)化光場火焰圖像的特征提取。其中通道注意力用于強調(diào)不同類型特征的權(quán)重差異；空間注意力則用于過濾火焰背景部分，凸顯特征樣式主體，其計算方法如圖6所示。

圖6 注意力權(quán)重分配原理

在通道注意力處理階段，對于輸入的圖像或特征樣式，使用每個通道的最大和平均池化結(jié)果代表自身，通過兩次卷積整理得到通道權(quán)重編碼。將結(jié)果與輸入相乘完成通道尺度的加權(quán)后，傳遞到空間注意力階段，基于通道求解全局的最大值和平均值，可以得到特征邊緣和主體的分布信息，通過3×3卷積壓縮將兩類信息到單一通道，將結(jié)果與輸入相乘完成空間尺度的加權(quán)。

與MPI 圖像相比，SAI 圖像具有更小的分辨率，并且可以使用3×3卷積核更快地遍歷全局，無需CBAM模塊的輔助即可實現(xiàn)較完備的空間特征提取工作。為使神經(jīng)網(wǎng)絡(luò)輕量化，減少訓(xùn)練開銷，本文僅將CBAM置于角度特征提取中。

2 溫度場重建結(jié)果與分析

本文采用正交試驗分析輸入圖像格式、光場特征提取方法和注意力機制優(yōu)化三個因素的主體間效應(yīng)。為了避免深度學(xué)習(xí)訓(xùn)練結(jié)果的隨機波動，進(jìn)一步采用K折交叉試驗[27]，隨機劃分訓(xùn)練樣本。對每組試驗進(jìn)行10 次訓(xùn)練，并對各因素的顯著性進(jìn)行評價。本文的評價方法MRE 和MMRE 基于測量值與真值的比較，分別求解相對誤差的平均值與最大值，計算方法可表示為式（1）。

2.1 實驗條件

溫度場重建網(wǎng)絡(luò)的輸入設(shè)定為360×360分辨率的火焰光場圖像合計1600 組。網(wǎng)絡(luò)的輸出是模擬的軸對稱單峰火焰溫度場，尺寸為24mm×24mm×30mm，采樣步長為2mm。火焰溫度場生成公式[20]如式(2)所示，溫度分布情況如圖7所示。

圖7 軸對稱火焰溫度分布圖

式中，H、R為火焰尺寸基準(zhǔn)值；h、r為物點的軸向坐標(biāo)和徑向坐標(biāo)；m、n為調(diào)整火焰大小的變易參數(shù)。采用公式模擬火焰溫度場是一種有效的數(shù)字孿生方法。先前研究[19]已經(jīng)通過實驗證明了這種方法在實際火焰溫度場重建的有效性。如果該網(wǎng)絡(luò)在模擬數(shù)據(jù)集上具有較低的重建誤差，則該網(wǎng)絡(luò)在真實實驗中也可以具備較好的重建精度。

本文的重建網(wǎng)絡(luò)基于PyTorch 框架，在配備NVIDIA GeForce RTX 3080Ti GPU 的服務(wù)器進(jìn)行訓(xùn)練，分別設(shè)計了8個代表性組合對上述3個因素進(jìn)行析因試驗。具體方案見表1。

表1 正交試驗方案表

表1 中試驗號1 是傳統(tǒng)的火焰溫度場重建網(wǎng)絡(luò)，試驗號8是本文提出的優(yōu)化網(wǎng)絡(luò)，兩者構(gòu)成對比試驗。試驗號2至試驗號7為不同優(yōu)化方案的排列組合，共同組成多因素的消融試驗。

2.2 K折交叉試驗分析

在深度學(xué)習(xí)中，神經(jīng)網(wǎng)絡(luò)的每次訓(xùn)練結(jié)果不盡相同，模型在驗證數(shù)據(jù)集的重建精度會在一個小范圍波動。為使評價指標(biāo)更接近實際模型性能，設(shè)計了隨機K折交叉試驗。將樣本數(shù)據(jù)集中90%的數(shù)據(jù)隨機劃分為訓(xùn)練集，剩余數(shù)據(jù)作為測試集。每組試驗均進(jìn)行10 次，不同試驗次數(shù)下模型在驗證數(shù)據(jù)集中重建的溫度場MRE和MMRE如圖8所示。

圖8 隨機K折交叉試驗箱線圖

圖8根據(jù)拉依達(dá)準(zhǔn)則，加號代表數(shù)據(jù)中的異常值，T形標(biāo)記代表極值，藍(lán)框由上四分位數(shù)和下四分位數(shù)組成，反映數(shù)據(jù)的主體分布，紅線代表數(shù)據(jù)的中位數(shù)，反映數(shù)據(jù)的偏態(tài)分布。由此可知，試驗號8的兩個指標(biāo)都明顯小于試驗號1。并且試驗號8的MRE 箱體狹窄，穩(wěn)定性強。MMRE 的最小結(jié)果顯著低于其他試驗號，反映了最佳模型能有效抑制較高誤差的產(chǎn)生。由于單項因素在不同方案下對重建精度存在不同程度的抑制或放大作用，需要通過正交試驗探討不同因素組合對重建精度的影響。

2.3 正交試驗分析

采用MRE 和MMRE 指標(biāo)對進(jìn)行主體間效應(yīng)分析，計算結(jié)果如表2所示。

表2 相對誤差計算表

表2中，Kji為j列水平為i的測試指標(biāo)之和，重建任務(wù)的目的是減少誤差，因此Kji越小，對應(yīng)的因子水平越好。如表中K22＜K21和K42＜K41，該結(jié)果表明無論是CBAM還是HFEM都能有效降低重建溫度場的MRE。對截距進(jìn)行校正后，其因子顯著性如表3所示。

表3 相對誤差方差分析表

給定因素的顯著性代表了其對重建精度的影響程度，顯著性越小，影響越大。由表3可知交互效應(yīng)A×B對MRE 的影響最為顯著。進(jìn)一步討論計算A×B的效應(yīng)誤差如表4所示。

表4 MRE因素效應(yīng)搭配表

表4中效應(yīng)誤差由同一水平組合的試驗指標(biāo)相加得到，并且溫度場重建任務(wù)希望效應(yīng)誤差盡可能低。由此可知，A2B2組的效應(yīng)誤差小于A×B的其他組，代表最好的解決方案是使用SAI 圖像作為輸入，并通過CBAM優(yōu)化權(quán)重分配。這一結(jié)論與交叉試驗的分析一致，結(jié)合表2中HFEM能夠有效降低MRE 的結(jié)論，即同時采用本文提出的三種優(yōu)化因素是MRE重建任務(wù)的最佳解決方案。

同理通過表2、表3中MMRE指標(biāo)的計算結(jié)果，可知該指標(biāo)下使用CBAM 仍然可以有效地降低MMRE，并且HFEM、交互效應(yīng)A×C和交互效應(yīng)B×C三者對MMRE 指數(shù)的影響均較為顯著。為考慮交互效應(yīng)之間是否存在方案沖突，需要進(jìn)一步討論不同因素間相互作用的因素搭配如表5所示。

表5 MMRE因素效應(yīng)搭配表

從表5 可知，A2C2組和B2C2組的效應(yīng)誤差小于其他組，滿足C2采用HFEM與B2采用CBAM的單因素最佳方案。即對于MMRE 指標(biāo)，最好解決方案仍是同時采用本文提出的三種優(yōu)化因素。

2.4 網(wǎng)絡(luò)收斂速度

在深度學(xué)習(xí)中，網(wǎng)絡(luò)收斂速度是衡量網(wǎng)絡(luò)性能的另一個標(biāo)準(zhǔn)，圖9 為試驗1 傳統(tǒng)網(wǎng)絡(luò)和試驗8 優(yōu)化網(wǎng)絡(luò)隨周期迭代的MRE變化趨勢。

圖9 MRE隨訓(xùn)練周期變化趨勢

圖中橫坐標(biāo)為訓(xùn)練周期數(shù)，縱坐標(biāo)為對應(yīng)周期下模型在測試集的MRE。優(yōu)化網(wǎng)絡(luò)在15 周期后MRE 均優(yōu)于傳統(tǒng)網(wǎng)絡(luò)，并且在訓(xùn)練前期有更顯著的下降趨勢，在50 周完成收斂。均訓(xùn)練150 周期后，傳統(tǒng)網(wǎng)絡(luò)耗時1155s，對應(yīng)MRE 為0.286%。優(yōu)化網(wǎng)絡(luò)耗時1395s，對應(yīng)的MRE 為0.150%，重建精度提高了44.82%。

3 結(jié)論

本文提出了一種基于SAI圖像輸入、光場特征分流提取和注意力機制優(yōu)化的火焰溫度場重建網(wǎng)絡(luò)。與以往的方法相比，溫度場重建精度更高。

本文以SAI圖像為輸入，利用不同的卷積核分別提取光場角度特征和空間特征，解決了傳統(tǒng)網(wǎng)絡(luò)特征混淆和信息片面的問題。再將注意力機制與特征分流過程相結(jié)合，自主分配不同尺度的特征權(quán)重，強化重要特征對溫度計算的貢獻(xiàn)。

采用K折交叉試驗和正交試驗分析了本文提出因素的交互效應(yīng)。結(jié)果表明，3個因素通過交互作用顯著提高了溫度場的重建精度，同周期下將平均相對誤差從0.286%降低到0.16%，最大相對誤差從3.51%降低到2.29%，并且網(wǎng)絡(luò)訓(xùn)練的收斂速度更快。