仿生嗅覺感知系統(tǒng)氣體識別和濃度估計模型

相洪濤 張文文 肖文鑫 王 磊 王遠西

仿生嗅覺感知系統(tǒng)也被稱為電子鼻,是一種模擬生物嗅覺感知系統(tǒng)的氣體/氣味分析系統(tǒng)[1-2].電子鼻主要由一系列氣體傳感器陣列和模式識別系統(tǒng)組成,可以對氣體/氣味進行定性分析和定量估計[3-5].電子鼻在醫(yī)療診斷[6-7]、食品質(zhì)量檢測[8-9]、環(huán)境監(jiān)測[10-11]和公共安全[12-13]等許多應(yīng)用領(lǐng)域中,都發(fā)揮著重要作用.影響電子鼻檢測結(jié)果的主要因素有2 個: 1)氣體傳感器陣列器件本身對目標(biāo)氣體的敏感性和選擇性,以及傳感器陣列輸出信號作為輸入的氣體識別;2)濃度估計模型.

為了提高電子鼻對氣體或氣味識別的準(zhǔn)確率,國內(nèi)外學(xué)者對搭建的氣體傳感器陣列器件本身進行研究.Liao 等[14]使用基于聚噻吩的薄膜晶體管作為氣體傳感器,可以根據(jù)蒸汽分子的大小和分子排列來識別不同種類的氣體.Hu 等[15]使用石墨烯等離子檢測氣體分子的旋轉(zhuǎn)振動模式,從而對它們進行無標(biāo)簽識別,能夠?qū)崟r、快速識別出不同氣體,這種新方法在醫(yī)療保健和公共安全等領(lǐng)域發(fā)揮著關(guān)鍵作用,但該研究工作不涉及氣體的定量估計.Qian等[16]將傳統(tǒng)的電子鼻技術(shù)與揮發(fā)性有機化合物預(yù)濃縮技術(shù)相結(jié)合,設(shè)計一種基于共形傳感腔的多傳感器電子鼻,能夠有效提高電子鼻對VOCs 氣體的識別能力.Hu 等[17]設(shè)計一種基于薄膜體聲波諧振器傳感器陣列的新型小型氣相色譜檢測器,該微機電系統(tǒng)化學(xué)傳感器具有傳感性能高、尺寸小型化、功耗低等特點.孟凡利等[18]提出一種溫度調(diào)制的動態(tài)測試方法,來提高金屬氧化物傳感器的選擇性,該方法能夠有效改善二氧化錫傳感器動態(tài)響應(yīng)信號的品質(zhì).

為了提高電子鼻的性能,學(xué)者們對氣體檢測模型進行了大量的研究.Xiong 等[19]提出一種基于卷積尖峰神經(jīng)網(wǎng)絡(luò)的氣味識別模型,該模型結(jié)合了殘差卷積神經(jīng)網(wǎng)絡(luò)的特征提取能力和尖峰神經(jīng)網(wǎng)絡(luò)的計算效率,能夠有效識別出食品中的腐敗氣味.Wang 等[20]提出一種基于卷積神經(jīng)網(wǎng)絡(luò)和多層感知機的氣體識別模型,該模型能夠達到95%的氣體分類準(zhǔn)確率.實際工業(yè)現(xiàn)場獲取大量異常氣味數(shù)據(jù)的代價昂貴且不易收集,一般氣體檢測模型對異常氣味的檢測會失去效果,文獻[21]介紹了基于自我表達模型和基于極端學(xué)習(xí)機的自我表達模型兩種異常氣味檢測模型.He 等[22]提出一種基于字典學(xué)習(xí)的方法來提高電子鼻的氣體識別能力,與常用氣體識別模型對比,該模型的復(fù)雜度顯著降低,且在氣體識別任務(wù)中獲得了較高識別準(zhǔn)確率.Sun 等[23]證明了Wilks 統(tǒng)計量、馬氏距離、線性判別分析和遺傳算法可以在減少氣體傳感器陣列中傳感器數(shù)量的同時,獲得較高氣體識別準(zhǔn)確率.Liu 等[24]提出一種用于氣味識別的小尺度卷積神經(jīng)網(wǎng)絡(luò)模型,該模型無需進行數(shù)據(jù)預(yù)處理和特征降維,對6 種中國白酒的分類準(zhǔn)確率可以達到96%.然而,這些模型都難以達到100%的氣體識別準(zhǔn)確率.為了解決電子鼻中的傳感器漂移問題,Zhang 等[25]提出基于知識自適應(yīng)的機器學(xué)習(xí)模型,該模型的氣體識別準(zhǔn)確率達到了98%,但這項研究工作只涉及氣體定性識別,并未進一步提出定量估計模型.

目前,多數(shù)氣體識別模型的信號預(yù)處理步驟復(fù)雜,依賴于人工選擇輸入特征[26],并且僅使用氣體傳感器陣列響應(yīng)信號的穩(wěn)態(tài)值作為輸入特征,而現(xiàn)實環(huán)境中氣體一般是動態(tài)變化的、無規(guī)律的,多數(shù)情況下氣體傳感器陣列的響應(yīng)信號難以達到穩(wěn)態(tài)值或保持穩(wěn)態(tài).針對上述問題,本文提出動態(tài)小波殘差卷積神經(jīng)網(wǎng)絡(luò)(Dynamic wavelet residual convolutional neural network,DWRCNN)子模型和權(quán)重信號自注意力(Weighted signal self-attention,WSSA)子模型組成的氣體檢測模型DWRCNNWSSA (Dynamic wavelet residual con-volutional neural network-weighted signal self-attention),該模型由動態(tài)小波殘差卷積神經(jīng)網(wǎng)絡(luò)氣體識別子模型和權(quán)重信號自注意力(Self-attention,SA)氣體濃度估計子模型組成.DWRCNN 氣體識別子模型直接將傳感器陣列的動態(tài)響應(yīng)信號轉(zhuǎn)換成64× 64 像素的小波系數(shù)圖像作為神經(jīng)網(wǎng)絡(luò)的輸入進行氣體種類識別;WSSA 氣體濃度估計子模型直接使用傳感器陣列的動態(tài)響應(yīng)信號估計各成分氣體的濃度值.該模型的氣體檢測流程如圖1 所示,對于未知種類的氣體,首先,通過DWRCNN 氣體識別子模型對氣體成分進行識別;然后,通過WSSA 氣體濃度估計子模型,對已識別出的各成分氣體進行濃度估計.

圖1 DWRCNN-WSSA 模型氣體檢測流程Fig.1 Flow of gas detection by DWRCNN-WSSA model

本文主要貢獻如下:

1)傳統(tǒng)的氣體檢測模型需要對傳感器陣列動態(tài)響應(yīng)信號做復(fù)雜的信號預(yù)處理步驟,以及人工自主提取穩(wěn)態(tài)信號特征作為模型的輸入,忽略大量能提高氣體識別準(zhǔn)確率和濃度估計精度的動態(tài)特征.本文提出的DWRCNN-WSSA 氣體檢測模型直接使用氣體傳感器陣列原始的動態(tài)響應(yīng)信號進行氣體檢測,簡化了信號預(yù)處理過程,充分利用了氣體傳感器陣列響應(yīng)信號中豐富的動態(tài)特征信息.

2)本文提出的WSSA 氣體濃度估計子模型能根據(jù)氣體傳感器對不同氣體的敏感性存在差異,自動賦予不同傳感器信號不同權(quán)重,提高了模型的魯棒性和濃度估計精度;該模型使用自注意力機制作為特征提取器,能夠并行化處理數(shù)據(jù),加快模型的訓(xùn)練速度,并從根本上解決了常用模型使用循環(huán)神經(jīng)網(wǎng)絡(luò)(Recurrent neural network,RNN)及其各種變體形式的神經(jīng)網(wǎng)絡(luò)作為特征提取器處理長時序序列存在的遠距離信息丟失的問題,提高了模型的濃度估計精度.

3)本文提出的DWRCNN-WSSA 氣體檢測模型既能對氣體進行定性識別,又能進一步對已識別出的成分氣體進行定量估計.其中,DWRCNN 氣體識別子模型僅需更少訓(xùn)練時間就能達到接近100%的氣體識別準(zhǔn)確率;同時,WSSA 氣體濃度估計子模型能夠?qū)我粴怏w和混合氣體都保持較高濃度精度,解決了動態(tài)環(huán)境中傳統(tǒng)仿生嗅覺感知系統(tǒng)需要針對不同氣體選擇不同最優(yōu)氣體濃度估計模型問題.2 個模型都僅需要少量的標(biāo)簽數(shù)據(jù)即可在線使用,降低了收集標(biāo)簽數(shù)據(jù)的成本.

1 仿生嗅覺感知系統(tǒng)及數(shù)據(jù)采集

1.1 仿生嗅覺感知系統(tǒng)

為了驗證本文提出的氣體檢測模型性能,搭建了一個仿生嗅覺感知系統(tǒng).如圖2(a)所示,該系統(tǒng)主要由8 個不同型號的金屬氧化物半導(dǎo)體型氣體傳感器、8 通道12 位A/D 信號采集板和+5 V 供電電源、Labview 信號采集界面組成.其中,氣體傳感器陣列詳細(xì)信息見表1.

表1 氣體傳感器陣列詳細(xì)信息Table 1 Gas sensor array details

圖2 實驗裝置和平臺Fig.2 Experimental setup and platform

系統(tǒng)采用STM32 單片機內(nèi)部自帶的8 通道12 位A/D 轉(zhuǎn)換器對傳感器陣列動態(tài)響應(yīng)信號進行實時采樣,最大量程為10 V,最小分辨率為2 mV,輸入阻抗為1 M ?.信號接口共有10 個引腳,其中2 個引腳為數(shù)據(jù)采集卡與每個傳感器間的共同接地引腳,8 個引腳分別為A/D 轉(zhuǎn)換的通道0～ 通道7,它們通過USB 轉(zhuǎn)串口線連接計算機,實時將傳感器陣列動態(tài)響應(yīng)信號傳入Labview 信號采集界面.實驗信號采樣頻率為10 Hz.在Labview 信號采集界面,設(shè)置采樣頻率為10 Hz、顯示精度為4 位有效數(shù)字,為了采集傳感器的原始動態(tài)響應(yīng)信號,信號濾波設(shè)置為無,該界面可以實時顯示8 個氣體傳感器的采樣電壓值.

為了確保實驗的準(zhǔn)確性,搭建一個仿生嗅覺感知系統(tǒng)標(biāo)準(zhǔn)實驗平臺如圖2(b)所示,該實驗平臺主要由氣腔控制柜及電源、15 升氣腔、高精度溫濕度傳感器、氣腔環(huán)境配置軟件和氣源組成.氣源為100%的CO、5%的H2和95%的N2為載氣的混合氣體.除此之外,還有容積為2 L、5 L、10 L 的氣體采樣袋和容積為10 mL、20 mL、100 mL、200 mL 和500 mL 的注射器以及抽氣泵等實驗裝置,氣體采樣袋主要用于收集標(biāo)準(zhǔn)氣源中的氣體,注射器主要用于抽取氣體采樣袋中的標(biāo)準(zhǔn)氣體,并注入氣腔中.

1.2 氣體樣本收集

在本文實驗中,氣腔的溫度和濕度保持在25 ℃和60%.數(shù)據(jù)采集實驗步驟如下.

1)目標(biāo)氣體計算.由于實驗所需的氣體體積較小,本實驗采取注射器配氣法.注射器注射入氣腔的目標(biāo)氣體體積Vtarget為:

式中,Ctarget為目標(biāo)氣體濃度,Vcavity為氣腔體積,α為目標(biāo)氣體和載氣百分比系數(shù).

2)實驗環(huán)境配置.將氣腔的溫度設(shè)置為25 ℃,濕度設(shè)置為60%,采樣頻率設(shè)置為10 Hz.

3)氣體基線采集.當(dāng)氣腔的溫度和濕度達到設(shè)定值,打開仿生嗅覺感知系統(tǒng)電源,采集傳感器陣列在當(dāng)前環(huán)境下的基線響應(yīng)信號5～ 10 s.

4)目標(biāo)氣體注入.將氣源中的氣體通過減壓閥收集到集氣袋中,然后根據(jù)式(1)計算出的Vtarget,使用注射器從集氣袋中抽取相應(yīng)體積的目標(biāo)氣體并注入氣腔中,同時打開氣腔內(nèi)部的風(fēng)扇,吹掃10 s后關(guān)閉.

5)實驗數(shù)據(jù)采集.氣體注入時,啟動仿生嗅覺感知系統(tǒng),采集氣體傳感器陣列信號235～ 255 s.

6)腔體環(huán)境清洗.當(dāng)前數(shù)據(jù)采集完成后,使用抽氣泵抽取氣腔中的環(huán)境氣體,直到傳感器陣列的信號恢復(fù)到基線狀態(tài).

7)重復(fù)上述步驟4)～ 6),直至實驗數(shù)據(jù)全部采集完成.

圖3 為當(dāng)CO 濃度為140 ppm 時,CO 傳感器陣列的動態(tài)響應(yīng)信號曲線.在每組實驗中,氣體傳感器陣列信號的采集時間為235～ 255 s,每個氣體傳感器能夠采樣2 350～ 2 550 個信號點.在濃度范圍為0～1 000 ppm 的CO 氣體中,隨機采樣117 組不同濃度下傳感器陣列動態(tài)響應(yīng)信號,得到(2 350～ 2 550)×8× 117 個CO 樣本數(shù)據(jù);在濃度范圍為0～ 1 000 ppm的H2氣體中,隨機采樣115 組不同濃度下傳感器陣列動態(tài)響應(yīng)信號,得到 (2 350～ 2 550)× 8× 115個H2樣本數(shù)據(jù);在濃度范圍為0～ 500 ppm 的CO 氣體和0～ 200 ppm 的H2氣體的混合氣體中,隨機采樣120 組不同濃度下傳感器陣列動態(tài)響應(yīng)信號,得到 (2 350～ 2 550)× 8× 120 個CO 和H2混合氣體樣本數(shù)據(jù).

圖3 當(dāng)CO 濃度為140 ppm 時,CO 傳感器陣列的動態(tài)響應(yīng)信號曲線Fig.3 Dynamic response signal curve of the sensor array for 140 ppm CO

2 DWRCNN 氣體識別模型

DWRCNN 氣體識別模型主要由2 部分組成:1)把氣體傳感器陣列的動態(tài)響應(yīng)信號轉(zhuǎn)換成小波系數(shù)圖像,根據(jù)Mallat 塔式算法,對傳感器陣列動態(tài)響應(yīng)信號進行5 層小波變換,獲取第5 層低頻系數(shù)和5 層高頻系數(shù);然后等間隔提取小波系數(shù),并填入64× 64 像素矩陣中,形成64× 64 像素的小波系數(shù)圖像.2) 將轉(zhuǎn)換獲得的小波系數(shù)圖像作為DWRCNN 模型的輸入,識別各氣體成分.

2.1 動態(tài)響應(yīng)信號轉(zhuǎn)換成小波系數(shù)圖像

在實際應(yīng)用中,氣體傳感器采集到的信號會受到各種噪聲的影響,這些噪聲直接影響著氣體識別的準(zhǔn)確率.小波變換具有抗干擾能力強、非平穩(wěn)信號特征提取能力強等特點,所以本文采用小波變換對信號進行特征提取.小波函數(shù)有尺度參數(shù)a和平移量b兩個參數(shù),尺度對應(yīng)于頻率,平移量對應(yīng)于時間,所以小波函數(shù)的一般形式為:

離散信號可以使用多分辨分析(Multi-resolution analysis,MRA)方法離散化參數(shù)a和b,使得a=2j和b=2jk,得到離散小波函數(shù):

所以,離散信號f(n) 的 離散小波變換系數(shù)Cψ(j,k)的計算公式為:

其重構(gòu)公式為:

氣體傳感器陣列的動態(tài)響應(yīng)信號通過小波變換,可以分解成低頻近似信號和高頻細(xì)節(jié)信號.圖4是傳感器陣列動態(tài)響應(yīng)信號小波分解過程,本文選用db5 小波為基小波,g(n) 和h(n) 分別表示低通濾波器和高通濾波器,ci為低頻系數(shù),di為高頻系數(shù),i表示小波分解層數(shù).

圖4 傳感器陣列動態(tài)響應(yīng)信號小波分解過程Fig.4 Wavelet decomposition process of dynamic response signal of sensor array

圖5 是TGS2610 在140 ppm CO 下的動態(tài)響應(yīng)信號曲線和相應(yīng)的5 層低頻小波系數(shù)曲線.可以看出,當(dāng)信號經(jīng)過5 層小波變換后,其低頻系數(shù)曲線可以很好地表示信號趨勢,減輕噪聲的影響,所以選擇對信號做5 層小波變換,并將第5 層的低頻小波系數(shù)作為神經(jīng)網(wǎng)絡(luò)的輸入之一.同時,為了不丟失動態(tài)響應(yīng)信號的細(xì)節(jié)信息,將5 層高頻小波系數(shù)也作為神經(jīng)網(wǎng)絡(luò)的輸入.氣體傳感器陣列動態(tài)響應(yīng)信號Sgas(n) 可表示為:

圖5 TGS2610 在140 ppm CO 下的動態(tài)響應(yīng)信號曲線和相應(yīng)的5 層低頻小波系數(shù)曲線Fig.5 Dynamic response signal curve and corresponding 5-layer low-frequency wavelet coefficient curve at 140 ppm CO for TGS2610

將氣體傳感器陣列的動態(tài)響應(yīng)信號轉(zhuǎn)換成小波系數(shù)圖像的過程如圖6 所示,具體步驟如下.

圖6 傳感器陣列動態(tài)響應(yīng)信號轉(zhuǎn)換為小波系數(shù)圖像過程Fig.6 Process of converting the dynamic response signal of the sensor array into a wavelet coefficient map

1)對氣體傳感器陣列采集到的動態(tài)響應(yīng)信號做5 層小波變換,每個氣體傳感器采集到的動態(tài)響應(yīng)信號可通過小波變換得到2 470 個高頻系數(shù)和低頻系數(shù),高頻系數(shù)分別為84 個d5、160 個d4、311個d3、613 個d2和1 218 個d1,低頻系數(shù)為84 個c5,氣體傳感器陣列可獲得 2 470× 8 個小波系數(shù).

2)從每個氣體傳感器采集到的動態(tài)響應(yīng)信號通過小波變換得到的2 470 個原始小波系數(shù)中,等間隔提取512 個新小波系數(shù),其中高頻系數(shù)分別為,低頻系數(shù)為.氣體傳感器陣列可獲得512× 8 個新小波系數(shù).

3)將512× 8 個新小波系數(shù)依次填入64× 64像素的矩陣中,形成64× 64 像素的小波系數(shù)圖像.

4)重復(fù)步驟1)～ 3),直至所有氣體樣本數(shù)據(jù)都轉(zhuǎn)換成小波系數(shù)圖像.

氣體樣本數(shù)據(jù)量為(2 350～ 2 550)× 8× 352個,可轉(zhuǎn)換成352 幅64× 64 像素的小波系數(shù)圖像.

2.2 DWRCNN 模型的結(jié)構(gòu)及氣體識別過程

DWRCNN 模型的神經(jīng)網(wǎng)絡(luò)部分主要由分塊卷積模塊、三卷積模塊、殘差卷積模塊和全連接模塊組成.分塊卷積模塊將圖片分成16 個16× 16 像素的圖像塊,每個圖像塊都含有部分全局信息;三卷積模塊中含有3 個卷積層,可以逐步提取含有豐富信息的高級特征;殘差卷積模塊可以獲取更深層的特征并解決網(wǎng)絡(luò)退化的問題[27];全連接模塊可以將網(wǎng)絡(luò)提取的特征聚集起來并解碼輸出最終的分類結(jié)果.DWRCNN 氣體識別模型結(jié)構(gòu)如圖7 所示,首先,氣體傳感器陣列動態(tài)響應(yīng)信號通過小波變換轉(zhuǎn)換成小波系數(shù)圖像;然后,小波系數(shù)圖像作為神經(jīng)網(wǎng)絡(luò)的輸入,經(jīng)過模型識別,輸出氣體種類.氣體種類用3 位二進制數(shù)來表示,其中[0,0,1]表示CO,[0,1,0]表示H2,[1,0,0]表示CO 和H2的混合氣體.DWRCNN 的具體參數(shù)和氣體識別過程如下.

1)輸入通道數(shù)為1、大小為64× 64 像素的小波系數(shù)圖像,經(jīng)過分塊卷積模塊,將圖像分成16 個16× 16 像素的含有部分全局信息的圖像塊.在分塊卷積模塊中,卷積層的卷積核大小為4× 4,輸入通道數(shù)為1,輸出通道數(shù)為16,步長設(shè)置為4.

2) 16 個16× 16 像素的圖像塊進入三卷積模塊,圖像塊的數(shù)量、大小均保持不變,3 個卷積層的卷積核大小均為3× 3,輸入和輸出通道數(shù)均為16,步長均設(shè)置為1,填充方式均設(shè)置為相同填充.

3)經(jīng)過三卷積模塊后,16 個16× 16 像素的圖像塊進入殘差卷積模塊,圖像塊的數(shù)量、大小均保持不變.殘差卷積模塊中卷積層的卷積核大小為3×3,輸入和輸出通道數(shù)均為16,步長設(shè)置為1,填充方式均設(shè)置為相同填充.

4)圖像塊被展開成一維序列,序列長度為8 196,進入雙全連接模塊.雙全連接模塊由2 個全連接層組成,其中第1 個全連接層有1 024 個神經(jīng)元,第2個全連接層有3 個神經(jīng)元.

5)通過softmax 函數(shù),輸出氣體識別結(jié)果.

3 WSSA 氣體濃度估計模型

3.1 自注意力機制

常用基于深度學(xué)習(xí)的氣體濃度估計模型一般使用RNN 及其各種變體形式的神經(jīng)網(wǎng)絡(luò)作為特征提取器提取序列的特征,這些神經(jīng)網(wǎng)絡(luò)采取線性序列結(jié)構(gòu),不斷從前向后收集輸入信息,容易造成梯度消失、梯度爆炸和遠距離信息丟失等問題.本文提出的WSSA 模型使用自注意力機制作為特征提取器,它可以并行化處理整個輸入序列,從而減少訓(xùn)練時間,并能解決RNN 及其變體形式的神經(jīng)網(wǎng)絡(luò)對長時序序列進行特征提取時,由于長期依賴性而導(dǎo)致的遠距離信息丟失問題[28].

給定一個矩陣x ∈RN×d,將x與可學(xué)習(xí)的權(quán)重矩陣WQ、WK、WV ∈Rd×d相乘,得到矩陣Q、K、V∈RN×N.此時,矩陣x的第i行經(jīng)過自注意力機制計算后的輸出為:

式中,i,j=1,···,N.Sim(·,·) 為相似度函數(shù),用于計算矩陣Q中每一個行向量之間的相似度.在原始的自注意力機制中,使用的相似度函數(shù)為:

將式(8)代入式(7),可得原始自注意力(Original self-attention,OSA)機制計算的輸出為:

根據(jù)式(9),可以得到如圖8(a)所示的原始自注意力機制計算復(fù)雜度圖解.由圖8 可以看出,原始自注意力機制計算復(fù)雜度為 O (N2d+N2d),當(dāng)矩陣長度N遠大于矩陣寬度d時,O (N2d+N2d) 可近似為 O (N2),此時模型的計算復(fù)雜度與矩陣的長度N呈二次增長的關(guān)系.

圖8 計算復(fù)雜度圖解Fig.8 Illustration of computational complexity

原始自注意力機制對長矩陣進行特征提取的計算復(fù)雜度過高.為了降低計算復(fù)雜度,可以采用線性自注意力機制代替原始自注意力機制.線性自注意力機制使用可分解的相似度函數(shù)為:

式中,?(·) 是核函數(shù).則式(7)可用核函數(shù)的形式表示為:

通過矩陣乘積特性,可知:

這使得可先計算?T(K)V∈Rd×d,再用?(Q)∈RN×d和?T(K)V的計算結(jié)果相乘.如圖8(b)所示,當(dāng)矩陣長度N遠大于矩陣寬度d時,自注意力機制的計算復(fù)雜度與矩陣長度為線性增長的關(guān)系,計算復(fù)雜度為 O (N).

由于本文使用氣體傳感器陣列的動態(tài)響應(yīng)信號作為氣體濃度估計模型的輸入,其中輸入矩陣的長度為傳感器陣列采樣的信號點個數(shù),輸入矩陣的寬度為傳感器陣列中氣體傳感器的個數(shù),使得輸入矩陣長度遠大于輸入矩陣寬度.使用原始自注意力機制會造成計算復(fù)雜度較高問題,所以本文采用一種線性自注意力機制 ——cos 自注意力機制,來提取序列的特征.cos 自注意力機制能在降低計算復(fù)雜度的同時,保持良好的特征提取性能[29].cos 自注意力機制使用了以下相似度函數(shù):

根據(jù)式(14),可得矩陣x經(jīng)過cos 自注意力機制計算后的總輸出為:

由式(15)可以看出,cos 自注意力機制可以實現(xiàn)線性的計算復(fù)雜度.

3.2 WSSA 模型的結(jié)構(gòu)及氣體濃度估計過程

WSSA 模型由權(quán)重分配模塊、特征提取模塊和全連接模塊構(gòu)成.由于不同氣體傳感器對氣體的靈敏度不同,所以不同氣體傳感器的響應(yīng)信號對氣體濃度估計的影響也不同.為了提高模型的氣體濃度估計精度,采用權(quán)重分配模塊,使模型自動賦予不同氣體傳感器獲取響應(yīng)信號不同權(quán)重.權(quán)重分配模塊由線性層、sigmoid 非線性函數(shù)、softmax 非線性函數(shù)和乘法器組成,其中線性層和sigmoid 函數(shù)可以增強模型的泛化能力,提高模型的魯棒性;softmax 函數(shù)可以對經(jīng)過線性變換和非線性變換后的信號進行歸一化處理,獲得權(quán)重矩陣;傳感器陣列響應(yīng)信號矩陣與權(quán)重矩陣做哈達瑪積,得到帶有權(quán)重的信號矩陣.特征提取模塊由cos 自注意力機制和殘差連接組成,cos 自注意力機制可以提取序列的特征,殘差連接可以解決模型訓(xùn)練時梯度消失的問題.全連接模塊由2 個全連接層組成,它可以將提取到帶有權(quán)重的特征映射到樣本標(biāo)記空間,并解碼獲得最終的氣體濃度估計結(jié)果.WSSA 氣體濃度估計模型的結(jié)構(gòu)如圖9 所示,氣體濃度估計過程如下.

圖9 WSSA 氣體濃度估計模型的結(jié)構(gòu)Fig.9 Structure of the WSSA gas concentration estimation model

1) 輸入1 800 個時刻的氣體傳感器陣列動態(tài)響應(yīng)信號,輸入數(shù)據(jù)可表示為X ∈R1800×8.為了降低計算復(fù)雜度,按時間順序,每隔9 個信號選取1個信號作為神經(jīng)網(wǎng)絡(luò)的輸入,形成輸入矩陣S ∈R180×8.

2)將S輸入到權(quán)重分配模塊,經(jīng)過線性層的線性變換、sigmoid 函數(shù)非線性變換和softmax 函數(shù)歸一化處理,得到一個權(quán)重矩陣W ∈R180×8,S與W做內(nèi)積,形成帶有權(quán)重的信號矩陣S′∈R180×8,具體計算公式如下:

式中,WL為權(quán)重矩陣,bL為偏置矩陣.

3)將權(quán)重信號矩陣S′輸入到特征提取模塊,通過cos 自注意力機制進行特征提取;然后將提取的特征與S′通過加法器相連,形成殘差連接,得到特征矩陣S′′∈R180×8,由圖10 和式(15)所示,可得S′′的計算公式為:

圖10 不同模型的氣體識別結(jié)果混淆矩陣Fig.10 Confusion matrix of gas recognition results with different models

式中,Q′為矩陣Qs和Qc在第2 個維度上連接后的結(jié)果;(K′)T為矩陣 (Ks)T和 (Kc)T在第1 個維度上連接后的結(jié)果.

4)將S′′展開為1 個長度為1 440 的特征序列,輸入到全連接模塊中,經(jīng)過2 層全連接解碼,得到氣體濃度值.其中,第1 個全連接層有8 個神經(jīng)元,第2 個全連接層的神經(jīng)元個數(shù)與氣體種類數(shù)相等.

4 實驗結(jié)果及常用方法對比

4.1 數(shù)據(jù)集

實驗數(shù)據(jù)集含有352 組不同氣體的傳感器陣列動態(tài)響應(yīng)信號,其中CO 的傳感器陣列動態(tài)響應(yīng)信號117 組,H2的傳感器陣列動態(tài)響應(yīng)信號115 組,CO 和H2混合氣體的傳感器陣列動態(tài)響應(yīng)信號120 組.在氣體識別實驗中,從352 組不同氣體的傳感器陣列動態(tài)響應(yīng)信號中,隨機選取211 組作為訓(xùn)練集,141 組作為測試集.訓(xùn)練集和測試集的比例約為3:2;在氣體濃度估計實驗中,從117 組CO 的傳感器陣列動態(tài)響應(yīng)信號中,隨機選取80 組作為訓(xùn)練集,37 組作為測試集;從115 組H2的傳感器陣列動態(tài)響應(yīng)信號中,隨機選取80 組作為訓(xùn)練集,35組作為測試集;從120 組CO 和H2混合氣體的傳感器陣列動態(tài)響應(yīng)信號中,隨機選取80 組作為訓(xùn)練集,40 組作為測試集.3 種氣體的訓(xùn)練集與測試集的比例約為2:1.2 個模型的訓(xùn)練集與測試集的比例均低于傳統(tǒng)模型常用4:1 比例[30].

4.2 氣體識別模型實驗結(jié)果及常用方法對比

為了驗證本文提出的DWRCNN 氣體識別模型的優(yōu)越性,將其與常用氣體識別模型(如K最近鄰(K-nearest neighbor,KNN)模型、支持向量機(Support vector machine,SVM)模型、隨機森林(Random forests,RF) 模型、樸素貝葉斯(Naive Bayes,NB)模型)和基于深度學(xué)習(xí)的氣體識別模型(如反向傳播神經(jīng)網(wǎng)絡(luò)(Back propagation neural network,BPNN)模型、卷積神經(jīng)網(wǎng)絡(luò)(Convolutional neural networks,CNN)模型[31]、膠囊網(wǎng)絡(luò)(Capsule network,CapsNet)模型[32])進行對比.其中KNN 模型、SVM 模型、RF 模型、NB 模型、BPNN 模型的輸入使用的是氣體傳感器陣列動態(tài)響應(yīng)信號的穩(wěn)態(tài)值,CNN 模型和CapsNet 模型的輸入與DWRCNN 模型相同,是64× 64 像素的小波系數(shù)圖像.KNN 模型選擇15 個最近鄰點,選擇徑向基函數(shù)(Radial basis function,RBF) 作為SVM 模型的核函數(shù),RF 模型的最大迭代次數(shù)設(shè)置為15,BPNN 模型的隱藏層神經(jīng)元個數(shù)設(shè)置為100 個.由于氣體傳感器陣列采集到的信號會受到各種噪聲的影響,而小波變換具有抗干擾能力強、非平穩(wěn)信號特征提取能力強等特點,DWRCNN 模型采用小波變換將原始信號轉(zhuǎn)換成小波系數(shù),能夠減輕噪聲對氣體識別準(zhǔn)確率的影響,提高模型的氣體識別準(zhǔn)確率.不同模型氣體識別的混淆矩陣和準(zhǔn)確率分別如圖10 和表2 所示,常用氣體識別模型和BPNN 模型的氣體識別準(zhǔn)確率難以達到100%.CNN 和CapsNet 模型的氣體識別準(zhǔn)確率雖然能夠接近甚至達到100%,但由圖11 可以看出,CNN 和CapsNet 模型的收斂速度遠不如DWRCNN 模型,CNN 和CapsNet 模型都需要訓(xùn)練400 輪后才能獲得較高氣體識別準(zhǔn)確率,并且準(zhǔn)確率波動較大,而DWRCNN 模型僅需要訓(xùn)練200 輪左右即可獲得100%的氣體識別準(zhǔn)確率,并且準(zhǔn)確率波動不大.這表明DWRCNN 模型的收斂速度更快,準(zhǔn)確率的穩(wěn)定性更高.

表2 不同模型的氣體識別準(zhǔn)確率 (%)Table 2 Gas recognition accuracy of different models (%)

圖11 不同模型氣體識別的準(zhǔn)確率曲線和損失函數(shù)曲線Fig.11 Accuracy curve and loss function curve of gas recognition with different models

4.3 氣體濃度估計模型實驗結(jié)果及常用方法對比

為了驗證本文提出的WSSA 模型的優(yōu)越性,將其與常用氣體濃度估計模型(如貝葉斯嶺(Bayesian ridge,BR)模型、SVM 模型、決策樹(Decision tree,DT) 模型、KNN 模型、RF 模型、Adaboost 模型、梯度提升決策樹(Gradient boosting decision tree,GBDT)模型、Bagging 模型、XGBoost 模型)和基于深度學(xué)習(xí)的氣體濃度估計模型(如長短期記憶(Long short-term memory,LSTM)模型)進行對比.其中,LSTM 模型和WSSA模型的輸入是氣體傳感器陣列動態(tài)響應(yīng)信號,其他氣體濃度估計模型是將氣體傳感器陣列動態(tài)響應(yīng)信號經(jīng)過復(fù)雜的預(yù)處理后作為輸入,處理過程可分為3 個步驟: 1)從氣體傳感器陣列動態(tài)響應(yīng)信號中提取出穩(wěn)態(tài)值,并對穩(wěn)態(tài)值進行歸一化;2)使用主成分分析(Principal component analysis,PCA)對歸一化后的數(shù)據(jù)進行降維,降維結(jié)果如圖12 所示;3)選擇第1 個和第2 個主成分值作為模型的輸入.RF、Adaboost、GBDT 和XGBoost 模型使用100個決策樹,SVM 模型的核函數(shù)設(shè)置為RBF.LSTM模型有2 個隱藏層,每個隱藏層有600 個神經(jīng)元.

圖12 PCA 降維可視化Fig.12 Visualization of PCA dimensionality reduction

為定量評估各模型的性能,使用平均絕對誤差(Mean absolute error,MAE)、均方根誤差(Root mean square error,RMSE)、解釋方差(Explained variance,EV) 和R2作為模型評估指標(biāo).其中,MAE 和RMSE 值越小、EV 和R2值越接近1.000,說明模型的氣體濃度估計性能越好.

表3～ 表6 分別給出不同氣體濃度估計模型對CO、H2、氣體混合物中的CO 和氣體混合物中的H2的濃度估計的MAE、RMSE、EV 和R2值.可以看出,對于單一氣體濃度估計,WSSA 和LSTM 模型的MAE、RMSE 值都低于常用氣體濃度估計模型,EV 和R2值也比常用氣體濃度估計模型更加接近1.000,而且WSSA 模型對CO 和H2濃度估計的EV 和R2值都能夠達到0.990 以上,而LSTM 模型對CO 和H2的濃度估計的EV 和R2值均小于0.990.對于混合氣體中CO 的濃度估計,WSSA 模型的MAE 和RMSE 值都小于10.000,EV 和R2值都能達到0.956;而常用氣體濃度估計模型的MAE 和RMSE 值都接近20.000,EV 和R2值約在0.500 左右,遠小于1.000;LSTM 模型的MAE 和RMSE 值都略大于10.000,EV 和R2值都接近0.850.對于混合氣體中H2的濃度估計,WSSA 模型也取得了更低的MAE、RMSE 值和更接近1.000 的EV、R2值.在常用氣體濃度估計模型中,SVM 模型對CO 和H2的濃度估計精度最高,XGBoost 模型對混合氣體中CO 的濃度估計精度最高,KNN 模型對混合氣體中H2的濃度估計精度最高,所有的常用氣體濃度估計模型對混合氣體中CO 的濃度估計精度都非常低,這反映了仿生嗅覺感知系統(tǒng)很難實現(xiàn)用一個最優(yōu)的氣體濃度估計模型來估計不同氣體濃度,需要統(tǒng)一模型,來減少對不同氣體濃度估計的誤差.本文提出的WSSA 模型解決了這個問題,它能夠同時對不同氣體保持較高濃度估計精度,并且僅需要使用較少的標(biāo)記數(shù)據(jù).為了進一步驗證本文提出的WSSA 模型對不同氣體的濃度估計誤差較小,將不同模型的氣體濃度估計值和氣體濃度的實際值歸一化后畫出了相應(yīng)的誤差箱式圖,圖13(a)～ 13(d)分別為不同模型對CO、H2、混合氣體中的CO 和混合氣體中的H2的濃度估計誤差箱式圖.可以看出,無論對哪種氣體,WSSA 模型的最大誤差和誤差整體水平在所有模型中都是最小的.

表3 CO 濃度估計指標(biāo)Table 3 Metrics of CO concentration estimation

表4 H2 濃度估計指標(biāo)Table 4 Metrics of H2 concentration estimation

表5 混合氣體中CO 濃度估計指標(biāo)Table 5 Metrics of CO concentration estimation in the gas mixture

表6 混合氣體中H2 濃度估計指標(biāo)Table 6 Metrics of H2 concentration estimation in the gas mixture

圖13 不同模型的氣體濃度估計誤差箱式圖Fig.13 Error box plots of gas concentration estimation with different models

4.4 自注意力機制對比及權(quán)重分配模塊消融實驗

自注意力模型的各種變體形式往往會以犧牲模型部分性能為代價,來降低模型的計算復(fù)雜度.本文使用的自注意力模型利用基于余弦的距離重加權(quán)機制,代替了原始自注意力模型中的softmax 重加權(quán)機制,為了驗證該方法在降低計算復(fù)雜度的同時,是否能夠保持模型的性能,使用OSA 模型與SA 模型進行對比.由圖13 和表3～ 表6 可以看出,對于單一氣體,SA 模型與OSA 模型的濃度估計精度相當(dāng);對于混合氣體,SA 模型的濃度估計精度甚至高于OSA 模型.由此可知,本文使用的自注意力模型能夠在降低計算復(fù)雜度的同時,保持與原始的自注意力模型相當(dāng)甚至更高的性能.

為了驗證本文提出的權(quán)重分配模塊的有效性,做了權(quán)重分配模塊的消融實驗,使用不含權(quán)重分配模塊的SA 模型,與含有權(quán)重分配模塊的WSSA 模型進行實驗對比.兩種模型的氣體濃度估計散點圖如圖14 所示,可以看出,無論是混合氣體,還是單一氣體,WSSA 模型都比SA 模型的濃度估計值與實際值更加吻合.由圖13、圖14 和表3～ 表6 可以看出,WSSA 模型比SA 模型的氣體濃度估計誤差更小且精度更高,特別是對于混合氣體中CO 的濃度估計.進一步,為了驗證權(quán)重分配模塊對其他基于深度學(xué)習(xí)的氣體濃度估計模型是否也有效,將LSTM 模型與加權(quán)重分配模塊的權(quán)重信號長短期記憶(Weighted signal long short-term memory,WS-LSTM)模型進行實驗對比.由圖13、圖14 和表3～ 表6 可以看出,WS-LSTM 模型比LSTM 模型的氣體濃度估計誤差更小且精度更高,并且對混合氣體中CO 的濃度估計精度有了顯著的提高.由以上對比結(jié)果可以看出,在基于深度學(xué)習(xí)的氣體濃度估計模型中,加上權(quán)重分配模塊,可以有效提高模型的氣體濃度估計精度.由圖14 還可以看出,WSSA 模型對混合氣體難以達到與單一氣體相近的濃度估計精度,這是由于傳感器陣列中每個傳感器的測量信號是環(huán)境中氣體共同作用的結(jié)果,當(dāng)多種氣體同時存在時,就會造成氣體識別和測量的誤差較大.所有模型的氣體濃度估計精度都難以達到100%,這是因為實驗儀器存在誤差、氣源濃度存在誤差、配氣時氣體吸附作用、A/D 轉(zhuǎn)換器進行信號轉(zhuǎn)換時的誤差和注入氣體的時間與速率等都會對采集到的動態(tài)響應(yīng)信號產(chǎn)生影響,從而導(dǎo)致模型的氣體濃度估計存在誤差.

圖14 SA 模型和WSSA 模型的氣體濃度估計散點圖Fig.14 Scatter plots of gas concentration estimation for SA model and WSSA model

4.5 模型抗外界因素干擾能力實驗

由于受到進氣口位置和傳感器陣列擺放位置等影響,實驗所采集到的動態(tài)響應(yīng)信號除了含有氣體的種類、濃度等特征外,還會包含一些噪聲,所以氣體檢測模型需要有較強抗外界因素干擾能力.圖15(a)為氣腔進氣口位置示意圖,其中A、B、C 為氣腔底端的進氣口,D 為傳感器擺放位置;圖15(b)為傳感器陣列高度示意圖,其中E 為氣腔最底部,F 距氣腔最底部10 cm,G 距氣腔最底部20 cm.為了驗證模型的抗外界因素干擾能力,本文改變了氣腔進氣口位置和傳感器陣列在氣腔中的擺放高度,并采集相應(yīng)的動態(tài)響應(yīng)信號進行氣體檢測,實驗結(jié)果如表7～ 表11 所示.可以看出,當(dāng)改變氣腔進氣口位置或傳感器陣列在氣腔中的擺放高度時,模型的氣體識別準(zhǔn)確率仍能夠達到100%,氣體濃度估計精度仍能夠保持較高水平,這表明模型的抗外界因素干擾能力較強.

表7 氣體識別準(zhǔn)確率 (%)Table 7 Gas recognition accuracy (%)

表8 氣腔進氣口位置不同時單一氣體濃度估計的指標(biāo)Table 8 Metrics for concentration estimation of single gas with different gas cavity inlet positions

表9 氣腔進氣口位置不同時混合氣體濃度估計的指標(biāo)Table 9 Metrics for concentration estimation of mixed gases with different gas cavity inlet positions

表10 傳感器陣列擺放高度不同時單一氣體濃度估計指標(biāo)Table 10 Metrics for concentration estimation of single gas with different sensor array placement heights

表11 傳感器陣列擺放高度不同時混合氣體濃度估計指標(biāo)Table 11 Metrics for concentration estimation of mixed gases with different sensor array placement heights

圖15 氣腔進氣口位置和傳感器陣列高度示意圖Fig.15 Diagram of gas cavity inlet position and sensor array height

4.6 模型的長期穩(wěn)定性實驗

用氣體傳感器陣列對氣體進行檢測時,傳感器測量信號中夾雜著漂移干擾,直接影響氣體檢測的精度.導(dǎo)致傳感器漂移的因素有很多,主要包括環(huán)境溫濕度的改變和氣敏材料的老化等,其中,氣敏材料的老化對模型的長期穩(wěn)定性具有較大影響.為了測試模型的長期穩(wěn)定性,在相同的溫度和濕度條件下,進行了3 次重復(fù)性信號采集實驗,每次信號采集實驗時間間隔為30 天.

本文模型的氣體檢測實驗結(jié)果如表12～ 表14所示,可以看出,隨著時間的增長,模型仍能保持較高氣體識別準(zhǔn)確率,使用第3 次采集的動態(tài)響應(yīng)信號進行氣體識別時,準(zhǔn)確率能達到99.29%,但模型的氣體濃度估計精度略有降低.總之,氣敏元件的老化會在一定程度上影響模型的氣體檢測性能,但本文模型的氣體檢測精度仍然較高,表明模型的長期穩(wěn)定性較高.

表12 本文模型的氣體識別準(zhǔn)確率 (%)Table 12 Gas recognition accuracy of our model (%)

表13 單一氣體濃度估計指標(biāo)Table 13 Metrics for concentration estimation of single gas

表14 混合氣體濃度估計指標(biāo)Table 14 Metrics for concentration estimation of mixed gases

5 結(jié)束語

本文提出一種由DWRCNN 氣體識別子模型和WSSA 氣體濃度估計子模型組成的氣體檢測模型.與傳統(tǒng)的氣體檢測模型不同,該模型無需對氣體傳感器陣列動態(tài)響應(yīng)信號進行處理,直接使用原始動態(tài)響應(yīng)信號進行氣體識別和氣體濃度估計.該模型使用少量的標(biāo)簽數(shù)據(jù)訓(xùn)練,就可以獲得接近100%的氣體識別準(zhǔn)確率和較高氣體濃度估計精度.

在氣體識別任務(wù)中,DWRCNN 氣體識別模型能將傳感器陣列的動態(tài)響應(yīng)信號直接轉(zhuǎn)換成64×64 像素的小波系數(shù)圖像,進行氣體識別.該模型僅訓(xùn)練200 輪左右,就能夠達到100%的氣體識別準(zhǔn)確率并保持穩(wěn)定;在氣體濃度估計實驗中,首先,WSSA 氣體濃度估計模型通過權(quán)重分配模塊自動賦予不同傳感器獲取的動態(tài)響應(yīng)信號不同權(quán)重;然后,使用自注意力機制提取權(quán)重信號特征;最后,通過全連接模塊解碼氣體濃度值.該模型對單一氣體和混合氣體都能達到較高濃度估計精度.實驗驗證了本文提出的權(quán)重分配模塊同樣適用于其他基于深度學(xué)習(xí)的氣體濃度估計模型,能夠提高氣體濃度估計精度,并且模型的抗外界因素干擾能力較強,長期穩(wěn)定性較高.