基于對(duì)抗學(xué)習(xí)的電子鼻傳感器漂移補(bǔ)償算法*

陶 洋, 黎春燕, 梁志芳, 楊皓誠(chéng)

(重慶郵電大學(xué) 通信與信息工程學(xué)院,重慶 400065)

0 引 言

電子鼻是一種檢測(cè)復(fù)雜性氣味的儀器,又稱為機(jī)器嗅覺系統(tǒng),主要由氣體傳感器陣列和相應(yīng)的模式識(shí)別算法組成。它在食品安全[1]、空氣質(zhì)量檢測(cè)[2]、醫(yī)學(xué)[3]等領(lǐng)域有著廣泛的應(yīng)用。但電子鼻傳感器的靈敏度會(huì)隨著環(huán)境、自身老化和“中毒”等原因發(fā)生變化,故傳感器的輸出響應(yīng)也隨之改變,即傳感器產(chǎn)生漂移。傳感器漂移使電子鼻性能下降,壽命降低,極大限制了電子鼻在實(shí)際生活中的應(yīng)用。因此,解決傳感器漂移能夠延長(zhǎng)電子鼻使用壽命,同時(shí)也是近年來針對(duì)電子鼻的研究熱點(diǎn)。

目前,已有許多學(xué)者針對(duì)電子鼻傳感器漂移提出了一系列方法,主要包括信號(hào)預(yù)處理[4]、成分校正法[5,6]、分類器集成法[7]、域自適應(yīng)法[8,9]。信號(hào)預(yù)處理獨(dú)立校正每只傳感器響應(yīng)信號(hào),故該方法易于實(shí)現(xiàn)、時(shí)效性高,但無法處理數(shù)只傳感器之間復(fù)雜的漂移。成分校正法試圖利用實(shí)驗(yàn)環(huán)境下參考?xì)怏w的漂移方向移除測(cè)試樣本的漂移成分,但漂移方向的準(zhǔn)確性依然值得研究。分類器集成法需利用大量標(biāo)記樣本。域自適應(yīng)是近年來在電子鼻漂移補(bǔ)償中應(yīng)用較為廣泛的方法,本文也將從域自適應(yīng)角度繼續(xù)研究漂移補(bǔ)償算法。Zhang L等人提出域自適應(yīng)極限學(xué)習(xí)機(jī)(domain adaptive extreme learning machine, DAELM)方法用于補(bǔ)償傳感器漂移[8]。 Liang Z等人[9]提出一種方法從特征和分類器決策層解決電子鼻傳感器漂移。綜上所述,這些漂移補(bǔ)償方法均屬于半監(jiān)督域自適應(yīng)方法,并抑制了傳感器的漂移,但這些方法利用較多的目標(biāo)域標(biāo)記樣本。

本文受對(duì)抗學(xué)習(xí)和半監(jiān)督域自適應(yīng)的啟發(fā),提出一種基于對(duì)抗學(xué)習(xí)估計(jì)域不變?cè)?estimate domain-invariant prototypes via adversarial learning,ALDIP)的漂移補(bǔ)償方法。將對(duì)抗學(xué)習(xí)加入半監(jiān)督域自適應(yīng)學(xué)習(xí)過程中,同時(shí)利用更少的目標(biāo)域標(biāo)記樣本研究傳感器漂移補(bǔ)償算法。該方法的主要目的是最小化估計(jì)原型與目標(biāo)域未標(biāo)記樣本之間的距離,從而提取目標(biāo)域可區(qū)分性特征。實(shí)驗(yàn)表明,本文所提出的方法能夠有效地對(duì)傳感器漂移進(jìn)行補(bǔ)償。

1 基于對(duì)抗學(xué)習(xí)估計(jì)域不變?cè)?/h2>

1.1 問題定義

1.2 模型總體結(jié)構(gòu)框架

受文獻(xiàn)[10]的啟發(fā),本文提出的方法主要利用神經(jīng)網(wǎng)絡(luò)構(gòu)建一個(gè)特征提取器和余弦相似度分類器。整個(gè)網(wǎng)絡(luò)結(jié)構(gòu)如圖1所示。

圖1 基于對(duì)抗學(xué)習(xí)域不變?cè)偷木W(wǎng)絡(luò)框架

1.3 訓(xùn)練過程

在整個(gè)訓(xùn)練過程中,首先利用特征提取器F和余弦相似度分類器C訓(xùn)練源域和目標(biāo)域標(biāo)記樣本,并選用交叉熵作為損失函數(shù)。特征提取器表示為利用網(wǎng)絡(luò)參數(shù)θF學(xué)習(xí)一個(gè)函數(shù)fg,分類器表示為利用網(wǎng)絡(luò)參數(shù)θC學(xué)習(xí)一個(gè)函數(shù)fc,其中,θC為分類器權(quán)重向量W=[w1,w2,…,wk]的集合。最后,利用標(biāo)記樣本獲得的分類器經(jīng)驗(yàn)損失為

(1)

假設(shè)對(duì)于每種類別都存在一個(gè)域不變估計(jì)原型,并視該原型為兩個(gè)域之間的代表點(diǎn),但估計(jì)原型更適于源域分布,因?yàn)樵诜诸惼饔?xùn)練過程中源域標(biāo)簽信息更多。為使估計(jì)原型具有域不變特性,將原型wi向目標(biāo)域特征移動(dòng)以估計(jì)原型的位置,故利用熵度量W與無標(biāo)記目標(biāo)域特征之間的相似度,熵的計(jì)算公式如下

(2)

式中K為類別數(shù)量,p(y=k|x)為樣本x預(yù)測(cè)為類別k的概率。熵越大則表明估計(jì)原型wi與所有目標(biāo)域特征越相似,故最大化熵以估計(jì)域不變?cè)汀楂@得目標(biāo)域樣本可區(qū)分性特征,將目標(biāo)域未標(biāo)記樣本圍繞估計(jì)原型聚類,故最小化特征提取器F以減小目標(biāo)域未標(biāo)記樣本的熵,即每個(gè)目標(biāo)域樣本應(yīng)分配給唯一的估計(jì)原型。因此,重復(fù)進(jìn)行熵最大化和最小化過程能夠?qū)W到更具有區(qū)分性的特征。整個(gè)熵的最大最小化過程如圖2所示。

圖2 熵最大最小化過程

總的來說,該方法可形式化為C和F之間的對(duì)抗學(xué)習(xí),訓(xùn)練分類器C最大化熵,訓(xùn)練特征提取器F以最小化熵。整個(gè)對(duì)抗學(xué)習(xí)的目標(biāo)函數(shù)為

(3)

式中γ為超參數(shù),用于控制最大最小化熵訓(xùn)練和分類損失之間的平衡。在一個(gè)包含有源域和目標(biāo)域小批量數(shù)據(jù)中,該目標(biāo)函數(shù)可形式化為最大最小化迭代訓(xùn)練。小批量是指將兩個(gè)域的所有樣本劃分成幾個(gè)批次,并以每個(gè)批次更新神經(jīng)網(wǎng)絡(luò)的參數(shù),從而降低計(jì)算復(fù)雜度。為簡(jiǎn)化訓(xùn)練過程,利用梯度反轉(zhuǎn)層[11]使C和F之間的梯度相對(duì)于H反轉(zhuǎn),其中,梯度反轉(zhuǎn)層可利用一次前向和后向傳播實(shí)現(xiàn)最大最小化訓(xùn)練。

2 實(shí)驗(yàn)與結(jié)果分析

2.1 傳感器基準(zhǔn)數(shù)據(jù)集

本文利用一組公開數(shù)據(jù)集完成實(shí)驗(yàn),它被許多學(xué)者用于電子鼻漂移補(bǔ)償算法研究。該數(shù)據(jù)是長(zhǎng)達(dá)3年的電子鼻傳感器基準(zhǔn)數(shù)據(jù)集,由來自加州大學(xué)(University of California, San Diego,UCSD)的Vergara等人[7]采集所得。電子鼻是由16只MOS傳感器組成的傳感器陣列,其中每只傳感器提取樣本的8個(gè)特征,故每個(gè)樣本共有128(16×8)維特征。最后,利用電子鼻對(duì)不同濃度的6種氣體(丙酮,乙醛,乙醇,乙烯,氨和甲苯)進(jìn)行測(cè)量,在整個(gè)36個(gè)月中共收集了13 910個(gè)樣本,并按時(shí)間順序?qū)⑵浞譃?0批數(shù)據(jù)。其中,第10批數(shù)據(jù)是電子鼻關(guān)閉電源5個(gè)月后所采集的數(shù)據(jù),而在電子鼻關(guān)閉電源的5個(gè)月中,傳感器將遭受到嚴(yán)重的污染,且這些污染不可避免,因此當(dāng)電子鼻再次工作時(shí),電子鼻傳感器陣列無法恢復(fù)到正常的工作溫度,故采集的數(shù)據(jù)將發(fā)生比平常更嚴(yán)重的漂移。表1為所有批次收集的時(shí)間以及每個(gè)批次每種氣體的數(shù)量。另外,更多關(guān)于論文采用的傳感器基準(zhǔn)數(shù)據(jù)集信息可見文獻(xiàn)[7]。

表1 基準(zhǔn)傳感器漂移數(shù)據(jù)集

為更直觀地觀察所有批次數(shù)據(jù)分布差異,圖3為原始數(shù)據(jù)的二維主成分散點(diǎn)圖。從圖3中可觀察到傳感器漂移使各批次的2維主成分子空間數(shù)據(jù)分布不一致。因此,若將批次1視為源域用于建立模型,在目標(biāo)域批次b(b=2,3,…,10)上測(cè)試,模式識(shí)別準(zhǔn)確性會(huì)產(chǎn)生較大的偏差。因?yàn)樵跈C(jī)器學(xué)習(xí)中,通常假設(shè)訓(xùn)練集和測(cè)試集應(yīng)保持相同或相似的概率分布,而傳感器漂移使測(cè)試集和訓(xùn)練集的分布不再滿足機(jī)器學(xué)習(xí)的假設(shè),故可考慮減小域間分布差異提高模式識(shí)別的準(zhǔn)確率。

圖3 10批數(shù)據(jù)二維特征(PC1,PC2)散點(diǎn)圖

2.2 結(jié)果與討論

對(duì)電子鼻傳感器基準(zhǔn)數(shù)據(jù)集進(jìn)行兩種實(shí)驗(yàn)設(shè)置,并將兩種實(shí)驗(yàn)設(shè)置下的結(jié)果與一些漂移補(bǔ)償方法進(jìn)行對(duì)比,包括常用的特征提取方法,主成分分析(principal component analysis,PCA)法[5]和線性判別分析(linear discriminant analysis,LDA)法[12],集成分類器法SVM-COMGFK和SVM-RBF,以及近年的半監(jiān)督域自適應(yīng)方法,域自適應(yīng)極限學(xué)習(xí)機(jī)(DAELM-S)[8]。由于神經(jīng)網(wǎng)絡(luò)初始權(quán)重的不確定性,故本次實(shí)驗(yàn)實(shí)現(xiàn)ALDIP共10次,并取實(shí)驗(yàn)10次最優(yōu)結(jié)果的平均值作為本實(shí)驗(yàn)的結(jié)果。在實(shí)驗(yàn)過程中,等式(3)中的平衡參數(shù)γ為0.1,并利用常見的KS算法選取目標(biāo)域標(biāo)記樣本。

設(shè)置1:將批次1作為源域用于模型訓(xùn)練,其余批次b(b=2,3,…,10)作為目標(biāo)域用于模型測(cè)試。

設(shè)置2：將批次b(b=1,2,…,9)作為源域用于模型訓(xùn)練,批次b+1作為目標(biāo)域用于模型測(cè)試。

在實(shí)驗(yàn)設(shè)置1下,表2給出了ALDIP在最佳實(shí)驗(yàn)結(jié)果下的小批量設(shè)置,表3給出了ALDIP與其他漂移補(bǔ)償算法的識(shí)別精度。從表3可知ALDIP平均精度結(jié)果最佳,雖然平均精度只比DAELM-S高出0.91 %,但從表格的第一列可知ALDIP比DAELM-S少利用10個(gè)目標(biāo)域標(biāo)記樣本。從總的10批數(shù)據(jù)來看,2,4,5,6,10批次數(shù)據(jù)的識(shí)別精度均比DAELM-S高,尤其第10批數(shù)據(jù),ALDIP的識(shí)別精度比DAELM-S高出15.17 %,由2.1節(jié)可知,第10批數(shù)據(jù)漂移最嚴(yán)重,故這也證明了該方法對(duì)漂移的補(bǔ)償作用。最后還給出了實(shí)驗(yàn)設(shè)置1下ALDIP方法在包含0,5,10,15,20,25個(gè)目標(biāo)域標(biāo)記樣本下每批次的識(shí)別精度圖,并與DAELM-S在該環(huán)境下的識(shí)別精度進(jìn)行對(duì)比,如圖4所示。從圖4中可看出隨著目標(biāo)域標(biāo)記樣本的增加,ALDIP方法的識(shí)別精度逐漸增加,且在相同的目標(biāo)域樣本下,大多數(shù)批次的識(shí)別效果優(yōu)于DAELM-S。因此,該模型能夠有效補(bǔ)償傳感器漂移。另外ALDIP比次之的DAELM-S效果更佳的一個(gè)原因是ALDIP利用了對(duì)抗學(xué)習(xí)使提取的源域和目標(biāo)域特征具有域不變特性,并且利用余弦相似度分類器可使類內(nèi)更緊密,而DAELM-S利用極限學(xué)習(xí)機(jī)只考慮了分類決策層的自適應(yīng)。

表2 實(shí)驗(yàn)設(shè)置1下獲得最高精度時(shí)小批量參數(shù)設(shè)置

表3 實(shí)驗(yàn)設(shè)置1下ALDIP以及對(duì)比算法的識(shí)別精度

圖4 不同數(shù)量目標(biāo)域標(biāo)記樣本下每個(gè)批次的識(shí)別精度

在實(shí)驗(yàn)設(shè)置2下,批次b視為源域,批次b+1視為目標(biāo)域,若將批次b→b+1視為一個(gè)任務(wù),則共有9個(gè)任務(wù)。表4給出了在實(shí)驗(yàn)設(shè)置2下每個(gè)任務(wù)獲得最佳實(shí)驗(yàn)結(jié)果的小批量大小參數(shù)設(shè)置。表5給出ALDIP方法與所有比較的漂移補(bǔ)償方法對(duì)9個(gè)任務(wù)的識(shí)別精度結(jié)果。從表5中可看出ALDIP方法的識(shí)別精度依然是最高的。雖然僅比與它次之的DAELM-S方法高出0.45 %,但該方法依然利用了更少的目標(biāo)域標(biāo)記樣本。對(duì)于現(xiàn)實(shí)場(chǎng)景來講,從目標(biāo)域獲取更多的標(biāo)記樣本將耗費(fèi)大量人力且不易獲取,故這證明了該方法的有效性。總的來說,無論從實(shí)驗(yàn)設(shè)置1還是實(shí)驗(yàn)設(shè)置2,都能夠說明ALDIP方法對(duì)傳感器漂移的補(bǔ)償作用。

表4 實(shí)驗(yàn)設(shè)置2下獲得最高精度時(shí)小批量參數(shù)設(shè)置

表5 實(shí)驗(yàn)設(shè)置2下ALDIP以及對(duì)比算法的識(shí)別精度表

3 結(jié) 論

為了補(bǔ)償傳感器的漂移,本文提出一種基于對(duì)抗學(xué)習(xí)估計(jì)域不變?cè)偷乃惴āＴ摲椒ǖ奶攸c(diǎn)為：1)利用熵的最大最小化過程達(dá)到源域與目標(biāo)域之間的自適應(yīng)；2)在網(wǎng)絡(luò)結(jié)構(gòu)中,為了達(dá)到對(duì)抗的目的,在特征提取器和分類器之間加入梯度反轉(zhuǎn)層；3)該模型不僅能夠?qū)W習(xí)到域不變特征,而且能夠?qū)W習(xí)到域不變?cè)汀Ｗ詈?為了驗(yàn)證提出方法的有效性,在加州大學(xué)的電子鼻基準(zhǔn)數(shù)據(jù)集上進(jìn)行實(shí)驗(yàn),并證明了該方法比其他漂移補(bǔ)償方法識(shí)別率更高。