基于電子鼻傳感器性能的互信息特征選擇算法*

陶 洋，劉翔宇，梁志芳

(重慶郵電大學(xué) 通信與信息工程學(xué)院，重慶 400065)

0 引言

相較于視覺(jué)的發(fā)達(dá)，人類的嗅覺(jué)并不出色。因此機(jī)器嗅覺(jué)可以在多個(gè)領(lǐng)域替代人工[1]，實(shí)現(xiàn)對(duì)氣體的檢測(cè)與分析，例如環(huán)境質(zhì)量監(jiān)測(cè)[2]、食品安全[3]、醫(yī)療衛(wèi)生等[4]，對(duì)電子鼻系統(tǒng)的研究具有重大的價(jià)值。

電子鼻傳感器陣列的優(yōu)化是一類特殊的特征選擇問(wèn)題[5]，主要表現(xiàn)在兩個(gè)方面：

(1)電子鼻系統(tǒng)中的傳感器普遍具有廣譜效應(yīng)[5]，因此傳感器之間的冗余有別于傳統(tǒng)特征之間的冗余，在冗余度相同的情況下前者更傾向于較大的冗余分布，即篩選出較少重疊的特征；

(2)與傳統(tǒng)特征選擇不同，電子鼻傳感器陣列更傾向于篩選出高敏感特征，即傳感器對(duì)不同氣體的響應(yīng)有更大的幅度差。

綜上所述，本文提出一種電子鼻傳感器性能的互信息特征選擇算法(Sensor Performance Mutal Information，SPMI)，結(jié)合傳感器特性進(jìn)行特征子集的篩選，相較于現(xiàn)有算法獲得了更優(yōu)的識(shí)別精度。該算法的主要?jiǎng)?chuàng)新點(diǎn)有：

(1)針對(duì)候選特征與已選特征之間的冗余度設(shè)計(jì)權(quán)重函數(shù)，降低聯(lián)合冗余信息離散程度小的特征權(quán)值，使得篩選出的特征之間相互冗余的數(shù)量降低；

(2)設(shè)計(jì)基于方差的特征敏感性評(píng)價(jià)函數(shù)，使得篩選的特征對(duì)目標(biāo)響應(yīng)具有更高的辨識(shí)度。

1 現(xiàn)有算法分析

互信息特征選擇算法根據(jù)評(píng)價(jià)函數(shù)J(Xm)對(duì)特征Xm打分[6]，并根據(jù)需求的特征數(shù)量確定迭代次數(shù)，每次迭代從候選特征集合M 中獲得最高分特征并將其加入已選特征集合N 中。

1994 年，Battiti 等人提出MIFS 算法[7]，其評(píng)價(jià)函數(shù)如式(1)所示，該算法將特征與類的互信息作為相關(guān)性，將候選特征與已選特征之間的互信息作為冗余性，通過(guò)系數(shù)β 平衡兩者之間的權(quán)重：

其中，I(Xm；L)為特征與標(biāo)簽的相關(guān)性；I(Xm；Xn)表示特征之間的相關(guān)性；β 作為平衡系數(shù)，權(quán)衡兩者之間的權(quán)重。

2000 年，Yang 等人提出了JMI 算法[8]，該算法在特征與類的相關(guān)性基礎(chǔ)上，通過(guò)條件互信息進(jìn)一步消除其中的無(wú)效信息：

2005 年，Peng 等人提出了mRMR 算法[9]，該算法確定特征之間的冗余性的系數(shù)為已選特征數(shù)量的倒數(shù)，計(jì)算出冗余程度的集中趨勢(shì)：

2018、2019 年Gao 等人相繼提出了CFR 算法[10]、MRMD算法[11]，分別如式(4)、式(5)所示：

通過(guò)上述分析，可知現(xiàn)有算法并未根據(jù)電子鼻傳感器陣列特性進(jìn)行優(yōu)化，使得其在電子鼻傳感器數(shù)據(jù)集上未能篩選出最優(yōu)特征子集。據(jù)此本文提出基于傳感器性能的互信息特征選擇算法。

2 傳感器性能的互信息特征選擇算法

2.1 評(píng)價(jià)函數(shù)

互信息特征選擇算法主要通過(guò)評(píng)價(jià)函數(shù)作為準(zhǔn)則篩選特征，SPMI 算法的評(píng)價(jià)函數(shù)分為三部分：特征相關(guān)性Jrev(Xm)、特征冗余性Jrdu(Xm)以及特征敏感性Jsen(Xm)：

可以發(fā)現(xiàn)此評(píng)價(jià)函數(shù)采用特征與類的互信息衡量特征的相關(guān)性：

2.2 特征冗余性

候選特征與已選特征的互信息I(Xm；Xn)可以簡(jiǎn)單地看作特征的冗余性。然而由于標(biāo)簽信息的存在，此互信息可根據(jù)是否存在標(biāo)簽信息劃分為兩個(gè)部分：

其中，I(Xm；Xn|L)中不帶任何標(biāo)簽信息，被稱為類外冗余。類外冗余因不帶標(biāo)簽信息可不被考慮在冗余范圍內(nèi)，因此，可以縮 小冗余信 息為類內(nèi)冗余I(Xm；Xn；L)。同時(shí)減去此特征與標(biāo)簽特有的條件互信息I(Xm；L|Xn)，以最大化相關(guān)性[12]。可得到冗余互信息評(píng)價(jià)函數(shù)為：

然而當(dāng)多個(gè)特征的冗余度相同時(shí)，傳感器陣列更傾向于較大的冗余分布，因此可以根據(jù)均值μ 和標(biāo)準(zhǔn)差σ表征特征的類內(nèi)冗余分布：

類內(nèi)冗余標(biāo)準(zhǔn)差σ 越大，此特征的冗余離散程度越高，相同冗余度下與已選特征冗余的數(shù)量越小。由于冗余性評(píng)價(jià)函數(shù)與整體評(píng)價(jià)函數(shù)呈現(xiàn)負(fù)相關(guān)，因此將此標(biāo)準(zhǔn)差的倒數(shù)作為權(quán)重函數(shù)W，并通過(guò)常數(shù)項(xiàng)擴(kuò)大函數(shù)定義域：

最后將函數(shù)W(Xm)作為特征冗余度的權(quán)值，獲得特征冗余評(píng)價(jià)函數(shù)：

2.3 特征敏感性

電子鼻傳感器陣列所識(shí)別的目標(biāo)氣體之間往往具有相關(guān)性，例如混合氣體的識(shí)別中，不同目標(biāo)氣體之間可能只有濃度的差異。這就要求傳感器特征具有足夠的敏感性區(qū)分不同的目標(biāo)氣體。

SPMI 算法根據(jù)特征變量的方差設(shè)計(jì)特征的敏感性評(píng)價(jià)函數(shù)。特征的方差越大，特征分量與均值的差異也就越高，傳感器特征對(duì)不同目標(biāo)氣體的辨識(shí)能力也就越強(qiáng)。同時(shí)設(shè)置系數(shù)α 平衡敏感性占總評(píng)價(jià)函數(shù)的比重：

2.4 算法流程與優(yōu)勢(shì)分析

SPMI 算法通過(guò)逐步迭代獲取候選特征集合中每次得分最高的特征，算法的詳細(xì)流程如下：

綜上所述，SPMI 算法結(jié)合傳感器陣列特性，做出以下優(yōu)化：

(1)基于類內(nèi)冗余度獲得最大相關(guān)性，并設(shè)計(jì)冗余度的標(biāo)準(zhǔn)差為權(quán)重函數(shù)，以篩選出冗余離散度更高的特征；

(2)基于特征方差設(shè)計(jì)敏感性，以篩選出對(duì)不同目標(biāo)氣體更敏感的特征。

3 實(shí)驗(yàn)驗(yàn)證與分析

3.1 實(shí)驗(yàn)數(shù)據(jù)集介紹

本文使用了兩個(gè)數(shù)據(jù)集驗(yàn)證所提出算法性能：

(1)加州大學(xué)歐文分校(University of California Irvine，UCI)機(jī)器學(xué)習(xí)庫(kù)中收錄的流量調(diào)制下氣體傳感器陣列數(shù)據(jù)集[13]。其中包含了從16 個(gè)金屬氧化物傳感器在氣流調(diào)制條件下獲取的58 個(gè)時(shí)間序列內(nèi)的響應(yīng)。調(diào)制的氣流為丙酮、乙醇以及二者的氣態(tài)混合物，實(shí)驗(yàn)將傳感器時(shí)間序列內(nèi)穩(wěn)態(tài)最大響應(yīng)值作為候選特征。

(2)重慶大學(xué)生物感知與智能信息處理實(shí)驗(yàn)室采集的傷口細(xì)菌電子鼻公開(kāi)數(shù)據(jù)集[14]。實(shí)驗(yàn)采用了34 個(gè)化學(xué)傳感器獲取對(duì)大腸桿菌培養(yǎng)液、金黃色葡萄球菌培養(yǎng)液、銅綠假單胞菌培養(yǎng)液以及任意兩種混合培養(yǎng)液的響應(yīng)，同樣將傳感器穩(wěn)態(tài)最大響應(yīng)值作為候選特征。

3.2 實(shí)驗(yàn)設(shè)置

實(shí)驗(yàn)將在上述數(shù)據(jù)集中運(yùn)行泛化性能良好的現(xiàn)有算 法(MIM、JMI、mRMR、MIFS、CFR、MRMD)以及所提出算法(SPMI)進(jìn)行對(duì)比，獲得各對(duì)比算法篩選出特征子集，并在分類算法(支持向量機(jī)(Suport Vertor Machine，SVM))下獲得特征子集的識(shí)別精度[15]。

經(jīng)過(guò)多次實(shí)驗(yàn)，確定在流量調(diào)制數(shù)據(jù)集下特征敏感性的系數(shù)α=1，傷口細(xì)菌數(shù)據(jù)集下系數(shù)α=0.3，能達(dá)到最優(yōu)效果。支持向量機(jī)的核函數(shù)采用徑向基函數(shù)(Radial Basis Function，RBF)能獲得更好的分類精度。

3.3 實(shí)驗(yàn)結(jié)果

本次實(shí)驗(yàn)在流量調(diào)制數(shù)據(jù)集和傷口細(xì)菌數(shù)據(jù)集下獲取的特征子集的識(shí)別精度趨勢(shì)如圖1 和圖2 所示，精度的數(shù)值如表1 和表2 所示。

表2 傷口細(xì)菌數(shù)據(jù)集下各算法篩選傳感器的識(shí)別精度 (%)

圖1 流量調(diào)制數(shù)據(jù)集特征子集識(shí)別精度折線圖

圖2 傷口細(xì)菌數(shù)據(jù)集特征子集識(shí)別精度折線圖

表1 流量調(diào)制數(shù)據(jù)集下各算法篩選傳感器的識(shí)別精度 (%)

圖1 和圖2 展現(xiàn)了在兩個(gè)數(shù)據(jù)集上應(yīng)用不同的算法得到的傳感器子集在進(jìn)行模式識(shí)別精度的趨勢(shì)變化。可以發(fā)現(xiàn)在流量調(diào)制數(shù)據(jù)集中，當(dāng)特征數(shù)量在30%～50%的范圍時(shí)，SPMI 算法篩選的特征子集獲得了最好的識(shí)別精度，隨著特征數(shù)量的繼續(xù)上升該算法也保持了良好的效果；在傷口細(xì)菌數(shù)據(jù)集下，SPMI 算法相較于對(duì)比算法則始終保持了最高的識(shí)別精度。

表1 和表2 列出了在兩個(gè)數(shù)據(jù)集中不同算法篩選出特征子集具體的識(shí)別精度值。可以發(fā)現(xiàn)，各算法在傷口細(xì)菌數(shù)據(jù)集下的識(shí)別精度普遍高于流量調(diào)制數(shù)據(jù)集；相同數(shù)據(jù)集同等特征數(shù)量下，SPMI 算法精度提升的最大值均能達(dá)到20%以上。

4 結(jié)論

本文針對(duì)電子鼻系統(tǒng)特性提出一種基于傳感器性能的互信息特征選擇算法，并在電子鼻相關(guān)數(shù)據(jù)集中篩選特征子集驗(yàn)證識(shí)別精度。實(shí)驗(yàn)表明，SPMI 算法確實(shí)能夠針對(duì)傳感器特性進(jìn)行有效優(yōu)化，篩選出的傳感器特征子集能夠獲得更高的識(shí)別精度，且相較于現(xiàn)有的互信息特征選擇算法篩選出的子集有較大的提升。

現(xiàn)階段電子鼻系統(tǒng)工作的環(huán)境較為復(fù)雜，所識(shí)別的目標(biāo)氣體常為混合氣體而非單質(zhì)，因此針對(duì)多標(biāo)記的特征選擇算法更為契合電子鼻系統(tǒng)。今后的工作將繼續(xù)改進(jìn)SPMI 算法，使得算法能夠充分考慮在多目標(biāo)下傳感器特征的性能，進(jìn)一步擴(kuò)大算法的應(yīng)用范圍。