對(duì)稱點(diǎn)模式-深度卷積神經(jīng)網(wǎng)絡(luò)的紅外光譜識(shí)別方法

郝惠敏，梁永國(guó)，武海彬，卜明龍，黃家海*

1. 太原理工大學(xué)，新型傳感器與智能控制教育部重點(diǎn)實(shí)驗(yàn)室，山西 太原 030024 2. 太原理工大學(xué)機(jī)械與運(yùn)載工程學(xué)院，山西 太原 030024

引 言

當(dāng)被測(cè)物選擇性吸收特定波長(zhǎng)紅外線而引起分子振動(dòng)能級(jí)和轉(zhuǎn)動(dòng)能級(jí)躍遷時(shí)，可以根據(jù)分子對(duì)特定波長(zhǎng)紅外光的電磁輻射、吸光度、散射等情況，通過(guò)分析被測(cè)物的吸收紅外光譜得出被測(cè)物的種類和濃度等信息。盡管化學(xué)計(jì)量學(xué)和機(jī)器學(xué)習(xí)的發(fā)展為紅外光譜分析提供了行之有效的方法和工具，但是，如何進(jìn)一步提高微弱變化、嚴(yán)重交叉敏感及高度重疊光譜的分析準(zhǔn)確度仍然是科研工作者們不斷追求的目標(biāo)。

作為機(jī)器學(xué)習(xí)最重要的一個(gè)分支，深度學(xué)習(xí)由于其對(duì)細(xì)節(jié)特征更高的識(shí)別精度而成為近年來(lái)的研究熱點(diǎn)。自1980年福島邦彥提出基于人工神經(jīng)網(wǎng)絡(luò)框架的新認(rèn)知機(jī)后，標(biāo)準(zhǔn)反向傳播算法[1]、有監(jiān)督的反向傳播算法[2]等先后被引入人工神經(jīng)網(wǎng)絡(luò)，使之逐漸成為計(jì)算機(jī)視覺(jué)、語(yǔ)音識(shí)別等諸多領(lǐng)域的先進(jìn)識(shí)別算法。2006年，加拿大多倫多大學(xué)的Geoffrey Hinton教授解析了多隱層人工神經(jīng)網(wǎng)絡(luò)優(yōu)異的特征學(xué)習(xí)能力，并通過(guò)無(wú)監(jiān)督學(xué)習(xí)的逐層預(yù)訓(xùn)練有效克服了深度神經(jīng)網(wǎng)絡(luò)在訓(xùn)練上的難度[3]，使得人工神經(jīng)網(wǎng)絡(luò)再一次引起了人們的關(guān)注。2015年，Geoffrey Hinton教授提出了接近人腦的深度學(xué)習(xí)框架[4]，采用與傳統(tǒng)神經(jīng)網(wǎng)絡(luò)結(jié)構(gòu)類似但方法不同的訓(xùn)練逐層提取數(shù)據(jù)特征，最終實(shí)現(xiàn)了對(duì)數(shù)據(jù)的精確辨識(shí)。此后，深度學(xué)習(xí)被視為實(shí)現(xiàn)人工智能的重要手段，并在AlphaGo[5-6]、疾病診斷[7]、手寫字符識(shí)別[8]等領(lǐng)域發(fā)揮了重要作用。然而，當(dāng)前深度學(xué)習(xí)方法的應(yīng)用對(duì)象大多為圖像數(shù)據(jù)，在光譜領(lǐng)域，識(shí)別對(duì)象集中在核磁共振圖像光譜[9-10]上，對(duì)紅外和近紅外光譜分析的應(yīng)用還十分有限，僅限于對(duì)光譜進(jìn)行特征提取[11-12]。

為進(jìn)一步提高紅外/近紅外光譜的分析準(zhǔn)確度，提出一種SDP結(jié)合深度學(xué)習(xí)的紅外光譜識(shí)別方法，首先將紅外光譜數(shù)據(jù)采用SDP投射到極坐標(biāo)中，形成由若干散點(diǎn)構(gòu)成的可視化RGB彩色圖像，然后將該彩色圖像作為VGG深度卷積神經(jīng)網(wǎng)絡(luò)的輸入進(jìn)行多隱層深度學(xué)習(xí)，建立紅外光譜的識(shí)別模型，經(jīng)過(guò)多層特征提取，最大限度地獲取光譜數(shù)據(jù)的有用信息，最終實(shí)現(xiàn)對(duì)紅外光譜數(shù)據(jù)的高效準(zhǔn)確識(shí)別。

1 實(shí)驗(yàn)部分

1.1 SDP圖像轉(zhuǎn)化

(1)

(2)

式中，B和M分別是原始數(shù)據(jù)集O(w)縱坐標(biāo)的最大值和最小值；l為原始數(shù)據(jù)集O(w)橫坐標(biāo)的取值間距，l=1, 2, 3,… ；β1為極半徑放大倍數(shù)，β2為極角放大倍數(shù)。

將數(shù)據(jù)投射為類似雪花的6角形，因此，n=6，原始數(shù)據(jù)投射到極坐標(biāo)中分6個(gè)區(qū)域分布，各區(qū)域的極軸角度為θi=360°/6的整倍數(shù)； 每個(gè)區(qū)域中，θi，j+和θi，j-對(duì)稱分布在θi兩側(cè)。SDP轉(zhuǎn)化過(guò)程中，β1和β2為主要優(yōu)化參數(shù)。

經(jīng)過(guò)SDP轉(zhuǎn)化，原始紅外光譜數(shù)據(jù)(波數(shù)范圍： 4 000～400 cm-1； 掃描間隔： 12 nm； 光譜數(shù)據(jù)維度： 1 866)成為224×224的RGB彩色圖像。

1.2 VGG深度卷積神經(jīng)網(wǎng)絡(luò)

VGG是由牛津大學(xué)計(jì)算機(jī)視覺(jué)組(visual geometry group)的Karen Simonyan和Andrew Zisserman提出的深度卷積神經(jīng)網(wǎng)絡(luò)[13]，在2014年的ImageNet Large-Scale Visual Recognition Challenge競(jìng)賽中獲得第2名而被用在圖像特征提取中。VGG網(wǎng)絡(luò)的優(yōu)點(diǎn)是結(jié)構(gòu)簡(jiǎn)潔，整個(gè)網(wǎng)絡(luò)均使用3×3的卷積核和2×2的最大池化核，該網(wǎng)絡(luò)用多個(gè)連續(xù)3×3的小濾波器卷積核來(lái)替代大的卷積核，并將AlexNet網(wǎng)絡(luò)3×3的池化核替換為2×2的最大池化核。在VGG網(wǎng)絡(luò)中，3×3的小卷積核大大減小了計(jì)算量，減少了卷積層參數(shù)，更易于訓(xùn)練，同時(shí)多個(gè)連續(xù)的小卷積核擴(kuò)大了感受野，文獻(xiàn)[24]闡述了兩個(gè)3×3卷積堆疊獲得的感受野大小，相當(dāng)一個(gè)5×5的卷積，而3個(gè)3×3卷積堆疊獲取到的感受野相當(dāng)于一個(gè)7×7的卷積； 相對(duì)小的池化核可以更好地捕捉圖像局部的差異，更有利于提取其豐富的細(xì)節(jié)特征，從而提高分析準(zhǔn)確度。

VGG卷積神經(jīng)網(wǎng)絡(luò)有16～19層，文中采用VGG19網(wǎng)絡(luò)，結(jié)構(gòu)如表1所示。

表1 VGG19的網(wǎng)絡(luò)結(jié)構(gòu)Table 1 Network structure of VGG19

VGG19網(wǎng)絡(luò)一共19層，輸入數(shù)據(jù)為原始紅外光譜數(shù)據(jù)經(jīng)過(guò)SDP轉(zhuǎn)化后的彩色圖像，其全連接層FC采用256個(gè)節(jié)點(diǎn)，分類種類為5類。

1.3 油氣層錄井應(yīng)用

氣測(cè)錄井是發(fā)現(xiàn)和評(píng)價(jià)石油天然氣資源的重要技術(shù)手段。其中，利用鉆遇地層層內(nèi)特定成分對(duì)氣測(cè)錄井進(jìn)行解釋和評(píng)價(jià)具有十分重要的意義。例如，氣測(cè)錄井混合氣體中含量最多的甲烷氣體的濃度范圍對(duì)勘探開發(fā)薄層、裂縫型油氣資源、非常規(guī)油氣資源就十分重要。氣測(cè)錄井氣體包括甲烷、乙烷、丙烷、正丁烷、異丁烷、正戊烷及異戊烷等七種氣體，其中，主要成分為甲烷，通常情況下，其余組分氣體濃度均不大于甲烷的濃度。將上述七種混合氣體按CH4的濃度(c)分成5類： <20%，20%～40%，40%～60%，60%～80%和80%～100%，5類中其他6種氣體的濃度均不大于甲烷的濃度，表2給出了上述5種混合氣體的幾個(gè)示例。表2中Y1相應(yīng)的紅外光譜如圖1所示。

采用SDP對(duì)七組分烷烴混合氣體的紅外光譜進(jìn)行極坐標(biāo)變換，而后輸入VGG19網(wǎng)絡(luò)進(jìn)行分類識(shí)別。同時(shí)，將未經(jīng)過(guò)SDP轉(zhuǎn)化的原始紅外光譜數(shù)據(jù)采用SVM和RF建立分類模型進(jìn)行分類識(shí)別，并與SDP-VGG分類結(jié)果進(jìn)行對(duì)比研究。

表2 依據(jù)甲烷濃度分類的5種氣測(cè)錄井氣體示例Table 2 Example of 5 kinds of gas logging gas mixtures classified by methane concentration

圖1 表2中Y1類混合氣體的紅外光譜Fig.1 Infrared spectra of 7-component gas mixture of Y1 in Table 2

2 結(jié)果與討論

2.1 氣體紅外光譜數(shù)據(jù)的SDP變換

(1)單組分氣體紅外光譜的SDP變換

對(duì)甲烷、乙烷、丙烷、正丁烷、異丁烷、正戊烷及異戊烷七種組分氣體分別進(jìn)行SDP變換，優(yōu)化后的參數(shù)l=1；β1=2，β2=4，變換得到的彩色圖像如圖2—圖4所示。圖2為不同濃度甲烷的SDP轉(zhuǎn)化圖像，圖3為除甲烷外，其他6種氣體SDP轉(zhuǎn)化的圖像。

圖2 不同濃度甲烷氣體紅外光譜轉(zhuǎn)化的SDP圖形Fig.2 SDP figures transformed from infrared spectra of methane of various concentrations

圖2中，(a)—(c)甲烷的濃度依次為60%，40%和5%。由圖可見，原始光譜數(shù)據(jù)在極坐標(biāo)中按照每隔60°的極軸對(duì)稱分布，最大極半徑設(shè)置為2。在每一個(gè)60°的區(qū)間內(nèi)，極半徑的原點(diǎn)對(duì)應(yīng)甲烷在波數(shù)3 014.66處紅外光譜的第一吸收峰，極半徑為2的點(diǎn)對(duì)應(yīng)光譜數(shù)據(jù)的基準(zhǔn)線數(shù)據(jù)1； 沿極軸方向隨著極半徑的增大，各點(diǎn)對(duì)應(yīng)逐漸遠(yuǎn)離峰值的光譜數(shù)據(jù)； 極坐標(biāo)原點(diǎn)外側(cè)，離極軸最近的點(diǎn)對(duì)應(yīng)甲烷在波數(shù)1 301.91處紅外光譜的第二吸收峰，極軸兩側(cè)對(duì)稱分布點(diǎn)的密集程度體現(xiàn)紅外光譜吸收峰的寬度，隨著極角的增大(對(duì)稱側(cè)極角減小)，各點(diǎn)對(duì)應(yīng)逐漸遠(yuǎn)離峰值的光譜數(shù)據(jù)，而甲烷濃度越大，紅外吸收峰寬度越寬，則在極軸附近分布的點(diǎn)就越多。

圖3中，(a)—(f)依次為12%乙烷、5%丙烷、4%正丁烷、4%異丁烷、3%正戊烷以及3%異戊烷的紅外吸收光譜經(jīng)SDP變換后的圖像。由圖3可見，盡管七種烷烴氣體的吸收峰存在嚴(yán)重交疊，但其SDP圖像卻表現(xiàn)出不同的特征： 紅外光譜的主特征吸收峰依然對(duì)應(yīng)SDP圖中極坐標(biāo)的原點(diǎn)； 次特征吸收峰對(duì)應(yīng)的SDP點(diǎn)集中在最靠近極軸的位置，且分布在不同的極半徑上； 吸收峰寬度對(duì)應(yīng)的點(diǎn)呈現(xiàn)不同的分布密度，吸收譜線涵蓋波長(zhǎng)范圍越大的紅外光譜其對(duì)應(yīng)SDP的瓣形越寬。

圖3 其他六種烷烴氣體紅外光譜轉(zhuǎn)化的SDP圖形Fig.3 SDP figures transformed from infrared spectra of six kinds of alkane gases

圖4 多組分烷烴混合氣體紅外光譜轉(zhuǎn)化的SDP圖形Fig.4 SDP figures transformed from infrared spectra of 7-component alkane gas mixtures

(2)多組分烷烴混合氣體紅外光譜SDP轉(zhuǎn)換后圖像

以表1中Y1類的Y1-1，Y1-2和Y1-3為例，SDP優(yōu)化后的參數(shù)l=1；β1=2，β2=4，最大極半徑取1。圖4中，(a)—(c)依次為表2中Y1-1，Y1-2和Y1-3七組分烷烴混合氣體紅外光譜轉(zhuǎn)化后的SDP圖形。圖4中顯示，Y1-1的主、次吸收峰對(duì)應(yīng)極坐標(biāo)原點(diǎn)附近的漸變趨勢(shì)點(diǎn)和極半徑為0.8附近的密集點(diǎn)，從點(diǎn)的密集程度可以看出集中在極坐標(biāo)原點(diǎn)的SDP點(diǎn)對(duì)應(yīng)混合氣體紅外光譜的主吸收峰。同樣地，Y1-2和Y1-3的SDP點(diǎn)呈現(xiàn)類似的分布，在較小波數(shù)區(qū)域，Y1-3存在多個(gè)較尖銳的吸收峰，因此，在極軸附近密集地分布了多個(gè)SDP點(diǎn)，由于Y1-3的光譜在主吸收峰處出現(xiàn)飽和，因此，極坐標(biāo)原點(diǎn)處分布的點(diǎn)相對(duì)分散； Y1-2介于Y1-1和Y1-3之間，因此，Y1-2對(duì)應(yīng)的SDP圖像較Y1-1和Y1-3分散，但其3個(gè)主次吸收峰仍然十分明顯，而且三個(gè)圖形視覺(jué)上的區(qū)別十分顯著。

經(jīng)過(guò)SDP轉(zhuǎn)化的光譜數(shù)據(jù)展現(xiàn)出十分明顯的變化，這一變化不僅僅是為視覺(jué)觀察提供了幫助，同時(shí)相當(dāng)于對(duì)光譜數(shù)據(jù)進(jìn)行了歸一化預(yù)處理，并使原始一維的光譜數(shù)據(jù)變換成了224×224的RGB彩色圖像數(shù)據(jù)。將經(jīng)過(guò)SDP轉(zhuǎn)化后的圖像輸入卷積神經(jīng)網(wǎng)絡(luò)進(jìn)行深度學(xué)習(xí)，使得卷積運(yùn)算更簡(jiǎn)便，從而大大降低了卷積網(wǎng)絡(luò)的運(yùn)算復(fù)雜性。

2.2 VGG分類模型

從5類氣測(cè)錄井七組分混合氣體的每一類中任意選擇1 000個(gè)樣本，共5 000個(gè)樣本的紅外光譜進(jìn)行SDP轉(zhuǎn)化，轉(zhuǎn)化參數(shù)為：l=1；β1=2，β2=4，最大極半徑取1，獲得5 000個(gè)224×224的RGB彩色圖像，將這5 000個(gè)圖像數(shù)據(jù)任意選擇4 500個(gè)作為訓(xùn)練樣本輸入VGG進(jìn)行深度學(xué)習(xí)，建立氣測(cè)錄井七組分混合氣體甲烷濃度范圍識(shí)別模型，以剩余500個(gè)未經(jīng)過(guò)訓(xùn)練的圖像數(shù)據(jù)作為檢驗(yàn)樣本，對(duì)模型的效果進(jìn)行檢驗(yàn)。

在VGG經(jīng)過(guò)2 000次迭代后，對(duì)4 500個(gè)訓(xùn)練樣本的識(shí)別準(zhǔn)確率穩(wěn)定在1.0，如圖5所示。停止迭代，相應(yīng)500個(gè)檢驗(yàn)樣本的識(shí)別精度為0.912。

圖5 VGG訓(xùn)練迭代趨勢(shì)曲線Fig.5 Iteration trend of training VGG

采用相同但未經(jīng)過(guò)SDP變換的訓(xùn)練樣本原始光譜數(shù)據(jù)分別建立SVM和RF七組分混合氣體甲烷濃度范圍識(shí)別模型，SVM和RF模型對(duì)4 500個(gè)訓(xùn)練樣本的最佳識(shí)別準(zhǔn)確率分別為94.6%和93.8%，對(duì)應(yīng)500個(gè)檢驗(yàn)樣本的識(shí)別準(zhǔn)確率分別為88.7%和86.2%。造成SVM和RF識(shí)別準(zhǔn)確率較低的主要原因是光譜數(shù)據(jù)嚴(yán)重重疊造成的交叉敏感，SVM和RF方法對(duì)光譜數(shù)據(jù)特征提取能力相對(duì)不足。

經(jīng)過(guò)優(yōu)化后VGG，SVM和RF模型的參數(shù)見表3。VGG模型中批尺寸(Bath size)、正則化參數(shù)(L2)、保留率(Keep prob)、學(xué)習(xí)率(Learningrate)分別為： 75，0.005，0.7及0.005； SVM模型選用高斯核，其懲罰因子(C)、s和ε分別為： 100，2.6和0.01； RF模型的決策樹個(gè)數(shù)(n_estimators)和最大特征數(shù)(max_features)分別為200和3。

表3 優(yōu)化的模型參數(shù)Table 3 Optimized parameters of various models

3 結(jié) 論

將紅外光譜轉(zhuǎn)化為SDP彩色圖像后輸入VGG深度學(xué)習(xí)網(wǎng)絡(luò)，實(shí)現(xiàn)了紅外光譜的分類識(shí)別。紅外光譜經(jīng)過(guò)SDP圖像轉(zhuǎn)化后，呈現(xiàn)出顯著的可識(shí)別特征并使其更適合VGG網(wǎng)絡(luò)的卷積運(yùn)算； 所建立紅外光譜SDP-VGG識(shí)別模型對(duì)氣測(cè)錄井七組分氣層混合氣體的識(shí)別結(jié)果表明： 對(duì)甲烷濃度范圍分別是<20%，20%～40%，40%～60%，60%～80%和80%～100%的5類七組分烷烴混合氣體，SDP-VGG的識(shí)別準(zhǔn)確率為91.2%，優(yōu)于直接用紅外光譜建立SVM和RF識(shí)別模型88.7%和86.2%的識(shí)別準(zhǔn)確率。研究表明，SDP-VGG分析方法為紅外光譜分析提供了一種新的思路，擴(kuò)展了深度學(xué)習(xí)方法在紅外光譜分析領(lǐng)域的應(yīng)用，提高了紅外光譜識(shí)別的準(zhǔn)確率，或可用于紅外光譜或近紅外光譜的定量分析。