基于神經網絡方法的序列數據分類模型

李良 蔡少鋒 謝耀榮 蘇建華 薛媛 謝耀斌

摘? 要： 序列數據處理在天體光譜分類領域是一項非常重要的任務，但是傳統的處理方式成本高、效率低。通過構造一種以focal loss作為損失函數的多分支一維卷積神經網絡對LAMOST部分序列數據進行了分類，并采用MarcoF1分數作為評價指標。結果表明該模型取得了理想的實驗效果，并且focal loss損失函數（其在不平衡數據分類任務中對困難樣本增加權重）相比傳統的交叉熵損失函數也有更好的預測精度。

關鍵詞： 序列數據； 神經網絡； 多分支結構； 一維卷積； 損失函數

中圖分類號：TP389.1? ? ? ? ? 文獻標識碼：A? ? ?文章編號：1006-8228（2023）04-44-04

Abstract： Sequence data processing is a very important task in the field of celestial spectral classification， but the traditional processing method is costly and inefficient. A multi branch one-dimensional convolutional neural network with focal loss as the loss function is constructed to classify partial sequence data of LAMOST， and MarcoF1 score is used as the evaluation index. The results show that the model achieves ideal experimental results， and the focal loss function， which adds weight to difficult samples in unbalanced data classification tasks， has better prediction accuracy than the traditional cross entropy loss function.

Key words： sequence data; neural network; multi-branch structure; one-dimensional convolution; loss function

0 引言

在天體光譜等工程領域[1-2]會產生海量的數據。這些數據具有相似的特征，或者說存在某一維度的序列關系，因此被統稱為序列數據。傳統的序列數據處理算法采用人工或半人工的模板匹配的方式[3-4]，難以取得理想的效果。近年來很多學者開始將機器學習方法應用于序列數據處理。以天體光譜分類為例，覃冬梅等[5]提出使用主成分分析的方法對天體光譜的有效特征進行提取、降維，然后使用KNN分類器對降維后的數據分類；Almeida等[6]利用k-means方法對SDSS數據的所有恒星光譜和星系光譜進行無監督分類；蔡江輝等[7]在頻繁模式樹的基礎上提出分類模式樹的概念，研究加權頻繁模式樹來搜尋天體光譜的特征和參數之間的關系模式進行光譜分類。

基于神經網絡方法的深度學習技術已在物體分類、分割和檢測等領域顯示出了其強大的性能。本文從基礎神經網絡模型結構出發，提出了面向序列數據分類的多分支一維卷積神經網絡模型，并采用了focal loss緩解了類別不平衡問題，最終實現了極佳的分類效果。

1 網絡模型

1.1 一維卷積

神經網絡技術歷經多年演變，已由最開始的單個感知機發展到現在的深度前饋神經網絡，在語音識別和圖像分類等任務中取得了巨大成功[8-9]。

現在常用的卷積神經網絡技術適用于圖像識別領域，并且可以根據其卷積核的維度可以分為一維卷積、二維卷積和三維卷積。其中三維卷積適用于立體圖像識別，二維卷積適用于平面圖像的識別。對于序列數據分類的任務，可以將其視為一維圖像特征序列。因此適用于一維卷積，其原理如圖1所示。

1.2 多分支結構

GoogLeNet是Google團隊提出的一種神經網絡模型，在ImageNet挑戰賽中取得了優異的成績。其核心的神經網絡模型Inception模塊采用了多分支卷積的結構，隨后逐步發展完善了多個版本[10-12]，其結構如圖2所示。

受到Inception模塊的啟發，本文在處理序列數據分類任務時也構建了一種多分支結構。通過三個不同大小一維卷積核的處理，該結構能夠從多種不同跨度的區間提取有效特征，具有更強的特征解析能力。

1.3 Focal loss

Focal loss由何愷明等[13]提出，最初用于解決圖像檢測算法中數據不平衡造成的模型性能下降。用于多分類問題的原始交叉熵損失函數如下：

為了處理多分類問題中數據極端不平衡問題，focal loss引入了一個權值項，以實現對少數樣本類和個別困難樣本的重視，focal loss損失函數的形式如下：

其中，[γ]為調整權值偏重程度的超參，[p]為模型輸出的概率值。本文采用了focal loss損失函數替代了原有的交叉熵損失函數，大大改善了因樣本類別不平衡而造成的模型性能損失。

1.4 網絡結構

本文基于神經網絡方法并結合上述幾種模塊提出了面向序列數據分類任務的多分支一維卷積神經網絡，其結構如圖3所示。該網絡包括三個一維卷積分支進行特征提取，然后三個分支的特征被組合在一起輸出分類結果，最后由focal loss損失函數指導整個網絡完成訓練。

2 數據與實驗

2.1 數據集

為了證明本文提出的網絡模型的有效性，來自于中國科學院國家天文臺的LAMOST數據集被用于實驗驗證。LAMOST數據集[14-15]是一個公開數據集，目前已被廣泛用于序列數據分類實驗。該數據集中的每一條光譜提供了3690-9100埃的波長范圍內的一系列輻射強度值，旨在對恒星、星系、類星體和未知天體四種天體結構進行分類。

圖4給出了數據集中的部分數據，前2600列代表某個波段的輻射強度，type表示天體的類別，其中star、galaxy、qso和unknown分別代表恒星、星系、類星體和未知天體。

圖5所示的是對每種不同的星體類別隨機選取四個不同樣本所做的輻射波段-強度圖，從圖5中可以看出，雖然數據的分布特征不盡相同，但同種類別的數據的分布范圍和趨勢有相似特點，說明數據具有可分性。

2.2 評價指標

表1給出了四種不同類別星體的數量，從表1中可以看出star約占整個數據的92%，是qso的314倍，因此，LAMOST數據集屬于極端不平衡的數據集。所以準確率不適用于LAMOST數據分類，本文采取Van Rijsbergen提出的F1得分作為評價指標[16]。F1得分是精確率和召回率的調和平均數，能夠綜合評價精確率和召回率對分類結果的影響。某一類別的F1分數計算方式如下：

在單個類別的[F1]分數的基礎上，可以進一步引入[MarcoF1]分數。該指標由每個類別的[F1]分數的算術平均值計算得出，可以綜合衡量所有類別的結果質量，其形式如下：

2.3 實驗設置

為了判斷模型在對數據集預測效果的好壞，本文從40000條數據中隨機選取30%作為測試集，其余部分作為訓練集參與模型訓練。

除此之外，為了證明所提出的模型相比傳統的神經網絡模型對天文數據分類等任務具有更優的效果，本文還設計了全連接神經網絡和單分支的一維卷積神經網絡進行對比實驗。

其中全連接網絡包含兩個隱藏層，每個隱藏層都有512個神經元。單分支一維卷積神經網絡有三個隱藏層，第一層由64個卷積核構成的卷積層，第二層是最大池化層，第三層是包含64個神經元的全連接層。

2.4 結果討論

表2給出了三種模型分別在log loss和focal loss下在測試集上的[MarcoF1]得分。

從模型上看，采用一維卷積無論是以log loss還是以focal loss作為損失函數，預測效果都明顯優于作為基線模型的全連接神經網絡，說明一維卷積方法更加適用于天體光譜這種序列數據。而本文提出的網絡模型在此基礎上有了進一步提升，這表明多分支一維卷積網絡能夠從多種不同跨度的區間提取有效特征，進而更好地預測天體類別。

從損失函數上來看，在使用同一模型的基礎上，focal loss作為損失函數相比于以log loss作為損失函數均有一定程度的提升。該結果表明在不平衡數據分類任務中通過在損失函數中對困難樣本增加額外權重，能使損失函數傾向于優化難分樣本從而提高預測的精度。

3 結束語

為了對海量的序列數據進行精準自動分類，本文提出了一種多分支一維卷積神經網絡，并在一個公開數據集上進行了實驗。首先，通過三個不同尺度的一維卷積核從不同跨度對數據提取特征，然后通過三個全連接層對四種目標類型進行分類。除此之外本文還使用了focal loss解決了log loss在不平衡數據集難以訓練少數類別數據的問題。實驗結果表明該網絡能夠有效提取LAMOST數據集的特征，顯著提高了天梯分類等序列數據分類任務的準確率，具有優秀的應用價值。

參考文獻（References）：

[1] 谷建偉，周梅，李志濤，等.基于數據挖掘的長短期記憶網絡模型油井產量預測方法[J].特種油氣藏，2019，26（2）：77

[2] 艾麗雅.天體光譜的分類算法研究[D].鞍山：遼寧科技大學碩士學位論文，2016

[3] Liu C， Cui W Y， Zhang B， et al. Spectral classification of stars based on LAMOST spectra[J].Research in Astronomy and Astrophysics，2015，15（8）：1137

[4] Gray R O， Corbally C J， De Cat P， et al. LAMOST observations in the Kepler field： spectral classification with the MKCLASS code[J]. The Astronomical Journal，2015，151（1）：13

[5] 覃冬梅，胡占義，趙永恒.一種基于主分量分析的恒星光譜快速分類法[J].光譜學與光譜分析，2003（1）

[6] Almeida J S， Aguerri J A L， Munoz-Tunón C， et al.Automatic unsupervised classification of all sloan digital sky survey data release 7 galaxy spectra[J]. The Astrophysical Journal，2010，714（1）：487

[7] 趙旭俊，蔡江輝，張繼福，等.基于分類模式樹的恒星光譜自動分類方法[J].光譜學與光譜分析，2013，33（10）：2875-2878

[8] Rumelhart D E， Hinton G E， Williams R J. Learning representations by back-propagating errors[J]. nature，1986，323（6088）：533-536

[9] LeCun Y， Bottou L， Bengio Y， et al. Gradient-based learning applied to document recognition[J]. Proceedings of the IEEE，1998，86（11）：2278-2324

[10] Szegedy C， Liu W， Jia Y， et al. Going deeper with convolutions[C]//Proceedings of the IEEE conference on computer vision and pattern recognition，2015：1-9

[11] Ioffe S， Szegedy C. Batch normalization： Accelerating deep network training by reducing internal covariate shift[C]//International conference on machine learning. PMLR，2015：448-456

[12] Szegedy C， Vanhoucke V， Ioffe S， et al. Rethinking the inception architecture for computer vision[C] // Proceedings of the IEEE conference on computer vision and pattern recognition，2016：2818-2826

[13] Lin T Y， Goyal P， Girshick R， et al. Focal loss for dense? object detection[C]//Proceedings of the IEEE international conference on computer vision，2017：2980-2988

[14] Zhao G， Zhao Y H， Chu Y Q， et al. LAMOST spectral survey—An overview[J]. Research in Astronomy and Astrophysics，2012，12（7）：723

[15] Cui X Q， Zhao Y H， Chu Y Q， et al. The large sky area multi-object fiber spectroscopic telescope （LAMOST）[J]. Research in Astronomy and Astrophysics，2012，12（9）：1197

[16] Van Rijsbergen C. Information Retrieval. Dept. of Computer Science， University of Glasgow[J]. Google Scholar Google Scholar Digital Library Digital Library，1979

作者簡介：李良（1970-），男，四川成都人，西南石油大學學士，高級工程師，主要研究方向：大數據應用研究與開發。

通訊作者：謝耀榮（1962-），男，甘肅甘谷人，西南石油大學學士，高級工程師，主要研究方向：數字化與大數據應用。