基于Fasttext網絡的煤礦事故案例文本分類方法對比

閆 琰，楊 夢，周法國，葛逸凡

(中國礦業大學(北京) 機電與信息工程學院，北京 100083)

近年來我國礦難事故頻繁發生，給人民生命財產造成巨大損失，造成事故的原因很多，在線事故案例是對煤礦事故發生原因以及分析的詳細總結[1]。挖掘煤礦事故案例包含的信息，對案例進行分析，提出應對措施，一定程度上有利于減少煤礦事故的發生，對煤礦企業安全生產和管理具有重要意義。煤炭事故原因分類可以方便管理人員查詢、統計和總結，吸取導致相同事故發生的經驗教訓，提取事故案例的精華相應建立案例數據庫，后期煤礦作業中盡量避免同樣的失誤，為提高安全生產提供有效的預警和支撐。應用信息化的技術，自動化對事故案例分類，可以大大減少搜索的工作，為煤礦安全開采保駕護航[2]。目前，大多數學者對煤礦數據挖掘集中在監測數據這一領域的研究。而事故發生后，網站公布的有關事故發生原因以及采取的舉措等方面的研究較少。造成這種現象的原因是因為數據是結構化文本信息，而原因分析等大多以非結構化信息形式出現，使得挖掘用于指導煤礦安全生產、安全管理的難度不斷增大。如何高效的表示煤礦事故案例文本數據，將直接影響煤礦事故案例自動分類。

伴隨互聯網大數據的發展，促使煤炭領域積累了大量煤炭數據資源。但是煤炭領域有著自己獨有的特點，大量專有詞匯以及常用煤炭俚語都不包含在常用的詞典庫中。文本向量化表示方法有著固有的缺點，傳統分類方法的理論假設和實際情況相比存在較大差異，導致在煤炭領域的文本中難以達到預期的表示和分類效果。

本文將以深度學習理論為基礎，針對煤礦事故案例文本對比基于Fasttext模型的文本表示與文本分類方法。

1 文本表示與文本分類方法

近年來將文本簡化為BOW(Bag-of-Words，BOW)表示，在特征處理和統計學習算法的基礎上，獲得文本語義內容及類別信息，逐漸成為文本分類的標準模式。從理論角度考慮，基于詞袋模型或者向量空間模型(Vector Space Model，VSM)這樣的表示形式，只包含單詞的詞頻信息，潛在的默認了單詞彼此是獨立的，忽略了句子的上下文關系。這種淺層的文本表示對原始文檔的語義表達造成了極大的信息損失，使得后續的文本挖掘任務，例如文本分類面臨著巨大的挑戰[3]。

隨著工業界和學術界對文本表示模型的深入研究，文本表示模型開始向基于語義的文本表示方法演變，也就是從特征選擇轉變為特征提取。還有一些研究工作希望通過借鑒自然語言處理的技術考慮被BOW忽略的語義單元間的聯系，因此，詞義及短語等復雜的項被應用到文本表示中[4]。隨著計算機性能的提升，使得訓練單詞的詞向量[5](word embedding)表示取代初始的詞袋模型表示特征項，賦予不同的單詞不同的含義。這種基于word embedding的表示也被稱為分布式表示。到目前為止，已經驗證了理論上的合理性。

文本分類的方法主要分為兩類，基于規則的分類方法和基于統計的分類方法。目前，大量的基于統計的機器學習方法被應用于文本分類系統中，應用最早的機器學習方法是樸素貝葉斯(Naive Bayes，NB)。隨后，幾乎所有重要的機器學習算法在文本分類領域都得到了應用，比如K近鄰算法(K Nearest Neighbor，KNN)、支持向量機(Support vector machine，SVM)、神經網絡(Neural Nets)、最小二乘和決策樹等。這些方法采用詞袋子模型，N-gram和TF-IDF等典型特征作為機器學習算法的輸入，模型通常嚴重依賴于費力的特征工程或大量額外的語言特征，流程往往由多個獨立的模塊組成，每個步驟是一個獨立的任務，其結果的好壞會影響到下一步驟，從而影響整個訓練的結果[6]。

而深度學習模型在訓練過程中，從輸入端(輸入數據)到輸出端會得到一個預測結果[7]，與真實結果相比較會得到一個誤差，這個誤差在模型中的每一層傳遞(反向傳播)，每一層的表示都會根據這個誤差來做調整，直到模型收斂或達到預期的效果才結束，也就是端到端的方法[8-10]。Lecun等人采用卷積神經網絡(Convolutional Neural Network，CNN)，利用卷積、降采樣兩大技術從數據提取特征，通過權重共享的方式減少模型參數，進而提高模型訓練性能。文獻[11]提出了一種聯合卷積神經網絡模型的端到端的表示方法，在圖像檢索任務上的速度和精確率都有很可觀的效果。Okada[12]等人利用循環神經網絡(Recurrent Neural Network，RNN)可以獲取文本的上下文信息，提高了分類精度。Nowak[13]等人使用長短期記憶網絡(Long Short-Term Memory，LSTM)對短文本進行分類，LSTM特有的細胞結構能夠將遠距離的語義信息與當前位置的語義信息結合，彌補了RNN感受野小的缺點。文獻[14]提出了基于子詞的Fasttext分詞模型，在訓練中將原詞分解成數個子詞，基于skip-gram模型進行訓練，在處理生僻詞和未登錄詞方面取得了較好的效果。文獻[15]提出了Fasttext文本分類模型，使用hierarchical結構對輸出層優化，使得該模型在與其他深度網絡模型精度相同的前提下，將每輪訓練時間由數小時縮短至數秒。文獻[16]提出了一種基于Capsule的神經網絡，能夠同時提取特征和對應的空間信息，在處理旋轉圖像以及不同視角圖像有更好的效果。文獻[17]提出一種融合局部和全局的圖嵌入自動編碼器模型，在訓練中通過設置三部分代價函數，更好的捕獲數據的空間結構信息，顯著提升分類性能。文獻[18]基于word2vec構建煤礦事故案例自動分類模型，節約分類的人力、時間，對提高企業的分類效率具有實際意義。總之，表征學習和深度神經網絡的最新進展大大提高了文本分類任務的性能。

2 實驗模型

2.1 Fasttext模型結構

Fasttext模型是由Tomas Mikolov等人為了提升模型效率、減少模型訓練的時間代價而提出的簡單模型，它由輸入層、隱層、輸出層三層結構組成。整體網絡結構如圖1所示。

圖1 Fasttext模型圖

輸入層：輸入層輸入的是N個單詞x1，x2，…，xN，其中N為序列長度(文本單詞數)，通過語義映射矩陣A得到單詞對應的d維詞向量，最后輸出N個d維向量。

隱層：隱層僅由一層網絡層構成。該層將N個d維詞向量相加求平均得到文本特征向量V。

輸出層：輸出層權重為矩陣B，使用softmax函數f計算每個類別概率，同時使用Hierarchical結構進行優化。Fasttext使用對數似然損失函數，由上述參數可得，對于總數為N的樣本集合，有以下損失函數公式：

其中，xn為第n個文本的序列輸入；yn為其對應類別；A和B為權重矩陣；f為softmax函數。

2.2 Hierarchical softmax

2.3 Fasttext詞向量模型

Fasttext詞向量模型使用的是基于子詞n-gram的skip-gram或CBOW模型[19]。普通模型在訓練詞向量時只使用考慮單詞整體形式，故而會遺漏單詞字母間順序包含的語義信息。Fasttext則加入了單詞的子詞n-gram特征共同訓練，如詞(<>為前后綴)，當n取3時可以劃分出5個子詞，并將子詞與原單詞都放入詞典中共同訓練。

對于煤炭案例事故文本而言，中文語句不像英文語句使用空格作為天然分詞符號，因此本文采用jieba分詞工具來獲取煤炭案例事故文本的分詞。中文與英文在子詞模型上還有另一處區別。構成英文單詞的基本元素是字母，單詞平均字母數約為8，所以fasttext處理英文模型時通常取3～6長度的子詞；而構成中文單詞的基本元素是漢字，在煤炭案例事故文本中，中文單詞大都為2字詞或單字詞，最長不超過5字詞。因此本文使用fasttext處理煤炭事故文本時，將子詞n-gram長度設定為1～6，此時的fasttext模型實際上學習的是每個漢字的語義。這種學習方式對于煤礦專有名詞有很強的適應性，在訓練好的fasttext模型中，‘違章’與‘違規’的相似度高達0.702，‘軌道’與‘導軌’的相似度高達0.618，而在其他詞向量模型，如word2vec中，很難達到這樣的高的相似度。

2.4 Fasttext 模型使用的關鍵參數

對于Fasttext模型而言，子詞n-gram方法可以學習到詞干本身的特征，對數據清洗過多反而會造成信息流失。因此本文盡可能保留文本的原始特征而不做過多預處理。

Fasttext關鍵參數主要有wordvec dim(生成的詞向量維數)、window size(訓練詞向量時，預測時選取的上下文單詞數)、epoch(訓練輪數)和word-n-gram(訓練詞向量時n-gram中n的大小)。本文實驗過程中通過控制變量方式，共做了四組實驗，分別驗證了這四種參數的最優取值。最終確認了wordvec dim為150，window size為5，epoch為180，word-n-gram為2是本文實驗的最佳參數。

3 實驗設計和分析

3.1 實驗數據集介紹

本文爬取中國煤礦安全生產網上的事故案例。每一份事故調查報告中都會包含事故直接原因、事故間接原因、事故性質以及對事故責任者和責任單位的處理意見等。本文主要做的是對事故案例分類，所以選用事故直接原因(文獻[18]也是選用事故直接原因，因此本文參考做同樣的處理)。網站上每一個案例都有標題，我們爬取標題并抽取相應的實體作為標簽，比如“江西煤業集團有限責任公司尚莊煤礦“6·13”頂板事故調查報告”這樣的文章標題，本文把這篇事故標注為“頂板事故”類別。本文爬取了從2018年12月29日到2020年7月7日的數據，一共646條事故案例(數量前16名的事故類別見表1)。經過分析發現樣本極度不均衡，類別數量排在前八名的事故案例占總數的91%，而數量在后八名的事故案例僅占總數的9%。為了與已有研究學者的實驗設置保持一致，本文參考文獻[18]的處理方式，最終選取前八名的事故案例數據進行實驗。這八種事故案例分別為：瓦斯事故、頂板事故、運輸事故、工傷事故、機電事故、透水事故、火災事故和爆炸事故。

表1 煤炭數據案例數據統計(前16類)

為了驗證模型的可擴展性，除了煤炭事故的文本分類，本文還在其它文本數據集上進行了實驗，比如新聞領域文本數據集BBC news data，生物醫學文本領域數據集medical。BBC news data數據集由BBC網站上的新聞文檔組成。數據集一共包括2225篇文檔分別對應5個主題：商業510篇、娛樂386篇、政治417篇、運動511篇和科技401篇。medical是Springer網上Scientific medical abstract數據集，包括39類，平均每類樣本文檔數目為300篇。數據集描述見表2。

表2 數據集描述

3.2 實驗對比方法以及對應的參數設置

為了對比Fasttext模型在文本分類的應用，本文選取了另外五種基于深度神經網絡的模型(RNN、LSTM、CNN、B-CNN[6]和Capsule)，除此以外，還選取一些傳統但是經典的機器學習方法LDA(Latent Dirichlet Allocation)和SVM做對比。以下是這些方法的簡要介紹和參數設置。

RNN模型是一種專門用于處理時間序列樣本的神經網絡。它只有一層網絡層，該層需要當前時間點的樣本輸入和前一個時間點的輸出共同作為該層的輸入，為下一個時間點輸出一個隱藏狀態，該隱藏狀態是RNN獲取上文信息的關鍵。本文在RNN層后接入兩個全聯接層，第一個全連接層的目的是提取文本向量特征，第二個全連接層用來輸出分類。參數設置：輸入端不固定長度，RNN層的神經元個數設置為256，第一和第二全連接層的神經元個數分別設置為32和數據集對應的類別個數。

LSTM模型是一種特殊的RNN模型。LSTM的神經元被稱為細胞，與普通RNN神經元相比，LSTM細胞多了門控單元和細胞狀態。這兩個結構可以將樣本在每個時間點的語義更新信息存儲起來，更新的規模根據當前樣本攜帶的特征決定。與RNN模型設置一樣，本文在LSTM層后接兩個同樣功能的全聯接層。參數設置：輸入端不固定長度，LSTM層的神經元個數設置為256，第一和第二全連接層的神經元個數分別設置為32和數據集對應的類別個數。

CNN模型由多層神經元有規律的彼此連接構成，同時融合了局部感受野、共享權值和空間域或時間域上的次采樣這三種結構性的方法。本文實驗使用的CNN模型由六個網絡層組成：輸入層、卷積層1、池化層1、卷積層2、池化層2、輸出層。輸入層將文本轉化為詞向量，卷積層1和卷積層2提取文本向量特征，池化層壓縮數據降低維數，輸出層使用softmax激活函數輸出每個類別的概率。參數設置：輸入端固定文本的長度，長度為每個數據集文本長度的均值，單個文檔長度超過均值截斷，短于均值補充，輸出層的神經元數定為類別數。

B-CNN模型[6]是本文之前的一個研究工作，基于CNN并融合深度玻爾茲曼機(Deep Boltzmann Machine，DBM)的分類模型。主要由三部分組成：模型的輸入(文本表示)，特征提取和模型的輸出(文本分類)。輸入層：B-CNN輸入是特征提取的信息來源，因此在模型的輸入端要盡量保留最原始的信息。針對煤礦事故案例文本，本文借助jieba分詞工具和煤炭專有詞典(維基百科知識庫)進行分詞，然后基于word embedding方法對每一個分好的詞進行word2vec的向量表示。實際輸入時為嵌入word embedding表示之后的向量。特征提取：B-CNN中的CNN通過局部滑動窗口可以很好的提取局部上下文信息。煤礦領域和其他大眾新聞不同，比如“頂板”、“煉焦煤”、“排氣孔”、“頂錨”等是煤炭領域的常用詞和專有詞，針對煤礦案例文本，本文結合煤礦命名實體作為全局特征補充文本信息。輸出層：本文基于softmax方法對提取的特征進行分類。由于本文實驗所選的數據集都是多類數據，所以針對不同的數據集更改輸出的類別個數。參數設置：B-CNN模型的輸入端固定文本的長度，長度為每個數據集文本長度的均值，單個文檔長度超過均值截斷，短于均值補充；每個數據集領域的命名實體統一由工具包自動抽取，作為相應文本全局特征的補充。

Capsule網絡是一種新型的、復雜的神經網絡，它使用膠囊來替代神經元，每個膠囊接收多個向量，輸出一個向量，而不像普通神經元輸出一個數值。它由五部分組成：輸入層、LSTM層、主膠囊層、數字膠囊(輸出分類)層和解碼器層。輸入層：將文本轉化為詞向量。LSTM層：通常情況下膠囊網絡使用卷積層進行特征提取，而本文實驗使用的樣本是文本，所以使用更加適合提取文本特征的LSTM層替代卷積層。循環神經網絡可以很好地處理文本這種不等長輸入序列及完成seq2seq任務。主膠囊層：將提取到的文本向量特征轉化為多通道向量，該層用于連接特征與數字膠囊層。數字膠囊層：每個類別使用一個膠囊來判斷對應類別的概率大小，概率大小表現為膠囊輸出的向量模長，同時該層使用動態路由算法進行優化。解碼層：解碼層可以通過數字膠囊層提取出的特征來還原文本，用來輔助數字膠囊層提取更有效的特征。參數設置：輸入端不固定長度，數字膠囊個數取類別數，每個膠囊處理向量的維數定為16維。

SVM是一種二分類模型，目標是求解能夠正確劃分訓練數據集，并且幾何間隔最大的分離超平面。訓練階段基于一定數量的樣本建立模型，模型中包含數據的特征詞、特征詞對應的特征值，以及與數據相對應的類別，算法可以通過此模型對測試數據集分類預測。參數設置：在本文的實驗中，分別修改模型的輸出，與三個數據集的類別個數對應。

LDA是一種基于監督學習處理的主題模型，目標是“投影后類內方差最小，類間方差最大”，也就是使得不同類別的數據的類別中心距離盡可能的大。LDA方法建模主要分兩步，首先是建立模型也是訓練過程，然后是預測也即推理過程。參數設置：針對本文的三個數據集，也是修改分類端的類別輸出個數。

3.3 實驗評價指標

由于本文所選的數據集樣本比例都不是太均衡，所以實驗結果中沒有選用分類正確率(accuracy)來衡量，而是使用少數類的準確率(Precision)、召回率(Recall)和二者的綜合(F1-measure)指標衡量。準確率是檢索出相關文檔數與檢索出的文檔總數的比率，衡量的是檢索系統的查準率；召回率是檢索出的相關文檔數和文檔庫中所有的相關文檔數的比率，衡量的是檢索系統的查全率。F值是召回率和準確率的加權調和平均，最常用的是F1測量指標。這些評測指標的相關關系見表3，計算分別如下。

表3 評測指標相關關系

實驗時隨機選擇數據集里80%的樣本作為訓練樣本，20%作為測試樣本測試模型的性能。實驗基于十次交叉驗證訓練并選取參數。除此之外，基于單核GPU平臺和cuda工具包加快模型的訓練。對每個數據集做以下部分的單獨處理：數據集1(煤礦)和數據集3(生物醫學)是專業領域，因此選擇專業的word embedding詞典庫進行擴充以及命名實體工具包，數據集2(新聞)選用Mikolov的詞典庫。提取命名實體的工具包是本實驗室基于維基百科開發的，本文所用到的工具包、數據集以及實驗代碼均共享在GitHub上。以下呈現的實驗結果均是模型在測試集上性能。

3.4 實驗結果和分析

實驗對比結果見表4，從表4可以得出，在三個數據集上基于深度神經網絡的模型(LSTM、CNN、B-CNN、Capsule和Fasttext)要優于傳統的機器學習方法(SVM和LDA)。對比SVM和LDA，SVM算法的精度要稍低于LDA，而且SVM的計算復雜度更高一些。這是因為LDA模型的求解目標是計算doc-topic和topic-word的分布矩陣，訓練過程中選取最優參數建立模型，每一個測試數據根據參數計算文檔的topic分布，從而得出預測的分類。SVM算法的優劣主要取決于核函數的選取，本文采用libsvm工具包，表4中是取不同核函數平均值的結果。SVM在進行分類的時候，訓練和測試是兩個不同的過程，尤其針對本文的多類數據集，數值求解和支持向量的個數有關，因此復雜度比較高。針對煤礦數據集，由于每類樣本數量分布不均勻，所以基于SVM的煤礦數據集結果要更差一些。

表4 實驗對比結果 %

Fasttext在處理文本時隱層采取的是求和取平均的方式，所以當文本單詞數較多時，此法提取的信息過于駁雜，反而影響了分類效果，即Fasttext更適用于短文本分類。實驗中三個數據集的平均長度分別為：數據集1平均長度為41.581、數據集2平均長度為2262.936、數據集3平均長度為140.927。因此Fasttext模型在數據集1(煤礦數據集)上取得了最好的結果。Fasttext模型基于hierarchical softmax，采用的是霍夫曼樹結構，大大提高了訓練時間，在訓練與預測分類的耗時也遠遠小于其他模型。

RNN和LSTM都是循環神經網絡模型，但是LSTM在煤礦事故案例數據集上的表現明顯優于RNN，這是因為在短文本分類中，LSTM獨特的細胞結構提取上下文信息的能力強于RNN。同時，LSTM與RNN一樣，對于長度過長的序列很難捕捉到其遠端的語義信息，所以LSTM在另外兩個數據的表現并沒有比RNN更加突出。此外，RNN和LSTM本身結構較為簡單，其功能主要用于提取語義特征，需要配合其他深度學習分類模型才能達到更高的分類精度。RNN模型的性能并沒有比傳統方法SVM和LDA更加突出，是因為其結構簡單，在提取特征的過程中僅僅能保留近幾個時間序列的信息；而本文使用SVM分類前利用TF-IDF基于頻率的方法提取文檔特征，LDA也是基于全局詞頻率求得topic-word的分布矩陣，這兩種方法均有效利用了文檔全局特征，因此RNN模型的效果僅和SVM持平，未能超過LDA。LSTM模型是對原始RNN模型的一種改進，它的細胞結構可以部分利用到全局信息，取得了更好的準確率。

CNN與B-CNN都是深度學習的模型，CNN是同層結點的采樣和計算，通過卷積操作能很好的捕捉文檔的局部信息；DBM是最近鄰兩層的結點計算，B-CNN更好的融合了橫縱向兩個維度的信息。除此以外，B-CNN加入了命名實體作為數據的全局特征。尤其在Recall和F1值兩個指標上，B-CNN也明顯優于CNN，這是因為結合DBM能有效去除文本的噪聲，也就是降低非特征詞的權重，從而更好的實現分類。

Capsule網絡通過數個膠囊來進行分類，其權重使用動態路由算法更新，當分類數過多時，動態路由算法得到的模型精度就會下降，因此在數據集3(medical)上的表現較差；Capsule網絡在專業數據集上的表現也不太理想，這是因為專業數據集文本中提供的信息較為單一，而Capsule網絡的設計理念在于提取多種特征及特征對應狀態，在本文實驗過程中，該網絡訓練煤炭和醫藥數據集時都出現了過擬合的情況。

3.5 煤礦事故案例數據可視化

數據可視化是通過圖表等方式比較直觀且清楚的顯示數據中某些關鍵方面的特征，進而達到在相對無序與較為零碎的數據集的基礎之上解析數據的目的。本文用Word cloud方法針對煤礦事故案例數據集進行標簽云(Tag Clouds)的可視化處理，使文本的特點能夠更加直觀有效的展現出來。標簽云是指具有可視權重的標簽的集合。標簽與其所描述的實體間的關聯的質量通常可由該標簽被標注的頻度和新穎度來衡量。本文的實驗步驟為：先構造Word Cloud生成詞云的構造函數，然后加載煤礦事故案例的文本數據(數據已放在github上共享：https：//github.com/zouyishan/code)，每條案例為一條數據。針對每條數據，在處理的過程中把造成事故的直接原因做分詞和去停用詞數據清洗，再合并成一個字符串。本文的實驗是基于這些字符串生成詞云，針對煤礦事故案例數據集可視化的結果如圖2所示，由圖中標簽云中的單詞可以很直觀的看出文本的關鍵詞以及基本內容，方便且更直觀的讓讀者了解這類文本的數據特點。

圖2 煤礦事故數據集可視化結果

4 結 語

本文對比了一種基于Fasttext的煤礦事故案例文本分類方法，更好的挖掘非結構化文本中隱含的語義信息，并設計自動化文本分類模型。實驗表明基于深度學習的模型遠高于傳統的機器學習方法，在后面的研究中，將基于學習和借鑒歷史案例中的經驗知識，模擬人類專家處理煤礦事故的方案，為及時、科學、有效地指揮和協調應急救援工作提供有力的支撐。