基于詞向量模型的95598工單文本挖掘

國網(wǎng)山東省電力公司電力科學(xué)研究院 謝季川 宗振國 劉宏國 張春秋 田 曉

基于詞向量模型的95598工單文本挖掘

國網(wǎng)山東省電力公司電力科學(xué)研究院 謝季川 宗振國 劉宏國 張春秋 田 曉

本文結(jié)合電力工單特點(diǎn)，提出運(yùn)用神經(jīng)網(wǎng)絡(luò)語言模型進(jìn)行文本挖掘，使用word2vec方法對電力工單文本進(jìn)行訓(xùn)練，生成電力工單詞向量。在電力工單詞向量的基礎(chǔ)上，作為其他模型的輸入，實(shí)現(xiàn)對電力工單進(jìn)一步的文本挖掘分析，幫助客服人員了解客戶訴求，提供更優(yōu)質(zhì)便捷的服務(wù)。

95598工單；神經(jīng)網(wǎng)絡(luò)語言模型；詞向量；文本分類

1.引言

95598客服中心作為電網(wǎng)公司與客戶交流的窗口，每天都要處理大量來自客戶的訴求，形成大量的工單文本數(shù)據(jù)。目前，針對電力工單數(shù)據(jù)的文本挖掘已經(jīng)取得進(jìn)展，但在方法上仍有可以改進(jìn)之處。本文通過分析電力工單文本挖掘的現(xiàn)狀，結(jié)合前沿技術(shù)，提出運(yùn)用神經(jīng)網(wǎng)絡(luò)語言模型對工單文本進(jìn)行訓(xùn)練，形成詞向量。在詞向量的基礎(chǔ)上，作為其他模型的輸入，實(shí)現(xiàn)進(jìn)一步的文本挖掘分析，如電力領(lǐng)域詞典、工單分類等功能，幫助客服人員了解客戶訴求，提供更優(yōu)質(zhì)便捷的服務(wù)。

2.電力工單文本挖掘現(xiàn)狀

當(dāng)前電力工單文本挖掘（Text Mining）主要有語料分析、文本分類(Text classification)兩方面，如客戶訴求分析、客戶滿意度預(yù)測[3]，電力標(biāo)簽特征詞典、工單自動分類[4]。文本挖掘最基礎(chǔ)的環(huán)節(jié)就是文本表示，電力工單的文本表示多采用LDA主題模型進(jìn)行特征提取。主題模型可以實(shí)現(xiàn)有效的降維，發(fā)現(xiàn)文檔的潛在主題，但是主題模型需要大量的樣本進(jìn)行學(xué)習(xí)，訓(xùn)練難度大并且非常耗時，影響了分類的效率[2]，而且無法捕捉詞與詞之間的共現(xiàn)關(guān)系。因此本文采用神經(jīng)網(wǎng)絡(luò)語言模型進(jìn)行訓(xùn)練得到詞向量，在詞向量的基礎(chǔ)上進(jìn)行相應(yīng)文本挖掘。

3.詞向量模型

詞向量(word embedding)將每個詞映射成一個固定長度的短向量，既能夠降低維度，又能夠把詞與上下文的聯(lián)系體現(xiàn)出來。詞向量可以通過神經(jīng)網(wǎng)絡(luò)訓(xùn)練語言模型可以得到。神經(jīng)網(wǎng)絡(luò)語言模型(NNLM)由Bengio 等人于2001年正式提出[6]，2013年，Mikolov 等人提出了 CBoW（ Continuous Bagof-Words）和 Skip-gram 模型。CBoW的優(yōu)化目標(biāo)是：給定詞序列w1,w2,w3,…,wt，最大化下式，

其中，P(wt|wt?c,…wt?1,wt+1…wt+c)采用log-linear(Softmax)模型用于正確分類當(dāng)前詞，通過用t-n+1…t-1,t+1,…t+n-1的word作為輸入，目標(biāo)是正確分類得到第t個word。

而Skip-gram模型相反，通過輸入為當(dāng)前word，經(jīng)過projection的特征提取去預(yù)測該word周圍的C個詞，給定詞序列w1,w2,w3,…,wt，最大化下式：

其中，c是上下文的大小，P(wt+j|wt)采用softmax方程，vw和vTw為對應(yīng)的輸入和輸出詞向量。

本文使用的Word2vec便由Google公司依據(jù)這兩種模型實(shí)現(xiàn)，在輸出層采用Huffman 編碼計算層次Softmax，具有模型簡單、訓(xùn)練速度快的特點(diǎn)。

4.電力工單詞向量

對電力工單進(jìn)行文本挖掘，屬于特定領(lǐng)域挖掘，沒有現(xiàn)成的詞向量，因此首先是要訓(xùn)練生成電力工單領(lǐng)域詞向量。本文使用Word2Vec進(jìn)行訓(xùn)練，主要流程有文本預(yù)處理、模型訓(xùn)練、輸出詞向量，其中文本預(yù)處理包括工單文本收集、文本分詞兩步，而模型訓(xùn)練的同時，更新電力特征詞庫反饋提升文本分詞的效果。

4.1 文本預(yù)處理

在進(jìn)行模型訓(xùn)練之前，需要對工單文本進(jìn)行預(yù)處理，主要包含工單文本收集、文本分詞、特征詞庫處理。

4.1.1 工單文本收集

目前營銷系統(tǒng)內(nèi)工單主要被分為故障報修、業(yè)務(wù)咨詢、服務(wù)申請、投訴舉報等12大類，每一大類又分為二級子類、三級子類。

將工單受理內(nèi)容整理到文本中，每一行代表一個工單。工單受理內(nèi)容主要形式是“問題總結(jié)+描述”，例如“【電能表異常】客戶來電反映，戶號為06157*****的電能表異常顯示?，F(xiàn)申請對電表進(jìn)行現(xiàn)場檢查，請相關(guān)工作人員核實(shí)處理”，為大類為“服務(wù)申請”類型的工單受理內(nèi)容。因此下一步進(jìn)行分詞，需要考慮去除停用詞以及電力領(lǐng)域自身特點(diǎn)。

4.1.2 文本分詞

本文分詞屬于特殊領(lǐng)域的分詞，采用jieba分詞對文本工單句子進(jìn)行分詞，形成電力工單語料庫。在分詞是需要結(jié)合電力領(lǐng)域詞典取得更好效果，同時工單受理內(nèi)容存有大量無用信息，可利用停用詞進(jìn)行處理。如上面提到的工單文本內(nèi)容直接用jieba分詞后根據(jù)詞性以及停用詞處理后如下“電能表異常客戶 來電反映戶號電能表異常顯示申請電表進(jìn)行現(xiàn)場檢查相關(guān)工作人員核實(shí)處理”，如“現(xiàn)場檢查”屬于電力領(lǐng)域的特殊詞匯可以通過加入電力特征詞典進(jìn)行處理。前期我們通過專家經(jīng)驗初步形成一個簡單詞典但并不完善，而Word2vec最大的特點(diǎn)恰好就是對于詞性的判斷，在詞向量完成訓(xùn)練的同時可以根據(jù)結(jié)果不斷對電力工單特征詞典的進(jìn)行補(bǔ)充。

4.1.3 模型訓(xùn)練

將經(jīng)過分詞處理的工單文本利用Python工具包Gensim中的Word2vec模型進(jìn)行訓(xùn)練，Word2vec主要參數(shù)為sg-設(shè)置訓(xùn)練算法，size-特征向量的維度，window-上下文窗口最大距離，alpha-學(xué)習(xí)速率，min_count-字典做截斷，詞頻小于不計算等。模型訓(xùn)練完成后，得到vectors.bin這個模型文件。vectors.bin這個文件就是文檔中詞語和其對應(yīng)的向量，向量維度就是之前設(shè)置的，本次設(shè)置為50維。結(jié)果如圖1所示：

圖1 詞向量表示圖

5.詞向量應(yīng)用

在詞向量的基礎(chǔ)上結(jié)合其他方法，進(jìn)行進(jìn)一步的文本挖掘，可以應(yīng)用到電力領(lǐng)域工單詞典構(gòu)建，也可以作為SVM等分類模型的輸出對工單進(jìn)行分類。

5.1 電力工單詞典

電力領(lǐng)域工單詞典前期通過專家經(jīng)驗總結(jié)產(chǎn)生，后面可以通過詞向量找尋與已有詞匯相似的詞補(bǔ)充加入到電力工單詞典中，不斷豐富詞典內(nèi)容。Word2vec本身提供distance的應(yīng)用，讀取模型文件中每一個詞和其對應(yīng)的向量，計算所輸入query的詞，與其他所有詞語的cosine相似度，兩個詞相似度超過閾值便被補(bǔ)充到詞典中，不斷豐富點(diǎn)力領(lǐng)域工單詞典內(nèi)容。

5.2 電力文本工單分類

電力文本工單分類，屬于監(jiān)督學(xué)習(xí)。根據(jù)之前人工分類結(jié)果作為依據(jù)，構(gòu)建分類模型。因為文本工單分類需以語句為最小單位作為輸入，所以采用根據(jù)詞頻進(jìn)行賦權(quán)對語句中詞向量相加，來表示句子，構(gòu)造輸入向量，保證向量維度，再結(jié)合SVM進(jìn)行構(gòu)建多分類文本模型。但是這樣做忽略了單詞之間的排列順序即上下文的影響，在文本短時有不錯效果。為處理可變長度文本的總結(jié)性方法，Quoc Le 和 Tomas Mikolov 提出了 Doc2Vec方法。除了增加一個段落向量以外，這個方法幾乎等同于 Word2Vec。因此可以利用電力工單預(yù)料庫，利用Doc2vec進(jìn)行段落向量，直接作為SVM多分類的輸入進(jìn)行訓(xùn)練分類，構(gòu)建分類模型，進(jìn)行文本工單分類。

6.結(jié)語

本文完整描述了運(yùn)用神經(jīng)網(wǎng)絡(luò)語言模型對電力工單文本訓(xùn)練，形成電力詞向量，并在電力詞向量的基礎(chǔ)上進(jìn)行更多進(jìn)一步的文本挖掘的過程，豐富電力文本挖掘分析的方法。但運(yùn)用詞向量在電力領(lǐng)域進(jìn)行深入文本挖掘的效果方面，如工單分類的準(zhǔn)確率，需要進(jìn)一步研究與提升。

[1]閆琰.基于深度學(xué)習(xí)的文本表示與分類方法研究[D].北京科技大學(xué), 2016.

[2]馮貴川.基于Word2vec的文本建模及分類研究[D].深圳大學(xué),2016.

[3]何薇,張劍,于雪霞,吳佐平,張小華,陳晨.基于文本挖掘的電網(wǎng)客戶服務(wù)滿意度評價模型[J].電子世界,2017,(07):81+83.

[4]王震,代巖巖,陳亮,林曉蘭.基于LDA模型的95598熱點(diǎn)業(yè)務(wù)工單挖掘分析[J].電子技術(shù)與軟件工程,2016,(22):190-192.

[5]丁麒,莊志畫,劉東丹.基于文本數(shù)據(jù)挖掘技術(shù)的95598業(yè)務(wù)工單主題分析應(yīng)用[J].電力需求側(cè)管理,2016,18(S1):55-57.

[6]Bengio Y,Schwenk H,Senécal J S,et al.A neural probabilistic language model[J].Journal of MachineLearning Research,2003, 3(6):1137-1155.

[7]Mikolov T,Chen K,Corrado G,et al.Efficient Estimation of Word Representations in Vector Space[J].Computer Science,2013.

[8]Mikolov T,Sutskever I,Chen K,et al.Distributed Representations of Words and Phrases and theirCompositionality[J].Advances in Neural Information Processing Systems,2013,26:3111-3119.