基于GRW和FastText模型的電信用戶(hù)投訴文本分類(lèi)應(yīng)用

趙進(jìn)，楊小軍

（中國(guó)電信股份有限公司重慶分公司，重慶 401120）

1 引言

大數(shù)據(jù)和人工智能作為國(guó)家提出的新型基礎(chǔ)設(shè)施，引發(fā)了新一輪的科技革命。中國(guó)電信作為國(guó)內(nèi)三大電信運(yùn)營(yíng)商之一、三化（數(shù)字化、信息化、智能化）產(chǎn)業(yè)布局者，正著力于大數(shù)據(jù)和人工智能在其業(yè)務(wù)和服務(wù)上落地生根，實(shí)現(xiàn)數(shù)字化轉(zhuǎn)型戰(zhàn)略目標(biāo)。中國(guó)電信始終將用戶(hù)的良好體驗(yàn)和用戶(hù)感知放在首位，對(duì)用戶(hù)的投訴進(jìn)行業(yè)務(wù)拆解和快速分析，以求及時(shí)準(zhǔn)確地反饋用戶(hù)，規(guī)避用戶(hù)越級(jí)投訴的風(fēng)險(xiǎn)和提升用戶(hù)良好體驗(yàn)和使用感知。但是電信的業(yè)務(wù)服務(wù)類(lèi)別復(fù)雜多樣，有效地識(shí)別用戶(hù)投訴類(lèi)型目前還處于人工分類(lèi)階段，在實(shí)際工作過(guò)程中，業(yè)務(wù)領(lǐng)域?qū)＜业慕?jīng)驗(yàn)起著主導(dǎo)作用[1]，而培養(yǎng)一個(gè)業(yè)務(wù)領(lǐng)域?qū)＜倚枰罅康臅r(shí)間成本和人力成本，因此，需要建立科學(xué)合理的文本分類(lèi)模型。通常用戶(hù)投訴數(shù)據(jù)有多種來(lái)源，如10000、微信公眾號(hào)、線(xiàn)下廳店等，最終都會(huì)以非結(jié)構(gòu)化的文本信息記錄在系統(tǒng)中，如何對(duì)這些用戶(hù)的投訴信息進(jìn)行有效、快速、準(zhǔn)確的分類(lèi)成為處理用戶(hù)投訴、提升用戶(hù)良好體驗(yàn)和使用感知的關(guān)鍵[2]。

文本分類(lèi)屬于自然語(yǔ)言處理（natural language processing，NLP）應(yīng)用研究范疇中的一個(gè)分支[3]，在文本分類(lèi)方法上，目前已經(jīng)有了很多有突破性的研究成果，比如基于樸素貝葉斯方法的文本分類(lèi)方法[4]、基于條件隨機(jī)場(chǎng)的分類(lèi)方法[5]等，隨著深度學(xué)習(xí)向文本挖掘領(lǐng)域發(fā)展，利用word2vec、LSTM、CNN、TextRNN、預(yù)訓(xùn)練模型Bert等深度學(xué)習(xí)模型對(duì)文本進(jìn)行分類(lèi)，也取得了比較好的分類(lèi)效果，并且在部分人工智能產(chǎn)品中落地應(yīng)用。在傳統(tǒng)的文本分類(lèi)方法中，需要將文本轉(zhuǎn)換成高維向量，這一般會(huì)造成向量維度過(guò)大，無(wú)論計(jì)算內(nèi)存還是計(jì)算時(shí)間，計(jì)算復(fù)雜度將會(huì)非常大。為了避免高維風(fēng)險(xiǎn)，需要借助特征工程的相關(guān)方法或模型對(duì)文本的關(guān)鍵特征進(jìn)行有效的提取，實(shí)現(xiàn)降低文本特征向量的維度數(shù)。目前文本特征提取有基于詞頻（TF-IDF）的方法、基于互信息（mutual information，MI）的方法、基于（Chi-square）統(tǒng)計(jì)量的方法、基于信息增益（information gain，IG）的方法、基于WLLR（weighted log likelihood ration，WLLR）的方法和基于WFO（weighted frequency and odd，WFO）的方法等[6]。在電信用戶(hù)投訴文本數(shù)據(jù)中，存在很多與分類(lèi)結(jié)果無(wú)關(guān)的信息描述，同時(shí)電信業(yè)務(wù)的類(lèi)別復(fù)雜，多達(dá)幾十種。針對(duì)上述問(wèn)題，本文提出基于GRW和FastText模型的方法，對(duì)用戶(hù)投訴文本進(jìn)行多分類(lèi)，并且基于真實(shí)的生產(chǎn)系統(tǒng)數(shù)據(jù)進(jìn)行相關(guān)驗(yàn)證性實(shí)驗(yàn)，驗(yàn)證了本文方法的有效性。

2 基于GRW模型的特征提取

文本數(shù)據(jù)的特征提取方式與傳統(tǒng)的數(shù)值類(lèi)型特征的提取方式不同。在數(shù)據(jù)表示上，傳統(tǒng)機(jī)器學(xué)習(xí)的數(shù)據(jù)由一組結(jié)構(gòu)化的數(shù)據(jù)組成，這些數(shù)據(jù)的特征一般表現(xiàn)為字符串型的類(lèi)別性、數(shù)值的離散性、數(shù)值的連續(xù)性、數(shù)據(jù)的時(shí)間性或周期性等，而文本數(shù)據(jù)屬于非結(jié)構(gòu)化數(shù)據(jù)，由字、詞、句組成。因此在對(duì)文本數(shù)據(jù)進(jìn)行特征提取前，需要對(duì)文本進(jìn)行預(yù)處理，將文本拆分成字粒度或詞粒度，然后通過(guò)不同的方法對(duì)文本數(shù)據(jù)進(jìn)行數(shù)學(xué)表示。第一種方法是將文本表示成離散型數(shù)據(jù)，如One-hot編碼和Multi-hot編碼等；第二種方法是將文本表示成分布式型數(shù)據(jù)，如矩陣表示法、降維表示法、聚類(lèi)表示法、神經(jīng)網(wǎng)絡(luò)表示法。

中文文本數(shù)據(jù)由字、詞、句組成的文本，將中文文本按字、詞進(jìn)行拆分后可以進(jìn)行一些數(shù)學(xué)統(tǒng)計(jì)，其中TF-IDF用來(lái)評(píng)估一個(gè)字或詞對(duì)一個(gè)文本集或語(yǔ)料庫(kù)中的一條文本的重要程度。當(dāng)一個(gè)字或詞在一個(gè)文本數(shù)據(jù)中重復(fù)出現(xiàn)時(shí)，則認(rèn)為該字或詞具有比較高的重要性，但如果該字或詞在所有的文本集或語(yǔ)料庫(kù)中均出現(xiàn)，且統(tǒng)計(jì)其出現(xiàn)的次數(shù)比較高，則該字或詞的重要性反而會(huì)下降，如一些介詞、謂詞等。詞頻（term frequency，TF），即字或詞在文本中復(fù)現(xiàn)的頻率；逆向文本頻率指數(shù)（inverse document frequency，IDF），即一個(gè)字或詞在所有的文本中復(fù)現(xiàn)的頻率，如果一個(gè)字或詞在很多文本中出現(xiàn)，那么IDF值較小，反之，如果一個(gè)詞在比較少的文本中出現(xiàn)，那么它的IDF值較大。TF-IDF計(jì)算式如下：

其中，nij是該詞在文本dj中出現(xiàn)的次數(shù)，是文本dj中的所有字或詞出現(xiàn)的總次數(shù)，|D|是文本集或語(yǔ)料庫(kù)中的總的文本數(shù)量。|{j:ti∈dj}|表示包含字或詞ti的文本數(shù)目。

2011年Imambi提出特征加權(quán)方案GRW[7]，賦予特征詞TF-IDF不同的權(quán)重。GRW模型計(jì)算式如下：

其中，TFIDFj是字或詞的T-FIDF值，P(Tij)是屬于分類(lèi)i的詞j的概率，P(Ci)是屬于分類(lèi)i的文檔的概率，然后選擇字或詞的最大GRW值確定屬于某個(gè)分類(lèi)類(lèi)別的特征詞：

例如，如果GRW(t1,c1)=0.3，GRW(t1,c2)=0.4，則詞t1被選擇為類(lèi)別c2的特征詞。

SagarImambi在5 460份文檔的數(shù)據(jù)集上，分別采用GRW、TFIDF、CFS、信息增益比（gain ratio，GR）、Chi-square和過(guò)濾子集（filtered subset，F(xiàn)S）對(duì)文檔進(jìn)行特征選擇后，在貝葉斯網(wǎng)絡(luò)、樸素貝葉斯、決策樹(shù)等分類(lèi)算法上進(jìn)行相關(guān)實(shí)驗(yàn)，實(shí)驗(yàn)表明，用GRW模型進(jìn)行特征選擇后，具有較高的準(zhǔn)確率（準(zhǔn)確率比較見(jiàn)表1），因此文本也將使用GRW模型進(jìn)行特征選擇。

表1 準(zhǔn)確率比較[7]

3 基于FastText模型的文本分類(lèi)

FastText是FAIR（facebook AI research）提出的文本分類(lèi)模型[8]，該模型只有3層：輸入層、隱含層和輸出層。模型結(jié)構(gòu)如圖1所示。

圖1 FastText模型結(jié)構(gòu)

其中，W(i)（1≤i≤n）表示文本數(shù)據(jù)中每個(gè)特征詞的詞嵌入，對(duì)每個(gè)特征詞的詞嵌入進(jìn)行累加后求其均值，用以表示該文本，最后通過(guò)sigmoid函數(shù)得到輸出層的標(biāo)簽。在訓(xùn)練該神經(jīng)網(wǎng)絡(luò)模型時(shí)，通過(guò)前向傳播算法進(jìn)行訓(xùn)練：

其中，z是一個(gè)向量，作為輸出層的輸入，W0是一個(gè)矩陣，存放模型隱含層到模型輸出層的權(quán)重。

通常通過(guò)神經(jīng)網(wǎng)絡(luò)模型的輸出層得到最終的分類(lèi)類(lèi)別時(shí)，采用softmax作為激活函數(shù)，將輸出層的每個(gè)預(yù)測(cè)值壓縮在0到1之間并歸一化。但隨著分類(lèi)類(lèi)別的增加，softmax計(jì)算量也逐漸增加，為了減少訓(xùn)練時(shí)間，加快模型的訓(xùn)練過(guò)程，F(xiàn)astText使用每個(gè)分類(lèi)類(lèi)別的權(quán)重和模型的參數(shù)構(gòu)建一棵Huffman樹(shù)，形成了層次softmax，由于具有Huffman樹(shù)的特點(diǎn)，很大程度上提高了模型的訓(xùn)練效率。

FastText模型的隱含層對(duì)每個(gè)特征詞的詞嵌入進(jìn)行累加后求均值，如果打亂詞的順序，該累加后求均值的方法并不影響隱含層的輸出，但失去了語(yǔ)言模型的上下文關(guān)系，如：“馬上”和“上馬”實(shí)際含義并不相同。在統(tǒng)計(jì)學(xué)語(yǔ)言模型中，N-gram算法采用的是滑動(dòng)窗口法，取一個(gè)長(zhǎng)度為N的窗口，按照字或詞依次滑過(guò)文本，生成片段序列，在FastText模型前向傳播過(guò)程中，把采用N-gram生成的片段序列表示成向量，也參與到隱含層的累加求均值過(guò)程中。然后所有的N-gram被Hash到不同的桶中，但是同一個(gè)桶共享嵌入向量，如圖2所示。

圖2 Embedding矩陣

Embedding（嵌入）矩陣中的每一行代表了一個(gè)字、詞或N-gram的嵌入向量，其中，前0到V-1行是詞嵌入，后0到Bucket-1行是N-gram嵌入。經(jīng)過(guò)大小為N的滑動(dòng)窗口生成的片段序列被哈希函數(shù)作用后，被分散到0到Bucket-1的位置，得到每個(gè)片段序列的嵌入向量。

4 實(shí)驗(yàn)結(jié)果及分析

4.1 數(shù)據(jù)集預(yù)處理

本實(shí)驗(yàn)在公開(kāi)數(shù)據(jù)集和私有數(shù)據(jù)集上進(jìn)行。其中，公開(kāi)數(shù)據(jù)集采用新浪新聞從2005年到2011年的歷史數(shù)據(jù)，一共覆蓋10類(lèi)新聞，每類(lèi)新聞包括65 000條樣本。私有數(shù)據(jù)來(lái)源于某運(yùn)營(yíng)商已進(jìn)行人工標(biāo)注的29 084條投訴文本信息，這些投訴文本信息中包括了一些業(yè)務(wù)部門(mén)規(guī)定的基礎(chǔ)的模板信息（如投訴時(shí)間、投訴事件、業(yè)務(wù)號(hào)碼、投訴原因、用戶(hù)要求、聯(lián)系時(shí)間等），在對(duì)數(shù)據(jù)集進(jìn)行特征提取前，需要對(duì)這些模板信息（如刪除固定的符號(hào)、刪除規(guī)定的規(guī)范用詞等）進(jìn)行初步的清理，投訴內(nèi)容的原文以及對(duì)應(yīng)的清理后的投訴內(nèi)容見(jiàn)表2，這有利于初步降低特征詞向量的維度、過(guò)濾無(wú)用符號(hào)等。

表2 用戶(hù)投訴文本信息

由于投訴文本以最終分類(lèi)到具體的業(yè)務(wù)類(lèi)別為標(biāo)準(zhǔn)，進(jìn)而供業(yè)務(wù)單位處理。某運(yùn)營(yíng)商在業(yè)務(wù)類(lèi)別分類(lèi)上采用多級(jí)標(biāo)識(shí)，以“＞”作為上下級(jí)分割符號(hào)，且各業(yè)務(wù)類(lèi)別均表示得比較獨(dú)立，因此將此投訴文本分類(lèi)問(wèn)題，定義為標(biāo)簽多分類(lèi)問(wèn)題而不是多標(biāo)簽分類(lèi)問(wèn)題。本實(shí)驗(yàn)樣本已標(biāo)記的數(shù)據(jù)分類(lèi)類(lèi)別共有89類(lèi)，標(biāo)簽均為文本，需要對(duì)類(lèi)別進(jìn)行編碼，部分類(lèi)別編碼后見(jiàn)表3。

表3 業(yè)務(wù)類(lèi)別編碼

從圖3投訴數(shù)據(jù)集分類(lèi)統(tǒng)計(jì)可以看出，本次實(shí)驗(yàn)數(shù)據(jù)集分布不均勻，業(yè)務(wù)類(lèi)別記錄數(shù)從51到3 546條，屬于類(lèi)別不均衡問(wèn)題。此時(shí)，準(zhǔn)確率不能作為最后分類(lèi)模型效果評(píng)估的唯一標(biāo)準(zhǔn)，本文采用準(zhǔn)確率（accuracy）、Kappa系數(shù)以及漢明損失（Hamming loss）作為評(píng)價(jià)模型好壞的指標(biāo)。

圖3 投訴數(shù)據(jù)集分類(lèi)統(tǒng)計(jì)

將實(shí)驗(yàn)樣本數(shù)隨機(jī)打亂順序后，按7:3比例進(jìn)行拆分，70%的數(shù)據(jù)作為訓(xùn)練集，用于模型訓(xùn)練；30%的數(shù)據(jù)作為測(cè)試集，用于模型驗(yàn)證。

4.2 特征提取

對(duì)中文文本數(shù)據(jù)進(jìn)行特征提取前，需要對(duì)文本進(jìn)行分詞，本實(shí)驗(yàn)在采用jieba分詞工具的精確模式對(duì)文本進(jìn)行分詞的同時(shí)，使用電信行業(yè)專(zhuān)用業(yè)務(wù)詞匯作為用戶(hù)詞典和中文標(biāo)準(zhǔn)停用詞，以提高分詞的準(zhǔn)確性。

使用GRW模型對(duì)用戶(hù)投訴文本進(jìn)行特征提取，提取出每個(gè)類(lèi)別（標(biāo)簽）的特征詞組，部分特征詞組見(jiàn)表4。

表4 分類(lèi)類(lèi)別及對(duì)應(yīng)特征詞組

4.3 評(píng)價(jià)指標(biāo)

二分類(lèi)問(wèn)題的評(píng)價(jià)指標(biāo)通常為準(zhǔn)確率、精確率、召回率、F1-score、AUC、ROC、P-R曲線(xiàn)等，多分類(lèi)問(wèn)題的模型評(píng)估方式有兩種：第一種是將多分類(lèi)的問(wèn)題通過(guò)某種方式轉(zhuǎn)化為N個(gè)二分類(lèi)的問(wèn)題；第二種是采用多分類(lèi)指標(biāo)。常見(jiàn)多分類(lèi)問(wèn)題評(píng)價(jià)指標(biāo)如下。

（1）準(zhǔn)確率

一般分類(lèi)問(wèn)題采用混淆矩陣來(lái)判斷分類(lèi)的效果，混淆矩陣如圖4所示。

圖4 混淆矩陣

其中，TP（true positives）表示預(yù)測(cè)對(duì)，實(shí)際也對(duì)；FP（false positives）：表示預(yù)測(cè)為對(duì)，實(shí)際為錯(cuò)；TN（true negatives）：預(yù)測(cè)為錯(cuò)，實(shí)際為錯(cuò)；FN（false negatives）：預(yù)測(cè)為錯(cuò)，實(shí)際為對(duì)。準(zhǔn)確率（accuracy）計(jì)算式如下：

（2）Kappa系數(shù)

Kappa系數(shù)用于衡量多項(xiàng)獨(dú)立指標(biāo)的一致性（可靠性），表示具有有限范圍的任何統(tǒng)計(jì)量的重新定標(biāo)，形式為（S-SR）/ max（S-SR），其中SR是在隨機(jī)性假設(shè)下的S值。Kappa系數(shù)取值范圍為-1到+1，值越高，代表模型實(shí)現(xiàn)的分類(lèi)準(zhǔn)確度越高。

其中，PA是總體分類(lèi)精度，PC=P2+P′2，P是所有分類(lèi)的比例，和為1。Kappa系數(shù)及一致性等級(jí)對(duì)應(yīng)關(guān)系見(jiàn)表5。

表5 Kappa系數(shù)及一致性等級(jí)對(duì)應(yīng)關(guān)系

（3）漢明損失[10]

漢明損失考查實(shí)例標(biāo)簽被錯(cuò)誤分類(lèi)的情況。對(duì)于給定的向量f和預(yù)測(cè)函數(shù)F，漢明損失函數(shù)計(jì)算式如下：

其中，

漢明損失計(jì)算可描述為相關(guān)的分類(lèi)標(biāo)簽不在已預(yù)測(cè)的分類(lèi)標(biāo)簽集合中，或者描述為無(wú)關(guān)的分類(lèi)標(biāo)簽在已預(yù)測(cè)的分類(lèi)標(biāo)簽集合中，因此，漢明損失指標(biāo)值與模型的分類(lèi)能力呈現(xiàn)正相關(guān)性。

4.4 結(jié)果分析

本實(shí)驗(yàn)分別采用詞袋模型和樸素貝葉斯模型、Embedding和雙向LSTM模型、預(yù)訓(xùn)練Bert模型、FastText模型作為基礎(chǔ)模型在公開(kāi)數(shù)據(jù)集和私有數(shù)據(jù)集上進(jìn)行訓(xùn)練，再用GRW模型對(duì)特征進(jìn)行提取后，結(jié)合FastText模型在訓(xùn)練集上進(jìn)行訓(xùn)練，最后在同樣的測(cè)試集上進(jìn)行驗(yàn)證，結(jié)果見(jiàn)表6、表7。

表6 模型對(duì)比（公開(kāi)數(shù)據(jù)集）

表7 模型對(duì)比（私有數(shù)據(jù)集）

對(duì)實(shí)驗(yàn)結(jié)果進(jìn)行比較分析可以看出，本文提出的基于GRW模型和FastText模型的分類(lèi)方法在準(zhǔn)確率、Kappa系數(shù)、漢明損失等指標(biāo)上，比其他幾個(gè)模型有所提升，主要在于GRW模型在特征詞的提取上，進(jìn)一步優(yōu)化了特征詞的重要性。

4.5 應(yīng)用效果

2020年10 月在某運(yùn)營(yíng)商采用本文提出的模型對(duì)電信用戶(hù)投訴文本進(jìn)行分類(lèi)，分別從“5G”“攜號(hào)轉(zhuǎn)網(wǎng)”和“橙分期”3個(gè)專(zhuān)題投訴分析過(guò)程中驗(yàn)證模型。10月“5G”大類(lèi)投訴共656件，“攜號(hào)轉(zhuǎn)網(wǎng)”大類(lèi)投訴共508件，“橙分期”大類(lèi)投訴140件，采用人工對(duì)這3類(lèi)進(jìn)行投訴類(lèi)別細(xì)分，平均耗時(shí)1 min/件，準(zhǔn)確率為90%。采用本文提出的模型進(jìn)行自動(dòng)分類(lèi)后，總共耗時(shí)不到2 s，準(zhǔn)確率達(dá)86%，接近人工分類(lèi)準(zhǔn)確率，提高了業(yè)務(wù)人員工作效率，縮短了投訴處理時(shí)長(zhǎng)。

5 結(jié)束語(yǔ)

本文提出了一種基于GRW模型和FastText模型的文本分類(lèi)方法，并應(yīng)用于電信用戶(hù)的投訴文本分類(lèi)問(wèn)題中，在實(shí)驗(yàn)結(jié)果對(duì)比上，基于GRW模型和FastText模型的方法比Bag of Words+樸素貝葉斯模型、Embedding+雙向LSTM、Bert和Fast模型在準(zhǔn)確率、Kappa系數(shù)、漢明損失上有所提升。GRW模型是加權(quán)的TF-IDF模型，在數(shù)據(jù)分析過(guò)程中有較好的準(zhǔn)確性和解釋性，使用FastText模型進(jìn)行投訴文本分類(lèi)具有較快的分類(lèi)速度和較好的準(zhǔn)確率。綜上，使用本文提出的方法，有利于業(yè)務(wù)人員快速識(shí)別投訴業(yè)務(wù)類(lèi)型，進(jìn)行針對(duì)性的業(yè)務(wù)受理和用戶(hù)服務(wù)，以提升用戶(hù)感知。