基于對抗式生成網(wǎng)絡(luò)的電力用戶意圖文本生成

俞 暢，歐陽昱，張 波，劉輝舟

(1.中國科學(xué)技術(shù)大學(xué) 軟件學(xué)院，安徽 合肥 230031；2.國網(wǎng)安徽省電力公司，安徽 合肥 230061)

0 引言

電力營業(yè)廳是國家電力公司的重要組成部分，每日有大量客戶在營業(yè)廳進行各類電力業(yè)務(wù)辦理。目前的營業(yè)廳運營模式有著潛在的問題[1]：營業(yè)廳需要配備齊全的營業(yè)組成員，每日無歇地回應(yīng)用戶問答請求；同時營業(yè)廳服務(wù)人員流動大，而培養(yǎng)一名合格的服務(wù)人員需要進行相關(guān)的電力知識培訓(xùn)，從而耗費大量時間、財力。

基于以上矛盾，搭建識別用戶意圖的智能系統(tǒng)[2]可以極高地精簡業(yè)務(wù)辦理流程，加快業(yè)務(wù)辦理速度，減少各方面人力成本。智能交互系統(tǒng)意圖識別模塊的搭建大致可以分為以下幾步：收集整理在供電營業(yè)廳背景下用戶問詢文本語料庫；搭建識別用戶意圖映射到供電營業(yè)廳業(yè)務(wù)的深度學(xué)習(xí)框架；訓(xùn)練深度學(xué)習(xí)框架下意圖識別模型；驗證模型的可靠性；根據(jù)電力系統(tǒng)業(yè)務(wù)流程和數(shù)據(jù)返回回答。

訓(xùn)練神經(jīng)網(wǎng)絡(luò)識別用戶意圖需要大量的用戶問詢文本。但是在現(xiàn)實情況中，采集電力業(yè)務(wù)問詢數(shù)據(jù)是個難題。電力業(yè)務(wù)問詢數(shù)據(jù)是在供電營業(yè)廳中用戶對營業(yè)員進行問詢時產(chǎn)生的,數(shù)據(jù)的本源是語音，并非是傳統(tǒng)的網(wǎng)絡(luò)爬蟲文本采集。

為了解決這一問題，本項目成員在安徽省電網(wǎng)供電營業(yè)廳設(shè)置了幾處錄音裝置，將采集到的錄音通過機器翻譯轉(zhuǎn)換成文字，再通過人工修改并進行意圖標注。數(shù)據(jù)采集過程中，項目成員遇到了幾處困難：電力營業(yè)廳中雜音較多，很多用戶帶有口音、使用方言，機器將語音轉(zhuǎn)譯成文字質(zhì)量不佳，需要人工大規(guī)模修正，不少錄音更需要人工重新聽寫；最后得到的數(shù)據(jù)文本較少，在進行大規(guī)模的深度學(xué)習(xí)訓(xùn)練時會導(dǎo)致神經(jīng)網(wǎng)絡(luò)模型過擬合、泛化能力弱。由此，獲得規(guī)模更大的電力業(yè)務(wù)用戶意圖文本數(shù)據(jù)量是當前亟待解決的任務(wù)。

基于特定領(lǐng)域內(nèi)的文本生成，多是運用人工收集、生產(chǎn)和標注的方法。人工進行收集生產(chǎn)的弊端極為明顯：人力的有限和創(chuàng)造力的不足會給語料生產(chǎn)帶來巨大的麻煩，由此，進行機器生產(chǎn)特定領(lǐng)域語料有著極為重要的研究意義。

自然語言文本可看作特殊的向量組成的序列。在弱監(jiān)督機器學(xué)習(xí)的前提下，由神經(jīng)網(wǎng)絡(luò)生成合成文本來擬合真實數(shù)據(jù)仍面臨著很多問題。基于最大似然估計(Maximum Likelihood Estimation，MLE)算法的長短期記憶網(wǎng)絡(luò)(Long Short-Term Memory，LSTM)[3]是文本序列生成的常用方法。但最大似然估計在推理階段會產(chǎn)生偏差(exposure bias)：長短期記憶網(wǎng)絡(luò)生成序列時，需要基于之前所有已生成序列預(yù)測下一個生成詞，若之前序列中的向量生成得不佳，則錯誤會進行傳遞積累，使得訓(xùn)練和推理間的差異越來越大。為了解決這個問題，必須要減少訓(xùn)練和推理之間的差異。

一種被稱為Scheduled Sampling(SS)的訓(xùn)練策略嘗試解決這一問題[4]。Scheduled Sampling以一定概率將生成的元素作為解碼器輸入，這樣即使前面生成錯誤，其訓(xùn)練目標仍然是最大化真實目標序列的概率，模型會朝著正確的方向進行訓(xùn)練。因此這種方式增加了模型的容錯能力。但Scheduled Sampling策略并沒有從根本上解決偏差問題。主要原因在于，模型中從前一時刻輸出獲得后一時刻的輸入涉及采樣操作，而這個操作是不可微的。在強化學(xué)習(xí)中，action可以通過返回reward代替梯度回傳，從而解決不可微的問題。

生成對抗網(wǎng)絡(luò)(Generative Adversarial Networks，GAN) 是GOODFELLOW I J等[5]在2014 年提出的一種生成式模型，系統(tǒng)由一個生成網(wǎng)絡(luò)與一個判別網(wǎng)絡(luò)組成。生成網(wǎng)絡(luò)初始化為隨機采樣，之后通過判別網(wǎng)絡(luò)捕捉真實數(shù)據(jù)的潛在分布，盡可能生成相似于真實數(shù)據(jù)的分布。判別網(wǎng)絡(luò)本質(zhì)則判斷輸入數(shù)據(jù)是真實數(shù)據(jù)還是生成樣本，起到二分器的作用。生成網(wǎng)絡(luò)模仿真實數(shù)據(jù)生成相似的樣本分布以欺騙判別網(wǎng)絡(luò)，判別網(wǎng)絡(luò)在迭代中不斷更新以區(qū)分生成樣本和真實數(shù)據(jù)。生成網(wǎng)絡(luò)和判別網(wǎng)絡(luò)相互博弈，直到達到那什均衡。

傳統(tǒng)對抗式生成網(wǎng)絡(luò)在圖片生成領(lǐng)域[6]有著廣泛的應(yīng)用，但是運用在自然語言領(lǐng)域，如文本生成，應(yīng)用范圍并不廣泛[7-8]。對抗式生成網(wǎng)絡(luò)有著明顯的缺點：由于自然語言數(shù)據(jù)本身的離散性質(zhì)，傳統(tǒng)的GAN框架中生成器難以進行梯度回傳。文獻[9]以RNN(Recurrent Neural Network)作為對抗式生成網(wǎng)絡(luò)的生成網(wǎng)絡(luò)，以卷積神經(jīng)網(wǎng)絡(luò)(Convolutional Neural Networks,CNN)作為GAN的判別網(wǎng)絡(luò)，使用強化學(xué)習(xí)中reward信號代替梯度回傳，從而解決自然語言文本梯度無法回傳問題。文獻[10]對GAN的損失函數(shù)做出修改，對真實句子和生成句子的隱藏特征表示進行匹配操作，這種方法可以得到更好的收斂效果。

1 基于對抗式生成網(wǎng)絡(luò)的電力用戶意圖文本生成

1.1 電力業(yè)務(wù)用戶意圖文本生成框架

電力營業(yè)廳智能交互系統(tǒng)的實現(xiàn)依賴于對用戶意圖的識別。電力用戶意圖文本數(shù)據(jù)量不足將導(dǎo)致訓(xùn)練模型欠擬合。為解決這一問題，本文提出基于GAN的電力用戶意圖文本生成框架。將人工采集到的真實用戶問詢語句進行數(shù)據(jù)清洗，將每個詞轉(zhuǎn)換成單獨的word-id。使用RNN[11]構(gòu)建文本序列生成網(wǎng)絡(luò)，使用CNN[12]構(gòu)建文本序列判別網(wǎng)絡(luò)，并進行預(yù)訓(xùn)練：用真實數(shù)據(jù)通過MLE預(yù)訓(xùn)練文本序列生成網(wǎng)絡(luò)，用真實數(shù)據(jù)作為正樣本，文本序列生成網(wǎng)絡(luò)生成的數(shù)據(jù)作為負樣本，訓(xùn)練出二分類的文本判別網(wǎng)絡(luò)。預(yù)訓(xùn)練完成后進行對抗訓(xùn)練，迭代訓(xùn)練文本序列生成網(wǎng)絡(luò)和文本序列判別網(wǎng)絡(luò)。對抗式生成網(wǎng)絡(luò)以negative likelihood(NLL)作為評估方式，嘗試解決極大似然估計中遇到的偏差問題。

基于對抗式生成網(wǎng)絡(luò)的電力業(yè)務(wù)用戶意圖文本生成框架如圖1所示，該模型由兩部分組成：文本序列生成網(wǎng)絡(luò)和文本序列判別網(wǎng)絡(luò)。文本序列生成網(wǎng)絡(luò)生成文本序列，之后與真實用戶問詢語料一并轉(zhuǎn)換為詞向量交由文本序列判別網(wǎng)絡(luò)通過打分(reward)進行真假判別。文本序列生成網(wǎng)絡(luò)只能對完整序列文本進行打分，當文本序列生成網(wǎng)絡(luò)產(chǎn)生的序列不完整時，文本序列判別網(wǎng)絡(luò)通過蒙特卡洛樹搜索策略將序列補充完整。文本序列判別網(wǎng)絡(luò)對完整序列產(chǎn)生打分再回傳給文本序列生成網(wǎng)絡(luò)，指導(dǎo)文本序列生成網(wǎng)絡(luò)更新產(chǎn)生更優(yōu)的文本序列。

圖1 電力業(yè)務(wù)用戶意圖文本生成框架

1.2 文本序列生成網(wǎng)絡(luò)Gθ

文本序列生成網(wǎng)絡(luò)Gθ的任務(wù)是進行電力業(yè)務(wù)用戶意圖文本的生成，產(chǎn)生序列如下：Z1:T=(z1,…，zt,…,zT),zt∈T。序列中,T為電力業(yè)務(wù)用戶意圖文本詞表。文本序列生成網(wǎng)絡(luò)應(yīng)用了強化學(xué)習(xí)的方法，每生成t個序列耗費時間t，狀態(tài)s表示產(chǎn)生的序列(z1,…,zt-1)，動作a表示從所有可能的候選詞中選擇下一個詞zt的行為。

RNN使用詞向量(word embedding)來表示序列(z1,…,zt)。通過遞歸調(diào)用更新函數(shù)f將ZT轉(zhuǎn)換為隱藏狀態(tài)(h1,…,ht)的序列，如式(1)所示：

ht=f(ht-1,zt)

(1)

softmax輸出層z將隱藏狀態(tài)映射到輸出的詞分布中，其中參數(shù)是偏置向量b和權(quán)重矩陣V，如式(2)所示：

p(ht|z1,…,zt)=softmax(b+Vzt)

(2)

1.3 文本序列判別網(wǎng)絡(luò)Dφ

文本序列判別網(wǎng)絡(luò)Dφ功能是判斷輸入的文本序列Z1:T是真實文本還是文本序列生成網(wǎng)絡(luò)生成文本。文本序列判別網(wǎng)絡(luò)通過調(diào)整目標函數(shù)指導(dǎo)文本序列生成網(wǎng)絡(luò)進行更新，以使文本序列生成網(wǎng)絡(luò)生產(chǎn)出更真實的文本。由于CNN最近在文本分類方面顯示出的巨大效果，實驗中選用CNN[12]作為判別器。

輸入樣本為Z=(z1,…,zt)，對序列Z進行序列編碼，如式(3)所示：

Γ1:T=z1⊕z2…⊕zt

(3)

式中,zt∈Rk，是k維詞向量，?是構(gòu)建矩陣E1:t的級聯(lián)算子，Γ1:T∈RT×k表示詞向量的鏈接矩陣。卷積核W∈RT×k對L個字的窗口大小應(yīng)用卷積運算產(chǎn)生新的特征映射,如式(4)所示：

di=σ(W?εi:i+l-1+d)

(4)

其中，運算符?是點積的總和，d是偏差項，σ是非線性函數(shù)。實驗使用不同數(shù)量具有不同窗口大小的內(nèi)核來提取不同的電力問詢用戶文本序列特征。對特征映射g=max{g1，…，gT-L+1}應(yīng)用最大池化操作。接著使用Sigmoid激活函數(shù)的完全連接層來判斷輸入序列是真實用戶問詢文本的概率，如式(5)所示：

(5)

文本生成網(wǎng)絡(luò)Gθ使用LSTM網(wǎng)絡(luò)搭建，將參數(shù)初始化在[0,1]內(nèi)，使用Dropout[13]和L2正則化來避免過擬合。為了評估文本生成網(wǎng)絡(luò)Gθ生成文本的質(zhì)量，使用LSTM神經(jīng)網(wǎng)絡(luò)對生成的電力用戶問詢文本進行Nll值計算，如式(6)所示：

(6)

1.4 模型預(yù)訓(xùn)練

生成式對抗網(wǎng)絡(luò)的訓(xùn)練是生成網(wǎng)絡(luò)與判別網(wǎng)絡(luò)之間博弈的過程，為了以最快的方式達到那什均衡，訓(xùn)練開始前，將文本生成網(wǎng)絡(luò)使用最大似然估計(MLE)方法在真實數(shù)據(jù)集上進行預(yù)訓(xùn)練。在預(yù)訓(xùn)練后，生成網(wǎng)絡(luò)和判別網(wǎng)絡(luò)被交替訓(xùn)練，隨著生成網(wǎng)絡(luò)通過一定步驟的更新訓(xùn)練得到進步，判別網(wǎng)絡(luò)需要定期重新訓(xùn)練，以保持和生成網(wǎng)絡(luò)的良好步調(diào)：每隔一定步驟的訓(xùn)練，使用生成網(wǎng)絡(luò)生成的數(shù)據(jù)，且以最大交叉熵函數(shù)為目標函數(shù)，預(yù)訓(xùn)練判別網(wǎng)絡(luò)。

具體步驟如下：首先使用真實用戶問詢文本初始化文本生成網(wǎng)絡(luò)；其次，用文本生成網(wǎng)絡(luò)生成用戶問詢序列，并使用預(yù)訓(xùn)練完成的文本序列判別網(wǎng)絡(luò)與蒙特卡洛搜索方法，對生成的文本計算Rθ值；接著，更新文本生成網(wǎng)絡(luò)參數(shù)；最后，在規(guī)定訓(xùn)練次數(shù)中使用更新的文本生成器生成文本，并使用生成文本訓(xùn)練文本判別網(wǎng)絡(luò)。

1.5 模型訓(xùn)練方法

(7)

生成網(wǎng)絡(luò)需要模仿真實的文本，生成序列讓判別網(wǎng)絡(luò)認定序列是真實文本。判別網(wǎng)絡(luò)僅為完成的序列提供打分。此處使用強化學(xué)習(xí)算法[15]，將判別網(wǎng)絡(luò)的輸出概率作為打分標準。如式(8)所示：

(8)

強化學(xué)習(xí)算法只為已經(jīng)完成的序列進行打分，但是無法指導(dǎo)正在生成的序列進行參數(shù)調(diào)整。而未完成序列的下一步生成對序列質(zhì)量影響極大。為了評估未完成序列，引入蒙特卡洛搜索中roll-out[16]策略對未知T-t個詞進行采樣。N表示由蒙特卡洛生成的第N個序列。通過采樣填補未完成序列，再運用強化學(xué)習(xí)算法對填補完成的序列進行打分，進而達到指導(dǎo)序列生成的目的，如式(9)所示：

(9)

由此，進行序列評估的完整公式，參考文獻[17]，如式(10)所示：

(10)

生成網(wǎng)絡(luò)在獲得判別網(wǎng)絡(luò)打分后，會更新生成網(wǎng)絡(luò)，生成更加逼真的文本序列。序列生成網(wǎng)絡(luò)梯度函數(shù)如式(11)所示：

(11)

當判別網(wǎng)絡(luò)和生成網(wǎng)絡(luò)達到那什均衡后，為了進一步指導(dǎo)生成網(wǎng)絡(luò)生成更加逼真的文本序列，判別網(wǎng)絡(luò)需要再次運用目標函數(shù)更新判別器模型，其目標函數(shù)[17]的優(yōu)化目標是最小化真值標簽與預(yù)測概率之間的交叉熵，如式(12)所示：

min {lossX′∈Vdata(logD(X))-lossX′∈Gθ(log (1-D(X)))}

(12)

2 實驗結(jié)果和分析

2.1 實驗數(shù)據(jù)集

實驗的真實數(shù)據(jù)集來自電力營業(yè)廳用戶真實問詢。在電力公司處獲得用戶錄音后，通過語音轉(zhuǎn)換和人工修正的方式獲得最終語料。語料庫共包含10 000條語料。按照智能系統(tǒng)可否協(xié)助辦理進行業(yè)務(wù)劃分，可將語料集劃分為“業(yè)務(wù)一”“業(yè)務(wù)二”。“業(yè)務(wù)一”“業(yè)務(wù)二”數(shù)據(jù)集各5 000條。

2.2 評估指標

實驗參考文獻[18]同時結(jié)合電力業(yè)務(wù)的實際需求對文本生成結(jié)果進行分析。

2.2.1 意圖識別網(wǎng)絡(luò)RNN的識別準確率

電力營業(yè)廳業(yè)務(wù)種類繁多，智能意圖識別系統(tǒng)在識別用戶意圖后，可以協(xié)助用戶進行部分業(yè)務(wù)的自助辦理，進而減少營業(yè)廳人力成本和人員工作壓力。智能識別系統(tǒng)可以協(xié)助用戶自助辦理的業(yè)務(wù)被歸類為“業(yè)務(wù)一”。在詢問完智能識別系統(tǒng)后，另外需要營業(yè)員人工協(xié)助辦理的業(yè)務(wù)被歸類為“業(yè)務(wù)二”。用搭建好的RNN意圖識別網(wǎng)絡(luò)基于真實語料進行意圖分類實驗并記錄準確率。再用對抗式生成網(wǎng)絡(luò)對“業(yè)務(wù)一”和“業(yè)務(wù)二”文本分別進行文本生成。挑選生成質(zhì)量較好的“業(yè)務(wù)一”和“業(yè)務(wù)二”語料放入RNN訓(xùn)練集中重新進行神經(jīng)網(wǎng)絡(luò)訓(xùn)練。通過觀察意圖識別網(wǎng)絡(luò)的準確率是否上升來驗證對抗式生成網(wǎng)絡(luò)生成文本的質(zhì)量。

2.2.2 文本相似度評價BLEU得分

實驗使用BLEU[19]打分度量真實用戶問詢文本和生成序列文本之間的相似度。BLEU最初用于自動判斷機器翻譯質(zhì)量。對于評價用戶問詢生成文本大多數(shù)單詞由一個或者兩個字符組成，本文使用BLEU-3、BLEU-4和BLEU-5評價生成語料質(zhì)量。

2.3 實驗結(jié)果

2.3.1 意圖識別準確率

將真實數(shù)據(jù)集隨機打亂順序，按照5∶2.5∶2.5比例對訓(xùn)練集、測試集、驗證集進行劃分，用事先搭建好的RNN意圖識別網(wǎng)絡(luò)進行訓(xùn)練。

將用戶問詢文本生成模型對“業(yè)務(wù)一”和“業(yè)務(wù)二”文本分別進行文本生成，各生成文本5 000條。挑選生成質(zhì)量較好的“業(yè)務(wù)一”和“業(yè)務(wù)二”語料各放入RNN訓(xùn)練集中重新進行神經(jīng)網(wǎng)絡(luò)訓(xùn)練。實驗結(jié)果如表1所示。

表1 數(shù)據(jù)增強前后RNN意圖識別網(wǎng)絡(luò)測試集準確率對比

實驗表明，將生成文本添加入RNN意圖識別網(wǎng)絡(luò)的訓(xùn)練集中，測試集上的準確率由79.6%提升到82.1%。雖然存在個別生成序列不符合中文語法的現(xiàn)象，但大部分生成的電力問詢文本在句子結(jié)構(gòu)和包含內(nèi)容方面能與真實的電力用戶問詢文本質(zhì)量相似。

2.3.2 BLEU打分

實驗2使用BLEU[19]打分的方式評價生成語料質(zhì)量。基于電力文本語句間詞語相互依賴性，采用BLEU-3、BLEU-4和BLEU-5來評估生成序列質(zhì)量。將基于對抗式生成網(wǎng)絡(luò)生成的文本和基于最大似然估計的LSTM網(wǎng)絡(luò)生成的文本各5 000條與真實文本進行對比打分，實驗結(jié)果如表2所示。

表2 文本BLEU打分

實驗結(jié)果證明，用戶問詢文本生成模型相較于傳統(tǒng)最大似然估計方法取得了較好的分數(shù)，生成的語句符合基本語法和用戶問詢場景。

3 結(jié)論

針對電力智能交互系統(tǒng)進行深度學(xué)習(xí)訓(xùn)練時文本不足的問題，提出利用對抗式生成網(wǎng)絡(luò)進行電力問詢文本生成。雖然存在個別生成序列不符合中文語法，但大部分生成的電力問詢文本在句子結(jié)構(gòu)和包含內(nèi)容方面能與真實的電力用戶問詢文本質(zhì)量相似。實驗結(jié)果表明，將生成文本添加入RNN意圖識別網(wǎng)絡(luò)的訓(xùn)練集中，測試集上的準確率由79.6%提升到82.1%。BLEU打分也從側(cè)面證明，使用對抗式生成網(wǎng)絡(luò)生成的電力用戶問詢文本基本符合實際數(shù)據(jù)，相對于傳統(tǒng)的LSTM網(wǎng)絡(luò)生成文本方法更具優(yōu)勢，可以應(yīng)用于電力智能交互系統(tǒng)的研究與開發(fā)。