融合神經網絡與電力領域知識的智能客服對話系統研究

呂詩寧，張 毅，胡若云，沈 然，江俊軍，歐智堅

（1.國網浙江省電力有限公司電力科學研究院，杭州 310000；2.清華大學 電子工程系，北京 100084；3.國網浙江玉環縣供電有限公司，浙江 臺州 318000）

0 引言

客服系統是電力營銷的重要組成部分，是電力部門對外的重要窗口[1]。為了提高客服質量和效率，電力部門持續推動電力客服系統的信息化建設[2]。隨著人工智能技術的發展，智能化成為電力客服系統建設的機遇和挑戰，智能客服受到了越來越多的關注和研究[3-5]。用智能客服代替人工客服回答高頻簡單的問題，可以減少人工客服的工作量，使其可以更專注于解決復雜的問題。同時，智能客服機器人可以以較低成本實現24 h全天候即時服務客戶。另外，人工客服的業務水平參差不齊，智能客服的服務質量則相對穩定和可控。基于這些優勢，智能客服有助于提高電力企業客服效率，減輕客服人員工作壓力，提升客戶滿意度。

智能客服是對話系統的一個應用場景。對話系統從功能上可以分為三類[6]：任務型、問答型、閑聊型。任務型對話系統通過與用戶的多輪交互完成一項特定領域的任務；問答型對話系統對于用戶的問題給予一個直接且簡潔的回復；閑聊型對話系統與用戶進行自然的多輪對話，主要起到娛樂或陪伴用戶的作用。其中，任務型和問答型對話系統更適合用做智能客服。

任務型對話可通過模塊化的方式實現[7-9]。模塊化對話系統主要由自然語言理解、對話狀態跟蹤、策略選擇、自然語言生成等模塊組成，如圖1 所示。

圖1 模塊化任務型對話系統

問答型對話系統[10-12]為了答案的正確性，需要根據知識庫或自然語言文本資料進行回答。

電力領域智能客服對話系統相比于通用領域的對話系統有著很強的專業性。電力領域經過多年的積累，總結出了大量業務知識，包括客戶服務流程、客服數據庫和標準問答對等等。目前電力領域智能客服[3-5]主要利用了標準問答對，從知識庫中找到與客戶說的話意思最相近的標準問題，然后將對應答案回復給客戶，主要實現了問答型對話系統功能。如何充分利用電力客服業務流程，實現更為智能的電力領域智能客服對話系統，需要新的探索。

為了構建面向電力領域智能客服的對話系統，本文提出融合神經網絡學習和電力領域知識的對話系統。具體來說，首先利用對話流配置框架將電力領域知識融入對話系統，從而指導對話系統做出正確的回答；接著利用基于神經網絡的自然語言理解模塊讓對話系統理解用戶說的話；最后通過智能坐席和智能外呼兩個智能客服應用表明了新方法的有效性。

1 融入電力領域知識的對話系統

本文利用對話流配置框架和知識圖譜將電力領域客戶服務流程、電力客服數據庫和標準問答等電力領域知識融入對話系統。

1.1 利用對話流配置框架融入電力客服流程

為了保證服務質量，電力公司對業務進行了細致的梳理，并針對每個業務的服務流程和話術制定了規范，通常可以用流程圖的形式展現，如圖2 所示。這些業務流程和話術是客服人員培訓材料的重要內容。為了實現智能客服代替人工客服完成客服工作，需要解決三個問題：機器如何讀流程圖；機器如何按照流程執行；機器如何判斷執行哪個流程。為了解決這三個問題，本章節對流程圖進行抽象，提出了一個對話流配置框架。

圖2 電力客服業務流程

對話流配置框架主要包括五項內容：對話流、意圖、全局變量、實體、函數。通過配置對話流，使對話系統能夠讀懂業務流程并按流程執行；通過配置意圖，使對話系統能夠判斷應執行哪個流程；通過配置其他三項內容來支持對話流和意圖的配置。

1.1.1 對話流

對話流配置用以解決機器如何按照流程圖執行的問題。

在節點配置方面，本文共歸納出三大類8 種不同類型的節點，具體如下。

1.1.1.1 信息獲取類

服務客戶時，客服需要得到用戶的信息，信息主要來源于客戶、數據庫和業務知識。

（1）填槽節點：對話系統有時需要從客戶那里獲取必要信息。比如客戶身份驗證時，需要知道客戶的用電戶號和姓名等信息，此時對話系統需要向用戶發問，并從客戶的回答中提取信息。填槽節點需要配置待填的槽以及對話系統向用戶詢問該槽的話術。填槽節點主要用來與客戶交互。

（2）函數節點：對話系統有時需要從數據庫等外部服務獲取必要信息。比如客戶詢問剩余電費的時候，對話系統需要調用一個函數從客服數據庫中獲取信息。對話系統會根據配置的函數名調用相應函數。函數節點主要用來和機器交互。

（3）賦值節點：對話系統有時可以根據業務知識推理出一些信息。比如客戶身份驗證失敗時，需要問用戶的供電單位。但如果客戶身份驗證成功，就不需要詢問用戶的供電單位，直接將供電單位賦值成提供服務的電力公司即可。賦值節點需要配置待賦值的全局變量（1.1.3 節介紹）和賦給它的值。

1.1.1.2 流程控制類

（1）子流程節點：電力客服業務中有一些通用的流程，比如幾乎所有業務都需要詢問用戶的戶號，因此配置每個業務的時候都要把詢問用戶戶號的部分重復配置一遍。為避免重復，可以把每個流程中的詢問用戶戶號這部分提取成子流程。把父流程中的子流程節點的流程名配置成待跳轉的子流程的名稱即可完成跳轉。這樣可以減少配置對話系統的工作量。同時，修改子流程時只需改動一個地方，使得對話系統更易維護。

（2）分支節點：進行邏輯判斷的節點。完成類似編程語言中的if-else 語句的功能。

（3）返回節點：返回節點位于一個流程的最后，用來從子流程返回父流程。返回節點不需要配置任何信息。

（4）結束節點：結束節點用來結束本次對話。結束節點需要配置結束對話的具體原因，比如掛機或轉人工。

1.1.1.3 信息輸出類

回復節點配置了業務文檔中規定的話術之后，對話系統可按配置的話術來回復用戶。

每一個節點完成自身功能后，根據業務邏輯應跳轉至下一節點，稱為目標節點。每一個目標節點對應一個條件，每個條件由操作符和元素數組組成，比如“電費余額<0”這個條件的操作符是“<”，元素數組是[電費余額，0]。存在多個條件時，依次判斷各條件是否為真。

1.1.2 意圖

意圖幫助對話系統判斷應該執行哪個流程。電力客服每一個業務流程解決用戶的一個問題，因此對話系統只要知道客戶想解決什么問題，就可以用相應的流程來服務客戶。比如，“查電費”“修改服務密碼”等都是用戶的意圖。為了理解客戶說的話，在配置意圖時，需要配置表達該意圖的自然語言。另外，為了根據流程幫助用戶完成意圖，還需要配置與該意圖相關的槽。比如對于“查電價”這個意圖，用戶需要填“用電電壓”這個槽。

1.1.3 全局變量

全局變量可以在多輪對話過程中維護服務用戶所需的信息，跟蹤對話狀態，使得對話系統和客戶保持信息的同步。對話狀態可以表示成一組鍵值對的形式。比如“戶號=1234，姓名=張三”就是對話系統詢問完客戶戶號和姓名之后的對話狀態。這里的“姓名”和“戶號”就是全局變量。

1.1.4 實體

實體是一個槽可取值的范圍。比如“查電價”這個業務流程，有“用電類型”和“供電電壓”這兩個槽。“用電類型”可取值的范圍為[居民生活用電，大工業用電，一般工商業用電，農業生產]，這個范圍就是“用電類型”這個槽的實體。配置了該實體之后，在填槽節點中對話系統才可以從用戶說的話中找出“用電類型”的信息。

1.1.5 函數

函數可以是一段代碼，又或是一個API 接口，供對話流中的函數節點調用，從而獲取必要信息或執行某個指令。本文提出對話流配置框架的一個很重要的目的是減少搭建對話系統所需要的代碼量，對話流配置文件解釋器完成各類節點功能的底層實現，使不會編程的業務人員也可以按照配置框架和業務流程用配置的方式搭建出一個對話系統。但有些功能，比如查詢數據庫，需要自定義函數來實現。通過自定義函數，同時實現了減少代碼量和保留定制性這兩個目的。

1.2 利用知識圖譜融入電力客服數據庫和標準問答對

電力客戶服務流程主要內容是客服專業知識，而電力客服數據庫和標準問答對的主要內容是電力專業知識。

電力客服數據庫的結構包含了很多電力領域的知識，比如“抄表”查詢接口返回的內容包含“本次示數”“抄表日期”“上次示數”等。可以將客戶在數據庫中的信息存儲在知識圖譜中，把數據庫的查詢接口作為知識圖譜中的實體，接口返回的內容作為對應實體的屬性。當收到客戶的消息時，對話系統把客戶說的話在圖譜中進行文本相似度匹配，既可以查詢到與這句話相關的實體，也可以在一個實體下查詢到與這句話相關的屬性。比如用戶問“電費明細”時，如果沒有配置跟“電費明細”有關的意圖，對話系統無法根據業務流程服務客戶，但通過在圖譜中搜索，對話系統找到了“電費”這個實體以及該實體下“明細”這個屬性，對話系統就可以將屬性值回復給用戶。再比如，用戶如果問“煤改電補貼多少錢”，對話系統不僅可以回復客戶補貼金額，因為“煤改電”這個實體下還有“辦理方式”和“營業網點”這兩個屬性，對話系統可以進行智能推薦，詢問客戶是否還想問“辦理方式”和“營業網點”的信息。

電力客服關于業務類問題有大量的標準問和對應的標準答。知識圖譜可以抽取出標準問句中的實體和實體間的關系，從而把大量的標準問存儲在結構化分層次的知識圖譜中，然后利用文本相似度算法在圖譜中找到與用戶問題最接近的標準問，最后將標準答案回復給客戶。

2 基于神經網絡的自然語言理解

對話系統利用對話流配置文件解釋器來讀取對話流配置文件，并按照配置文件中的對話流服務客戶，從而實現了經典模塊化任務型系統中的對話狀態跟蹤，策略選擇和自然語言生成這三個模塊的功能。下面介紹基于神經網絡的自然語言理解模塊的實現方法。

本節用基于神經網絡的自然語言理解模塊實現意圖識別功能。意圖識別的輸入是一句客戶說的話，輸出是這句話表達的意圖。本質上是一個文本分類問題。類別標簽的集合是對話系統已配置的所有意圖。

在預訓練模型和遷移學習在圖像識別領域取得成功后，近年來，以openAI 的GPT[13]和谷歌的BERT[14]為代表的預訓練模型在十多個自然語言處理任務上取得了最優的效果，甚至在某些數據集上的表現超過人類，證明了預訓練和遷移學習在自然語言處理領域也是有效的。本文采用預訓練模型BERT 進行意圖識別。

2.1 Transformer 編碼器

BERT 由多層的Transformer 編碼器構成。Transformer 編碼器由兩部分組成：注意力層和前饋神經網絡層。Transformer 的輸入是一個序列，輸出也是一個序列，輸出序列與輸入序列等長，序列中的每一個元素都是向量，將這些向量拼接在一起可以得到一個矩陣，因此Transformer 的輸入輸出可用矩陣表示。

2.1.1 注意力層

注意力層采用MHA（多頭注意力機制），具體如下：

式中：Hh∈Rl×dv為每個注意力頭的計算結果，將Hh拼接在一起得到注意力層的輸出結果；Qh∈Rl×datt，Kh∈Rl×datt，Vh∈Rl×dv分別為各個注意力頭的查詢矩陣、鍵矩陣、值矩陣，通過對輸入矩陣X 分別進行線性變換得到；W*h，b*h為線性變換的參數。

2.1.2 前饋神經網絡層

前饋神經網絡層由兩層前饋神經網構成，對輸入序列每個位置的向量做相同的計算。激活函數選擇GeLU[15]，公式如下：

式中：W1，b1，W2，b2分別為兩層前饋神經網的參數。

2.1.3 整體結構

Transformer 編碼器的注意力層和前饋神經網絡層均使用殘差連接和層歸一化[16]。

式中：att 為注意力層的輸出以及前饋神經網絡層的輸入。

2.2 BERT

BERT 的輸入是一句話，輸出是對這句話每個字的包含上下文信息的編碼結果。BERT 首先對句子中的字進行向量化表示。

式中：Ei為字符向量ET、段向量ES和位置向量EP的和。字符向量用來區分每個字；段向量用來區分來自不同句子的向量，由于意圖識別任務的輸入只有一句話，所以每個字的段向量均相同；位置向量用來區分一句話中不同位置的詞。這3個向量都是可訓練的參數。

得到句子的向量化表示后，BERT 通過多層Transformer 對句子進行編碼得到編碼結果。

為了將BERT 用于意圖識別模型，需要BERT 輸出一個定長的向量而不是一個向量序列。為此在每句話的前面添加一個占位符[CLS]，把[CLS]的編碼結果作為BERT 的輸出。

2.3 基于BERT 的意圖識別模型

基于BERT 的意圖識別模型是在BERT 預訓練網絡的基礎上增加一層前饋神經網絡。預訓練階段需要大量的計算資源和時間，因此本文直接使用谷歌開源的訓練好的中文BERT 預訓練網絡。微調階段在意圖識別數據集上訓練，對預訓練網絡和前饋神經網絡組成的整體意圖識別模型的參數進行微調。

BERT 的輸出包含了這句話的語義信息，把[CLS]的編碼結果輸入一層前饋神經網中，可得到每個意圖的概率分布，模型將概率最高的意圖作為識別結果。模型的整體結構如圖3 所示。圖中E表示每個字的向量；Trm表示Transformer 編碼器；C 和T 分別表示BERT 模型對占位符[CLS]和句子中每個字的編碼結果。

2.4 基于ALBERT 的意圖識別模型

基于BERT 的意圖識別模型參數量較大，Lan Z 等提出了ALBERT[17]以減少模型參數量。ALBERT 相對BERT 主要有三點改進：

（1）將字符向量組成的矩陣分解成兩個矩陣乘積，減少字符向量的參數量。

圖3 BERT 意圖識別模型

（2）通過共享BERT 中各層Transformer 的參數，減少模型整體參數量。

（3）將預訓練階段的預測兩個句子是否相鄰這個任務換成相對更難的任務：預測兩個相鄰句子的先后順序，增強模型的語義編碼能力，使得模型參數量減少后模型性能不下降太多。

3 實驗結果

通過融合神經網絡和電力領域知識，本文實現了兩個智能客服對話系統，分別為智能坐席和智能外呼。

3.1 對話流程配置

首先按照業務流程和對話流配置框架配置對話系統。智能坐席系統能夠回答客戶與電費電價相關的問題。智能坐席配置了“查電費”“電價標準”“查詢抄表數據”等12 個意圖。智能外呼系統在客戶沒有按規定日期繳費時主動給客戶打電話提醒客戶。智能外呼系統配置了“已知曉”“已還清”“查詢欠費”等48 個意圖。針對每個意圖配置了相對應的流程。圖4 舉例說明了智能坐席系統的“查電費”流程和智能外呼系統的“已知曉”流程的配置方式。

3.2 模型超參數

BERT 中Transformer 層 數 為12 層，Transformer 的輸入和輸出向量均為768，注意力層的注意力頭數為12，前饋神經網絡層的隱藏層的維度為3072。句子的最大長度為64，每個訓練批次的大小為32，優化器為Adam，學習率為2e-5，驗證集的loss（損失函數）經過5 輪不下降時停止訓練。訓練ALBERT 模型的超參數與BERT 模型一致。

圖4 對話流配置

3.3 實驗結果

為了訓練智能坐席系統和智能外呼系統，通過標注線上客服聊天記錄，分別得到1 447 條和21 483 條數據，其中的80%作為訓練集，10%作為驗證集，10%作為測試集。表1 列出了BERT模型和ALBERT 模型的參數規模以及在兩個數據集上的測試準確率。

表1 BERT 和ALBERT 的模型規模及性能

對比BERT 和ALBERT，可以看出BERT 相對ALBERT 準確率更高，而ALBERT 的模型參數量更少，實際使用中可根據實際業務需求和硬件資源選擇合適的模型。本文進行系統測試時選擇BERT 進行意圖識別。

系統測試效果如圖5 和圖6 所示。對照圖4和圖5 簡單解釋一下智能坐席系統根據業務流程服務客戶的過程。系統說出開場白后，客戶說“查一下電費”，系統識別出“查電費”意圖，進入“查電費”流程。由于客戶信息未知，進入圖4 右側所示的“獲取客戶信息”子流程。根據“獲取客戶信息”流程，系統先詢問客戶編號，客戶提供編號后，系統用函數節點驗證客戶姓名，驗證通過后系統從數據庫中獲得客戶信息，返回“查電費”流程，繼續查詢數據庫獲得電費信息并回復客戶。接下來客戶問“電價多少錢”，系統識別出“查電價”意圖，進入“查電價”流程。“查電價”流程與“查電費”類似，但因為已經得到了客戶信息，因此直接查詢數據庫得到電價信息回復給客戶。綜上所述，系統通過識別客戶意圖并執行相應流程服務客戶。

圖5 智能坐席

圖6 智能外呼

4 結語

電力公司的客服業務是服務客戶的重要窗口，有著話務量大、坐席業務繁重的特點。隨著自然語言處理技術的進步，用智能客服分流人工坐席業務，是減輕坐席客服壓力、降低服務成本的一個可行方案。本文探討了如何搭建一個面向電力領域的智能客服對話系統，提出了融合神經網絡和電力領域知識的方法：利用神經網絡實現自然語言理解模塊，對客服的話進行意圖識別；利用對話流配置框架和知識圖譜將電力領域知識融入對話系統，保證電力領域智能客服對話系統的專業性。同時開發了智能坐席和智能外呼兩個智能客服機器人，針對這兩個場景的線上客服進行數據標注，實驗得到的智能客服的意圖識別準確率分別為91.61%和90.78%，系統能夠按照電力領域知識回復客戶，驗證了方法的有效性。

電力客服領域已經梳理出了比較規范的服務流程和話術，可以根據這些業務文檔配置出智能客服機器人，回答常見的標準問題。另一方面，通過對線上聊天記錄進行分析后發現，對于用戶的一些問題業務流程中并沒有規定處理方式，需要人工客服根據經驗回答。如何讓智能客服從海量的客戶聊天歷史數據中學習到這些經驗，提升服務能力，是有價值的研究方向。