基于神經網絡和虛幻引擎的數字人客服系統

豆子聞, 李文書

(浙江理工大學計算機科學與技術學院, 浙江 杭州 310018)

0 引言(Introduction)

在數字化時代,客戶服務經歷了重大變革,越來越多的消費者傾向于通過數字方式與企業溝通,而企業也在探尋更加可靠且高效的客戶服務系統[1]。隨著計算機算力的不斷增強,神經網絡參數量的快速提升使得智能客服更加“聰明”、完善。人工智能及時的應用徹底改變了客戶服務行業,而三維重建以及圖形渲染的發展,也使得數字人更加逼真,其皮膚紋理清晰可見。數字人和客服系統相結合是數字客服這一領域最前沿的發展趨勢,而在系統開發中結合使用神經網絡和虛幻引擎是一種獨特的方法,在以前的研究中未被廣泛探索[2]。

本文主要研究基于神經網絡和虛幻引擎的數字人客服系統的開發,該系統旨在為客戶創造沉浸式的互動體驗,提高他們對產品或服務提供企業的滿意度和忠誠度。通過模擬類人交互,數字人客服系統可以對客戶的查詢和投訴提供有效且個性化的響應,能顯著提升客戶的整體體驗感。

1 系統與功能模塊設計(System and function module design)

數字人客服系統架構主要包含數字人構建、中文問答、語音合成、唇形同步四大模塊。用戶只需要對錄音設備提出自己的問題,系統的語音識別模塊會自動識別出用戶的語音,并轉換為文字輸入中文問答模塊,然后中文問答模塊給出回答,并經過語音合成及唇形同步模塊,最終得以輸出逼真的數字人面部表情和合成語音。數字人客服系統總體架構圖如圖1所示。

圖1 數字人客服系統總體架構圖Fig.1 Overall architecture diagram of digital human customer service system

2 基于圖像的三維人臉重建(Image-based 3D face reconstruction)

在虛擬形象的構建中,本文采用基于生成器-判別器的三維可變形人臉模型(3D Morphable Models,3DMM),主要用于從每張單獨的圖片中得到人臉的基礎模型[3]。在3DMM生成器階段,使用卷積神經網絡從輸入圖片中提取出面部姿態和光照的向量表示,以及模型中所需的參數,然后提取出面部的顏色貼圖和立體構型。生成器模塊的主要作用是將輸入的圖片轉化為3D模型。

首先,使用人臉識別算法從輸入圖片中提取特征,這其中有兩個目的:一是用于估計主體偏差并計算網絡主體偏差的損失函數;二是細化紋理[4]。其次,使用圖卷積網絡技術,并使用解碼器、精煉器、組合器三個貼圖優化模塊接收生成器中的結果作為輸入,并輸出貼圖的細化版本。人臉識別算法的輸出被傳遞到解碼器,同時3DMM的結果傳遞到精煉器中以優化人臉的頂點顏色。最后,組合器綜合解碼器與精煉器給出的每個頂點的顏色,并將其與原始點、線、面信息結合,作為最終的輸出。判別器將輸出的模型再次映射到一個平面上[5]。通過識別這張圖片是原始圖片還是重投影,生成器和判別器進行網絡對抗訓練,從而提升模型的最終生成效果。人臉三維重建流程如圖2所示。

圖2 人臉三維重建流程Fig.2 3D reconstruction process of face

3 文本對話系統(Text dialog system)

在對話系統的構建上,本文使用Rasa為基礎框架,Rasa由自然語言處理庫組件和核心組件兩個部分組成[6]。自然語言處理庫可用于問答機器人的意圖分類和實體識別,并且是一個基于有向無環圖的通用型自然語言處理框架。Rasa的組件之間相互連接,形成有向無環圖,并按一定的順序運行。例如,命名實體組件必須在分詞器之前運行才能正常工作。本文使用Chatito工具(Chatito是用于創建聊天機器人訓練數據集的自然語言生成工具和領域特定語言)快速構建Rasa NLU訓練意圖識別數據集,并使用Rasa train nlu命令訓練模型。

核心組件可以指定問答機器人的行為(Actions)。Rasa Core還提供了訓練預測概率模型的工具,以便根據當前或歷史會話預測下一步動作。首先,須要創建Domain文件,它包括意圖、實體、詞槽、模板和動作。其次,通過編寫自定義動作(actions.py)調用API和執行相關操作。再次,構建故事(story),即模擬用戶與問答機器人的實際對話。用戶輸入的內容會被轉換為意圖和實體,機器人對用戶的響應則被視為動作。完成以上配置(nlu、domain、stories、config)后,即可對整個Rasa模型進行訓練。Rasa的消息處理流程如圖3所示。

圖3 Rasa的消息處理流程Fig.3 Message processing flow of Rasa

Rasa的消息處理流程包括用戶輸入文本信息或語音信號,由自然語言解釋器(Interpreter)將其轉換成意圖信息和實體信息,然后構建語義詞典,包括原始文本、意圖和實體,并將其傳遞給核心組件。Rasa的對話狀態追蹤器會獲取當前的對話狀態,包括實體信息和詞槽情況,并記錄下來。當策略接收到當前的對話狀態后,會利用特征提取組件提取對話狀態的特征,并根據這些特征預測和選擇下一個動作。追蹤器會記錄當前執行的動作,最終執行動作并將結果反饋給用戶。Rasa的工程目錄文件主要包括config.yml、credentials.yml、actions.yml、domain.yml、endpoints.yml、data/nlu.yml、data/rules.yml、data/stories.yml、actions.py、data.json、data_to_neo4j.py、neo4j_Knowledge.py、models。其中,config.yml用來存放組件配置的信息;data/nlu.yml用來存放訓練模型的數據;models用來存放訓練好的模型;domain.yml定義了問答機器人的所有信息,包括意圖、實體、詞槽、動作、表單和回復等;actions.yml用來存放動作的代碼;credentials.yml用來連接到其他服務;data/stories.yml用于訓練核心模型的故事數據集。

4 語音合成(Text-to-speech)

本文的語音合成策略是采用一種端對端的TTS神經網絡模型,其基于典型的編碼器-解碼器(Encoder-Decoder)結構[7]。Encoder用來將文本特征轉化為中間特征;Decoder使用自回歸的方式,使用中間特征與上一時刻的梅爾特征輸出生成當前時刻的梅爾特征。在Encoder層,首先將字母轉換為512維詞向量,其次經過多層卷積操作對輸入的文本序列進行上下文建模,以獲得上下文特征關系,最后經過雙向LSTM層生成編碼特征。Decoder是一個注意力機制模塊,在訓練時預訓練網絡采用真實的梅爾頻譜特征作為輸入進行訓練,而在測試時,上一時刻線性映射的輸出作為預訓練網絡當前時刻的輸入。預訓練網絡為兩層維度為512的全連接網絡,作為信息瓶頸層,對學習注意力是必要的,其輸入為特定一幀的梅爾頻譜特征,將該時刻輸出與注意力模塊輸出的上一時刻上下文特征進行拼接操作后,送入兩層由1 024單元組成的LSTM層中,獲得LSTM的輸出。將Encoder輸出、LSTM輸出以及累加的注意力權重變量(初始值為0)作為注意力機制的輸入,并輸出這一時刻的注意力權重與這一時刻的上下文特征。其中,Encoder的輸出可以視為Value,LSTM的輸出視為Query,累加的注意力權重變量可以視作位置特征,獲得注意力權重后,與Encoder的輸出做加權和,得到當前時刻的上下文特征。此時,當前時刻的上下文特征再與LSTM的輸出拼接,經過線性映射,輸出目標頻譜幀,最后使用Griffin-Lim算法將梅爾頻譜重建為時域的音頻信號[8]。

5 唇形同步算法(Lip synchronization algorithm)

音頻信號最終需要轉化為面部動畫,本文使用唇形同步算法Audio2Face[9]。Audio2Face網絡由三部分組成,其中第一部分包含1個自相關分析層和5個卷積層,在數據分析階段,使用線性預測編碼提取音頻特征,再通過卷積神經網絡對特征進行壓縮,提取短時特征,該特征反映了人發音時面部動畫附帶的特定語氣、音素等。在發音階段,壓縮后的短時特征再經過5個卷積層,提取相鄰序列幀的相關性,最終輸出整體特征圖。除此之外,發聲時的情緒狀態也至關重要,該參數由神經網絡自動學習生成,并逐層拼接到發音網絡。在輸出網絡,數據需要經過兩個全連接層,該網絡將特征數據映射到面部模型的61維變形權重(Blend Shap),其中第一個全連接層將特征映射到表情系數,第二個全連接層將表情系數映射到BlendShap[10]。唇形同步算法流程如圖4所示。

圖4 唇形同步算法Fig.4 Lip synchronization algorithm

最終輸出的權重用于控制面部動畫,如圖5所示為權重對面部動畫的影響,例如當權重MouthRight的值變大時,面部網格的嘴部表現出右撇的姿態。

圖5 權重MouthRight為0.505 14時對面部動畫的影響Fig.5 Influence on facial animation when MouthRight is 0.505 14

6 系統實現(System implementation)

在虛幻引擎中,將三維重建的人臉模型重新映射為Metahuman模型,這是一種帶有身體骨骼綁定以及毛發的虛擬人制作系統,面部動畫的表達由變形權重的曲線經由姿勢映射形成,本文使用Livelink數據流作為Python端和虛幻引擎的通信方式,總共將61維權重傳輸給虛幻引擎,權重名分別如下:

EyeBlinkLeft,EyeLookInLeft,EyeLookUpLeft,EyeSquintLeft,EyeWideLeft,EyeBlinkRight,EyeLookDownRight,EyeLookInRight,EyeLookOutRight,EyeLookUpRight,EyeSquintRight,EyeLookDownLeft,EyeWideRight,JawForward,JawLeft,JawRight,JawOpen,MouthClose,MouthFunnel,MouthPucker,MouthLeft,MouthRight,EyeLookOutLeft,MouthSmileLeft,MouthSmileRight,MouthFrownLeft,MouthFrownRight,MouthDimpleLeft,MouthDimpleRight,MouthStretchLeft,MouthStretchRight,MouthRollLower,MouthRollUpper,MouthShrugLower,MouthShrugUpper,MouthPressLeft,MouthPressRight,MouthLowerDownLeft,MouthLower-DownRight,MouthUpperUpLeft,MouthUpperUpRight,BrowDownLeft,BrowDownRight,BrowInnerUp,BrowOuterUpLeft,BrowOuterUpRight,CheekPuff,CheekSquintLeft,CheekSquintRight,NoseSneerLeft,NoseSneerRight,TongueOut,HeadYaw,HeadPitch,HeadRoll,LeftEyeYaw,LeftEyePitch,LeftEyeRoll,RightEyeYaw,RightEyePitch,RightEyeRoll。

在虛幻引擎端,該61維權重實時修改動畫藍圖中的動畫曲線值,如圖6所示。

圖6 虛幻引擎中動畫藍圖權重應用Fig.6 Application of animation blueprint weight in unreal engine

數字人客服系統虛幻引擎端如圖7所示,本文研究抽取不同年齡段的實驗者共50人,其中本科生30人,碩士研究生15人,教師5人,實驗者針對不同的問題向數字人客服提問,其中48人表示對數字人客服的服務高度滿意,整體滿意度為96%。

圖7 數字人虛幻引擎端展示Fig.7 Unreal engine end display of digital human

7 結論(Conclusion)

本文設計并實現的基于神經網絡和虛幻引擎的數字人客服系統,創造性地將客服系統與數字人相結合,利用神經網絡和虛幻引擎創建了一個高度逼真和交互性強的虛擬對象,使客戶能夠以自然和直觀的方式與數字人進行交互。調查和測試結果顯示,客戶對這種新的服務方式反應積極,多數實驗者對數字人客服系統的服務表示高度滿意。統計結果也表明,數字人客服系統的使用對客戶服務運營的效率和有效性產生重大影響,同時能幫助企業降低成本,提高客戶滿意度,以及增加收入。