虛擬環境下的智能語音聊天機器人設計?

張 林

（商洛學院數學與計算機應用學院 商洛 726000）

1 引言

隨著人工智能和語音處理技術的發展，人與機器的交互變得越來越智能化，而且應用的領域也越來越廣泛，從智能家居、智能電器到無處不在的智能語音提示，都體現了智能機器人的存在。就目前來看，人工智能的場景化應用主要有三類：一類是語音助手，比如我們常見的通用型語音助手；另一類是智能客服，中小型賣家，通過自己的自定義知識庫創建屬于自己的智能客服來回答客戶的一些基本問題；還有一類是虛擬伴侶，比如在虛擬眼鏡里，機器人可以以虛擬伴侶的形象出現，也可以在文字交互的基礎上實現語音的交互［1～2］。

目前語音助手的應用很普及，各大手機運營商都在自己的手機平臺上加入語音助手，以實現讓用戶只動口不動手的目標。比較有名的語音助手有蘋果的Siri、三星的bixby以及我國圖靈機器人創始人俞志晨等推出的蟲洞語音助手，它們融合了世界上最難語音識別、語音合成、語義理解等技術。在2013 年底的時候，蟲洞語音助手就有了驚人的使用量，用戶數超過4000 萬，當時這些語音助手還不夠成熟，至少缺少了現在機器人的智能化功能，無法和用戶在語音交互的時候實現智能化。隨著圖靈機器人的出現，給機器人裝上了一個聰明的人工智能大腦，而且是可以理解中文語義的大腦。本文設計了一款聊天機器人，通過圖靈機器人平臺來搭建，用戶可以通過文本或者語音兩種方式實現與機器人的智能交互，聊天的內容不再單調。為了克服語音助手界面單一的缺點，采用虛擬現實技術，打造一個讓用戶身臨其境的3D 聊天環境，增強了用戶體驗的主動性［3］。

2 圖靈機器人

圖靈機器人是目前中文語境下智能化程度最高的機器人大腦，也是全球最為領先的中文語言識別與計算平臺。圖靈機器人對中文語義的理解準確率一直在90%以上，為智能化軟硬件產品提供中文語義分析、自然語言對話、深度問答等人工智能技術服務。2014 年11 月，圖靈機器人第一款產品正式發布，到目前為止，它已經為為超過23 萬家企業和開發者提供服務，累計響應請求量超1462 億次。在家用服務機器人、商用服務機器人、兒童陪伴機器人、智能客服系統、智能車載系統以及智能家居控制系統等軟硬件領域占有絕對性優勢［4］。通過圖靈機器人的官方網站，企業及個人開發者可輕松為自己的軟硬件產品接入圖靈機器人，圖靈機器人的API端口調用完全免費，每個人都可以通過官網創建屬于自己的智能機器人產品［5～6］。

其實圖靈機器人并不是一款機器人產品，用CEO俞志晨的話說，他是要做成一套在人工智能領域的操作系統，把技術提供給各個領域的開發者，做免費平臺，以最大程度地降低個人開發者及企業合作方的成本；另一方面，想以開放的方式與個人與企業合作，以推動人工智能技術在生活場景中的應用［7］。

3 虛擬技術

虛擬現實技術（Virtual Reality，VR）［8］是一種可以創建和體驗虛擬世界的計算機仿真系統，它利用計算機生成一種模擬環境，是一種多源信息融合的交互式的三維動態視景和實體行為的系統仿真，使用戶沉浸到該環境中。虛擬現實技術是仿真技術的一個重要方向，是仿真技術與計算機圖形學、人機接口技術、多媒體技術、傳感技術、網絡技術等多種技術的集合，是一門富有挑戰性的交叉技術前沿學科和研究領域。虛擬現實技術（VR）主要包括模擬環境、感知、自然技能和傳感設備等方面。模擬環境是由計算機生成的、實時動態的三維立體逼真圖像。感知是指理想的VR應該具有一切人所具有的感知。除計算機圖形技術所生成的視覺感知外，還有聽覺、觸覺、力覺、運動等感知，甚至還包括嗅覺和味覺等，也稱為多感知。自然技能是指人的頭部轉動，眼睛、手勢、或其他人體行為動作，由計算機來處理與參與者的動作相適應的數據，并對用戶的輸入作出實時響應，并分別反饋到用戶的五官。傳感設備是指三維交互設備［9～10］。

目前語音交流識別產品在人機交互應用中已經占有一定的比例，社會生活中廣泛流傳著移動終端聊天軟硬件——功能完善的語音助手，但大多數語音助手都過于虛擬化，只有聊天框等UI 設計，自主智能尚不完善。我們采取整合虛擬與現實的手法，打造一款虛擬環境下的語音助手，將結合新型VR 技術，將原有的大眾體會不到聊天真切感的處境轉化為身臨其境的沉浸式3D聊天環境。

4 語音識別與語音合成技術

語音合成和語音識別技術是實現人機語音通信，建立一個有聽和講能力的口語系統所必需的兩項關鍵技術。使電腦具有類似于人一樣的說話能力，是當今時代信息產業的重要競爭市場。和語音識別相比，語音合成的技術相對說來要成熟一些，并已開始向產業化方向成功邁進，大規模應用指日可待。

與機器進行語音交流，讓機器明白你說什么，這是人們長期以來夢寐以求的事情。中國物聯網校企聯盟形象地把語音識別比做為“機器的聽覺系統”。語音識別技術就是讓機器通過識別和理解過程把語音信號轉變為相應的文本或命令的高技術。語音識別技術主要包括特征提取技術、模式匹配準則及模型訓練技術三個方面。

語音合成是通過機械的、電子的方法產生人造語音的技術。TTS 技術（又稱文語轉換技術）隸屬于語音合成，它是將計算機自己產生的、或外部輸入的文字信息轉變為可以聽得懂的、流利的漢語口語輸出的技術［11］。

語音合成，又稱文語轉換（Text to Speech）技術，能將任意文字信息實時轉化為標準流暢的語音朗讀出來，相當于給機器裝上了人工嘴巴。它涉及聲學、語言學、數字信號處理、計算機科學等多個學科技術，是中文信息處理領域的一項前沿技術，解決的主要問題就是如何將文字信息轉化為可聽的聲音信息，也即讓機器像人一樣開口說話。我們所說的“讓機器像人一樣開口說話”與傳統的聲音回放設備（系統）有著本質的區別。傳統的聲音回放設備（系統），如磁帶錄音機，是通過預先錄制聲音然后回放來實現“讓機器說話”的。這種方式無論是在內容、存儲、傳輸或者方便性、及時性等方面都存在很大的限制。而通過計算機語音合成則可以在任何時候將任意文本轉換成具有高自然度的語音，從而真正實現讓機器“像人一樣開口說話”。

5 系統設計

5.1 系統總體設計

本聊天機器人是基于科大訊飛語音開放平臺與圖靈機器人API，并結合VR 技術來設計的。希望給用戶提供一個友好的親切的真實的交互聊天氛圍，讓用戶擁有更好的聊天體驗。整體涉及五個模塊，將各自的功能結合起來，形成整個系統的核心技術。項目流程包括五個部分，分別是語音合成、語音識別、圖靈后臺交互、虛擬場景搭建、VR顯示功能。整體的流程圖如圖1所示。

圖1 整體流程圖

5.2 功能模塊設計

5.2.1 語音識別

在語音識別模塊中，程序會自動打開手機的錄音模塊，進行錄音，然后調用科大訊飛SDK 包中的函數將音頻信息發送到科大訊飛后臺進行處理，經過后臺處理，得到回復的內容為文本信息，具體流程圖如圖2所示［12～13］。

圖2 語音識別

語音識別技術的應用包括語音撥號、語音導航、室內設備控制、語音文檔檢索、簡單的聽寫數據錄入等。語音識別技術與其他自然語言處理技術如機器翻譯及語音合成技術相結合，可以構建出更加復雜的應用，例如語音到語音的翻譯。在我們項目中的語言識別技術，就是一個簡單的聽寫數據的錄入，將語音轉換成文字的模式，先將語音轉換成文本文字存儲在后臺，再由后臺進行統一回復。

此部分功能主要通過三步來完成：1）錄音；2）C#覆寫科大訊飛語音識別c++dll；3）語音識別。

其中語音識別部分代碼如下：

wave.Start（）；

wave.Stop（）；

string c1 =“server_url=dev.voicecloud.cn，appid=56eada3a，timeout=10000”；

string c2 =“sub=iat，ssm=1，auf=audio/L16；rate=16000，aue=speex，ent=sms16k，rst=plain”；

string request；

try

｛

SR asr=new SR（c1，c2）；

request = asr.Audio2Txt（AppDomain.Current-Domain.BaseDirectory+“aaa.wav”）；

//識別

｝

catch（Exception）

｛

request=“無法識別”；

｝

5.2.2 語音合成

在語音合成模塊中，程序會自動調用科大訊飛SDK的包函數，將文本信息通過科大訊飛的后臺轉換成語音信息，經過后臺的分析及處理，得到回復的語音信息，從而達到語音合成的目的，具體流程圖如圖3所示。

圖3 語音合成

此部分功能主要通過兩步來完成：1）C#覆寫科大訊飛離線語音合成c++dll；2）語音合成。其中語音合成部分代碼如下：

public void tts（string response） //tts

｛

uint audio_len=0；

SynthStatus synth_status = SynthStatus.

MSP_TTS_FLAG_STILL_HAVE_DATA；

ret = TTSDll.MSPLogin（string.Empty，string.Empty，“appid=56eada3a”）；

string c3 =“ssm=1，ent=sms16k，vcn=xiaoyan，spd=medium，aue=speex-wb；7，vol=x-loud，auf=audio/L16；rate=16000”；

session_ID = TTSDll.QTTSSessionBegin（c3，ref ret）；

ret = TTSDll.QTTSTextPut（Ptr2Str（session_ID），response，（uint）Encoding.Default.GetByteCount（response），string.Empty）；//核心代碼MemoryStream memoryStream = new MemoryStream（）；

memoryStream.Write（new byte［44］，0，44）；

1.1 臨床資料 選擇江西省婦幼保健院2010年至2018年間130例各級卵巢漿液性腫瘤手術標本蠟塊（包含卵巢漿液性囊腺瘤40例、卵巢交界性漿液性囊腺瘤40例及卵巢漿液性腺癌50例），以同期卵巢漿液性囊腺瘤標本作為對照，所選病例手術前期未進行任何放化療，相關臨床病理資料完善，病理診斷均明確，排除其他組織學類型。

while（true）

｛

IntPtr source = TTSDll.QTTSAudioGet（Ptr2Str（session_ID），ref audio_len，ref synth_status，ref ret）；

byte［］array=new byte［（int）audio_len］；

if（audio_len ＞0）

｛

Marshal.Copy（source，array，0，（int）audio_len）；

｝

memoryStream.Write（array，0，array.Length）；Thread.Sleep（1000）；

if （synth_status == SynthStatus.MSP_TTS_FLAG_DATA_END||ret！=0）

break；｝

WAVE_Header wave_Header = getWave_Header（（int）memoryStream.Length-44）；

byte［］array2=this.StructToBytes（wave_Header）；

memoryStream.Position=0L；

memoryStream.Write（array2，0，array2.Length）；

memoryStream.Position=0L；

//SoundPlayer soundPlayer = new SoundPlayer（memoryStream）；

//soundPlayer.Stop（）；

//soundPlayer.Play（）；

//if（filename！=null）

//｛

// FileStream fileStream = new FileStream（filename，FileMode.Create，FileAccess.Write）；

// memoryStream.WriteTo（fileStream）；

// memoryStream.Close（）；

// fileStream.Close（）；

//｝

if（filename！=null）

｛

FileStream fileStream = new FileStream（filename，FileMode.Create，FileAccess.Write）；

memoryStream.WriteTo（fileStream）；

memoryStream.Close（）；

fileStream.Close（）；

｝

SoundPlayer sound=new SoundPlayer（）；

sound.SoundLocation=filename；

sound.Play（）；

if（File.Exists（filename））

｛

File.Delete（filename）；

｝

//退出登錄ret = TTSDll.QTTSSessionEnd（Ptr2Str（session_ID），“”）；

ret=TTSDll.MSPLogout（）；

｝

5.2.3 圖靈后臺交互

本項目中主要依靠的是圖靈后臺來進行數的處理，項目程序先將文字盡心封裝，然后將封裝好的文字包發送到圖靈后臺，圖靈后臺對該封裝包進行相應的解析，并對數據進行一系列的處理，從而得到所對應的文字［14～15］，具體的流程圖如圖4所示。

圖4 圖靈后臺交互

其核心代碼如下：

public string ConnectTuLing（string p_strMessage）

//與圖靈機器人交互的函數，傳string，return string

｛

HttpWebResponse response=null；

string result=null；

String APIKEY =“99dea6dcb60ee0b0144b4eb175976571”；

String_strMessage=p_strMessage；

String INFO = Encoding.UTF8.GetString（Encoding.UTF8.GetBytes（_strMessage））； //把信息通過UTF-8編碼

String getURL =“http：//www.tuling123.com/openapi/api？key=”+APIKEY+“&info=”+INFO；

HttpWebRequest MyRequest = （HttpWebRequest）HttpWebRequest.Create（getURL）；

HttpWebResponse MyResponse =（HttpWebResponse）MyRequest.GetResponse（）；

response=MyResponse；

using（Stream MyStream = MyResponse.GetResponseStream（））

｛

long ProgMaximum = MyResponse.Content-Length；

long totalDownloadedByte=0；

byte［］by=new byte［1024］；

int osize=MyStream.Read（by，0，by.Length）；

Encoding encoding=Encoding.UTF8；

while（osize ＞0）

｛

totalDownloadedByte = osize + totalDownloadedByte；

result+=encoding.GetString（by，0，osize）；

long ProgValue=totalDownloadedByte；

osize=MyStream.Read（by，0，by.Length）；

｝

｝

//解析json

try

｛

JsonReader reader = new JsonTextReader（new StringReader（result））；

for（int i=0；i ＜=4；i++）

｛

reader.Read（）；

｝

result=reader.Value.ToString（）；

｝

catch（Exception）

｛

throw；

｝

return result；

｝

5.2.4 虛擬場景搭建

虛擬場景搭建，主要是為了讓用戶有一種3D式的沉浸感，讓人們在聊天的時候有一種真實感和親切感，虛擬建模首先是通過Maya 將人物和場景搭建出來，在將搭建的這些人物和場景導入到unity 中，在由unity 進行具體的處理，編寫成具體的unity c#的腳本，具體的流程如圖5所示。

圖5 虛擬場景搭建

5.2.5 VR顯示

VR 顯示功能是通過暴風魔鏡來實現的，暴風魔鏡能夠將搭建的場景完美的展現出來，貼切地將3D 沉浸式這種感覺帶入到聊天中來，增加了用戶在聊天中的親切感以及幽默感，具體的流程圖如圖6所示。

圖6 VR 顯示功能

6 結語

我們目的在于打造一款虛擬環境下的智能聊天機器人，實現人與機器人的智能交互，在設計的時候兼容了文本和語音兩種形式的聊天。系統后臺采用了圖靈機器人平臺，結合科大訊飛的語音處理和合成技術，采用虛擬技術，搭建了一個虛擬的場景，通過暴風魔鏡將搭建的場景完美的展現出來，貼切地將3D沉侵式感覺帶入到聊天中來，增加了用戶在聊天中的親切感和參與感。下一步我們將會針對不通的用戶和聊天場景，去創建各種不同的專用知識庫，使智能聊天機器人越來越多融入我們的生活。