AI語音關鍵技術與業務實踐研究

0 前言

當前，在云計算、大數據、AI 技術的賦能下，原有以電話為主要手段進行客戶聯絡與營銷的傳統呼叫中心，正在向云化、數據化、智能化為特征的全渠道多媒體客戶服務中心及營銷中心轉變。尤其是以AI 語音技術為特色的“云+網+呼叫中心”的智能呼叫中心產品，解決了行業內部現存各類問題，提升客戶服務效率，優化客戶體驗。而以AI質檢為代表的運營管理工具，在輔助客服人員服務過程的同時，對坐席通話行為與內容進行分析抽查，進而營造出良性發展、更有秩序、更加規范的語音業務生態。綜上所述，AI 語音技術破除了政企語音市場規模化發展所遇到的障礙。

1 AI語音關鍵技術

2017年9月6日，微軟小冰給人類打出第1個全雙工電話，2018 年5 月10 日，Google 在I/O 大會首次做了AI 電話Duplex。此后AI 語音技術在商業價值的驅動下開始了飛速發展。一個完整的利用電話進行人機對話的流程如圖1 所示，通過語音識別（ASR）、語音合成（TTS）、自然語言處理（NLP）、聲紋識別（VPR）、文本分析（TA）等技術手段，依托語音信號處理、深度學習、模式識別、數據挖掘等算法，實現人機溝通、信息傳遞、意圖表達、情感交流等行為。

圖1 基于電話的人機對話流程

1.1 ASR技術演進

語音識別即機器理解和識別人類語音信號并轉成文本的技術，基本流程有3 個環節：語音預處理數字化、特征提取、訓練/識別，通用的語音識別算法是通過模式匹配與統計模型相結合的方式來實現，先對已有的音素數據構建參考模板；再構建參考模板和未知數據提取的模板之間測度函數，最終用最佳準則來識別決策。

第1 代的通用算法是HMM-GMM 混合高斯隱形馬爾科夫模型，該算法可以將聲學和句法集成在單一框架中，并使得連續語音識別成為可能，在業內最早實現商用化，并持續商用了近30年。隨著深度學習理論下深度神經網絡（DNN）的成熟，受限玻爾茲曼機（RBM）所堆疊出的深度置信網絡（DBN）替代了混合高斯模型（GMM），基于DNN-HMM 模型成為第2 代語音識別的主流算法，顯著降低了誤識別率，并激發了基于深度神經網絡的語音識別研究熱潮。新的深度神經網絡層出不窮，循環神經網絡（RNN）與傳統的深度神經網絡相比，網絡結構更有優勢更能成功地應用到語音識別任務中，而長短時記憶網絡（LSTM）作為RNN 的一種典型網絡，將識別準確率較之前提高了6%～8%，成為第3代語音識別技術主體。近2年來，研究者們發現RNN 的另一種典型網絡連接時序分類器（CTC）網絡不必再針對每一幀對語音進行對齊的預處理操作，省去了耗時的反復多次迭代，徹底擺脫HMM 的框架，預測時的速度更快，識別速度更快，且更換識別語言體系時可以利用相同的框架結構訓練，實現了端到端的語音輸入到文字識別。該算法模型為語音識別第四代算法模型，稱為E2E 模型。目前該技術識別率處于國內領先地位，16K 語音識別率超97%，8K 語音識別率超85%；識別速度實時率可以達到0.2～0.3；且支持英語等外語種、維藏蒙彝朝等少數民族語、粵語四川話閩南話等方言的識別。

1.2 TTS技術

語音合成即將文本轉成語音的過程，基本流程有4 個環節：語義表示、語言編碼、發聲編碼、語音產生，實現了從意向到概念到聲碼器控制信號再到語音波形的轉化。

早期的語音合成是用最基本的語音單元，如音素、雙音素、半音節、音節作為合成單元，建立語音庫，通過合成單元拼接而達到無限詞匯的合成，并通過聲碼器（如串并聯混合型共振峰合成器）來模擬發音過程中的聲道共振（串聯通道產生元音和濁輔音，并聯通道產生清輔音）。從20 世紀90 年代末，主流技術開始使用存放大量真人語音樣本的語音庫，通過選擇合適的拼接語音片段來實現高質量的合成語音。2000 年以來語音合成是基于統計建模和機器學習的方法，通過建模加訓練快速構建合成系統，構成了第1 代語音合成算法的基石，即HMM 參數合成方法。和語音識別技術類似，深度神經網絡的統計聲學建模方法也迅速成為語音合成的技術核心，第2 代基于DNN 的方法由于對高維聲學特征中各個維度相關性和輸入輸出復雜映射關系能夠更為精細化的建模，大大改進了合成語音的音質。而最新的第3 代基于端到端的模型預測，將神經網絡的訓練和聲碼器的訓練過程合二為一，不再需要人工錄音、標注，通過機器自主訓練具備與真人高相似度的音色，發音連接順暢，更貼近自然人發音。第三代的語音合成技術可基于應用場景的不同，調整合成的語速、音色、音量等特征，匹配各場景需求，同時在語音素材庫中，擁有男聲、女聲、童聲等多種音色，每種音色均有不同發音人，無需重新進行訓練，使用同一個模型即可全面滿足各種應用場景多樣需求。

1.3 NLP技術

自然語言處理是指在人機交互中機器理解自然語言，并做出響應的技術，解決人工智能完備性上的認知智能問題，具體技術手段仍為馬爾可夫統計學建模與機器學習、深度學習相結合的方法。自然語言處理在分析對象上分為詞匯級、句子級和段落篇章級，包含的功能要點有語法分析、語義表示、語義關系、語句生成以及單文本/多文本分析；在分析內容上分為詞法分析、語法分析、語義分析、語用分析等。近10 年來，自然語言處理都是基于神經網絡來實現的。第1代自然語言處理利用淺層神經網絡，基于詞向量技術，將用戶輸入問題進行分詞，利用關鍵詞的詞頻及詞權重進行關鍵詞賦值，實現了詞匯級的理解；第2代自然語言處理基于深度學習和強化學習技術，從詞向量擴展到句向量，進而支持基于上下文的語義理解和多輪對話，目前是AI 機器人主流應用技術；第3 代自然語言處理基于更先進的ELMo 算法，支持篇章級的語義抽取，對上下文的語義理解和多輪對話有了更進一步的提升。隨著網絡深度的不斷增加和機器學習自主化的深入，自然語言處理系統一方面能夠應用歷史積累的數據，只需少量人工給出頭部結論，便可自主學習進行知識歸類及認知；另一方面能夠應用歷史積累處理失敗數據，無需人工參與，自主進行無監督聚類，挖掘出新的知識點，并對舊的知識點進行優化。

通過ASR、TTS、NLP的技術演進來看，技術的更新迭代周期是指數型的而非線性的，且最終都是通過AI領域最為核心的深度學習理論來實現。

2 AI語音產品

整合前文所述業界領先的語音識別、語音合成與自然語言理解算法，結合運營商的語音能力開放，再運用數據挖掘、知識圖譜、數據可視化等相關輔助技術，可打造一系列新型的AI語音產品，提供智能化語音服務與人工坐席的智能化支撐服務，實現高效率、低成本的營銷、客服、質檢工作。作為運營商傳統語音業務的增值功能，可突破呼叫中心人工坐席各類瓶頸，提升企業的溝通效率，擴大企業的銷售成果、品牌影響及市場地位。

2.1 架構設計

AI語音產品的系統軟件架構如圖2所示。

圖2 AI語音產品系統架構圖

從軟件架構來看，業務管理層面向不同應用場景，對其業務進行統一運營管理，滿足客戶預測式外呼、人機切換、純AI機器人3類需求場景；業務服務層整合引擎基礎能力，執行具體業務邏輯處理，滿足客戶整體AI語音能力調用需求場景；能力引擎層提供AI語音的原子能力，當前ASR 準確率對于電話信道可達85%，ASR+話術訓練后的NLP整體交互準確率可達92%，滿足客戶語音識別高準確性需求場景；基礎服務層對計算資源、存儲資源、線路資源進行管理、監控與災備，滿足客戶電信級保障的高可用需求場景。

從產品功能來看，AI語音產品可以分為AI坐席產品與AI質檢產品。AI坐席產品提供智能電話營銷、智能問卷調查、信息通知、活動推薦、客服接待等服務。AI 質檢產品基礎功能包括語音轉寫、話者分離、關鍵詞檢出；核心功能包括話術規范分析、靜默分析、語速語調分析、意圖識別分析、禁語檢測、全文檢索、自動定位問題錄音、人工復檢、錄音回溯；管理功能包括結果報表生成、配置管理、詞庫管理、規則管理、監控管理、計劃管理以及系統內的權限管理、資源監控和日志管理。下面分別介紹2個產品的功能特色。

2.2 功能特色

2.2.1 AI坐席特色

AI 坐席產品的外呼功能主要定位于營銷或回訪的應用場景，有3 個優勢特色：一是賦能電話呼叫業務，實現高效率低成本轉化，完成客戶精準篩選；二是支持預測式外呼（多并發），外呼事半功倍效率更高；三是通過客戶無感知的人機切換，能夠在發現重要商機的第一時間人工跟進。

AI 坐席產品的呼入功能主要定位于投訴接待、業務咨詢等呼入場景，有3個優勢特色：一是幫助客戶自助解決問題，讓客戶享受菜單導航式的咨詢體驗，二是通過情感分析來提升人工客服質量，通過分析負面情緒對應的消息內容，精準定位服務存在的問題，預先或有效及時解決訴求共性問題、突發性事件或苗頭性問題；三是結合大數據的輿情智能分析，可以統計出用戶的熱點問題，準確掌握用戶需求，及時了解社會熱點及用戶的狀況，尤其在政府機關、事業單位對熱門事件分析、地區輿情分析、市民咨詢與投訴熱點分析的場景中，優勢最為明顯。

在外呼場景下，與人工坐席相比AI 坐席可提升3倍的客戶意向篩選效率，平均節省50%以上人力成本。同時AI 坐席產品的呼入功能可大幅提升客服工作效率與客戶滿意度，并為客戶節省45%以上的人力成本，如表1所示。

表1 AI坐席與人工坐席對比

2.2.2 AI質檢特色

AI質檢主要定位于企業自用和運營商監管場景。

針對企業自用場景，AI 質檢即可完成通話內容的質檢以及語音特征的質檢，其中通話內容的質檢是根據質檢規則加工和NLU 算法識別結果進行比較，對通話內容中的話術、關鍵詞、意向進行分析與檢測，并從大量語音中提取語調、語速、能量等多種特征，經過多重神經網絡訓練，能夠判斷對話者的情緒，并做出簡單的推理。進而檢驗人工坐席的客服人員話術是否規范統一，是否存在濫用；同時甄別客戶情緒，當識別到客戶投訴意圖時，可進行后續的補償措施。

針對運營商監管場景，AI 質檢用于對雙方通話的行為、話術等進行統一抽查分析，查驗是否有違規業務的開展。這一過程需要人機協作來進行質檢，即根據不同角色的工作職責，自動質檢后臺系統為業務人員提供相對應的人機協作質檢功能。

由于AI質檢+人工復檢覆蓋率與效率遠超過人工抽檢質檢，解決普通質檢覆蓋面小、對精準服務能力提高支撐不足的問題，規避了坐席主觀記錄導致的工單的真實性和完善性存疑問題，快速提升精準服務能力，降低人工話務壓力。結合后端對垂直行業的深度數據挖掘分析，更能充分利用呼入電話中蘊藏的海量用戶行為數據，為企業業務經營提供強大的支撐手段，對垂直行業領域的銷售/服務模式產生深遠影響。

2.3 典型場景

2.3.1 預測式外呼

預測式外呼即呼叫中心系統通過自動撥號功能，對當前空號、忙線與其他無效通話狀態進行過濾，接通后再轉給坐席，減少用戶等待或坐席等待的情況發生。而結合AI外呼的預測式外呼，將通話接通后轉給AI 坐席，通過AI 的初步意向篩選再轉接給人工。過濾+初篩可以大幅減少人工坐席的工作量，提升人力資源的投入產出比，讓人工坐席解答更為專業的問題。同時根據呼叫接通率和意向初篩比例情況，可以動態調整AI坐席數量和人工坐席數量，合理配比優化資源。如圖3 舉例，如每天外呼并發量是X，且接通率僅50%，那么AI坐席數量可設置為50%X，如果意向篩選大概50%才有意向，那么人工坐席數量可設置為25%X，圖4為一個信用卡營銷的實際案例數據。

2.3.2 AI外呼智能回訪

圖3 預測式外呼示意圖

圖4 智能回訪示意圖

智能回訪信息采集是AI 外呼另外一個重要應用場景，設定回訪話術并將回訪人員名單導入系統后，系統按照需要調查的問題批量發起對被調查者的通話，并通過擬人對話、對被調查者的語音識別、采集被調者的按鍵反饋來實現回訪的數據收集。

該應用場景為2020 年的疫情防控提供了較大的幫助，社區通過AI 智能回訪與轄區人員電話溝通，并自動生成調查結果，當識別到高危人士或調查發現高危情況，系統立刻實時在線將電話自動轉接人工，保證高危信息第一時間獲得處理和跟進。所有通話中產生的調查結果自動形成標簽分類統計，迅速形成報表，以便上報上級單位。

2.3.3 AI客服政務大廳

AI 客服所賦能的智慧政務是AI 語音技術的一個重要應用場景。為了全面提升政務服務規范化、便利化水平，為群眾提供高效、便捷的政務服務，國家指導各政務部門通過“12345”等政務服務熱線集中接受社會公眾的咨詢、求助、意見、建議和投訴，進而整合現有政民互動渠道，提供政策法規、辦事程序、生活指南及查詢有關部門職能范圍等咨詢服務。與此同時，國家標準委制定了量化標準，即每周7 天，每天24 h 工作制，電話受理時應在15 s之內接聽，連續24 h內呼叫接通率應大于等于95%。

AI 客服恰恰契合智慧政務的一系列要求，依托電話、微信、app、網絡在線等眾多服務渠道，通過智能語音、文字、圖片、視頻等多種方式與公眾進行遠程多媒體交互，并且對外提供智能服務接待、業務導辦與辦理、智能外呼調研等服務，支撐政府“不見面”服務的順利開展；對內基于大數據和AI等技術，提供輿情分析、決策輔助等服務，利用智能化手段助力政務服務的高效開展，提高政府服務力、公信力，提升群眾滿意度。

2.3.4 AI質檢通信監管

通話監管是AI質檢產品一個較新的應用場景，與面向客服水平提升的質檢場景不同，此場景下的目標是檢驗通話過程是否存在違規的紅線業務，如互聯網金融推銷、詐騙等情況，以及號碼在使用過程中是否存在不符合登記用途的通話行為，并不關心業務邏輯和話術的匹配性以及語調語速的規范性。

該場景的難點在于大多通話無標準話術，故在質檢流程上引入了2 個環節，分類器初步分類與關鍵詞比對。分類器初步分類是指采用深度學習的方式，使用標記好分類的大規模數據集對分類器進行訓練，將分類器訓練成為能夠理解篇章級對話并能通過對話識別其所屬行業的分類器，再將此分類器對實際錄音進行推斷。推斷分類后的錄音擁有了分類的標簽，再根據分類標簽對應的關鍵詞庫進行關鍵詞比對，對錄音進行最終的違規性判別確認。AI 質檢和傳統質檢的全量文本比對相比，引入了分類環節，省去了關鍵詞庫每個詞匯要全文搜索的計算步驟，計算效率更高，誤報率與漏檢率更低，更適合于大話務量的語音平臺質檢。

3 AI語音產品與云呼叫中心對接方案

在技術浪潮推動下，面向呼叫中心、客服中心的智能化升級是大勢所趨，但AI語音產品如何更好地內嵌到已有的呼叫中心系統中，AI 語音技術如何更好地賦能呼叫中心業務場景是當下智能化升級面臨的主要問題。

一個數字化、云化的呼叫中心系統結構通常分為接入管理、通信管理、基礎內核、運營監控管理、開放能力5部分，AI語音產品與呼叫中心系統在基礎內核、運營監控管理、開放能力3 個部分具有耦合關系（見圖5）。

3.1 AI坐席與呼叫中心產品對接

早期的AI 語音技術是通過媒體資源控制協議（MRCP）以語音識別（ASR）和語音合成（TTS）這種AI語音原子能力的方式，面向語音通信產品提供服務。該協議依賴會話發起協議（SIP）來協調和管理MRCP客戶端和服務端之間的會話，依賴會話描述協議（SDP）來描述、發現和進行媒體交互，并依賴SIP 和SDP來與媒體服務端之間建立媒體會話交互。當媒體通道建立后，客戶端可以通過SIP 會話控制語音資源服務端上的媒體處理資源。該協議最后一個版本定稿于2012 年，它的缺點在于未考慮到NLP 能力，也未考慮人機對話中常見的打斷、靜音等擬人化場景，故呼叫中心平臺要支持靜音檢測、打斷識別、語義分析、情緒識別等功能，并要維系多輪對話、處理話術邏輯、把握人機切換時機，對呼叫中心要求過高，AI 整體擬人化效果很低，并非主流方案。

當前AI 坐席是作為整體能力提供服務的，即ASR、NLP、TTS 集成在一起，其優勢在于支持靜默提醒、打斷功能，擬人化程度非常高；可根據需求編輯跳轉人工坐席的話術節點，減少了對呼叫中心平臺的適配要求；話術可基于深度學習技術針對不同行業背景進行訓練與調優，話術制作可以通過錄音師錄音替代TTS 合成，進一步提升了通話過程中的客戶體驗。整體能力調用有2 種具體實現方案，每種方案皆支持機器人意向篩選（AI 預測式外呼）、在線轉人工坐席（人機耦合）、坐席輔助（監聽對話主動介入）的應用場景。

圖5 AI語音產品與呼叫中心產品耦合關系圖

3.1.1 AI坐席API對接

該對接方案是指呼叫中心使用AI 語音產品提供的Restful API對其能力進行整體調用，步驟如下：

a）呼叫中心平臺獲取APP_KEY 和APP_SE?CRET，配置信息回調地址，用于調用API 并接收AI 回傳的數據。

b）呼叫中心平臺調用創建任務接口，選擇話術、設置AI 坐席數量，并將AI 坐席設置成呼入坐席狀態；呼叫中心平臺調用客戶導入接口，將CRM 中的客戶名稱和電話號碼批量導入到任務中。

c）呼叫中心平臺通過雙向回撥的方式（雙呼）發起呼叫，其中AI 語音平臺需要將AI 坐席的狀態（如未呼通、對方忙線、對方掛斷）實時通知呼叫中心平臺。

d）當需要AI 坐席與人工坐席切換時，AI 語音平臺話術節點自動調用接口告知呼叫中心平臺，呼叫中心平臺將話務從AI 坐席和被叫的通話切換至人工坐席和被叫的通話。

3.1.2 AI坐席SIP Trunk方式對接

該對接方案是指呼叫中心向AI語音產品提供SIP中繼功能，由AI語音平臺借助呼叫中心的話務通道發起呼叫，步驟如下：

a）呼叫中心提供人工坐席隊列呼入地址（SIP URI）供AI坐席轉接呼叫。

b）在AI 話術中配置轉人工節點和轉接地址（SIP URI）。

c）AI 語音平臺以SIP Trunk 形式與呼叫中心建立互聯互通，根據任務發起呼叫。

d）AI坐席與客戶通話過程中觸發了轉人工節點，AI語音平臺通過SIP 協議將呼叫送到呼叫中心人工坐席隊列，同時將AI 與客戶的通話數據傳入呼叫中心，由人工坐席與客戶繼續通話。

3.1.3 不同對接方式對比分析

方式1 的主要調用方是呼叫中心平臺，優勢在于整個呼叫流程由呼叫中心平臺進行把控，呼叫頻次與業務處理并發能力配置比較靈活；劣勢在于呼叫中心平臺需要做一些適配開發，且占用了2 個大網號碼與語音通道。

基于多參數規劃的有源配電網分布式光伏容量評估方法//王宣定,吳文傳,劉鐳,劉海濤,潘東//(24):20

方式2 的主要調用方是AI 語音平臺，其優勢在于僅使用一個號碼與語音通道；劣勢在于并不是所有呼叫中心都支持SIP Trunk 方式對接，或呼叫中心的業務邏輯處理層無法感知通信層的請求，人工切換的業務回調無法實現。

3.2 AI質檢與呼叫中心產品對接

AI 質檢產品根據實時性的需求可分為離線質檢與實時質檢，離線質檢的系統對接方式較為簡單，通過http或ftp的方式在呼叫中心平臺拉取或由呼叫中心平臺推送錄音文件與隨路數據即可，下文主要介紹實時質檢系統對接方案。

3.2.1 AI質檢協議方式對接

該方案使用MRCP 協議，將ASR 原子能力提供給呼叫中心平臺，但涉及到主被叫信息以及隨路數據的傳輸，需要對協議進行修改，步驟如下：

a）呼叫中心平臺呼出或呼入時，通過MRCP 協議調用AI語音平臺的AI實時轉寫能力。

b）呼叫中心平臺將通話媒體數據與信令中的主被叫信息傳給AI語音平臺的質檢系統進行實時分析。

c）將質檢后信息以文本方式發至人工坐席所在PC，實現坐席彈屏的話務輔助。

d）當質檢過程中識別到敏感詞時，AI語音平臺通知呼叫中心平臺進行話路強制拆除。

該方案通過交換機鏡像口獲取呼叫中心平臺的所有數據，并通過協議分析的方式提取主被叫信息與媒體流，進行解碼、轉寫與質檢，步驟如下：

a）AI 語音平臺的抓包服務器與呼叫中心平臺接到同一個交換機上，其中交換機需做鏡像口配置。

b）AI 語音平臺質檢系統通過抓包服務器將抓取通話媒體數據與信令中的主被叫信息，傳給AI語音平臺的質檢系統進行實時分析。

c）將質檢后信息以文本方式發至人工坐席所在PC，實現坐席彈屏的話務輔助。

d）當質檢過程中識別到敏感詞時，AI語音平臺通知坐席，告警提示人工坐席手動拆除話路。

3.2.3 不同對接方式對比分析

方式1 主要通過協議方式實現系統對接，其優勢在于通話數據在呼叫中心平臺進行了復制，一路傳送至坐席，一路傳送至質檢系統進行分析，實時性較好，且可以通過告知呼叫中心平臺來進行話路強拆；其劣勢在于協議標準沒有坐席、技能組等業務側的關鍵字段，呼叫中心平臺對于非標準字段需要做適配開發。

方式2 主要通過抓包方式實現系統對接，其優勢在于呼叫中心平臺無需做任何更改；劣勢在于需要網絡設備的配合，對抓包服務器的網絡吞吐性能要求較高；抓包與協議解析增加了處理時延；無法對話路進行強拆僅能以文本形式告警給坐席端。

4 思考與展望

以AI坐席產品與AI質檢產品為代表的AI語音產品實現了主流AI技術的快速產品化落地，短短幾年內產品成熟度不斷提高，并幾乎在各個垂直行業都創造出極具價值的商業案例，突破了語音業務傳統技術帶來的瓶頸，產生了巨大的經濟利益與社會效益。

然而，AI 產品對人工的完全替代還是遙不可及的，在呼叫中心或客服中心，AI 坐席作為人工坐席入口的第一防線，這種輔助性地位仍將長期保持不變。隨著AI語音技術的進一步演進，AI語音產品的技術指標也會不斷提升，但如自然語言理解、機器學習中的自學習技術需有顛覆性的突破，AI 的理解力、回答力、執行力才會有質的飛躍。

在可預期的未來，AI 語音能力將會與AI 視頻能力、文本信息的數據挖掘能力進行進一步整合，輸出一個感知智能與認知智能相結合的完整AI能力，并支持渠道融合、數據融合的各類擴展，在對復雜語義、復雜情感的判斷上，對工單流轉、業務流程的理解上，對垂直行業細分領域的積累上，都會明顯優于人工。屆時，圍繞AI語音技術的智能交互結合各類渠道，將觸及行業、企業、個人所有溝通關系，智能交互產品將以獨立自主營銷拓客、獨立自主解決用戶問題為根本導向，進行主動聯絡、意圖判斷乃至管理決策，營造出嶄新的政企智能服務生態。