語音助手能力評估研究及趨勢分析

1 語音助手應用現狀

手機語音助手是集成語音識別、語義理解、語音合成等智能語音語義技術的手機應用。以語音作為輸入，完成用戶相關請求，解放用戶雙手，實現更加便捷、優質的交互體驗。

近年來語音交互技術的迅速發展，使其成為人工智能技術重點的落地方向，繼2011年蘋果推出Siri后，各大移動智能手機廠商紛紛在產品中導入語音助手，例如三星Bixby、小米小愛同學、華為小E、vivo Jovi等，并進一步推動語音交互技術在移動互聯網中的應用。語音助手漸漸融入消費者生活中，逐步改變人機交互方式。

根據中國電信終端研究測試中心調研，如圖1所示，用戶對語音助手的認知率達95.6%，使用比例為58.6%，超過一半的智能手機用戶將語音助手作為其交互方式之一。

圖1 主流AI功能認知率與使用情況

2 技術框架與流程

2.1 邏輯框架

用戶首先通過喚醒設備進入激活狀態，然后通過語音進行人機對話交流；手機進行語音識別后，進行一系列的處理獲得相應的結果和服務，并給予用戶反饋，其中語音助手VUI的反饋是通過語音合成實現。用戶在不斷的交互中獲得反饋，同時語音助手在不斷的交互中更新自己的知識使得系統更加智能。語音助手邏輯框架如圖2所示。

圖2 語音助手邏輯框架

2.2 技術流程

對話式交互技術包括語音識別/合成、語義理解和對話管理3個部分。語音識別ASR（Automatic Speech Recognition），通過聲學模型和語言模型，將用戶的語音轉化文本。語義理解NLU（Natural Language Understand）將漢字序列切分成詞序列、詞性標注、命名實體識別、文本分類、情感分析。對話管理DM（Dialog Management），是對話式交互系統的核心，負責控制整個對話過程，主要包括對話上下文、對話狀態跟蹤和對話策略幾部分。對話生成NLG（Natural Language Generation），即對話生成的技術。對于任務導向的對話來說，NLG 基本以模板形式來實現，對話生成的原則是符合自然語言交互的習慣，易于用戶理解，最快完成對話。語音合成 TTS（Text To Speech）是指語音合成技術。對話系統的輸出是文本形式的NLG或者指令，當對話返回的內容是NLG時，通過TTS技術能將這些文本轉換成流暢的語音，播放給用戶。語音助手整理技術流程如圖3所示。

圖3 語音助手技術流程

3 語音助手測試內容與方案

為準確地評估當前商用智能手機的語音助手的能力與功能豐富性，針對語音助手關鍵能力與功能設定量與定性相結合的測試方案。

3.1 測試內容

3.1.1 語音喚醒

測試指標包括喚醒率、誤闖率。語音喚醒是語音交互的第一步，這兩項指標直接關系到到用戶的實際體驗。

喚醒率指語音助手被本人（錄入喚醒詞用戶）成功喚醒的比率，主要通過多人多輪次喚醒，統計喚醒成功次數。

假設智能終端在喚醒時會出現兩種狀態，概率圖模型如圖4所示。

（1）總共有P次類別為1的樣本，假設類別1為成功喚醒。

（2）總共有N次類別為0的樣本，假設類別0為喚醒失敗。

誤闖率指語音助手被他人成功喚醒的比率，用于評價帶聲紋語音喚醒的聲紋區分度的指標。

圖4 概率圖模型

3.1.2 語音助手能力測試

包括基礎類功能測試、進階類功能測試兩類。

基礎類功能測試指語音助手支持功能的豐富性，涵蓋端側能力、系統設置、原生應用、影像、商務金融、工具助手、便捷生活、兒童和家庭。

如：端側能力測試主要包括在離線狀態下，通過語音助手實現“打電話”、“發短信”、“設置鬧鐘”等高頻簡易操作。

進階類功能測試指語音助手功能所實現深度，此類測試能多方位的體現各語音助手的差異。內容包括三方應用操作、智能水平、多輪對話。

例如“廣州天氣怎么樣”、“明天呢”、“那上海呢”；還包括中、英、數字混合類識別，如“美國10年期TIPS收益率創下歷史最低紀錄-0.87%”等。

3.2 測試方案

廠商均優先從高端產品導入語音助手新功能功能，本次測試主要選取主流廠商中高端產品。包括蘋果、華為、三星、小米、OPPO、vivo等品牌的12款機型，具體機型如表1所示。

表1 測試機型列表

測評方案結合定量、定性指標，定量指標包括在不同背景噪音環境下的語音助手喚醒指標。涵蓋安靜場景（不高于45 dB）、低噪場景（50～60 dB）、中噪（60～65 dB），測試距離包括短距（30 cm）、中距（80 cm）。測試不同環境交叉組合下的喚醒成功率與誤闖率，單場景測試次數共200次，通過人工嘴播放10人語音喚醒數據，每人20次。具體測試場景如表2所示。

表2 語音喚醒指標測試場景

定性評估參考google action 18個一級分類，主要測試語音助手的功能支持與語義理解。在語音助手處于激活狀態，通過人工測試定性測試用例，內容包括語音助手是否支持離線操作、調用原生應用、打開第三方APP、中/英/數字混合類識別、生活娛樂類服務。主要目的測試語音助手是否能正確的識別用戶意圖，測試用例如表3所示。

表3 語音助手能力測試部分用例

4 語音助手評測結果

華為、vivo、三星機型語音助手功能支持相對全面。3500元以上價格段，喚醒成功率TOP3機型是華為 P30 Pro、OPPO Reno、三星note10，三星note10 近場喚醒表現穩定，OPPO Reno遠場喚醒成功率表現優異。語音助手喚醒成功率在遠場、低信噪比條件下的語音識別性能亟需改進。iPhone XR與中興天機10在遠場（80 cm）喚醒成功率下降最為明顯，安靜環境下分別下降31.5pp與29.5 pp；低噪環境下，分別下降45.5 pp與43.5 pp。

誤闖率TOP3機型是三星note 10、OPPO Reno、華為P30 pro；在語音喚醒算法層面喚醒率與誤闖率強相關，若一款終端喚醒率越高，則其越容易被誤喚醒，廠商的方案是通過平衡喚醒率與誤闖率來實現用戶的體驗最佳。

語音助手能力測試以定性為主，廠商差異相對較小，在完成基礎的垂類功能覆蓋，根據產品特色進行特定范圍功能與能力拓展。基礎功能方面，華為P30 pro、榮耀20 pro在各自價格段表現更優；進階功能方面，3 500元以上價格段，三星note 10在表現優異，3 500元以下，小米9優于其他競品。

5 語音助手發展趨勢

隨著主流廠商手機產品的普遍支持，語音助手的宣傳噱頭、炫技期結束，手機語音助手開始進入實打實打磨細節的階段。

（1）語音識別將持續優化。語音識別作為語音助手的底層技術核心，整個過程包含語音信號處理、靜音切除、聲學特征提取、模式匹配等多個環節。由于語音信號的多樣性和復雜性，系統只能在一定限制條件下才能獲得滿意效果，而在真實使用場景中，受遠場、方言、噪音、斷句等問題，準確率下降。當前廠商亟需在語音增強、麥克風陣列以及多說話人分離等多項技術上持續投入，并結合后端語義，促進對上下文的理解，從而提升識別效果， 優化語音識別魯棒性問題。

（2）從聽得懂向做得到進階，做到真正幫用戶解放雙手。手機語音助手越來越需要具備復雜任務處理能力，從而滿足用戶實用性需求。由于很多高頻用戶需求功能是微信、淘寶、百度導航等“APP”應用形式實現的，所以手機廠商需要聯合應用提供商，包括常用的溝通、視頻、導航、音樂、出行、購物等應用主導廠商，共同打造語音服務生態，通過語音助手操作應用內深層功能。

（3）從“被動服務”向“主動服務”轉變。

當前的語音助手以應答性為主，主要根據用戶的指令反饋相關信息或者提供服務，與AI情節感知結合，如何前瞻性地主動幫用戶解決問題是其發展的重要方向。例如當你遲到了，語音助手重新預約了一次午餐會議；督促你更多地進行運動鍛煉，或者節省開支。

為每一個手機用戶的語音助手配備有專屬的AI算法和AI資源，通過精準理解用戶個體的需求，實現變共性滿足到個性滿足，使得手機語音助手真正成為更貼心、更個性、更快捷方便的私人助手，或是手機語音助手在較長一段時期的發展趨勢。