百度語音識(shí)別獲重大突破：更快、更準(zhǔn)、更平價(jià)

龐貝

在2015年10月舉行的中國人機(jī)語音交互領(lǐng)域最權(quán)威的全國人機(jī)語音通訊學(xué)術(shù)會(huì)議上，百度語音技術(shù)部負(fù)責(zé)人賈磊介紹了百度在漢語語音識(shí)別方面取得的重大理論和產(chǎn)品突破：研發(fā)出了基于多層單向LSTM的漢語聲韻母整體建模技術(shù)，并成功把連接時(shí)序分類（CTC）訓(xùn)練技術(shù)嵌入到傳統(tǒng)的語音識(shí)別建模框架中，再結(jié)合語音識(shí)別領(lǐng)域的決策樹聚類、跨詞解碼和區(qū)分度訓(xùn)練等技術(shù)，使機(jī)器的語音識(shí)別相對(duì)錯(cuò)誤率比現(xiàn)有傳統(tǒng)技術(shù)降低15%以上，漢語安靜環(huán)境普通話語音識(shí)別的準(zhǔn)確率接近97%，進(jìn)一步接近人的識(shí)別能力。

這是繼2011年，引入深度學(xué)習(xí)技術(shù)后，語音技術(shù)領(lǐng)域又一次具有標(biāo)志性意義的重要進(jìn)展。

超強(qiáng)計(jì)算能力支撐的極致創(chuàng)新

人工智能是當(dāng)下的熱門概念，語音識(shí)別也被叫得火熱。但仍然有很多難題橫在了語音技術(shù)大規(guī)模產(chǎn)業(yè)化的面前。賈磊說：“語音識(shí)別技術(shù)的成本消耗非常高。如果語音搜索服務(wù)要想大規(guī)模普及，必須降低后臺(tái)服務(wù)器成本。否則，如果未來50%的搜索用戶都使用語音的話，所消耗的后臺(tái)服務(wù)器數(shù)目是驚人的。”

“百度此次研究的CTC模型在解碼部分的速度比傳統(tǒng)模型快5到10倍。配合專業(yè)的深度學(xué)習(xí)計(jì)算硬件，當(dāng)未來語音服務(wù)大規(guī)模普及時(shí)，可以讓后臺(tái)計(jì)算成本大大降低。”

除了成本之外，計(jì)算能力也是一個(gè)瓶頸。

賈磊告訴我們，這次百度做出的重大技術(shù)創(chuàng)新，更大程度上是百度對(duì)計(jì)算能力極限挖掘的一次嘗試。

在人工智能領(lǐng)域，LSTM（長短時(shí)記憶模型）與CTC（連接時(shí)序分類）技術(shù)都已經(jīng)存在很長時(shí)間，但是由于其容易收斂到局部點(diǎn)等特點(diǎn)，以及這兩大技術(shù)結(jié)合后計(jì)算量巨大等原因，10多年來，LSTM與CTC的結(jié)合一直沒有在語音工業(yè)領(lǐng)域成功應(yīng)用。

“LSTM和CTC建模技術(shù)結(jié)合，其核心難度之一就在于海量數(shù)據(jù)下的深度學(xué)習(xí)需要強(qiáng)大的計(jì)算能力，這兩項(xiàng)技術(shù)的計(jì)算量比傳統(tǒng)深度學(xué)習(xí)的計(jì)算量大一個(gè)數(shù)量級(jí)。直接按照數(shù)學(xué)公式去實(shí)現(xiàn)上述算法，LSTM和CTC訓(xùn)練就需要采用單幀遞推模式，這樣的訓(xùn)練速度在工業(yè)條件下的將近1萬小時(shí)訓(xùn)練數(shù)據(jù)下，幾乎是不可能實(shí)現(xiàn)的。”賈磊解釋到。

此次，百度依靠三大因素—大數(shù)據(jù)機(jī)器學(xué)習(xí)和語音識(shí)別傳統(tǒng)理論結(jié)合、創(chuàng)新的算法以及強(qiáng)大的計(jì)算能力，成功突破了這十多年的技術(shù)困局。

據(jù)了解，對(duì)比谷歌2015年9月份于Interspeech 發(fā)表的在英文領(lǐng)域的類似研究成果，百度的訓(xùn)練數(shù)據(jù)是谷歌的4～5倍，模型訓(xùn)練參數(shù)規(guī)模是谷歌的10～20倍。而該技術(shù)成功突破的核心要素之一就是訓(xùn)練能力的極致提升，大模型大數(shù)據(jù)下的難度要比實(shí)驗(yàn)室小數(shù)據(jù)小模型的情況下難很多。百度研發(fā)出的全新訓(xùn)練算法，更接近工業(yè)大數(shù)據(jù)的產(chǎn)品實(shí)踐，是可以推廣到10萬小時(shí)訓(xùn)練的全新技術(shù)。

“對(duì)新技術(shù)的追趕，需要大數(shù)據(jù)、大平臺(tái)、極致計(jì)算等結(jié)合做支撐，因此可以預(yù)見，百度這樣的公司在未來有很大優(yōu)勢。”

傳統(tǒng)理論突破帶來的框架性創(chuàng)新

值得注意的是，這一技術(shù)創(chuàng)新并非依靠單點(diǎn)的突破，而是“打造基于多層單向LSTM的漢語聲韻母整體建模技術(shù)”、“引入CTC技術(shù)”、“與語音識(shí)別領(lǐng)域的傳統(tǒng)技術(shù)相結(jié)合”三大方面共同作用的結(jié)晶，是一項(xiàng)框架性的創(chuàng)新。

“過去，有很多機(jī)器學(xué)習(xí)技術(shù)應(yīng)用于語音識(shí)別領(lǐng)域取得了不錯(cuò)的效果，但是在解決產(chǎn)品上線的計(jì)算量和用戶等待時(shí)間方面總是差強(qiáng)人意。”賈磊認(rèn)為，“深度學(xué)習(xí)技術(shù)必須和行業(yè)專業(yè)理論結(jié)合才能以質(zhì)變的方式提升工業(yè)產(chǎn)品技術(shù)。”

自2015年6月開始，經(jīng)過短短4個(gè)月的不斷探索與試驗(yàn)，百度在世界范圍內(nèi)率先克服了在漢語領(lǐng)域使用CTC技術(shù)訓(xùn)練多層單向LSTM的高精度建模難題。

此外，百度還根據(jù)自己在語音產(chǎn)品實(shí)踐中的長期積累和經(jīng)驗(yàn)，經(jīng)過大量實(shí)驗(yàn)詳細(xì)的比較，在嘗試了音節(jié)、聲韻母和狀態(tài)等不同長度的建模單元之后，最后探索出最適合漢語的聲韻母整體建模。最終把上述成果一起應(yīng)用到語音識(shí)別的傳統(tǒng)技術(shù)框架中，結(jié)合決策樹聚類、跨詞解碼技術(shù)和區(qū)分度訓(xùn)練等一系列傳統(tǒng)技術(shù)，實(shí)現(xiàn)了漢語語音識(shí)別工業(yè)產(chǎn)品技術(shù)的實(shí)質(zhì)性提升。

這一革新不僅是學(xué)術(shù)上的成果，而且可以直接應(yīng)用在產(chǎn)品上。據(jù)悉，應(yīng)用這一新技術(shù)的百度搜索產(chǎn)品即將上線。

在解決工業(yè)難題的同時(shí)，百度還最先對(duì)工業(yè)情況下的CTC技術(shù)在語音產(chǎn)品中發(fā)揮巨大作用的本質(zhì)進(jìn)行了深入探索。

在研究過程中，賈磊和他的團(tuán)隊(duì)發(fā)現(xiàn)，在大數(shù)據(jù)、大模型條件下，在固定邊界的CE訓(xùn)練之后，采用CTC訓(xùn)練，可能對(duì)多層雙向LSTM模型的性能提升很有限，但對(duì)多層單向LSTM模型的改善是顯著的。

“我們對(duì)CTC的本質(zhì)進(jìn)行了深度探究，”賈磊表示，“我們認(rèn)為，一個(gè)可能的解釋是，CTC的空白吸收機(jī)制和動(dòng)態(tài)邊界尖峰學(xué)習(xí)能力，可以動(dòng)態(tài)自適應(yīng)地形成‘目標(biāo)延遲，從而解決單向LSTM模型的右邊信息不完整的問題，而這個(gè)作用對(duì)雙向LSTM模型的價(jià)值就小很多。”

該理論的探索和發(fā)現(xiàn)，對(duì)于CTC技術(shù)進(jìn)一步在語音識(shí)別中的創(chuàng)新研究打下了很好的基礎(chǔ)。除此之外，百度產(chǎn)品團(tuán)隊(duì)還探索了語音識(shí)別中CTC訓(xùn)練后的模型具有超快的解碼速度的本質(zhì)原因，并向業(yè)界公開其相應(yīng)的解碼器加速策略。

更深刻的變革正在來臨

如今，百度已經(jīng)開始使用上萬小時(shí)的樣本進(jìn)行模型訓(xùn)練。不難預(yù)測，不久，語音識(shí)別技術(shù)發(fā)展將很快進(jìn)入10萬小時(shí)數(shù)據(jù)樣本訓(xùn)練階段，只有這樣，才能覆蓋千差萬別的用戶口音差異，使語音識(shí)別技術(shù)不懼“南腔北調(diào)”的挑戰(zhàn)。而在可預(yù)見的未來，訓(xùn)練語料量可能會(huì)突破100萬小時(shí)。

在賈磊看來，隨著訓(xùn)練數(shù)據(jù)量的迅速增加，如何實(shí)現(xiàn)大規(guī)模LSTM建模和CTC的有效訓(xùn)練，會(huì)成為一個(gè)核心的技術(shù)難題。“以后，語音識(shí)別領(lǐng)域的深度學(xué)習(xí)將進(jìn)入數(shù)百GPU并行訓(xùn)練的狀態(tài)，理論創(chuàng)新和算法技術(shù)創(chuàng)新都將圍繞大數(shù)據(jù)展開。語音識(shí)別技術(shù)的研發(fā)方法，相對(duì)于現(xiàn)在必將發(fā)生深刻的變革。”

除此之外，CTC建模技術(shù)進(jìn)一步降低了語音識(shí)別應(yīng)用的解碼成本，隨著適合深度模型計(jì)算的專業(yè)硬件的大量涌現(xiàn)，語音識(shí)別云服務(wù)的成本將大量降低，從而推動(dòng)語音交互技術(shù)的更大范圍普及。