基于deep learning的語音識別

張炯,陶智勇

(武漢郵電科學研究院 湖北 武漢 430074)

基于deep learning的語音識別

張炯,陶智勇

(武漢郵電科學研究院 湖北 武漢 430074)

針對目前智能計算機及大規模數據的發展,依據大腦處理語音、圖像數據方法的deep learning技術應運而生。傳統的語音識別技術對特征篩選的人工技能要求高,而且準確率低。deep learning技術是應用于音頻信號識別,模仿大腦的語音信號學習、識別的模式。在音頻信號處理的過程中,運用deep learning進行音頻數據的特征提取和訓練,將大幅度提高音頻信號識別的準確性。

音頻識別；信號處理；deep learning；智能計算機；特征提取

眾所周知,人類在識別中英文語音并理解語義之前,都要經過對漢字及英文的字形、發音和語義的學習過程。在這個學習訓練過程中,大腦將所有文字的字形、發音和語義存儲在大腦的一個特定地方（大多數學者稱之為心理詞典）。并且,我們的大腦對于接收的信號,設置了一個限制,超過限制范圍的信號,大腦就無法接收并使之進入下一個處理環節。對于接收到的信號,大腦經過識別將其與存在大腦皮層中語義最相近的文字字形或發音相匹配,找到它的語義［4］。Deep learning方法正是參照大腦處理語音信息的方式,通過一系列的算法和模型利用計算機仿真人腦對語音判斷和識別來進行音頻數據處理的過程。可以預見,如果將語音、圖像的數據處理進行整合,那么用計算機制作出真正的智能大腦在未來也是同樣可以實現的。本文將介紹如何將deep learning深度學習方法運用于音頻識別,并大幅度提高音頻識別的準確性。

1 語音識別過程

首先,我們要了解語音識別的關鍵步驟。語音識別的關鍵步驟為:對輸入的語音信號進行預處理、提取特征參數并處理特征參數,為每一個詞條創建一個參考模板,并保存為模板庫；在識別階段,語音信號經過相同通道獲取語音參數,從而獲取測試模板；之后將測試模板與參考模板進行遍歷逐一比較,并在某種判別規則下,獲得最佳匹配的參考模板作為識別結果［6］。

用原理圖表示為:

圖1 語音識別系統原理圖Fig.1 Diagram of recognition system of speech

語音識別結果的好壞,重點在于特征提取及其后的特征訓練和參考模式庫的建立。語音識別區別于圖像等數據處理,語音識別的數據量大,特征形態復雜。傳統的語音識別技術的特征訓練采用混合高斯模型（GMM）［1］，通過簡單的單層次建模方法,通過稀疏算法對特征進行提取、整理和分類,進而得出參考模式庫。這種處理方法又稱為淺層網絡分析方法,并曾一度在數據處理領域處于壟斷地位。但由于它是單一的層次結構（內含一個單隱層,即訓練層）,因此這種方法無法反映出所提取的特征的狀態空間分布,且由于所有特征的特性都在一個網絡層次上處理,數據經過輸入層進入訓練層和數據從訓練層進入輸出層的過程中,會存在不可避免的數據丟失,因此這種算法對于特征提取的準確性要求很高,進而對于特征提取的人工技能要求很高,通常需要有豐富經驗的人員才能盡可能的減少特征提取帶來數據處理麻煩,因此其準確率不高［3］。

2 deep learning

Deep learning（又稱DL或DNN）是一種機器學習方法。機器學習處理圖像、語音信號的思路為通過傳感器獲得數據-預處理-特征提取-特征選擇-推理、預測、識別,其示意圖如圖2所示。

圖2 機器學習過程Fig.2 Process of machine learning

中間三部分統稱為特征表達,好的特征表達對于最終算法的準確性起著至關重要的作用。傳統的識別方式在這一部分要耗費大量的人力來進行特征提取工作,而且特征能否提取好,還要看經驗和運氣。能否用算法來取代這一部分人工,并且保證特征提取的準確性呢？答案是肯定的,deep learning就是這樣一種工具。

Deep learning是一種算法,它借助大量的計算機處理器通過并行計算的方式處理大量的數據,這種算法模仿人腦神經網絡結構處理信息的方法,進行數據處理。采用deep learning最直觀也是最著名的例子是2012年6月《紐約時報》披露的Google Brain項目。這個項目是由斯坦福大學的機器學習教授Andrew Ng和在大規模計算機系統方面的世界頂尖專家Jeff Dean共同主導,用16 000個CPU Core的并行計算平臺訓練一種稱為 “深度神經網絡”（DNN,Deep Neural Networks）的機器學習模型（內部共有10億個節點）。這一網絡雖然不能跟人類的神經網絡（人腦中有150多億個神經元,互相連接的節點,即突觸數量更是數不勝數）相提并論［2］。但是,該成果的發布,意味著計算機可以像人一樣學習,我們只需要將大量的數據輸入計算機,計算機就會自動進行整理和學習,并根據學習結果,對數據輸入做出相應行動。

人類大腦的神經網絡處理信息方式是多層次的,即低層次提取一部分基層特征,進行處理后傳給高一層次,高一層次處理后,再傳給更高一層次。這樣就實現了特征表述的一層層抽象化,高層次更能表現語義和意圖,因而更容易進行分類。Deep learning中deep就是這種層次的表現。淺層學習模型也稱為shallow learning。

3 基于deep learning的語音識別

基于deep learning的語音識別技術正是參考人腦神經的這種多層次結構,創建出多層次的訓練結構模型,低層次的分析訓練結果作為高一層次的特征輸入,進一步進行特征訓練,其結果再作為下一層次的特征輸入,如此往復,進行多層次的特征訓練,提取特征的多維度信息,每一層次的統計學習過程,對特征一步一步抽象化,直至頂層的高度抽象化,可以方便做出數據分類和判斷。因此這種方式更能反映數據的本質,并且更容易實現并行處理像語音識別這樣的大數據分析。

從上面的描述中,可得知,deep learning處理數據的模式是分層進行,那么怎么確定語音信號的特征結構呢？可以依據圖片的特征結構分解模式,將一段語義分解為若干語句,一個語句分解為若干詞匯,一個詞匯分解為若干字,而一個字又可以分解為音位、頻率、波幅等特征。目前常用的幾種語音特征參數為LPCC、LPCC+、△LPCC、MFCC、MFCC+、△MFCC［5］。當然,這些特征參數挖掘還有很大的可擴展性,這里不作詳述。

Deep learning處理語音的多層次結構中,每層的特征處理采用非監督模式,即在每層之間不設置特征分類機制,只是設置目標預期結果,之后由計算機自己去學習［1］。最能表現非監督學習強大的例子是西洋雙棋游戲,它通過一系列的計算機程序,讓計算機通過非監督的學習方式一遍遍自己玩游戲,并逐漸發展到比在這個游戲上玩的最好的人還要好。當然,進行語音識別的最終目的是特征分類,從而在接受待識別語音時,能夠讓計算機基于參考模型庫中的使用頻率、相似情況等表達出最接近人腦的語音識別結構。因此deep learning在語音特征各層非監督學習的基礎上,在各層之間采用監督的學習方式,在最頂層設置分類機制,之后從特征輸出結果的頂層向下,一層層計算,并根據計算出的基層特征數據,調整各層的權重系數,從而得出最小數據損失和最接近分類要求的特征結果［2］。

4 結束語

將deep learning用于音頻識別,目前在國際上已經獲得了長足的進步。微軟率先將deep learning運用于語音識別,并在首次測試中獲得了相較傳統算法33﹪的準確率提升。由此可見,仿真人腦處理語音信號的基于deep learning的語音識別技術不僅是可行的,而且得到的結果是更加準確的。

［1］(法)斯坦尼斯拉斯·迪昂著.腦的閱讀—破解人類閱讀字謎［M］.周加仙,等譯.北京:中信出版社，2011.

［2］劉雅琴，智愛娟.幾種語音識別特征參數的研究［J］.計算機技術與發展，2009（12）:67-70.LIU Ya-qin，ZHI Ai-juan.Several studies of Speech Feature［J］.Computer Technology and Development，2009（12）:67-70.

［3］Frank Seide，Gang Li，Dong Yu.Conversational Speech Transcription Using Context-Dependent Deep Neural Networks［C］//Florence，Italy，2011.

［4］(德)赫爾曼·哈肯.協同學—大自然構成的奧秘［M］.上海:上海譯文出版社，2001.

［5］胡振，傅昆，張長水.基于深度學習的作曲家分類問題［J］.計算機研究與發展，2014（9）:15-17.HU Zhen，FU Kun，ZHANG Chang-shui.Based on the classification composer depth study［J］.Computer Research and Development，2014（9）:15-17.

［6］Abdel-Hamid，O，Deng L，Yu.D.Exploring convolutional neural network structures and optimization for speech recognition［C］//Interspeech，2013.

Recognition of speech based on deep learning

ZHANG Jiong,TAO Zhi-yong
（Wuhan Research Institute of Posts and Telecommunications,Wuhan 430074，China）

In view of development of computers and big data，the technology of deep learning on the basis of voice and image processing come into being.Traditional technology of speech sounds demands high quality of personal skills，and it’s accuracy is lower，applying deep learning to the recognition of speech sounds，imitating the speech learning and recognition of the brain.Utilizing deep learning to filter and train the features，during the process of voice analysis，will rise the accuracy of the recognition of speech massively.

recognition of speech；signal processing；deep learning；intelligent computer；feature extraction

TN912.3

：A

：1674-6236（2015）18-0072-02

2014-11-17稿件編號：201411117

張 炯（1987—）,女,湖北棗陽人,碩士研究生。研究方向:數字通信。