大數(shù)據(jù)下的“多語種唇語識別系統(tǒng)”構(gòu)建

劉婭迪　王小敏　王一迪

摘 要：社會上有這樣一個特殊的群體，有人稱之為“聾啞部落”，這就意味著他們完全被孤立在健全人控制的社會以外，他們的手語很少有人懂，他們的心理與健全人心理相比存在差異。本項目為特殊學校的聾啞人群提供專門的唇語產(chǎn)品，掌握唇語使用技能，以便他們和正常人一樣進行交流。本項目還提供即時文字輸出系統(tǒng)、多語種系統(tǒng)等高端消費，為“耳障”人員提供幫助。項目在技術(shù)上具有前瞻性、可行性，從經(jīng)濟上，由于國家對特殊教育持積極的鼓勵政策，獲得政府多方面的支持，可操作性強。

關(guān)鍵詞：大數(shù)據(jù) 唇語識別 耳障

中圖分類號：TP301文獻標識碼：A文章編號：1003-9082（2019）08-0-01

一、引言及背景

第四屆世界互聯(lián)網(wǎng)大會讓人工智能再一次掀起了新的浪潮。近來人工智能的發(fā)展，從一開始的使用鍵盤碼字，到后來的智能觸摸屏的發(fā)明、再到語音輸入等人機交互的發(fā)展，這些發(fā)展促使人機交互的模式向更加多元化的方向更新。如今，出現(xiàn)了一種新興的人機交互技術(shù)——唇語識別。唇語識別是指通過觀察口形變化，識別和部分識別出說話者內(nèi)容，達到理解說話者的意圖。

近幾十年來，計算機技術(shù)得到飛速發(fā)展，但是人機交換界面依然很老套，人們?nèi)匀灰阪I盤上敲敲打打，依賴鼠標的幫助，通過最普通的界面進行計算機操作。這種連續(xù)敲打鍵盤不僅容易造成手腕肌腱損傷，還把使用者一直束縛在鍵盤上?；蛟S自動語音識別系統(tǒng)能讓我們稍稍感到輕松一些——這種系統(tǒng)在辦公室內(nèi)的多媒體系統(tǒng)，從而實現(xiàn)無聲通話。

該技術(shù)還可以被廣泛應(yīng)用于語音識別、身份識別、人機智能接口，以此來實現(xiàn)無聲對話、特殊教育教學、老年人、殘障人輔助以及其它場合的應(yīng)用，例如公安、刑偵輔助偵破等等。通過唇語識別，可以讓無法開口說話的殘障人士自由表達、讓聽力障礙者和不少老年人更清晰地聽懂他人;通過口型支付密碼，可以進行移動支付;而在軍事情報領(lǐng)域，唇語識別則讓遠距離獲取情報成為可能。

二、特征提取與模式的概化引用

可視語音信息的特征提取方法可分為兩大類：基于像素的方法和基于模型的方法.。

所謂基于像素的方法，就是直接利用包含嘴的灰度級圖像或直接利用經(jīng)過若干預(yù)處理后得到的特征向量（feature vector）的一類方法.這類方法的優(yōu)點是所有的數(shù)據(jù)都起作用;其缺點是分類器的學習過程中對一般的二維或三維的平移、旋轉(zhuǎn)、放縮，或光照變化或說話人的變化都很敏感;另一個缺點是，其特征向量是高維度的和高冗余度的。

所謂基于模型的方法，就是對可見的發(fā)音部位——主要是唇的輪廓建立一個模型，而外形的描述用一個小的參數(shù)集合。這類方法的優(yōu)點是重要特征被表示成低維量且通常不因平移、旋轉(zhuǎn)、放縮或光照而改變.缺點是獨特的模型有可能沒能包括所有相關(guān)的語音信息。

三、多語種管理系統(tǒng)

如今的唇語識別系統(tǒng)還不完善，比如研究領(lǐng)域僅僅局限于母語以及最普遍的英文。但是，對于那些擅長說方言的人而言，僅僅這兩種語言是無法滿足其需要的。所以，可以創(chuàng)建一套完整的“多語言管理系統(tǒng)”。

（1）語種設(shè)定及查詢功能是基于不知道對方使用何種語言或管理系統(tǒng)沒有該種語言的情況下，計算機根據(jù)前期對話，自動搜尋，尋找最接近系統(tǒng)的對話模式（子系統(tǒng)），從而在該子系統(tǒng)下實現(xiàn)對接。

（2）語種預(yù)設(shè)功能，是熟知對方使用何種語言，進行提前預(yù)設(shè)的管理系統(tǒng)。省去前期搜尋過程，使對話直接切入正題，實現(xiàn)實時轉(zhuǎn)換，省時，得到完整的對話

（3）圖像集管理系統(tǒng)與文字關(guān)聯(lián)系統(tǒng)

圖像、語音、文字管理系統(tǒng)分若干個子系統(tǒng)，每個子系統(tǒng)對應(yīng)一地的方言，唇形圖像與方言語音、文字建立輸入相應(yīng)關(guān)系。根據(jù)交流對象選取管理子系統(tǒng)，比如上海話子系統(tǒng)：口形輸入系統(tǒng)—口形查找、比對—文字輸出。

（4）唇形圖像存儲系統(tǒng)，一組詞匯對應(yīng)的多個口形取參數(shù)的平均值，并設(shè)定上下閾值。每個子系統(tǒng)有添加圖像、模擬、記憶和修復(fù)功能。

添加圖像功能是增加新的圖像/唇形、語音。

模擬功能是對不準確的輸出，進行多次模擬，直至輸出正確為止。各自地方語種構(gòu)成漢字圖形/語音系統(tǒng)，比如普通話，上海話、北京話、重慶話等。

記憶功能是對修改和添加的圖像或語音進行記憶。

修復(fù)功能是對原有的圖像/唇形進行修復(fù)，糾正不正確或不準確的圖形和語音。

（5）英語作為外語語種而單獨存在另一個語種中。

（6）借助其它語音軟件文字進行校正。

四、文字輸出系統(tǒng)及應(yīng)用

選擇基于圖形管理系統(tǒng)下的子系統(tǒng)、輸出、應(yīng)用。比如對方是普通話，那么管理系統(tǒng)既是普通話子系統(tǒng)，對應(yīng)的唇語就是普通話子系統(tǒng)。

五、結(jié)論

唇讀研究的困難在于口型和語音是一個一對多的對應(yīng)關(guān)系，單從口型來映射語音是不確定的.如果沒有其它相關(guān)知識，要識別絕對是不可能的.而這些相關(guān)知識，需要很多.比如，特定語言學、音韻學的規(guī)律，相關(guān)領(lǐng)域的專業(yè)知識背景，這些知識庫的建立和支持并不是一件容易的事.另一方面，唇讀研究不可回避的計算機視覺問題，如光照變化、深度信息的缺乏，給唇的描述和識別帶來巨大的障礙.隨著計算機視覺、知識表達、知識推理技術(shù)的不斷發(fā)展，我們有理由相信：視覺語言一定會被人們完全掌握和運用。

參考文獻

[1]王淵，岳振軍，賈永興.唇語識別中的話題相關(guān)語言模型研究.解放軍理工大學.

[2]褚道立，唇語判讀.《南外學報》，1985年第2期.

[3]余健儀，基于唇動特征的唇語識別技術(shù).廣東工業(yè)大學.

[4]王曉鐘，潘保昌，鄭勝林.基于內(nèi)唇特征提取的唇語識別.廣東工業(yè)大學.