面向SELL語料庫的AI虛擬英語口語訓練系統研究

摘 要： 為了改善英語學習方式中的口語學習環境和效率，基于AI虛擬現實技術，建立了適用于中國英語語言特征的SELL語料庫。從VR交互界面、語音識別和智能對話3方面對系統設計進行詳細闡述，最后選取某高校兩組學生班級進行了一個學期的英語學習對比試驗。實踐發現：首先，虛擬現實英語學習系統邏輯清晰，基本實現了課程個性化定制和三維虛擬操作，并且支持外部VR設備，為英語學習者提供了沉浸式的英語學習平臺;其次，基于Kaldi語音識別工具訓練后，修正的SELL語料庫測試集的準確率基本上可以控制在12.1%，驗證集準確率控制在11.5%;最后，對比英語學習實踐發現試驗組在聽力和口語表達方面成績有顯著提高，口語表達方面平均成績較之前提高了19.6%，聽力得分較之前提高13.3%，試驗結果表明該智能化虛擬現實學習訓練系統效果較好。

關鍵詞： SELL語料庫; 虛擬現實; 英語口語

中圖分類號： TP319文獻標志碼： A

Study on AI Virtual English Speaking Training System for SELL Corpus

LIN Hui

（Foreign Language Teaching and Research Department， Shanxi College of Communication Technology， Xian， Shanxi 710018， China）

Abstract： In order to improve the traditional study way of spoken English learning environment， AI is established first in China SELL corpus of English learning environment， and then from the VR interface design， design of speech recognition system and intelligent dialogue system are introduced in detail， finally by choosing a university to form two groups of students， the contrast test is carried out in one semester of English learning for evaluation. The research finds that first， the virtual reality English learning system has clear logic， basically realizes course customization and 3D virtual operation， and supports external VR equipment， providing an immersive English learning platform for English learners. Secondly， the accuracy of the modified SELL corpus test set can be basically controlled at 12.1%， while the accuracy of the verification set is controlled at 11.5%. Finally， it is found that the test group has a significant improvement in listening and oral expression. The average score of oral expression is 19.6% higher than before， and the listening score is 13.3% higher than before. The test results show that the intelligent virtual reality learning and training system has a better effect.

Key words： SELL corpus; virtual reality; oral English

0 引言

根據目前的統計數據，中國約有超過3億的英語學習者，其中包括2.2億普通英語學生和近8 000萬專業英語從業者[1-2]。作為中國最為普及的第二語言，英語測試中以口語作為衡量的考試相對較少，使得啞巴英語成為普遍現象。本文通過教學實踐發現，傳統的英語學習方式多著重于聽力和讀寫方面，缺乏口語語言環境和良好的訓練方式。隨著AI虛擬現實技術在娛樂游戲、醫療輔助等領域已經擁有實質性的應用和發展[3-7]，英語學習訓練和教育方式同樣能夠得到應用。AI和虛擬現實技術為人類的活動創造了一種沉浸式的感官體驗，用戶可以獲取身臨其境的參與感，通過與AR頭盔結合，英語學習者可以在虛擬的環境中實現純英語的交流學習環境，從而提高學習興趣、改善學習體驗。

因此，本文通過構建適用于中國學習者的SELL（Second Language Learning，文中簡稱SELL）預料庫，以此為基礎設計虛擬現實界面交互方案，然后建立AI技術的英語學習交互系統，從而實現了沉浸式的英語學習環境。

1 系統總體架構

1.1 系統結構分層

系統結構主要設定為3層，如圖1所示。

其中，第1層為表現層，該層主要面對外部用戶，實現的功能包括用戶注冊機登錄，系統數據配置，課程錄入編輯以及用戶信息的編輯等;第2層位邏輯層，該層分為四個模塊，每個模塊行使不同的功能，例如AI模塊實現對語言的識別以及對話、評估等，腳本模塊實現訓練活動，圖形模塊實現系統的三維視覺效果，虛擬工具為用戶提供可編輯的操作方式;第3層位數據層，該層主要用于存儲和運算，包括服務器數據，同步數據和文件存儲等。

1.2 虛擬現實場景

本系統通過虛擬兩個應用場景來提供給學習者進行英語學習和訓練，如圖2所示。

（1） 演講場景，該場景中學習者會看到投屏中體現的示范性操作視頻，教授學習者如何進行口語播放、暫停和學習動作。在訓練模式中學習者可以根據提示反復練習課中的重要知識點，訓練過關后進入實景模式，實景模式中學習者不需要按照提示操作，而是面對虛擬的聽眾與其互動，通過口語訓練交流，虛擬聽眾會根據學習者的水平做出相應的反饋。

（2） 面試場景：學習者通過進入一個國外某公司的面試環節中，根據虛擬面試官的提問進行作答，并與面試官進行互動，必要時可以提問。這一訓練過程需要學習者提前復習面試所需要了解的公司背景知識以及相關的面試問題。

2 SELL語料庫構建

AI虛擬英語學習環境的實現基礎是合適的英語語料庫，語料庫是幫助學習者和虛擬環境進行交互的橋梁。由于每個學習者的英語水平和發音問題不一樣，語音識別準確度較為關鍵，因此本位構建基于中國英語語言環境的預料庫。

基于SELL語料庫，錄制了中國多個地區的英語測試人員的發音。其中語音采樣頻率為16～17 kHz，錄制時間長度在97.2 h，參與語言錄制的測試人員為300人（其中，男性152人，女性148人）。另外，語料庫還包括對錯誤發音的智能化檢測和轉化。語料庫音頻的收集基于微信小程序端口，平時測試人員在微信語音聊天和交流過程中規定其使用英語交流，這樣不會占用測試人員的大片時間，同時語料庫的廣度和范圍更加貼近生活實際，有效降低了語料庫的錄制成本。語料庫的構建流程結構，如圖3所示。

其大致構建步驟如下：

（1） 文本收集，查找和下載英語口語化學習電子文件，將其制作成文本錄用文件;

（2） 音頻采集，介入微信小程序端口，讓被測試人員根據學習文本進行口語化交流;

（3） 音頻數據審核，對音頻數據進行重新梳理，剔除掉雜質，并進行降噪后返回;

（4） 素材標記，根據不同性別和低于的音頻文件進行分類和文字標注。

整理完成后的語料庫包含約11 300條語句，句子涵蓋單因素、雙因素和三因素的比例分別為100%，95%和43%。為了驗證本文所收集的語料庫準確性，采用Kaldi（基于C++編寫的語音識別工具包）進行語料庫測試，用于驗證SELL語料庫的識別準確性。本文使用4種模型進行訓練，分別為單音素、GMM模型（高斯混合模型）、LAD模型（線性絕對偏差模型）和SAT模型（隨機統計模型），測試結果如表1所示。

從統計的錯詞率來看，經過四次訓練后，SELL語料庫的語音識別率穩步提高，在最后的SAT模型測試結果來看，其測試集的準確率基本上可以控制在12.1%左右，驗證集準確率控制在11.5%左右。

3 基于AI虛擬現實系統設計

3.1 VR交互界面設計

采用Unity編程軟件，該軟件本身攜帶人機交互UI系統，可以在3d空間中實現操作[8-10]。由于本文的研究系統還需要外設VR設備，因此需要進行一定的改進。

Unity軟件中主要由四個模塊構成：Eventsystem模塊、Input模塊、Ray模塊和Graphic系統[11-12]。為了讓整個虛擬現實系統支持VR設備，對底層設備輸入進行字典映射的方式進行峰值，建立了設備管理模塊（Device模塊），該模塊位于Input模塊和Ray模塊之間，運行過程中首先判斷其輸入來自于何種設備，然后經過Device模塊進行XML映射，以菜單欄的操作方式為例，其映射所調用的關鍵代碼為：

3.2 語音識別系統設計

基于神經網絡的深度學習語音識別系統，其中語音識別過程中的神經網絡原理為式（1）。

式中，xi表征音頻輸入參數，wi代表參數所對應的權重值，兩者相城并累計求和后便得到神經元輸出閾值u。為了確保神經網絡的非線性輸入輸出功能，引入激活函數△（·），該函數實現了神經元之間的循環。

采用神經網絡模型（簡稱LSTM）方式模擬人類語言學習模式，在LSTM中遺忘門、輸入門和輸出門進行循環嵌套，每個門都決定了神經元的狀態，對語言識別具有良好的適用性。

3.3 智能對話系統設計

智能對話系統設計實現學習者在虛擬環境中的AI角色互動，當學習者在場景中進行走動均會觸發相應的英語學習動作。例如，當學習者觸發對話系統后，系統首先對麥克風和揚聲器進行檢查，學者開始說話時進行錄制，說話完畢立即進行語音識別和處理，具體實現過程依據3.2節的LSTM模塊進行。具體流程如圖4所示。

4 實例應用和評估

為驗證該AI虛擬現實英語學習系統的效果，作者進行了為期一個學期的英語學習綜合測試。測試選取陜西交通職業技術學院大一年級共4個班級的學生200人，這4個班級的學生基本能夠達到英語四級水平。因此，作者根據學生的性別、英語考試成績、地域評分分成A、B兩組。其中A組學生人數100人（男生58人，女生42人），所有學生英語期末平均成績75.2分（滿分100分），四級通過率89%，六級通過率5%;B組學生總數100人（男生55人，女生45人），所有學生期末英語成績均值為76.0分，四級通過率90%，六級通過率4%。從分組結果來看，兩組學生試驗前基本情況基本一致。

本次評估中，A組為試驗組，試驗時間段內利用虛擬現實技術學習英語課程，B組為對照組，采用傳統的電腦上機自學模式進行英語學習，學習時間為一學期，課時50學時，課程完成后進行聽說能力測試，其成績統計結果如圖5所示。

從測試評估結果來看，A組（試驗組）在聽力和口語表達方面成績有顯著提高，尤其是口語表達方面，學生平均成績較之前提高了19.6%，聽力得分較之前提高約13.3%。但是，在寫作能力方面不論是試驗組還是對照組提高程度基本一致，應用效果一般。

5 總結

英語口語一直是國內英語學習和教育工作者面臨的難題，本文借助目前較為流行的虛擬現實技術，建立了基于中國地方方言的SELL語料庫，并基于AI虛擬現實技術實現了沉浸式英語學習系統，最后進行了實例應用和對比分析，結論如下：

（1） 本文通過設置表現層、系統邏輯層和數據層實現了虛擬現實英語學習系統的基本架構，并建立了基于人工神經網絡的虛擬現實場景。系統邏輯清晰，通過創建配置文件實現了課程個性化定制和三維虛擬操作，并且系統支持外部VR設備，為英語學習者提供了沉浸式的英語學習平臺。

（2） 基于SELL語料庫，錄制了中國多個地區的300名英語測試人員的發音，語音采樣頻率為16～17 kHz，錄制時間長度在97.2 h。基于Kaldi語音識別工具訓練后語料庫測試集的準確率基本上可以控制在12.1%左右，驗證集準確率控制在11.5%左右。

（3） 選取試驗組和對比組進行為期一個學期的英語聽說課程訓練，實踐發現試驗組在聽力和口語表達方面成績有顯著提高，口語表達方面平均成績較之前提高了19.6%，聽力得分較之前提高13.3%，試驗結果表明該智能化虛擬現實學習訓練系統效果較好。

參考文獻

[1] 鄭佩蕓.網絡書面實時交流與口語能力培養研究[J].外語電化教學，2011（5）：32-37.

[2] 王莉梅.英語口語交際策略教學與研究[J].外語電化教學，2011（4）：61-65.

[3] 魏克俊.基于虛擬現實技術的模具教學系統研究與開發[J].計算機與現代化，2019（9）：102-105.

[4] 陶全勝.大學英語學業成績形成性評估改革調查研究[J].外語電化教學，2019（4）：81-85.

[5] 王佩.基于BIM和虛擬現實技術的建筑工程設計優化[J].微型電腦應用，2019，35（5）：89-91.

[6] 張飛云，張彤.虛擬現實技術在競技體育仿真中的應用分析[J].自動化技術與應用，2019，38（9）：162-164.

[7] 馬艷，鄧豪.基于虛擬現實的運動訓練矯正系統設計[J].信息技術，2019，43（9）：20-23.

[8] 閔亮.軟件工程中虛擬現實的啟示應用及挑戰[J].微型電腦應用，2018，34（11）：124-127.

[9] 徐志平.虛擬現實技術課程建設中的局限和應對之道[J].計算機教育，2019（9）：96-98.

[10] 吳磊.基于虛擬現實技術（VR）的動畫交互性設計分析[J].信息技術，2019，43（7）：125-128.

[11] 孔琳.虛擬現實技術下的3D打印體驗系統設計研究[J].自動化技術與應用，2019，38（10）：119-122.

[12] 陳良英.虛擬建筑室內漫游動畫的設計與應用[J].微型電腦應用，2017，33（10）：30-32.

（收稿日期： 2019.09.20）

作者簡介：林輝（1985-），女，碩士，副教授，研究方向：英語課程與教學論。