基于語音識別與機器翻譯的雙語課堂

張 炎

湖南三一工業職業技術學院 湖南 長沙410129

0 引言

結合實時語音識別與機器翻譯，將中文與目標翻譯結果實時顯示，就可以給學生類似觀看雙語字幕電影的新奇體驗。本文基于此構想，開發了一款集成安卓手機端語音識別軟件、電腦端機器翻譯軟件、以及藍牙串口模塊數據傳輸的雙語課堂的系統。

1 整體方案介紹

雙語課堂系統主要構成為：實時語音識別模塊、串口藍牙通訊模塊，以及電腦端機器翻譯軟件。實時語音識別標準版包含中文普通話輸入法、英語、粵語、四川話、遠場5個識別模型，依托百度AI開放平臺提供的實時語音識別技術，基于Deep Peak2的端到端建模，將音頻流實時識別為文字，并返回每句話的開始和結束時間，適用于長句語音輸入、音視頻字幕、會議等場景；串口藍牙通訊模塊選用廣州匯承信息科技有限公司出品的HC-06(藍牙2.0)穩定、抗干擾性強、傳輸質量好等優點，深受世界技術專家的認可和好評。機器翻譯模塊采用百度翻譯開放平臺提供的通用翻譯標準版，支持28種語言互譯。

1.5 軟件使用預覽 電腦軟件實現了透明窗體、鼠標穿透的效果，使用C#語言開發，基于雙緩存GDI+技術在具有alpha通道的png格式的圖片上繪制文本。圖2介紹了軟件各個界面。

圖2 電腦端界面Fig.2 PCuser interface

2 方案部署說明

將識別與翻譯分離，通過串口藍牙模塊(還需要配合USB轉TTL模塊)聯系手機端和電腦端，可以保證教師在課堂上的活動自由。所以，當前的雙語課堂系統的部署模式是比較合適的。……