基于語音圖像融合平臺的英語與手語自動翻譯系統設計

鄭百花 雷群泌

（湖南環境生物職業技術學院，湖南 衡陽 421005）

0 引言

英語作為世界通用語言，是對外交流的必備工具，手語作為特殊人群的專用語言具有無可替代性。但是兩者的互通互譯尚屬于空缺狀態，不便于語言障礙人士與外界，尤其與外賓進行直接交流。因此，設計語音識別平臺，并融合圖像識別與展示功能，形成英語、普通話和手語的低延時自動翻譯工具。

1 自動翻譯系統硬件設計

當設計基于語音圖像融合平臺的英語與手語自動翻譯系統時，該控制器由STM32單片機構成，對采集到的語音和圖像進行處理，內置STM32M3核心，并與控制器的外部接口集成ADC，設置了集成采集方式，實現對數據的快速傳送功能。基于語音圖像融合平臺的英語與手語自動翻譯系統硬件結構如圖1所示。

圖1 硬件設計

在上述硬件設計的構造中，通過呼叫控制芯片中的信息信道，使控制時鐘的頻率達到28 MHz，控制系統采用掃描和變換的方式進行操作。在單片機的外端，采用2套傳感器結構引腳，完成英語和手語翻譯系統間的信息同步傳遞任務。

2 自動翻譯功能軟件設計

2.1 語音圖像融合識別

該文將語音圖像融合技術應用到英語和手語的自動翻譯系統中，利用CNN技術可以有效降低語音信號在時間、頻率上的損耗，同時也保證了語音的整體特性，便于網絡的訓練和識別。該文所設計的英語與手語自動翻譯系統先利用語音識別模塊對輸入的語音進行預處理，并抽取其特征，然后將其作為語音特征圖像，利用該圖像進行CNN的訓練和識別。……