基于語音和手勢的人車交互系統

基于語音和手勢的人車交互系統

雖然目前無人駕駛汽車得到迅速發展，但是這些車輛與人的交互靈活性以及用戶對行駛路線的控制等問題尚未解決。對此，提供了一種基于語音和手勢的人車交系統用于解決上述問題。

該人車交互系統執行指令分為以下幾個步驟：①進行用戶身份識別；②通過識別用戶手勢指向的車輛周圍環境的“興趣點”（POI）提取POI，并識別語音指令提取語義來創建命令。如果提取POI階段的結果是不明確的，則用戶可根據汽車反饋系統給出的反饋信息重新發送指令。如果沒有歧義，則根據上一步創建的命令信息來計算和更新無人駕駛汽車的行駛路徑；③根據外部多種傳感器捕獲的駕駛環境信息來評估這條新路徑的可行性。如果該可行性分析確定計算出的路徑不能在安全條件下執行,或不符合某些交通規則，則人車交互系統將不會執行該命令，并將通過汽車的反饋系統將其傳達給用戶。否則，系統將執行命令并遵循新路徑進行無人駕駛行駛。

其中，POI識別方法是語音和手指方向被汽車內部傳感器識別。基于語音的觸發器由麥克風陣列捕獲,并傳輸到語音引擎子系統進行處理。同時，手勢指向的序列由基于飛行時間（ToF）的攝像頭捕獲,并發送到手勢引擎去處理，用于形成指向矢量的骨骼關節坐標。該矢量與車輛的行駛方向形成一個角度，由GPS傳感器給出。

基于語音和手勢的人車交互系統，通過合理的外部POI識別方法、新的路徑可行性分析、基于用戶對話的反饋系統等手段，很好地解決了現存的問題。

Pablo Sauras-Perezr et al. SAE 2017-01-0068.

編譯：馮達