基于Unity3D的聽覺空間感知導盲系統

洪毅 林冠宇 謝恩德

摘要：針對視力殘障者在面對來自傳感器的環境數據時，不能快速有效地被傳達和理解空間信息等問題，文中設計并提出一種基于虛擬現實技術的新型聽覺空間感知導盲系統。該系統在雙耳定位的基礎上，利用虛擬現實引擎Unity3D模擬重現激光雷達以4000Hz頻率收集的環境數據，建立以每秒50幀高速實時更新的動態場景模型，進而實現立體聲效，并通過頻率與距離的關系設定引導使用者形成有效的聽覺空間感知。文中設計并實施了由11位人員參與的實驗，結果表明，實驗者能夠有效地同時識別多個障礙物的方位、距離和運動情況。

關鍵詞：聽覺空間感知;Unity3D;激光雷達;虛擬現實;導盲系統

Abstract： In allusion to the problem that the people with impaired or no vision cant comprehend the surrounding spatial information detected by sensors， an auditory spatial perception blind-guiding system based on virtual reality is proposed. Building on the theory of Interaural Time Difference， Unity3D is used to create virtual reality environments and simulate the surrounding where the data is collected by LIDAR at the frequency of 4000Hz in the real life. With the dynamic scene model at 50 FPS， the immersive stereo sound to represent the information regarding objects angular orientation and varying pitch to represent horizontal distance， an effective auditory spatial perception can be created by the system for the user. An experiment with elaborate design is implemented in this paper， and the results demonstrate that the participants equipped with the system can effectively identify the orientation， distance and movement of multiple obstacles at the same time.

Key words： auditory spatial perception; Unity3D; LIDAR; virtual reality; blind-guiding system

根據WHO的報告顯示，全球有2.53億視力障礙者，其中3600萬為盲人，而我國的盲人數量居世界第一，約有1700萬（2018年）[1]。傳統的導盲系統以基于觸覺反饋的盲杖為主，有很多學者提出改進的盲杖[3-4]，但是其仍具有探測范圍有限、觸覺反饋單一、訓練時間長等缺點[2]。還有很多學者提出基于聽覺反饋機制的導盲系統[5]，相比于觸覺，聽覺感知具有更高的實時性，能夠更好地表達距離、方位等空間信息。但現實中的聽覺感知是個復雜的過程，很難完整模擬出真實的效果。而虛擬現實技術可以用來解決這一問題，作為一種重要的計算機仿真系統搭建手段，其沉浸式的音效表現在影音娛樂、教育軍事以及多學科交叉研究領域的應用越來越廣泛[6-7]。

本文結合聽覺空間感知理論及Unity3D技術，采用激光雷達設計了一種全新的聽覺感知導盲系統。激光雷達具有能夠精準掃描大范圍區域的優點[8]，如圖1所示，文中使用激光以4000Hz的頻率掃描環境信息，通過Unity3D模擬出現實場景并還原出真實的立體聲效，進而讓使用者形成聽覺空間感知。同時，本系統采用動態更新的模型和音源設計，具有可以區分運動物體和非運動物體、允許使用者自由移動旋轉、能夠還原多普勒效應等優點。

1系統原理及總體架構

1.1聽覺空間感知原理

不論是視力殘障者、后期盲人還是全盲者，都存在相似的聽覺空間感知[9-10]。然而現實世界中的聽覺空間感知的形成是一個從聲源、環境到人的外耳、內耳最終到聽覺神經的極其復雜的過程，期間很多因素都會影響到最終的效果[11]。其中，雙耳時間差（Interaural Time Difference，ITD）是人在水平面上獲得聽覺空間感知的主要方式，即人通過聲音到達左右耳的時間差和聲音強度的不同來定位聲源的方位和距離[12]。本文通過在Unity3D構建的場景中在相應的坐標制造聲源，進而將空間坐標信息轉換為聲音傳遞到左右雙耳的強度差和時間差，以此模擬出近似于現實環境中的立體聲，最后根據距離和類型決定聲音的頻率和音色。

1.2系統總體架構

1.2.1系統硬件設計

本文選用思嵐RPLIDAR-A2激光掃描器作為主要探測設備，其發射波長為785nm的紅外激光，采用調制脈沖方式驅動，調制的激光不僅可以達到FDA Class I級別的激光器安全標準，確保對人類和寵物的安全性，而且可以有效地避免在測距掃描過程當中的環境光與日光的干擾。在電機機構的驅動下，RPLIDAR的激光測距核心將順時針旋轉，能夠以10Hz（600rpm）的旋轉頻率實現對周圍0.15m-12m半徑內的360°全方位掃描測距檢測，并且可以實現0.45°的角度分辨率和0.5mm的測距分辨率。如圖2所示，RPLIDAR能夠以4000Hz的頻率測量所在平面的二維空間信息，并以[起始信號（bool），距離值（mm），夾角（°），校驗和]的形式輸出每個采樣點的數據。