基于超聲波傳感器的室內多功能電子行走輔助系統

陶春靜 ，陸彥琦，余曉強

(1. 國家康復輔具中心，北京 100176；2. 北京市老年功能障礙康復輔助技術重點實驗室，北京 100176；3. 華中科技大學自動化學院，武漢 430074)

根據世界衛生組織(WTO)資料顯示[1]：世界上有2.85億視覺障礙者，其中包括0.39億盲人與2.46億視力低下人群，約有 90%,的視覺障礙者生活在低收入的環境中．全球盲人數量最多的國家為中國，總數達 1,233萬．人類感知外部事物的方式包括：視覺、觸覺、嗅覺、聽覺和味覺，即人們所說的“五感”．據分析，正常人日常生活中 80%,的信息是通過視覺獲取的，視覺是最主要的獲取信息的途徑[2]．視覺障礙者無法通過視覺來獲取信息，在學習、生活及工作將存在著很大的困擾，因此必須通過輔具獲取信息，利用感覺替代以獲取經驗．

隨著世界盲人聯盟的創立，盲人的安全出行與正常生活已經越來越受重視，帶有定位功能的電子行走輔助系統(ETA)也成為科研工作者的研究項目之一．Shoval等[3]于1992年設計的Navbelt導航系統，是在一個移動機器人上實現避障的．Meijer[4]設計的電子行走輔助系統 vOICe包括一個附著于眼鏡上的電子攝像機、一對耳機和裝有必要軟件的便攜式電腦．加拿大圭爾夫大學的 Zelek[5]和他的學生研發了一套價格低廉、可穿戴、低功耗的設備，能夠將攝像機捕捉到的外界信息通過觸覺傳遞給視覺障礙者．Ulrich等[6]設計的 Guidecane，可以像手杖一樣由使用者手持，當遇到障礙物時，通過自身改變方向讓使用者感知信息．弗羅里達國際大學的 Adjouadi[7]從事計算機視覺項目的研究，他致力于開發一套能夠以最優的方式將攝像頭得到的環境信息描述給用戶的設備．總結國內外電子行走輔助系統大部分研究成果，有些需要患者長期學習輔助系統的人機交互界面，有的結構過于復雜或者體積龐大、價格昂貴、外觀設計不佳．

本文以視覺障礙者體驗為出發點，設計了一種結構簡單、大小適中、輕便、易于佩戴，并能夠實現實時定位的系統．

1 系統總體方案

多功能電子行走輔助系統是針對視覺障礙者或者全盲者的，其肢體健全，且擁有除了視覺以外的其他感覺．所以，系統只需要采集實驗者周圍的障礙物信息，并確定其所處的地理位置．系統的主要功能包括：探測腰部周圍的障礙物信息；每邁出一步后，探測地面上的障礙物信息；實現視覺障礙者的室內定位；實現避障與定位信息的反饋．系統的總體方案設計見圖1．

圖1 總體方案設計Fig. 1 Overall design

系統的硬件結構如圖2所示．為了兼顧I/O接口數量、數據運算速度、信號反饋等的要求，系統采用雙CPU處理方式：主CPU選用E8_BOARD卡片式計算機，完成姿態檢測的數據處理、定位算法的實現以及定位信息的語音播報；從 CPU采用基于 ARM內核的 16位單片機 STM32F103VET6，主要完成傳感器的信息采集與微型振動電機的振動信息反饋．

系統用到的傳感器包括 4個薄膜壓力傳感器、7個超聲波傳感器、5個姿態檢測傳感器，信息反饋采用7個微型振動電機與1個骨傳導耳機．

圖2 系統硬件結構框圖Fig. 2 Hardware system structure

2 基于感覺替代的避障方法

針對視覺障礙者，Bach-Y-Rita提出了感覺替代的思想，即利用大腦的可塑性，將其他形式的感知形態(如聽覺或觸覺等)呈現出某種缺失的感知形態(如視覺等)，使大腦獲得的感知特性[8]．對于一個完整的視覺系統，光學圖像映射到視網膜上，并在視網膜上轉換為神經上的電脈沖信號，從而感知圖像在人腦中得到呈現．許多研究證明，使用感覺替代系統能夠讓盲人體驗類似的主觀圖像[9]．以這種方式恢復失去的感知形態時，信息被一個人機界面接收，然后進行轉換，轉換后的信息通過一個完好的器官傳送給大腦．現有的感覺替代研究包括視覺、觸覺、聽覺、定位與平衡感及空間感覺等之間的相互替代．其中最常見的是觸覺代償視覺的研究，同時利用聽覺的代償系統也在逐步成熟[10]．

2.1 超聲波傳感器測距

腰部周圍的障礙物由均勻分布在視覺障礙者腰間的 5個超聲波傳感器進行探測，其分布見圖 3，保證了對視覺障礙者整個前方區域的覆蓋．對地表障礙物的探測由鞋子前端的2個超聲波傳感器完成．

圖3 腰部超聲波傳感器的布局Fig. 3 Layout of the ultrasonic sensors

HC-SR04超聲波傳感器是借助于超聲波脈沖渡越時間法來實現測距的，7個超聲波傳感器的連接方式相同，VCC、GND 分別與 STM32F103VET6的5,V、GND 端口連接，TRIG、ECHO 與 STM32F103 VET6的I/O端口相連．

2.2 壓力傳感器的開關控制

在每只鞋前后腳掌下各安裝一片薄膜壓力傳感器 FSR402，壓力傳感器的電路連接如圖 4所示．傳感器與 10,k?的電阻串聯于 5,V電壓的電路中．當視覺障礙者邁出步伐后，前后腳掌同時著地，壓力傳感器受到的壓力增大，電阻減小，從而電阻兩端電壓增大．將A點處的電壓值引出，經過電壓跟隨器后與STM32F103VET6的I/O口連接，然后再進行模數轉換，與設定閾值進行比較，從而實現邁步的判斷．電壓跟隨器在電路中起著隔離、緩沖與提高帶載能力的作用．

圖4 壓力傳感器電路Fig. 4 Diagram of pressure sensor circuit

2.3 基于觸覺的信息反饋

在避障系統中，對距離信息的提醒是通過微型振動電機實現的，在腰部的每個超聲波傳感器下方分別安置一個微型振動電機，用以提醒視覺障礙者探測到的空中障礙物信息．同時，在人體較為敏感的腳踝處也分別固定兩個微型振動電機，用于鞋子前端傳感器探測到的地表障礙物信息的提醒．

系統通過調節微型振動電機的振動頻率，給實驗者以距離遠近的提醒．實驗發現，人體對 250,Hz的振動最敏感，因此設置振動頻率在 200～300,Hz范圍．振動強弱是通過脈沖寬度調制(PWM)，設置不同占空比的方波來實現的．

3 基于擴展卡爾曼濾波的室內定位設計

3.1 定位系統的軟硬件基礎

3.1.1 姿態檢測模塊

將 5個姿態傳感器分別固定在使用者的大小腿及腰部，當人體下肢運動時，附著在身上的傳感器會有對應的運動，根據傳感器的姿態，就可以得到肢體的運動狀態．

姿態檢測傳感器由三軸磁力計、三軸加速度計和三軸陀螺儀組成．加速度計在靜止狀態下用于檢測重力加速度，在運動狀態下用于檢測重力加速度與運動加速度的合成量；磁力計用于檢測地磁場強度；陀螺儀用于檢測旋轉過程中的角速度．

對于每個傳感器，可以根據重力加速度與磁場強度確定該傳感器在傳感器坐標系中的姿態角．

3.1.2 超聲波觀測模塊

利用腰間的5個超聲波傳感器的測量數據，探測視障者前方 180°范圍內的障礙物，從而實現視覺障礙者在室內的絕對定位．根據使用者的實際情況，長半軸與短半軸的長度均為已知的值．

3.1.3 數據采集模塊

STM32F103VET6通過I/O口實時采集超聲波傳感器及姿態傳感器的數據，其中，姿態檢測傳感器與STM32F103VET6之間的連接采用串行外設接口(SPI)實現．

STM32F103VET6將采集到的數據通過串口發送給主 CPU，串口數據的傳送采用中斷方式實現.STM32F103VET6與主 CPU之間由藍牙模塊連接，實現了數據的無線通信．為保證數據處理的實時性，STM32F103VET6以 60,ms周期發送數據幀形式的采集數據．

3.1.4 數據處理模塊

數據處理 E8_BOARD卡片式計算機完成，程序在Linux系統下實現，數據處理界面如圖5所示．界面顯示了包括5個姿態傳感器的姿態角、腰上5個超聲波傳感器的障礙物距離、慣性導航的定位坐標及多傳感器信息融合的定位坐標等內容．整個終端的軟件工程自定義了5個類與1個文件，即卡爾曼濾波算法類 CKalman、串口通信類 CPort、電源開關類CPoweroff、數據處理類 CDataprocess、窗口類MainWindow和main.cpp文件．

圖5 數據處理模塊的界面Fig. 5 Data processing module interface

3.2 基于擴展卡爾曼濾波的多傳感器融合定位方法

3.2.1 定位系統的總體設計

室內定位是多功能電子行走輔助系統的一個重要功能．基于慣性導航的定位方法屬于相對定位，隨著視覺障礙者行走步數的增加，定位誤差會不斷累加．因此，采用了基于擴展卡爾曼濾波的多傳感器數據融合方法，充分利用姿態傳感器與腰間超聲波傳感器的數據，對慣性導航數據進行周期性修正，從而提高定位精度，其實現過程如圖 6所示．第一步是狀態預測，根據慣性導航傳感器的信息得到狀態估計值與對應的統計特性．第二步，超聲波傳感器采集觀測信息值；同時，根據狀態估計值及地圖信息得到預測觀測值；然后，根據預測觀測值與傳感器采集的觀測值形成有效的特征匹配對．第三步，利用擴展卡爾曼濾波對有效的特征匹配對進行信息融合，實現位姿的更新．

圖6 定位系統的擴展卡爾曼濾波定位框圖Fig. 6 Location diagram of the extended Kalman filter positioning system

3.2.2 定位實現

(1)位姿預測

由于時間及精力有限，僅對第八版醫學微生物某些章節內容進行了題目的設計和問卷星試卷的制作，目前已經編寫的習題包括：細菌的遺傳與變異、細菌的耐藥性、細菌的感染與抗細菌免疫、細菌感染的檢查方法與防治原則及病毒總論等內容。今后將持續完善其他章節內容。

假設表示當前時刻的狀態估計，U(n?1)表示控制輸入，下一時刻的預測狀態為

預測方差為

式中：Q(n?1)表示系統噪聲協方差矩陣；?F(n)表示F的Jacobi矩陣，滿足

(2)預測觀測模型

結合已知地圖，得到第j個超聲波傳感器與對應的墻面i

l間的預測觀測值，可表示為

(3)觀測

通過超聲波傳感器收集n時刻的觀測值Zij(n)．

根據超聲波的觀測模型，對墻面il的觀測值Zij(n)需滿足

①觀測值必須在傳感器量程范圍內，即

②dij(n)與xg的夾角θij(n)滿足

在n時刻，保存此時所有滿足以上條件的觀測值Zij(n)，并且取與之對應的超聲波傳感器的預測觀測值，分別組成一個新的向量，即

對應于每對有效觀測，? Hij表示 Jacobi矩陣，Rj(n)為觀測噪聲，分別將它們組成新的矩陣，有

最后，根據擴展卡爾曼濾波的步驟，視覺障礙者的位姿更新可表示為

協方差矩陣的更新方程為

4 實 驗

4.1 單個超聲波測距實驗

為檢測超聲波傳感器的測距效果，首先針對單個HC-SR04超聲波傳感器進行測距實驗，讓超聲波與擋板距離在10～170,cm，每隔20,cm測量1次，假定人工測量的數據為標準值，實驗結果見表 1．實際距離與測量距離之間存在一定的誤差，分析誤差來源，可能是：聲速受溫度、壓力、濕度等因素的影響；超聲波傳感器的尺寸影響，由 2.1節的測距原理可知，對于不是收發一體的超聲波傳感器，其自身的尺寸對結果有一定的影響．

表1 單個超聲波傳感器測距實驗結果Tab. 1 Experimental results of single ultrasonic sensor

4.2 室內定位與語音反饋實驗

實驗者穿戴電子行走輔助系統進行實驗．5個超聲波均勻分布在實驗者腰部前端 180°方向，超聲波陣列的分布近似為長軸 30,cm，短軸 20,cm 的橢圓．實驗環境地圖如圖 7所示，將地圖信息存儲于主CPU中．

圖7 實驗環境地圖Fig. 7 Experimental environment map

實驗者從五角星處出發，沿著藍色虛線順時針行走一周，若按下播報按鍵，則播報所在區域的語音信息．實驗過程，當實驗者行至圖 7地圖中紅色標識的房間(302、305、310、314及衛生間)時，固定于腰部的E8_BOARD卡片式計算機會自動語音播報當前的房間號，并根據腰部姿態傳感器的航向角，識別該房間所在的方位(實驗者左側，還是右側)；在 4個區域按下按鍵時，能夠語音播報當前的區域．

實驗過程中，記錄實驗者每行走一步僅依靠姿態傳感器的相對定位坐標與利用多傳感器融合定位的坐標，并離線作圖，如圖 8所示．實驗數據的誤差曲線如圖9所示．

圖8 實際路線與相對定位、多傳感器融合定位數據Fig. 8 The actual route，relative positioning and multisensor fusion positioning data

由圖8與圖9可知：基于多傳感器融合的室內定位方法相比于慣性導航的相對定位在精度上顯著提高．由于慣性導航的相對定位在行走過程中存在著累積誤差，因此估計的坐標曲線將越來越偏離于實際路線．根據超聲波傳感器的觀測值周期性地修正姿態傳感器的計算結果后，有效地提高了定位精度．

圖9 實驗誤差曲線Fig. 9 Error curve of experiment data

5 結 語

本文設計了一套結構簡單、穿戴方便、價格低廉的多功能電子行走輔助系統，能夠實現空中及地表障礙物探測、室內定位與信息反饋等功能．

系統利用腰間超聲波傳感器感知空中障礙物的距離信息，由鞋前部的超聲波傳感器感知地表的障礙物信息，由安裝在鞋底的薄膜壓力傳感器控制鞋上的超聲波傳感器在邁出步伐時才啟動工作．所有的測距信息轉換為不同頻率的振動反饋給使用者．

利用腰間的 5個超聲波傳感器，并結合室內地圖，建立了室內的絕對定位系統．利用超聲波傳感器和姿態傳感器得到當前位置相對于初始位置的距離與方向，從而實現相對定位；并通過基于擴展卡爾曼濾波的多傳感器融合，不斷修正累計誤差，顯著提高了定位的精確性．

［1］ World Health Organization. Visual impairment and blindness[EB/OL]. [2017-10-11]. http：//www.who.int/mediacentre/factsheets/fs282/en/.

［2］ 何婧， 旻聶 ，羅蘭，等. 聽覺引導助盲系統[J]. 生物醫學工程學雜志，2010，27(2)：467-470.

［3］ Shoval S，Borenstein J，Koren Y. Mobile robot obstacle avoidance in a computerized travel aid for the blind[C]//Proceedings of IEEE Conference on Robotics and Automation. Piscataway：IEEE，1994：2023-2029.

［4］ Meijer P B L. An experimental system for auditory image representations[J]. IEEE Transactions on Biomedical Engineering，1992，39(2)：112-121.

［5］ Sainarayanan G，Nagarajan R，Yaacob S. Fuzzy image processing scheme for autonomous navigation of human blind[J]. Applied Soft Computing，2007，7(1)：257-264.

［6］ Ulrich I，Borenstein J. The guidecane-applying mobile robot technologies to assist the visually impaired people[J]. IEEE Transactions on Systems，Man and Cybernetics，Part A：Systems and Humans，2001，31(2)：131-136.

［7］ Adjouadi M. A man-machine vision interface for sensing the environment[J]. Journal of Rehabilitation Research and Development，1992，29(2)：57-76.

［8］ Szeto A Y，Saunders F A. Electrocutaneous stimulation for sensory communication in rehabilitation engineering[J]. IEEE Transactions on Biomedical Engineering，1982，29(4)：300-308.

［9］ White B W，Saunders F A，Scadden L，et al. Seeing with the skin[J]. Perception and Psychophysics，1970，7(1)：23-27.

［10］ Visell Y. Tactile sensory substitution：Models for enaction in HCI[J]. Interacting with Computers，2009，21(1)：38-53.