基于視覺追蹤的輪椅行進(jìn)控制系統(tǒng)

吳佳寶，陳萬忠，馬迪，蔣貴虎

吉林大學(xué)通信工程學(xué)院，吉林長(zhǎng)春130025

據(jù)了解，世界人口老齡化日益加重，肢體殘疾人士的數(shù)量日漸增加，越來越多的肢體殘障群體對(duì)代步工具的需求也越來越迫切[1]。中國(guó)由于對(duì)智能儀器的研究起步較晚，在智能輪椅的各方面研究都較為落后，基于此，本文提出了一種采用視覺追蹤的輪椅行進(jìn)控制系統(tǒng)來滿足更多無法自理人群的需要[2]，進(jìn)而提高他們自身的生活自理能力和工作能力，使他們更好地融入社會(huì)，促進(jìn)和諧社會(huì)進(jìn)程。

1 系統(tǒng)簡(jiǎn)介

本文的系統(tǒng)結(jié)構(gòu)示意圖如圖1所示。系統(tǒng)整體操作流程為：首先使用者坐于輪椅上同時(shí)佩戴頭戴式視覺追蹤裝置，之后工作人員通過PC機(jī)對(duì)受試者眼球進(jìn)行標(biāo)定，最后使用者通過眼球的上下左右和平視5種眼球狀態(tài)控制輪椅向前走、向后走、向左轉(zhuǎn)、向右轉(zhuǎn)和停止5個(gè)行為[3]。

圖1 系統(tǒng)結(jié)構(gòu)示意

2 系統(tǒng)硬件設(shè)計(jì)

系統(tǒng)硬件整體的結(jié)構(gòu)框圖如圖2所示。硬件系統(tǒng)分為頭戴式視線追蹤裝置和輪椅控制硬件2個(gè)部分。通過850nm的紅外發(fā)射管對(duì)人眼進(jìn)行補(bǔ)光，利用WX051攝像頭對(duì)人眼圖像進(jìn)行采集，將信息通過USB接口傳送到筆記本電腦上，再通過筆記本電腦對(duì)眼球方向進(jìn)行判斷和分析，經(jīng)過藍(lán)牙將方向指令傳送給電動(dòng)輪椅，電動(dòng)輪椅的控制模塊接收到指令并經(jīng)過單片機(jī)分析后，通過電磁場(chǎng)的轉(zhuǎn)換控制和電機(jī)控制輪椅的行動(dòng)狀態(tài)[4]。

圖2 系統(tǒng)硬件結(jié)構(gòu)框圖

2.1 頭戴式視線追蹤裝置設(shè)計(jì)

裝置硬件電路包括2個(gè)五號(hào)電池作為電源、3個(gè)并聯(lián)的電阻、裝載了850nm的高透紅外濾光片的WX051攝像頭和連接電腦USB接口的數(shù)據(jù)線。裝置硬件主構(gòu)架為一個(gè)型號(hào)為Hero5的GoPro頭盔，在頭盔前置旋桿上安裝一個(gè)裝載了850nm的高透紅外濾光片的WX051攝像頭，并且把攝像頭裝載在眼睛的正前方。在眼部攝像頭的周圍需要安裝一個(gè)850nm的紅外發(fā)射管進(jìn)行補(bǔ)光。

型號(hào)為Hero5的GoPro頭盔安裝有前頭固定支架，可以將攝像頭穩(wěn)定地固定在頭盔前部；固定支架上包含旋轉(zhuǎn)基座和長(zhǎng)桿螺絲，可以隨意調(diào)整支架的高度和遠(yuǎn)近（隨意調(diào)整攝像頭距離眼睛的位置）；頭盔同時(shí)還包含頭盔帶，鎖扣設(shè)計(jì)固定頭盔與頭部使之更加穩(wěn)定，使用者可以隨意轉(zhuǎn)動(dòng)頭部而不影響頭盔與頭部的相對(duì)位置。

裝載850nm的高透紅外濾光片的WX051攝像頭和850nm的紅外發(fā)射管用來對(duì)眼睛進(jìn)行圖像采集。850nm的紅外發(fā)射管在850nm波長(zhǎng)的感應(yīng)度比在其他波長(zhǎng)的感應(yīng)度好，發(fā)射功率更大且發(fā)射距離更遠(yuǎn)，因此850nm這種有輕微紅暴的紅外管更適合應(yīng)用在紅外攝像頭上[5]。頭戴式視線追蹤裝置具體硬件電路圖如圖3所示。

圖3 頭戴式視線追蹤裝置硬件電路

2.2 輪椅硬件設(shè)計(jì)

2.2.1 輪椅硬件系統(tǒng)設(shè)計(jì)

本設(shè)計(jì)采用的是型號(hào)為BZ-6401的電動(dòng)輪椅，該輪椅的硬件系統(tǒng)框圖如圖4所示，眼睛發(fā)出的方位指令通過USB接口傳送給PC機(jī)；PC機(jī)將指令通過藍(lán)牙傳送給輪椅；輪椅在接受到指令后，通過舵輪電機(jī)對(duì)輪椅的行進(jìn)方向進(jìn)行控制[6]。輪椅由可充電蓄電池持續(xù)供電。

圖4 輪椅硬件系統(tǒng)框圖

2.2.2 輪椅硬件系統(tǒng)設(shè)計(jì)

輪椅控制器硬件由以下3部分組成，它們分別是藍(lán)牙模塊、單片機(jī)最小系統(tǒng)和霍爾位置傳感器模塊[7]。輪椅控制器硬件電路圖如圖5所示。

藍(lán)牙模塊負(fù)責(zé)接收PC機(jī)發(fā)送的方位指令，實(shí)現(xiàn)其通信功能并且將指令發(fā)送給單片機(jī)。

單片機(jī)最小系統(tǒng)[8]包含52單片機(jī)、時(shí)鐘電路、復(fù)位電路、P0口外接上拉電阻以及LED驅(qū)動(dòng)電路。單片機(jī)最小系統(tǒng)在控制器硬件設(shè)計(jì)部分負(fù)責(zé)分析從藍(lán)牙接收到的指令，并將指令通過處理轉(zhuǎn)化為機(jī)器語言，從P0口將指令傳送給霍爾位置傳感器模塊，進(jìn)而對(duì)輪椅行進(jìn)實(shí)現(xiàn)控制。

霍爾位置傳感器模塊主要由型號(hào)為MX90系列的霍爾位置傳感器、型號(hào)為74LS04的芯片、型號(hào)為ULN2803的芯片、5個(gè)型號(hào)為HJR1?2CL?05V的繼電器和5個(gè)電磁鐵組成。霍爾位置傳感器是一種檢測(cè)物體位置的磁場(chǎng)傳感器，利用霍爾效應(yīng)原理可以檢測(cè)磁場(chǎng)及其變化。本文則是通過5個(gè)繼電器的開閉來控制5個(gè)電磁鐵的工作狀態(tài)，利用5個(gè)電磁鐵是否工作來制造相應(yīng)的5種磁場(chǎng)狀態(tài)，進(jìn)而模擬輪椅前進(jìn)、后退、左轉(zhuǎn)、右轉(zhuǎn)和停止共5種行為。ULN2803芯片是由8個(gè)NPN達(dá)林頓晶體管組成，用來驅(qū)動(dòng)電磁繼電器使之正常工作。74LS04是帶有6個(gè)非門的芯片，是六輸入反相器，輸出信號(hào)與輸入信號(hào)相位相反，作用是將單片機(jī)上電以后P0口輸出的低電平轉(zhuǎn)化為高電平，防止系統(tǒng)上電5個(gè)電磁鐵即導(dǎo)通工作導(dǎo)致驅(qū)動(dòng)芯片無法正常驅(qū)動(dòng)。

圖5 輪椅控制器硬件電路

3 系統(tǒng)軟件設(shè)計(jì)

3.1 電腦端軟件設(shè)計(jì)

PC機(jī)端主要的設(shè)計(jì)語言是采用Visual C++編程語言和OpenCV相結(jié)合實(shí)現(xiàn)眼球控制輪椅行進(jìn)功能，電腦端軟件流程圖如圖6所示。

圖6 眼球控制輪椅行進(jìn)電腦端軟件流程

1）對(duì)眼部圖像進(jìn)行切割并且繪制合適的瞳孔輪廓[9]。

2）若檢測(cè)到瞳孔，則對(duì)參考點(diǎn)的坐標(biāo)進(jìn)行判斷，判斷是否為原始坐標(biāo)點(diǎn)。

3）若參考點(diǎn)是原始坐標(biāo)點(diǎn)，則點(diǎn)擊鍵盤按鍵“C”進(jìn)行瞳孔坐標(biāo)標(biāo)定，將瞳孔坐標(biāo)賦給起始坐標(biāo)。

4）若參考點(diǎn)不是原始坐標(biāo)點(diǎn)[10]，則計(jì)算瞳孔坐標(biāo)與參考點(diǎn)坐標(biāo)的坐標(biāo)差con_point。如果坐標(biāo)差con_point的橫縱坐標(biāo)均滿足在某個(gè)容差范圍內(nèi)，則給藍(lán)牙發(fā)送“Z”；如果坐標(biāo)差con_point的縱坐標(biāo)小于負(fù)容差且坐標(biāo)差con_point的橫坐標(biāo)大于?30小于30，則給藍(lán)牙發(fā)送“A”；如果坐標(biāo)差con_point的縱坐標(biāo)大于容差且坐標(biāo)差con_point的橫坐標(biāo)大于?30小于30，則給藍(lán)牙發(fā)送“E”；如果坐標(biāo)差con_point的橫坐標(biāo)大于容差+10且坐標(biāo)差con_point的縱坐標(biāo)大于?30小于30，則給藍(lán)牙發(fā)送“G”；如果坐標(biāo)差con_point的橫坐標(biāo)小于負(fù)容差?10且坐標(biāo)差con_point的縱坐標(biāo)大于?30小于30，則給藍(lán)牙發(fā)送“C”。若以上條件均不滿足，則程序自動(dòng)結(jié)束跳出。

3.2 輪椅單片機(jī)設(shè)計(jì)

首先對(duì)單片機(jī)進(jìn)行初始化設(shè)置，接下來單片機(jī)始終處在等待階段直到接收到來自串口的中斷[11]，該中斷發(fā)生的條件是單片機(jī)接收到來自藍(lán)牙的指令（此時(shí)RI標(biāo)志位為1）。在發(fā)生中斷時(shí)，判斷接收的數(shù)據(jù)是什么[12]。在接收到指令為“1”時(shí)，令P0.0輸出口為1，其他輸出口為0，因此驅(qū)動(dòng)了電磁鐵E1，產(chǎn)生了一個(gè)向前的電磁場(chǎng)，進(jìn)而輪椅會(huì)受到磁場(chǎng)作用向前運(yùn)動(dòng)；同理在接收到指令為“2”時(shí)，令P0.1輸出口為1，其他輸出口為0，因此驅(qū)動(dòng)了電磁鐵E2，產(chǎn)生了一個(gè)向左的電磁場(chǎng)，進(jìn)而輪椅會(huì)受到磁場(chǎng)作用向左轉(zhuǎn)動(dòng)；在接受到指令為“3”時(shí)，令P0.2輸出口為1，其他輸出口為0，因此驅(qū)動(dòng)了電磁鐵E3，產(chǎn)生了一個(gè)向右的電磁場(chǎng)，進(jìn)而輪椅會(huì)受到磁場(chǎng)作用向右轉(zhuǎn)動(dòng)；在接受到指令為“4”時(shí)，令P0.3輸出口為1，其他輸出口為0，因此驅(qū)動(dòng)了電磁鐵E4，產(chǎn)生了一個(gè)向后的電磁場(chǎng)，進(jìn)而輪椅會(huì)受到磁場(chǎng)作用向后運(yùn)動(dòng)；在接受到指令為“5”時(shí)，令P0.4輸出口為1，其他輸出口為0，因此驅(qū)動(dòng)了電磁鐵E5，產(chǎn)生了一個(gè)中間的電磁場(chǎng)，進(jìn)而輪椅會(huì)受到磁場(chǎng)作用停止。

4 實(shí)際測(cè)試

圖7為測(cè)試結(jié)果圖，其中虛線箭頭是為輪椅規(guī)劃的路徑，實(shí)線為輪椅的行進(jìn)路線。

圖7 測(cè)試結(jié)果

測(cè)試方法：在空地上貼寬高比為3m×3m的軌道線條，受試者佩戴頭戴式視覺追蹤裝置坐在輪椅上，標(biāo)定瞳孔參考點(diǎn)后，受試者通過控制眼球的狀態(tài)控制輪椅按照標(biāo)定的軌道行進(jìn)，最終得到如圖7所示的測(cè)試結(jié)果。

5 結(jié)論

本文提出了一種基于視覺追蹤的輪椅行進(jìn)控制系統(tǒng)的應(yīng)用方案。

1）通過使用者的眼睛轉(zhuǎn)動(dòng)來控制輪椅的動(dòng)作，有效地解決了生活無法自理人群不能自由行動(dòng)的問題；

2）該系統(tǒng)操作簡(jiǎn)單、方便同時(shí)靈敏度很好，通過了實(shí)際操作和運(yùn)行取得了較好的實(shí)用效果；

3）軟件系統(tǒng)速度快、精度高，經(jīng)過試驗(yàn)測(cè)試，本系統(tǒng)的準(zhǔn)確率可以達(dá)到99%。