基于ARM和嵌入式Linux的智能小車技術(shù)實(shí)踐①

林粵偉,牟 森,姜海君,2

1(青島科技大學(xué) 信息科學(xué)技術(shù)學(xué)院,青島 266061)

2(北京郵電大學(xué) 電子工程學(xué)院,北京 100876)

引言

隨著經(jīng)濟(jì)與科技的快速發(fā)展,機(jī)器人技術(shù)正在逐步普及,在各行各業(yè)得到了較多應(yīng)用.在社會(huì)上的部分崗位中,機(jī)器人已經(jīng)可以完全替代人類.當(dāng)前對(duì)于四輪簡易機(jī)器人,即智能小車的開發(fā)仍是大學(xué)生創(chuàng)新創(chuàng)業(yè)訓(xùn)練、各類大賽的熱點(diǎn)題目,相關(guān)技術(shù)資料較為豐富,文獻(xiàn)[1]對(duì)無線遙控智能小車進(jìn)行了介紹.對(duì)于小車的輪子電機(jī)控制硬件設(shè)計(jì),在文獻(xiàn)[2]中給出了描述.對(duì)于小車的PID控制軟件設(shè)計(jì),在文獻(xiàn)[3]中給出了介紹.本文借鑒智能小車相關(guān)文獻(xiàn)和大賽,如恩智浦杯[4]、博創(chuàng)杯等比賽成果用到的開發(fā)技術(shù),進(jìn)行具有計(jì)算機(jī)視覺人臉識(shí)別功能的無線遙控智能小車的技術(shù)實(shí)踐.本文采用基于ARM[5]和嵌入式Linux系統(tǒng)的方案實(shí)現(xiàn)屬于簡易機(jī)器人的四輪智能小車,較傳統(tǒng)單片機(jī)的解決方案,其智能性和擴(kuò)展性較高.較同類基于ARM和嵌入式Linux的解決方案,其主要特點(diǎn)在于基于OpenCV實(shí)現(xiàn)了一定的人臉識(shí)別功能.

本文中手機(jī)可以通過傳統(tǒng)“按鍵動(dòng)作”發(fā)送命令,也可以通過較為新穎的“重力感應(yīng)動(dòng)作”發(fā)送命令,提高了無線遙控的用戶體驗(yàn)和樂趣.在手機(jī)和小車之間組建無線網(wǎng)絡(luò),通過Android智能手機(jī)的APP發(fā)送無線遙控命令,手機(jī)可以通過按鍵動(dòng)作發(fā)送命令也可以通過重力感應(yīng)動(dòng)作發(fā)送命令.重力感應(yīng)指的是手機(jī)上的重力傳感器能夠根據(jù)手機(jī)的不同擺放狀態(tài)獲得不同的數(shù)據(jù),ARM芯片通過WiFi模塊接收命令并進(jìn)行相應(yīng)的操作控制,如小車的前進(jìn)、后退、轉(zhuǎn)彎、旋轉(zhuǎn)、停車等.

1 關(guān)鍵技術(shù)

1.1 智能小車系統(tǒng)架構(gòu)

如圖1,無線遙控小車架構(gòu)由車輪、小車底板、電機(jī)、電池、OK6410 ARM開發(fā)板[6](帶S3C6410處理器)、WiFi模塊(SDIO接口)、USB攝像頭、速度傳感器、Android手機(jī)客戶端組成.

圖1 智能小車系統(tǒng)架構(gòu)

1.2 關(guān)鍵技術(shù)概述

使用的關(guān)鍵技術(shù)包括:基于重力傳感器的智能手機(jī)無線遙控、WiFi/Socket套接字[7]通信、計(jì)算機(jī)視覺人臉檢測算法、PID控制算法[8]等.

如圖2,基于Android智能手機(jī)中的重力傳感器實(shí)現(xiàn)重力感應(yīng)[9],需要首先得到x、y、z三軸的加速度的值.該值包含了地心引力的影響,如當(dāng)將手機(jī)放在水平桌面上時(shí),x軸默認(rèn)值為0,y軸默認(rèn)值為0,z軸默認(rèn)值為9.81.將手機(jī)向左傾斜時(shí),x軸的值為正.將手機(jī)向右傾斜時(shí),x軸的值為負(fù).將手機(jī)向前傾斜時(shí),y軸的值為負(fù).將手機(jī)向后傾斜時(shí),y軸的值為正.

圖2 傳感器的坐標(biāo)軸

利用傳感器技術(shù)獲得手機(jī)狀態(tài)后,還要將與狀態(tài)對(duì)應(yīng)的命令通過專門的通信技術(shù)發(fā)送給小車(如手機(jī)左傾代表遙控小車左轉(zhuǎn)).ARM開發(fā)板與智能手機(jī)之間采取C/S架構(gòu)的WiFi/Socket(套接字)技術(shù)進(jìn)行互聯(lián)通信.其中ARM板上運(yùn)行著Socket服務(wù)器,負(fù)責(zé)驅(qū)動(dòng)WiFi模塊并獲取Android智能手機(jī)客戶端發(fā)送來的數(shù)據(jù)命令包,然后把命令解析出來,通過GPIO端口把控制信息傳送給小車底板,小車底板中的驅(qū)動(dòng)電路接收到控制信號(hào),做出相應(yīng)的操作驅(qū)動(dòng)電機(jī)改變車輪運(yùn)動(dòng)狀態(tài),從而達(dá)到無線遙控小車運(yùn)動(dòng)的目的.ARM小車上運(yùn)行Socket服務(wù)端程序,設(shè)置WiFi模塊為熱點(diǎn)模式,手機(jī)上安裝Socket通信客戶端APP,使手機(jī)連接到ARM小車WiFi熱點(diǎn),打開手機(jī)APP,設(shè)置相應(yīng)的服務(wù)端IP和端口號(hào),設(shè)置發(fā)送的命令.控制端手機(jī)APP(Socket通信客戶端)發(fā)送命令數(shù)據(jù)包,手機(jī)APP發(fā)送指令數(shù)據(jù)包分為兩種方式:屏幕按鍵、重力感應(yīng).屏幕按鍵操作是用戶按住APP的前、后、左、右鍵發(fā)送相應(yīng)的數(shù)據(jù)包命令;重力感應(yīng)操作是用戶在手機(jī)APP上選擇重力感應(yīng)模式,通過把手機(jī)前傾、后傾、左傾、右傾完成數(shù)據(jù)包命令的發(fā)送.ARM小車服務(wù)端接收到數(shù)據(jù)包后,對(duì)數(shù)據(jù)包進(jìn)行解析,然后執(zhí)行相應(yīng)的操作,如前進(jìn)、后退、左轉(zhuǎn)、右轉(zhuǎn)、左旋、右旋、停車等.

人臉識(shí)別用到的人臉檢測算法是采用Adaboost學(xué)習(xí)算法[10],它把一些比較弱的分類方法級(jí)聯(lián)整合在一起,組合出新的很強(qiáng)的分類措施.采用比例積分微分(Proportion Integral Differential,PID)控制算法控制小車的車輪轉(zhuǎn)速,確保其直線行走和準(zhǔn)確轉(zhuǎn)彎.關(guān)于人臉檢測算法和PID控制算法將在軟件設(shè)計(jì)與實(shí)現(xiàn)小節(jié)詳細(xì)描述.

2 硬件設(shè)計(jì)過程與方法

2.1 關(guān)鍵器件選型

小車采用四個(gè)驅(qū)動(dòng)車輪,四個(gè)輪子都安裝了直流電機(jī),大大增加了地面的阻力.四個(gè)輪子和電機(jī)都是同種型號(hào)的,各個(gè)輪子幾乎沒有差別,在相同供電的情況下,小車運(yùn)動(dòng)時(shí),小車的重力中心在小車底盤中心,由于四個(gè)輪子都可以單獨(dú)控制,小車運(yùn)動(dòng)時(shí)很難跑偏.當(dāng)然四個(gè)驅(qū)動(dòng)輪使得小車有更快的速度,當(dāng)小車停止時(shí),由于四個(gè)輪子都不轉(zhuǎn),直接增大了摩擦力,小車很快就能停下,這個(gè)小車底盤性能較好,滿足本小車的需求[11].四驅(qū)小車速度達(dá)到了預(yù)期要求,在小車執(zhí)行直行、轉(zhuǎn)彎、旋轉(zhuǎn)等動(dòng)作時(shí)更便于控制.

S3C6410芯片是三星公司的ARM11架構(gòu)處理器,本文選用的中國飛凌公司的OK6410開發(fā)板采用了S3C6410為主控芯片,功能強(qiáng)大,便于用戶二次開發(fā)[3].WiFi模塊較藍(lán)牙模塊的通信距離更遠(yuǎn),更適合無線遙控,因此選用飛凌公司基于RTL8189ES型號(hào)的WiFi模塊[6],該模塊通過SDIO接口與板子連接.選用普通USB接口的攝像頭,通過USB口與板子連接.

圖3 雙L298N原理圖

2.2 電機(jī)及其驅(qū)動(dòng)電路

選擇了4個(gè)130直流電機(jī),130電機(jī)慣量適中.小車的輪子由四個(gè)電機(jī)構(gòu)成,且每個(gè)電機(jī)都可以單獨(dú)控制,即四輪驅(qū)動(dòng).小車的轉(zhuǎn)向是通過輪子的差速實(shí)現(xiàn)的,即左右兩個(gè)輪子存在速度差時(shí),小車就能實(shí)現(xiàn)轉(zhuǎn)彎.假如左邊兩個(gè)輪子的速度比右邊兩個(gè)輪子的快,那么小車會(huì)偏向右;同理,左邊兩個(gè)輪子比右邊兩個(gè)輪子速度慢,那么小車就會(huì)偏左.由于四個(gè)輪子的130電機(jī)需要差速轉(zhuǎn)彎,轉(zhuǎn)向時(shí)輪子與地面有很大的阻力,使用的電流比較大,實(shí)際測量,小車在走直線時(shí)需要600–850 mA的電流,轉(zhuǎn)向時(shí)需要提供的電流約為1.2–1.5 A.130直流電機(jī)工作電壓在3–9 V之間,實(shí)際選取6 V左右,此時(shí)小車狀態(tài)較好.

四個(gè)直流電機(jī)選用雙L298N電機(jī)驅(qū)動(dòng)模塊[8]驅(qū)動(dòng),兩個(gè)電機(jī)分別驅(qū)動(dòng)左右兩對(duì)輪子.L298N芯片是ST公司制作的,并且工藝穩(wěn)定性高,其原理圖如圖3,能夠直接驅(qū)動(dòng)4路3–16 V直流電機(jī).電機(jī)驅(qū)動(dòng)電路輸入接口的GND與OK6410開發(fā)板的GND連在一起,電機(jī)供電電池的GND和驅(qū)動(dòng)電路輸出接口的GND連在一起,保證邏輯電平的統(tǒng)一.制作了專門的排線以連接ARM開發(fā)板與電機(jī)驅(qū)動(dòng)電路.

電機(jī)驅(qū)動(dòng)電路的輸入端有8個(gè)管腳(IN1～I(xiàn)N8),分別連接OK6410板子的8個(gè)引出的預(yù)留給用戶的GPIO管腳,這8個(gè)GPIO管腳分別連接驅(qū)動(dòng)電路的IN1～I(xiàn)N8輸入管腳,對(duì)應(yīng)驅(qū)動(dòng)電路的8路輸出端口OUT1～OUT8,以控制車輪旋轉(zhuǎn)方向(使輪子正轉(zhuǎn)、反轉(zhuǎn)、不轉(zhuǎn)).基于S3C6410處理器的定時(shí)器內(nèi)部中斷,由軟件模擬產(chǎn)生GPIO管腳上的PWM波,可為左右兩對(duì)車輪的電機(jī)提供PWM信號(hào),以控制車輪轉(zhuǎn)速(在左右兩對(duì)輪子之間形成速度差,使小車?yán)貌钏俎D(zhuǎn)彎).除了上述8個(gè)作為輸出端口的GPIO管腳,板子還有另外2個(gè)GPIO管腳作為輸入端口,分別連接速度傳感器的輸出管腳,以達(dá)到測速目的.

如表1,驅(qū)動(dòng)電路輸出端的8路輸出端口分別連接4個(gè)車輪的電機(jī)(每個(gè)電機(jī)需要2根接線,4個(gè)電機(jī)共需8根線,分別接8個(gè)輸出端口).以左上電機(jī)為例:當(dāng)OUT1、OUT2同為高電平或低電平時(shí),左上電機(jī)不轉(zhuǎn);當(dāng)OUT1為低電平,OUT2為高電平時(shí),左上電機(jī)正轉(zhuǎn);當(dāng)OUT1為高電平,OUT2為低電平時(shí),左上電機(jī)反轉(zhuǎn).其他3個(gè)電機(jī)的控制以此類推.

表1 驅(qū)動(dòng)模塊輸出端口與電機(jī)接線

3 軟件設(shè)計(jì)過程與方法

在PC機(jī)安裝虛擬機(jī)軟件,虛擬機(jī)內(nèi)安裝的是Ubuntu 12.04,安裝ARM交叉編譯器、QT Creator IDE(用于開發(fā)QT程序,QT是嵌入式Linux系統(tǒng)的一種圖形化用戶界面,類似于PC Windows系統(tǒng)中的桌面[6]).OK6410板子中燒錄Linux 3.0.1版本的內(nèi)核.

3.1 GPIO驅(qū)動(dòng)程序與車輪控制

三星S3C6410芯片包含187個(gè)多功能輸入/輸出端口管腳,而小車的控制采用OK6410開發(fā)板預(yù)留的用戶端口中的10路GPIO,分別為GPC0～GPC7(輸出由軟件模擬的PWM波)、GPP8～GPP9(輸入端口,分別檢測由速度傳感器產(chǎn)生的關(guān)聯(lián)左右兩對(duì)輪子轉(zhuǎn)速的外部中斷).以GPC寄存器的配置為例,GPCCON、GPCDAT、GPCPUD、GPCCONSLP、GPCPUDSLP,這五個(gè)控制寄存器都屬于端口GPC控制寄存器.寄存器GPC的端口都有多種的配置方式,包括輸入、輸出、外部中斷等,在小車控制中需要把GPIO端口配置為輸出模式,具體配置見表2.此時(shí)GPC7～0的管腳狀態(tài)與GPCDAT的低八位[7:0]相應(yīng)的位狀態(tài)相同,GPP9、GPP8的管腳狀態(tài)與GPPDAT的中間兩位[9:8]相應(yīng)的位狀態(tài)相同[12].

表2 GPCCON寄存器配置

在GPIO的驅(qū)動(dòng)中,首先要編寫驅(qū)動(dòng)的入口函數(shù)和卸載函數(shù)[13],驅(qū)動(dòng)的入口函數(shù)為mygpio_init(),卸載函數(shù)為mygpio_exit(),打開設(shè)備的函數(shù)為mygpio_open(),控制設(shè)備的函數(shù)為mygpio_ioctl().在mygpio_open()函數(shù)中,首先要進(jìn)行地址映射,內(nèi)核中訪問IO內(nèi)存之前,只知道它們的物理地址,不能使用軟件直接訪問,調(diào)用ioremap()將設(shè)備物理地址映射為虛擬地址,然后根據(jù)虛擬地址范圍去訪問IO資源.mygpio_ioctl()函數(shù)可以控制每一個(gè)車輪的轉(zhuǎn)動(dòng)狀態(tài).

小車的實(shí)際速度有時(shí)不穩(wěn)定,不能直接線性調(diào)速,且小車的四個(gè)輪子的直流電機(jī)也存在微小的差異,使得小車輪子之間的轉(zhuǎn)速有差異.為此,本設(shè)計(jì)采用PID(Proportion Integral Differential,比例積分微分)控制算法控制小車的車輪轉(zhuǎn)速,確保其直線行走和準(zhǔn)確轉(zhuǎn)彎.采用定時(shí)器來模擬四路PWM(Pulse Width Modulation,脈沖寬度調(diào)制)來控制四個(gè)直流電機(jī)的轉(zhuǎn)速.PID一般包括兩種:位置式PID和增量式PID,在小車控制中一般采用增量式,本文采用的就是這種方式.

計(jì)算機(jī)控制是經(jīng)過采樣后的數(shù)字化控制,這種控制必須按照采樣時(shí)間點(diǎn)的偏差計(jì)算控制量,無法輸出連續(xù)的模擬控制量,因此積分項(xiàng)和微分項(xiàng)是不能被直接使用的,而是要先進(jìn)行處理,使之離散化.其離散化處理的方法為:以T為采樣周期,k為采樣序號(hào),則離散采樣時(shí)間kT對(duì)應(yīng)著連續(xù)時(shí)間t,用求和代替積分,用后向差分代替微分,則離散化的PID表達(dá)式近似如下:

式(1)中,ek為輸入的控制誤差,uk為輸出,Kp為比例系數(shù),Ti與積分時(shí)間相關(guān),Td為微分時(shí)間常數(shù).所謂增量式PID是指數(shù)字控制器的輸出只是控制量的增量,增量式PID控制算法可以得到控制器的第k–1個(gè)采樣時(shí)刻的輸出值為:

將(1)與(2)相減并整理,就可以得到增量式PID控制算法公式為:

其中

由式(3)可以看出,如果計(jì)算機(jī)控制系統(tǒng)采用恒定的采用周期T,只要確定了A、B、C的值,并使用時(shí)間上前后三次測量的目標(biāo)速度與實(shí)際速度的偏差值ek、ek-1、ek-2,就可以求出控制量的增量△uk.小車的車輪轉(zhuǎn)速采樣周期為100 ms,由PID算法得出A、B、C三個(gè)參數(shù),按照△uk來增大或減小輸出PWM波的占空比,從而調(diào)整車輪轉(zhuǎn)速.

3.2 視頻采集與人臉識(shí)別

攝像頭與ARM開發(fā)板通過USB口連接.在ARM開發(fā)板上,采用V4L2(Video for Linux 2)API[14]進(jìn)行打開攝像頭等操作,并基于Open CV 2.0開源計(jì)算機(jī)視覺代碼包[15]處理視頻數(shù)據(jù).使用QT界面程序顯示采集到的視頻并進(jìn)行人臉檢測.

開發(fā)時(shí)發(fā)現(xiàn)Open CV的打開攝像頭的接口函數(shù)在ARM開發(fā)板上不能正常運(yùn)行,故采用Linux中的V4L2接口來配合編寫攝像頭程序,其中包括:打開攝像頭、初始化攝像頭、采集視頻幀、停止采集視頻幀、卸載攝像頭設(shè)備、獲取視頻幀、關(guān)閉攝像頭等.獲取到攝像頭視頻后,把視頻進(jìn)行壓縮,從而提高人臉檢測的速度,在視頻流中進(jìn)行人臉檢測,然后恢復(fù)原圖像的大小,使用Open CV函數(shù)進(jìn)行圖像格式轉(zhuǎn)換并把視頻顯示在QT界面程序中.在人臉檢測中,如果檢測到人臉,則在圖像中以人臉為中心,圍繞著人臉畫出一個(gè)方框來標(biāo)注人臉,如圖4.

利用Open CV中支持的人臉檢測方法實(shí)現(xiàn)人臉識(shí)別:首先利用樣本的Haar特征進(jìn)行分類訓(xùn)練,獲得級(jí)聯(lián)boosted分類器,進(jìn)而獲得級(jí)聯(lián)分類器類CascadeClassifier,使用該類對(duì)視頻流中的目標(biāo)進(jìn)行檢測.檢測時(shí)需要加載XML分類器文件("haarcascade_frontalface_alt.xml").在程序中構(gòu)造了一個(gè)detectAndDisplay()函數(shù),對(duì)在視頻流中讀取的每一幀圖像進(jìn)行檢測.該函數(shù)主要是將每一幀圖像轉(zhuǎn)換為灰度圖像,然后進(jìn)行直方圖均衡化,然后找出人臉區(qū)域;最后顯示人臉目標(biāo):定出人臉區(qū)域后,以人臉為中心畫出一個(gè)方框,如圖4.

圖4 人臉識(shí)別運(yùn)行界面

3.3 軟件主流程

軟件主流程如圖5,整體為C/S架構(gòu),小車做服務(wù)端,手機(jī)做客戶端,兩者之間采取WiFi/Socket技術(shù)進(jìn)行通信.其中小車部分為多線程結(jié)構(gòu),主線程負(fù)責(zé)視頻采集與人臉識(shí)別,次線程負(fù)責(zé)小車控制.

4 實(shí)踐遇到的主要問題、解決方法和經(jīng)驗(yàn)體會(huì)

首先,使用OpenCV的函數(shù)調(diào)用攝像頭在虛擬機(jī)中的Linux中可以正常運(yùn)行,沒有問題存在,但是當(dāng)把程序移植到ARM開發(fā)板的嵌入式Linux系統(tǒng)中時(shí),會(huì)出現(xiàn)段錯(cuò)誤,主要是OpenCV的相關(guān)函數(shù)出現(xiàn)問題.比如其中一個(gè)出現(xiàn)問題的函數(shù)是cvCreateCameraCapture(),調(diào)試時(shí)發(fā)現(xiàn)運(yùn)行到這里就出現(xiàn)錯(cuò)誤了.采取的措施是避開使用OpenCV的函數(shù)打開攝像頭,采用V4L2來打開攝像頭,使用OpenCV的函數(shù)來處理圖像,問題成功解決.

另外,在QT調(diào)用OpenCV的功能調(diào)試時(shí)調(diào)試時(shí)間較長,發(fā)現(xiàn)導(dǎo)致問題的因素大都是某些細(xì)節(jié)沒有處理好,但初次實(shí)踐者較易忽略.筆者經(jīng)過實(shí)踐解決了問題,總結(jié)經(jīng)驗(yàn)如下:在QT程序中,需要把OpenCV的動(dòng)態(tài)鏈接庫路徑加入到工程中,并在ARM開發(fā)板中把所有的鏈接庫(*.so)文件添加,此時(shí)需要保證路徑和PC機(jī)上的一致.如果出現(xiàn)在ARM上運(yùn)行的程序提示找不到鏈接庫,可能是由于鏈接庫路徑太長.

圖5 C/S架構(gòu)智能小車主程序流程圖

5 結(jié)論

本文研制的小車實(shí)物如圖6.經(jīng)過實(shí)測,小車各項(xiàng)功能達(dá)到了預(yù)期設(shè)計(jì)目標(biāo),運(yùn)行穩(wěn)定,小車可被手機(jī)無線遙控,并支持視頻采集與人臉檢測,有效遙控距離為60米左右,在防爆、救援、養(yǎng)老等領(lǐng)域具有較好的應(yīng)用價(jià)值.比如,小車可在人類視野內(nèi)被遙控進(jìn)入危險(xiǎn)的人類不便進(jìn)入的區(qū)域,以進(jìn)行識(shí)別、救援、排爆等任務(wù).將來考慮實(shí)現(xiàn)其他計(jì)算機(jī)視覺算法,并增加語音識(shí)別等功能.

圖6 智能小車實(shí)物照片