基于樹莓派的智能小車的設(shè)計(jì)與開發(fā)

韓改寧，蘇靜池，張瑞斌

（咸陽師范學(xué)院計(jì)算機(jī)學(xué)院，陜西咸陽 712000）

隨著社會的發(fā)展，人們對生活的便利性要求越來越高，如外賣、快遞的配送等。智能小車是當(dāng)代汽車的模型縮減，技術(shù)水平發(fā)展良好，融合了各種跨學(xué)科的工科知識[1-4]。智能小車基于傳統(tǒng)意義上的車載系統(tǒng)，將一些先進(jìn)的、智能的、實(shí)用的科技運(yùn)用到小車上，使其具有智能化。可以廣泛應(yīng)用于配送和無人駕駛等許多方面。

1 系統(tǒng)總體設(shè)計(jì)

該文系統(tǒng)主要是通過相關(guān)設(shè)備實(shí)現(xiàn)對一些路面環(huán)境的實(shí)時(shí)監(jiān)控，數(shù)據(jù)采集設(shè)備不斷采集數(shù)據(jù)，對數(shù)據(jù)進(jìn)行分析、預(yù)測，決策小車的行駛狀態(tài)。系統(tǒng)主要解決的問題包括以下方面：

1）在樹莓派上搭建環(huán)境，如Python 環(huán)境和一些相關(guān)的庫。

2）利用TensroFlow 搭建合適的卷積神經(jīng)網(wǎng)絡(luò)。

3）制作合適的紅綠燈數(shù)據(jù)集。

4）進(jìn)行圖像信息采集，并對其進(jìn)行處理分析及預(yù)測。

5）進(jìn)行前方障礙物檢測。

6）對采集的數(shù)據(jù)進(jìn)行分析，決策小車行駛狀態(tài)，如左轉(zhuǎn)、右轉(zhuǎn)、前進(jìn)、后退。

系統(tǒng)的目標(biāo)是通過攝像頭采集圖像，使用OpenCV 對圖像進(jìn)行處理，實(shí)現(xiàn)循跡功能，通過訓(xùn)練深度學(xué)習(xí)模型對圖像進(jìn)行預(yù)測，實(shí)現(xiàn)紅綠燈識別功能，通過紅外避障模塊實(shí)現(xiàn)避障功能。

該文設(shè)計(jì)是在Anaconda、VNC viewer 等軟件開發(fā)環(huán)境和樹莓派、紅外避障傳感器、USB 攝像頭等硬件平臺的基礎(chǔ)上實(shí)現(xiàn)的。

2 硬件平臺搭建

該文設(shè)計(jì)應(yīng)用到的硬件有樹莓派、紅外避障傳感器、USB 攝像頭、步進(jìn)電機(jī)、電源，硬件結(jié)構(gòu)圖如圖1 所示。

圖1 硬件結(jié)構(gòu)圖

2.1 硬件平臺

2.1.1 樹莓派4B

Raspberry Pi 中文名為“樹莓派”，為學(xué)習(xí)編程而設(shè)計(jì)，體積很小，音頻、視頻等功能通通皆有，可以說是“麻雀雖小，五臟俱全”[2]。樹莓派4B 的內(nèi)存升級到了4 GB，引入了USB 3.0，支持雙屏4 kB 輸出，CPU 和GPU 的速度也更快[5-8]。具有2.4/5.0 GHz雙頻無線LAN，藍(lán)牙5.0/BLE，千兆以太網(wǎng)，USB3.0和PoE 功能。

2.1.2 其他元器件

攝像頭模塊進(jìn)行實(shí)時(shí)圖片采集，并實(shí)時(shí)將影像通過USB 傳輸給樹莓派。紅外避障傳感器不斷檢測前方是否有障礙物，并將信息通過串口傳給樹莓派。電機(jī)負(fù)責(zé)小車的行駛，一共四塊，通過樹莓派進(jìn)行控制。

2.1.3 小車總體展示

智能小車實(shí)物圖包括主控板、攝像頭、驅(qū)動輪和紅外傳感器等，主要用于小車的避障、循跡和紅綠燈識別，小車實(shí)物圖如圖2 所示。

圖2 智能小車實(shí)物圖

2.2 環(huán)境配置

該文設(shè)計(jì)是以樹莓派4B 為核心的控制和數(shù)據(jù)傳輸設(shè)備，代碼要在樹莓派4B 上運(yùn)行就需要合適的軟件環(huán)境。

1）配置Python 環(huán)境

安裝基本驅(qū)動，命令如下：

安裝庫virtualenv，該庫用來創(chuàng)建虛擬環(huán)境，命令如下：

創(chuàng)建虛擬環(huán)境，命令如下：

2）安裝TensorFlow

激活虛擬環(huán)境，命令如下：

安裝TensorFlow，這一步需要先下載TensorFlow 鏡像文件，命令如下：

3 系統(tǒng)功能開發(fā)

3.1 避障模塊

對于避障功能，需要在循跡期間發(fā)射紅外線，然后通過接收到反射回來的紅外線信號計(jì)算距離，其次要能夠調(diào)節(jié)障礙物判斷的距離標(biāo)準(zhǔn)，如果前方有障礙物，指示燈就會亮，并將信號發(fā)送給單片機(jī)，再由單片機(jī)決策后退、左轉(zhuǎn)、右轉(zhuǎn)或者繞行。

在循跡過程中，當(dāng)前方無障礙時(shí)，紅外避障傳感器向樹莓派發(fā)送0 信號，當(dāng)前方有障礙時(shí)，紅外避障傳感器向樹莓派發(fā)送1 信號。如果樹莓派連續(xù)接收到五個(gè)1 信號，就判定為前方有障礙，需繞行，再次回到軌道上繼續(xù)循跡。

3.2 紅綠燈識別功能

3.2.1 卷積神經(jīng)網(wǎng)絡(luò)模型

卷積神經(jīng)網(wǎng)絡(luò)是一種典型的前饋神經(jīng)網(wǎng)絡(luò),其模式具有平移不變性,通過學(xué)習(xí)樣本的局部特征,就可以在其他地方的任意位置識別出該模式,相對于全連接神經(jīng)網(wǎng)絡(luò)的全局模式,具有更好的模型泛化能力。經(jīng)典的卷積神經(jīng)網(wǎng)絡(luò)主要由輸入層、隱含層和輸出層組成[9-12]。

該模型由TensorFlow2.4.0 搭建，采用順序模型進(jìn)行連接。訓(xùn)練模型一共七層，第一層、第二層和第四層是卷積層，創(chuàng)建卷積核并運(yùn)用到某個(gè)張量的所有點(diǎn)上；第三層為池化層，可以提取敏感特征；第五層是平均全局池化層，將所有維度加起來求平均，使高寬維度消失，降低維度；第六層和第七層是全連接層，將特征圖轉(zhuǎn)換為向量進(jìn)行分類。

3.2.2 紅綠燈數(shù)據(jù)訓(xùn)練

該數(shù)據(jù)由小車所使用的USB 高清攝像頭所拍攝，使用了紅綠燈模型充當(dāng)現(xiàn)實(shí)生活中的紅綠燈。在這些數(shù)據(jù)中，每張圖片里不僅有紅綠燈，還有一些干擾背景，如后面放一本紅色的書，放一個(gè)綠色的盒子或?qū)⑹址旁诩t綠燈模型后，或者控制外界光線的強(qiáng)弱，紅綠燈模型距離的遠(yuǎn)近等因素，力求每張圖片的內(nèi)容都不完全相同。一共采集一千多張圖片作為訓(xùn)練集和測試集。

3.2.3 紅綠燈識別功能實(shí)現(xiàn)

1）模型搭建

模型一共七層，網(wǎng)絡(luò)可視化的深度學(xué)習(xí)模型結(jié)構(gòu)如圖3 所示。

圖3 深度學(xué)習(xí)模型結(jié)構(gòu)

2）訓(xùn)練模型

先讀取訓(xùn)練集，將訓(xùn)練集進(jìn)行歸一化處理，圖片大小統(tǒng)一化，將每張圖片所處的文件名作為該圖片的標(biāo)簽，然后把所有圖片和其標(biāo)簽打包在一起，以便訓(xùn)練模型使用，將圖像集分成訓(xùn)練集和測試集。采用Adam 優(yōu)化算法來快速擬合高緯度的數(shù)據(jù)，損失函數(shù)為sparse_categorical_crossentropy，其目標(biāo)是數(shù)字編碼。使用之前建立好的模型訓(xùn)練進(jìn)行30 個(gè)epoch 訓(xùn)練。

acc 是每次訓(xùn)練時(shí)的正確率，val_acc 是每次訓(xùn)練后對訓(xùn)練數(shù)據(jù)進(jìn)行預(yù)測的正確率，在第五次訓(xùn)練之后acc 和val_acc 都穩(wěn)定趨于1，訓(xùn)練結(jié)果正確率如圖4(a)所示。損失值是衡量模型的效果評估，損失值越小模型越健壯。圖中l(wèi)oss 為每次訓(xùn)練時(shí)的損失值，val_loss 為每次訓(xùn)練完成后對訓(xùn)練數(shù)據(jù)進(jìn)行預(yù)測的損失值，總體趨于下降狀態(tài)，損失值穩(wěn)定趨于0，損失值如圖4(b)所示。

圖4 訓(xùn)練結(jié)果

3.3 循跡模塊

3.3.1 循跡設(shè)計(jì)

循跡和紅綠燈識別都是由攝像頭捕捉圖像，由樹莓派將捕捉的圖像進(jìn)行處理、分析及預(yù)測，處理圖像前先判斷是循跡模式還是識別紅綠燈模式。

當(dāng)處于循跡模式時(shí)，循跡模塊對圖片進(jìn)行灰度處理，然后再對圖像進(jìn)行分析，獲取圖像路線的輪廓，計(jì)算輪廓的重心，重心點(diǎn)的位置不同對應(yīng)不同的處理方式，處理方式：如果重心在圖的左半部分則左轉(zhuǎn)，如果重心在圖的右半部分則右轉(zhuǎn)，如果重心在圖的中心位置則直行，如果圖中連續(xù)沒有路線輪廓抬起攝像頭表示到了紅綠燈路口[13-15]。

3.3.2 循跡功能實(shí)現(xiàn)

對于攝像頭采集到的圖像按照目的分成兩類，分別有不同的處理方式[16]。其中一類是用來實(shí)現(xiàn)循跡功能的，該圖為俯視視角圖像，被用來識別路線、圖片尺寸小、數(shù)量多少。將攝像頭獲取的圖像處理為灰度圖，使循跡的軌跡圖數(shù)據(jù)處理速度更快。循跡模塊流程圖如圖5 所示。

圖5 循跡程序流程圖

3.4 系統(tǒng)控制流程

啟動程序時(shí)，首先進(jìn)行初始化：加載深度學(xué)習(xí)模型model.h5、初始化PWM 調(diào)控、打開攝像頭端口、控制攝像頭面朝地面等。然后執(zhí)行循跡功能，樹莓派接收攝像頭畫面，分析圖像，按分析結(jié)果控制小車沿畫好的路線行駛，同時(shí)紅外避障傳感器也開始工作，如果前方有障礙物樹莓派會接收到紅外避障傳感器發(fā)來的1 信號，然后控制小車進(jìn)行繞行。如果圖像中沒有路線，說明到了紅綠燈路口，此時(shí)樹莓派控制攝像頭抬起，然后接收攝像頭圖像，使用深度學(xué)習(xí)模型預(yù)測model.h5 對圖像進(jìn)行預(yù)測，根據(jù)預(yù)測結(jié)果控制小車“紅燈停，綠燈行”，然后再次進(jìn)入循跡功能。系統(tǒng)總控制流程圖如圖6 所示。

圖6 系統(tǒng)總控制流程圖

4 系統(tǒng)運(yùn)行測試

測試場景圖軌道上半部分設(shè)計(jì)的是一個(gè)紅綠燈模型，從右到左分別是一個(gè)正方體障礙物、三棱柱障礙物和小車，如圖7 所示。

圖7 測試場景圖

啟動小車，小車會將攝像頭朝向地面，沿著黑線循跡，直到行駛到黑線消失的地方，即紅綠燈路口，然后將攝像頭抬起識別紅綠燈。紅燈亮起時(shí)，小車原地不動，繼續(xù)等待，綠燈亮起時(shí)，小車識別到綠燈，然后繞開紅綠燈，繼續(xù)循跡。小車識別紅綠燈展示如圖8 所示。

圖8 小車識別紅綠燈展示

小車?yán)^續(xù)循跡，行駛過兩個(gè)彎道，小車過完兩個(gè)彎道后，遇到第一個(gè)障礙物，此時(shí)紅外避障傳感器的紅外接收器會接收到紅外發(fā)射器的信號，通過信號計(jì)算距離，當(dāng)距離達(dá)到閾值時(shí)，傳感器指示燈亮起，并向樹莓派發(fā)送障礙信號。樹莓派收到障礙信號后會執(zhí)行避障程序，繞開障礙物，小車避開正方體障礙過程如圖9 所示。

圖9 小車避開正方體障礙

避障完成后，小車再次進(jìn)入軌道，繼續(xù)循跡，然后第二次遇到障礙物，再次進(jìn)行避障。

該文將樹莓派與深度學(xué)習(xí)結(jié)合識別紅綠燈的方式運(yùn)用到小車上，使用在PC 端訓(xùn)練好的模型進(jìn)行預(yù)測，識別速度更快，識別精確度也會隨著訓(xùn)練數(shù)據(jù)集的豐富不斷提高，并且隨著訓(xùn)練數(shù)據(jù)的多樣化，識別類型也會增多，如交通牌的識別等。

5 結(jié)論

利用樹莓派完成了可以避障、循跡、識別紅綠燈的智能小車的設(shè)計(jì)，避障功能由紅外避障模塊完成；循跡功能由攝像頭拍攝路面，采用OpenCV 對圖像進(jìn)行處理，計(jì)算出路線輪廓重心，然后由樹莓派決策來完成；紅綠燈的識別由攝像頭拍攝紅綠燈，使用深度學(xué)習(xí)模型進(jìn)行預(yù)測，樹莓派根據(jù)預(yù)測結(jié)果進(jìn)行決策。該設(shè)計(jì)可以用于配送、無人車等方面。