基于深度學習的大學生無人駕駛方程式賽車循跡控制研究*

谷賀，黃鶴，謝釗，丁慧祥，吳海峰，溫衛剛

基于深度學習的大學生無人駕駛方程式賽車循跡控制研究*

谷賀，黃鶴，謝釗，丁慧祥，吳海峰，溫衛剛

（合肥工業大學汽車與交通工程學院，安徽 合肥 230000）

大學生無人駕駛方程式大賽（FSAC）是一項旨在吸引更多的優秀青年投身于新技術造車領域的比賽。賽車在電動方程式賽車基礎上增加了攝像頭、激光雷達、等傳感器，并通過制動和轉向系統的改裝，進行賽道循跡控制。傳統方法基于圖像處理技術，很難通過擬合中心線的方式進行跟蹤控制，為此提出基于深度學習的端對端循跡控制方法，首先對圖像數據采集及駕駛模擬器駕駛數據的收集，提出采用端對端CNN網絡進行訓練，并最終在硬件環臺架上驗證了所提出方法的有效性。

智能汽車；深度學習；無人駕駛；卷積神經網絡

前言

大學生無人駕駛方程式賽車比賽目前感知方案大多采用的是攝像頭和雙差分GPS方式。賽車需要識別賽道兩側錐桶并完成自動駕駛。感知系統工作前預先對攝像頭進行標定，感知系統工作時，工控機對相機實時采集的圖片進行識別處理，經算法處理后能得到錐桶相對于車輛的準確位置和顏色信息，進而擬合出行駛區域邊界線和理想行駛軌跡線為控制部分提供的信息。經過比賽，我們發現八字繞環及高速識別追蹤測試項目中錐桶識別到循跡控制還存在一些如藍色錐桶被誤識為地面，強光照下紅色錐桶被識別成黃色錐桶，以及錐桶數目過少無法規劃行駛軌跡、而導致期望軌跡規劃困難等問題，影響著比賽成績。為此，項目成員在廣泛調研基礎上，提出了基于深度學習的循跡控制系統并用臺架模擬期望提高無人車隊比賽成績。

1 深度學習循跡控制模型

1.1 總體結構

模型由感知層，算法層，控制層三部分組成。并通過臺架進行數據訓練。感知層采集必要的圖像數據。算法層通過Python及Caffe搭建訓練用模型，先通過離線訓練的方法，在安裝有Nvidia Geforce顯卡的工控電腦里增加數據標簽并訓練，以達到效果。待算法驗證基本功能后，通過實際的攝像頭采集臺架模擬系統的動畫數據，移植到實時運算平臺TX2運行，并通過CAN總線與轉向系統進行通訊。控制層包括已經環臺架和睿智二代車的轉向系統。

圖1 項目方案整體框架

1.2 比賽工況建模（高速循跡、8字繞環）

建模工具采用Carsim軟件對賽道進行建模，通過仿真車輛實現對車輛各性能的分析和預測。模型構建根據無人駕駛方程式大賽要求，本文中的有關循跡控制理論，可在比賽中諸多環節中得以充分應用，并以8字繞環測試、高速循跡追蹤測試兩大典型環節為例闡述建模原理。

（1）8字繞環測試

8字環形道路：兩個同心圓呈現8字排列，兩圓心距離為18.25m，內圓直徑15.25m，外圓直徑21.25m，內外圈之間是3m的賽道，且在內圓、外圓、入口、出口間隔布置錐桶。

首先為道路線形的構建，將道路分為4段：進口直線賽道，右端環形賽道，左端環形賽道，出口直線賽道。根據要求設置好直線道路的長度以及環形道路的半徑和角度。其次，設置錐桶排列。由要求，計算各錐桶和立柱的坐標，輸入表格生成對應位置的錐桶和立柱。再次，對道路特征、道路不平度以及摩擦系數等細節的輔助設置。最后，對道路模型適用性驗證。

（2）高速循跡追蹤測試

試驗場包括直道、定半徑彎、發夾彎、復合賽道等基本形式，總長約0.5km，每車完成兩圈。

首先進行道路線形構建，在規定的長度內，將各個基本賽道形式合理排布，設計出如下形式賽道，每圈共分為14段，比賽中賽車行駛2圈。其次，對道路特征、道路不平度以及摩擦系數等細節的輔助設置。最后，對道路模型適用性驗證使該道路模型能滿足比賽道路要求。

圖2 高速循跡和8字繞樁道路線形

1.3 CNN網絡

神經元：神經網絡由大量的節點（或稱“神經元”）相互連接而成。每個節點代表一種特定的輸出函數，稱為激活函數。每兩個節點之間的連接代表加權值，稱之為權重。不同的權重和激活函數，則會導致神經網絡不同的輸出。

神經網絡：將單個神經元組織在一起，便形成了神經網絡。圖5是一個三層神經網絡結構，最左邊的多個神經元稱之為輸入層，最右邊的神經元稱之為輸出層（上圖中輸出層只有一個神經元），中間的多個神經元叫隱藏層。圖4為三層神經網絡結構。

圖3 三層神經網絡結構

目標檢測模型可以識別一張圖片的多個物體，并可以定位出不同物體。該模型有兩大方法：1.一階段檢測器 2.兩階段檢測器。一階段檢測器直接產生物體的類別概率和位置坐標值，速度快但精度低。兩階段檢測器首先產生候選區域，然后對候選區域分類，速度慢但精度高。本研究選用Faster R-CNN算法（二階段檢測器）。

實現步驟：1.對整張圖片輸進 CNN，得到 feature map。2.卷積特征輸入到 RPN，得到候選框的特征信息。3.對候選框中提取出的特征，使用分類器判別。4.對于屬于某一特征的候選框，用回歸器進一步調整其位置。

本文使用Detectron訓練平臺進行訓練。首先是train_ net.py，即 detectron 用來訓練網絡的文件。以下為模型訓練流程圖。

圖4 模型訓練流程圖

2 硬件在環臺架搭建

仿真采用轉向和制動控制，需要用到轉向系統和制動系統的硬件化，試驗臺方案包括制動系統，轉向系統，控制系統，上位機軟件系統四個主要部分。

實時主機的運行程序是需要在上位機編寫完成，然后部署到實時主機運行，上位機和實時主機用TCP/IP實時通信，實時主機將數據與上位機實時共享。上位機程序用LabVIEW編程，每個程序塊單獨作為一個循環，其軟件程序間的數據交互如圖所示。

訓練網絡的數據來自于由比賽規則規定的轉彎半徑為4組半徑為30米，25米，12米， 28米和直道自由組合的仿真賽道。由車隊的賽車手在臺架上操縱方向盤獲得。最后驗證訓練出來的端對端控制的有效性，并建立一個仿真賽道進行仿真。

圖5 軟件系統圖

3 仿真分析

端對端控制的位置偏差曲線如下：

圖6 前饋-反饋控制下位置偏差曲線

圖7 方向盤轉角變化曲線

由上圖知，賽車高速行駛的過程中，位置偏差在-0.15m至0.17m內波動，峰值出現在入彎時刻，在直線行駛過程中，偏差保持穩定，偶爾出現較小的震蕩過程；方向盤轉角在第一個彎道處基本保持-23度，第二個彎基本保持18度，震蕩幅度小，變化平穩，因此本文提出的方法具有良好的控制效果。

4 總結

本文提出基于深度學習的端對端循跡控制方法，首先對圖像數據采集及駕駛模擬器駕駛數據的收集，提出采用端對端CNN網絡進行訓練，并最終在硬件在環臺架上驗證了所提出方法的有效性。

[1] 李德毅.網絡時代人工智能研究與發展[J].智能系統學報,2009,4 (01):1-6.

[2] 朱茂桃,邵長征,王國林.基于CarSim的路面模型重構及車輛平順性仿真分析[J].機械設計與制造,2010(10):78-80.

[3] 邵長征.CarSim三維虛擬路面重構及仿真分析[D].江蘇大學,2010.

[4] 侯海霞.深度學習在目標檢測中的應用[J].中國新通信,2018,20 (10):184.

Research on self-driving equation track Control of College students based on in-depth Learning*

Gu He, Huang He, Xie Zhao, Ding Huixiang, Wu Haifeng, Wen Weigang

( Institute of Automotive and Traffic Engineering, Hefei University of Technology, Anhui Hefei 230000 )

Formula Student Autonomous China (FSAC) is a competition designed to attract more talented young people to the field of building cars with new technologies. The car adds cameras, lidar, sensors and other sensors to the formula e car, and tracks track control through modifications to the braking and steering systems. Traditional method based on image processing technology, it is hard to track control, by means of the center line of the fitting is proposed based on deep learning of end-to-end tracking control method, first of all, the image data collection, data acquisition and driving simulator driving with end-to-end network (CNN) is proposed for training, and ultimately in hardware platform on the effectiveness of the proposed method was verified.

intelligent car; in-depth learning; self-driving; convolution neural network

U471.15

A

1671-7988(2019)13-32-03

U471.15

A

1671-7988(2019)13-32-03

谷賀（1997-），男，黑龍江黑河人，本科生，就讀于合肥工業大學汽車與交通工程學院；黃鶴，博士，講師，就職于合肥工業大學，研究方向為智能網聯汽車控制設計。

合肥工業大學2018年省級大學生創新創業訓練計劃項目資助（項目編號：2018CXCYS241）。

10.16638/j.cnki.1671-7988.2019.13.012