基于YOLOv7網(wǎng)絡的CARLA駕駛模擬器目標檢測系統(tǒng)實現(xiàn)

[摘 要]隨著自動駕駛技術的迅速發(fā)展，精確識別模擬環(huán)境中的動態(tài)與靜態(tài)對象成為了實現(xiàn)高度自動化駕駛的關鍵挑戰(zhàn)之一，而仿真數(shù)據(jù)集具有獲取成本低、易獲取極端場景、有較強的連續(xù)性等特征。文章中采用CARLA駕駛模擬器作為實驗平臺，結合最新的YOLOv7目標檢測網(wǎng)絡，通過改進網(wǎng)絡結構和優(yōu)化訓練策略，提升目標檢測的精度和速度。文章介紹了CARLA模擬器的基礎架構與YOLOv7算法的核心原理，詳細描述了實驗的設計與實施過程，包括數(shù)據(jù)集的準備、網(wǎng)絡訓練及測試評估。實驗結果表明，基于YOLOv7的目標檢測方法在自動駕駛模擬環(huán)境中具有出色的性能，能夠根據(jù)輸入圖片準確識別出車輛、行人等多種目標。文章探討了實驗結果的意義，指出該研究在提高自動駕駛模擬器的現(xiàn)實感和安全性方面的潛在應用，并對未來研究方向提出建議。

[關鍵詞]YOLOv7；CARLA駕駛模擬器；自動駕駛；目標檢測

[中圖分類號]TP391.9；U463.6 [文獻標志碼]A [文章編號]2095–6487（2024）06–0165–03

Implementation of Target Detection System for CARLA Driving Simulator Based on YOLOv7 Network

LIANG Yanhui，XU Shenhao，HUANG Yanpei，LEI Xiangyu，YU Weiting

[Abstract]With the rapid development of autonomous driving technology， accurate identification of dynamic and static objects in simulated environment has become one of the key challenges to achieve highly automated driving. Simulation data sets have the characteristics of low acquisition cost， easy acquisition of extreme scenes， and strong continuity. Therefore， this paper adopts CARLA driving simulator as the experimental platform， combines the latest YOLOv7 target detection network， and improves the accuracy and speed of target detection by improving the network structure and optimizing the training strategy. This paper first introduces the basic architecture of CARLA simulator and the core principle of YOLOv7 algorithm， and then describes the design and implementation process of the experiment in detail， including data set preparation， network training and test evaluation. The experimental results show that the target detection method based on YOLOv7 has excellent performance in the automatic driving simulation environment， and can accurately identify various targets such as vehicles and pedestrians according to the input images. Finally， the paper discusses the significance of the experimental results， points out the potential application of the study in improving the sense of reality and safety of the autonomous driving simulator， and suggests the direction of future research.

[Keywords]YOLOv7； CARLA driving simulator； autonomous driving； object detection

1 概述

隨著自動駕駛技術的不斷進步，對數(shù)據(jù)集的要求也日益提高，包括更高精度的激光雷達數(shù)據(jù)和包含多模態(tài)信息的數(shù)據(jù)集等[1]。然而，傳統(tǒng)的多模態(tài)數(shù)據(jù)集存在時效性差、標注成本高、校準困難等問題，在這種背景下，仿真數(shù)據(jù)集在自動駕駛模型訓練中的優(yōu)勢顯著，已成為相關模型訓練迭代的首選方案。基于這種需求，越來越多的目標檢測算法被引入到智能交通領域，以提高自動駕駛系統(tǒng)的感知能力。這些算法主要分為單階段（One-stage）和兩階段（Two-stage）兩種類型，分別有其特點和應用場景。

本文旨在研究基于YOLOv7網(wǎng)絡的CARLA駕駛模擬器目標檢測技術。選擇YOLOv7作為研究對象，是因為其作為One-stage目標檢測算法的最新代表，具有檢測速度快、準確率高等特點，非常適合用于實時目標檢測任務[2]。通過CARLA模擬器這一平臺，可以在多樣化的駕駛場景下，對YOLOv7的性能進行全面評估和優(yōu)化。研究不僅著眼于提高目標檢測的準確率和效率，也旨在通過仿真環(huán)境對算法進行快速迭代和驗證，為實際應用中的自動駕駛系統(tǒng)提供技術支持和理論基礎。

2 采用技術及理論知識

2.1 YOLO系列算法

YOLO算法是一種典型的單階段目標檢測算法，自從其首次提出以來，就因其出色的實時性和高效性受到廣泛關注[2]。從YOLOv1到YOLOv7，每一代的升級都在不斷提高算法的準確率、速度和泛化能力。YOLOv7作為該系列的新版本，通過優(yōu)化網(wǎng)絡結構、損失函數(shù)和訓練策略，進一步提高了目標檢測的性能。

2.2 Carla駕駛模擬器

CARLA駕駛模擬器是一個基于虛幻4開發(fā)的開源平臺，專為自動駕駛系統(tǒng)的研發(fā)、訓練及驗證需求而設計。它以其卓越的靈活性和高度的可配置性著稱，提供了豐富的傳感器模擬支持，包括相機、激光雷達和深度相機等，能夠模擬包括雨、雪、霧和夜間等在內(nèi)的多樣化天氣和光照條件[3]。此外，CARLA提供了多種環(huán)境場景，如城市、鄉(xiāng)村道路、高速公路和居民區(qū)等，同時支持多個動態(tài)和靜態(tài)交通參與者的控制。

3 技術實現(xiàn)及模型分析

本項目旨在通過深度學習模型實現(xiàn)在CARLA駕駛模擬器中對車輛及行人的自動識別，整個實施流程主要包括數(shù)據(jù)集的獲取、數(shù)據(jù)預處理、YOLOv7模型的構建及訓練，以及模型性能的評估。

3.1 數(shù)據(jù)集的獲取

本項目使用的數(shù)據(jù)集是專為CARLA駕駛模擬器中的目標檢測任務而設計的，包含了1028張分辨率為640×380像素的圖像。這些圖像被細心分為兩部分：249張用作測試集，而779張則構成了訓練集。每張圖像都配有相應的標簽文件，支持多種格式，包括Pascal VOC、YOLO格式以及MS COCO格式，如圖1所示。

3.2 數(shù)據(jù)預處理

從CARLA駕駛模擬器獲取的圖像數(shù)據(jù)，在直接應用于模型訓練之前需要經(jīng)過仔細的預處理。由于本項目選用了YOLOv7作為目標檢測模型，這些預處理步驟尤為關鍵，旨在保證數(shù)據(jù)的標準化、優(yōu)化訓練流程的效率，并確保標簽與模型的兼容性。因此，將對圖像執(zhí)行一系列專門設計的處理操作，以最大程度發(fā)揮YOLOv7模型的性能。

設計的圖像預處理流程為：標簽轉(zhuǎn)換→圖像規(guī)范化→數(shù)據(jù)增強→尺寸調(diào)整。

3.3 YOLOv7模型搭建以及訓練

YOLOv7模型的構造通過yolov7.yaml文件進行詳細配置，該文件定義了模型的主干網(wǎng)絡和首層模型結構，以及使用的先驗框。

（1）先驗框配置：模型使用了三種尺度的先驗框（P3/8， P4/16， P5/32）。這些先驗框是基于數(shù)據(jù)集中目標尺寸的統(tǒng)計分析預先設定的，有助于提高模型對不同大小目標的檢測能力。

（2）主干網(wǎng)絡結構：YOLOv7的主干網(wǎng)絡采用了多層卷積網(wǎng)絡，通過逐步降采樣（使用MaxPooling和步長為2像素的卷積）來提取不同尺度的特征。此外，主干網(wǎng)絡中還使用了增加通道數(shù)操作來融合不同層次的特征，增強了模型對復雜場景的表征能力。

訓練過程中，將訓練組數(shù)設置為300組，訓練集與測試集的比例設置為7∶3。

4 識別結果展示及分析

本項目采用了YOLOv7模型進行目標檢測任務，針對不同的對象類別（如車輛、自行車、摩托車、交通燈和交通標志）進行了細致的性能評估。通過大量的實驗和數(shù)據(jù)分析，得到了以下的目標檢測評價指標分析及檢測結果（示例），分別如表1、圖2所示。

這些數(shù)據(jù)顯示了模型在各個類別上的高識別率，特別是在車輛類別上，模型展現(xiàn)出了極高的精確度和召回率，反映了優(yōu)秀的目標檢測能力。平均精度（AP）的高數(shù)值表現(xiàn)進一步證明了模型在整個操作點上的穩(wěn)定性和可靠性。

5 總結與未來展望

5.1 總結

本研究基于CARLA駕駛模擬器和YOLOv7目標檢測網(wǎng)絡，探索了自動駕駛技術中的目標檢測問題。通過詳細的數(shù)據(jù)準備、預處理、模型訓練及性能評估，我們成功實現(xiàn)了在模擬環(huán)境中對車輛、行人等動態(tài)和靜態(tài)對象的高精度識別。此項研究不僅展示了深度學習在自動駕駛領域的應用潛力，也為未來的自動駕駛技術研究和開發(fā)提供了寶貴的經(jīng)驗和啟示。

5.2 未來展望

本研究在CARLA駕駛模擬器和YOLOv7目標檢測網(wǎng)絡的應用上取得了顯著成果，不僅提升了模型在模擬環(huán)境中的表現(xiàn)，同時也為自動駕駛技術的進一步研究和開發(fā)奠定了堅實的基礎。未來的研究可以從以下幾個方面受益于本研究的成果和經(jīng)驗：

（1）基于仿真數(shù)據(jù)集的深入研究：Carla駕駛模擬器為自動駕駛算法提供了一個無風險的測試平臺。未來的研究可以繼續(xù)利用這一平臺進行更多的實驗，探索在更復雜多變環(huán)境中的算法性能，以及如何將仿真數(shù)據(jù)與實際數(shù)據(jù)更有效地結合。

（2）算法迭代與優(yōu)化：本研究通過詳細的數(shù)據(jù)準備和預處理流程，有效提升了模型的識別精度。未來研究可在此基礎上，探索更多優(yōu)化方法和新的網(wǎng)絡架構，以進一步提升性能。

（3）跨模態(tài)學習的潛力：盡管本研究主要依賴視覺信息，未來的工作可以擴展到多模態(tài)學習，結合來自不同傳感器的數(shù)據(jù)，例如雷達和激光雷達，以提供更全面的環(huán)境感知能力。

（4）系統(tǒng)集成和應用擴展：本研究提供的經(jīng)驗和啟示有助于未來自動駕駛系統(tǒng)的集成和實際應用。研究者可以探討如何將這些技術集成到真實車輛中，并評估它們在真實道路環(huán)境下的表現(xiàn)。

（5）面向?qū)嶋H應用的難題解決：未來的研究可以利用本研究的成果，特別是在處理復雜交通場景和動態(tài)對象時的經(jīng)驗，解決自動駕駛中的實際問題，如急剎車、行人突然穿越等情況。

參考文獻

[1] 張文爍，陳宇琳，姜洋.自動駕駛汽車對城市空間形態(tài)的影響綜述[J].城市交通，2022（5）：1-10.

[2] 水卯瑞.基于改進的YOLOv7與暗通道算法的圖像檢測[J].信息與電腦，2023，35（10）：76-78.

[3] 秦琴，谷文軍.ball tree優(yōu)化的自動駕駛仿真測試場景生成方法[J].計算機應用研究，2023，40（9）：2781-2784.

[4] 戴立偉，黃山.交通場景目標檢測指標優(yōu)化研究[J].激光與光電子學進展，2020，57（14）：9.