基于深度學習的智能交通燈設計

摘 要：針對傳統交通燈通行時間不靈活，通過對采集交通燈下的車流量信息進行了研究，設計了一種基于深度學習的智能交通燈。首先通過FCN提取車道線，使用聚類算法擬合車道線函數；其次使用以VGG網絡作為模型的主干特征提取SSD網絡模型，檢測車輛的位置信息，將車輛的位置信息與車道線位置信息綜合起來，統計當前交通燈下的每個車道上的車流量信息，實驗結果表明，基于深度學習的智能交通燈系統實際的應用過程中，車流量統計的精確度為90.69%，基本實現在現實環境的應用。

關鍵詞：車輛檢測；SSD；FCN；智能交通

中圖分類號：TP391.4 文獻標識碼：A 文章編號：2096-4706（2024）17-0179-06

0 引 言

隨著社會和國民經濟持續快速發展，人們的生活質量不斷提高，全國汽車總量大幅度提高，至2022年11月底，全國汽車保有量已經達到3.18億輛，汽車駕駛人增加至4.63億人，全國汽車總量年均增量大約為2 000萬輛，但長期以來，我國城市人均道路面積一直處于低水平狀態，道路用地占城市用地的比重小，路網密度低，路網容量供給嚴重不足，隨即產生的交通問題也越來越多，給交通管理人員帶來了很大的負擔。因此設計一款智能交通燈，精確檢測各個車道上的車輛數據，更精細的使用交通資源，成為一項迫切的需求。

傳統的交通燈是采取固定的通行時間，無法根據車流量的實時情況調整紅綠燈的通行時間，在車流量大的時間段，沒有足夠的通行時間，車流量小的時間段，通行時間過剩，對交通資源的利用率不高，容易導致交通問題的發生。對交通燈下的車輛進行精確的檢測，預測車輛的行駛方向，并根據這些實時信息動態調節紅綠燈的通行時間，是智能交通系統中主要的功能之一。

智能交通燈通常是基于單片機傳感器[1]或基于圖像處理[2-3]的方式實現?；趩纹瑱C傳感器的方式通常使用一個車流量計數器獲取車流量，構造一個延時時間計算函數，通過車流量、車速、車流密度等參數進行計算延時時間。這種方法構造簡單，成本低，可以在單片機上運行，但是缺陷也非常明顯，首先無法精確統計車流量信息，不能準確獲取車輛的位置信息，實際部署難度大、誤差大、精度小。

基于圖像處理的車流量檢測最早使用的檢測方法是從視頻中提取有意義的代表性的圖像特征，例如通過輪廓、圖像直方圖、差分等方法獲取車輛特征[4]。竇菲等通過OpenCV實現的道路分析系統[5]，通過幀差法取出視頻中的背景，使用背景與后續的視頻作差分，可以得到視頻中運動的物體，再通過Mean Shift算法[6]跟蹤視頻中的車輛。傳統的圖像處理算法雖然在一定程度上解決了車輛檢測問題，但是傳統的車輛檢測方法受限于人工設計的特征優劣，人工設計的特征往往依賴設計時的具體環境，當外界環境變化大時，無法提供一個準確的結果。并且小目標檢測效果不佳，受環境影響較大，低泛化，很難在日常的復雜環境下應用。

隨著近年來深度學習的發展，越來越多研究者將深度學習應用在目標檢測任務中來，不再需要設計者對具體環境設計人工特征，機器學習到的特征可以在更多場合下使用，在國內外，使用深度學習進行目標檢測任務[7-8]已經成為一種趨勢，也有很多研究者將深度學習引入到車輛檢測和車道線識別任務中來，獲得了許多優秀的成果。

鄧天民等人實現了一個基于FCN的車道線檢測方法[9]，首先通過FCN進行語義分割，得到車道線的二值圖，其次通過DBSCAN算法聚類對每一條車道線進行區分，使用逆透視變換將彎曲的車道線轉換俯視圖下的直線，再擬合出車道線轉換回原有平面，上述兩種算法的疊加形成一個端對端系統提高了車道線的檢測能力，這個算法雖然可以有效擬合彎曲的車道線，但是由于其結構較為復雜，需要計算和擬合的參數較多，檢測的速度較慢，且對于機器擬合的錯誤結果，比較難以矯正和更改，這個方法更適合在自動駕駛中使用。

秦曉暉實現了一個基于計算機視覺的智能交通燈系統[10]，通過SSD網絡進行目標檢測網絡實現的車輛檢測，通過一個延時計算模塊計算交通燈的通行時間，通過網絡通信模塊傳輸交通燈的時間數據，實現動態調節通行時間，但是缺少車道線信息，不能對車輛進行更詳細的分類，延時計算不夠準確。

目前交通燈下的車流量統計還沒有一個較為完善的方案，本文設計了一種基于深度學習的智能交通燈，通過攝像機拍攝到的圖像，首先通過FCN提取車道線，對車道線進行聚類，擬合獲取車道線信息，通過對ROI（Region Of Interest）區域進行車輛檢測，獲取車輛信息，綜合車道線和車輛信息統計當前圖片中的每一個車道上的車流量。

1 總體設計方案

1.1 智能交通燈的設計框架

智能交通燈主要由5個模塊組成，包括數據采集模塊、車道線檢測模塊、車輛檢測模塊、信息傳輸模塊和延時計算模塊，首先數據采集模塊會取得交通燈下的圖像信息，通過車道線檢測模塊獲取車道線信息，同時選擇ROI區域進行車輛檢測獲取車輛信息，綜合車道線和車輛信息統計實時的當前車道的車輛數量，通過延時計算模塊計算交通燈的通行時間參數，通過信息傳輸模塊與交通燈進行交互，按照計算的參數設置通行時間，智能交通燈的系統構成如圖1所示。

1.2 數據采集模塊

數據采集模塊主要功能是獲取當前交通燈下的圖像信息，并對圖像進行預處理，更好地進行后續檢測工作，本文使用IP攝像頭作為數據采集模塊，對采集到的圖片進行自適應圖像填充和裁剪等操作，輸入到下一個模塊。自適應圖像填充是一個圖像縮放和裁剪，會根據采集到圖片的大小計算縮放比例參數，最后將采集到的圖片縮放至合適的模型輸入大小。

1.3 車道線檢測模塊

車道線檢測的方法是通過語義分割網絡[11]與聚類算法結合，進行實例分割，將車道線從圖片中分離出來，對每一條車道線進行擬合得到車道線函數。本文使用FCN網絡做語義分割任務，FCN網絡結構簡單，速度快，通過VGG16網絡進行特征提取，對提取的特征進行反卷積放大，得到車道線的二值圖結果，車道線檢測結構如圖2所示。

1.4 FCN基本原理

FCN的結構由3部分組成：如卷積、反卷積和跳躍結構，FCN網絡結構[12]如圖3所示。

FCN網絡使用VGG16的主干網絡，使用卷積層代替VGG16的全連接層，取出VGG16 conv6-7的特征圖，由于經過5次池化，特征圖與原圖相差32倍，所以需要做一次32倍上采樣，即可得到與原圖大小一致的語義分割圖FCN-32s，將VGG16 conv6-7特征圖與第四次池化的特征圖融合，進行16倍上采樣，由于同時包含多個層次的特征信息，我們可以獲得比FCN-32s更精細的FCN-16s語義分割圖，融合后的特征圖與第三次池化的特征圖再次融合進行8倍上采樣取得更精細的語義分割圖FCN-8s，FCN通過將一步到位的上采樣拆分成多步上采樣的方式，取得比直接上采樣更好的效果。

本文首先通過FCN進行語義分割，得到車道線的二值圖，對二值圖進行聚類，將每一個車道線實例化，使用最小二乘法進行擬合出車道線函數，通常情況下，交通燈下的車道線可以視為直線，可以直接使用多項式擬合，如果對彎曲車道擬合結果有需求，可以加入一個逆透視變換矩陣的過程，對彎曲車道的擬合，一般不使用沒有限制條件的多項式，因為如果沒有限制函數的定義域，在沒有數據定義的部分，擬合的函數可能會出現偏差，本文建議可以使用三階貝塞爾函數擬合。在訓練過程中，由于車道線相對于背景的像素比例較小，需要給予車道線較大的權重才能得到更好的訓練結果，從圖片中提取車道線，原圖和車道線二值圖對比如圖4所示。

（a）車道線二值圖 （b）原圖

1.5 聚類算法

車道線二值圖是一張可以劃分車道線和背景的圖片，在車道線二值圖上車道線上像素點的值為1，背景上像素點值為0，而二值圖的表示公式如式（1）：

（1）

其中PK（X，Y）為第K類物體的二值圖中各像素點像素值，G（x，y）為原圖中各個像素點的物體類別，對于第K類二值圖，只有原圖中像素點屬于K類物體才有值，否則值為0。

使用交叉熵作為損失函數，計算每一個像素點的交叉熵，進行加權平均，交叉熵公式如式（2）：

（2）

其中y為target，表示期望輸出，x為input，是實際輸出，C為類別數量，N為維度數，W為每一個類的權重，通過公式可以判斷實際輸出與期望輸出的相似度，對每一個像素點求取交叉熵后，可以得到預測二值圖與期望輸出的損失。由于車道線相對背景的像素點較少，在計算損失函數過程中，一般設置車道線比背景的權重更大，本文車道線和背景的權重比為50：1。

取得車道線二值圖后，首先需要對圖片進行預處理，對車道線二值圖進行一次中值濾波，濾除二值圖中的噪點后，只保留圖片的下半部分，開始使用聚類算法進行聚類，具體步驟如下：

1）從圖片中的某高度選取所有數值的坐標，放入集合A1中，從圖片中去除這些點。

2）在A1中選取任意一個點，把這個點加入集合A3中，并在A1中刪除這個點，選取與該點距離小于10的所有點，將這些點放入A3，并從圖片中去除這些點。

3）尋找所有在A3內的點距離小與10的點，將這些點加入集合A3，并在圖片中刪除這些點

重復2），直至沒有與A1點集相鄰，A3則表示某一條車道線的全部點集。

不斷重復，直至圖片上所有點都聚類完成，刪除點數量較少的點集，保留下來的即是圖片中的車道線的點集，通過最小二乘法進行擬合，得到車道線函數。本文為了刪除和修改擬合和檢測錯誤的車道線，使用參數最少的一次函數進行擬合，只需確定兩個參數即可，唯一確定一條車道線函數，當檢測的車道線錯誤時，最多修改兩個參數，即可對檢測結果進行修改。

1.6 車輛檢測模塊

對于車輛檢測，首先要確定ROI區域，使用方框確定一個ROI區域，使用鼠標確定方框的兩個對角的坐標參數，精細的劃分車道上的檢測區域，對這些區域進行目標檢測，計算車輛的位置屬于哪個類型的車道。

1.7 目標檢測

本文使用SSD（Single Shot MultiBox Detector）網絡[13]作為目標檢測網絡，SSD網絡是一種多尺度的檢測方式，通過使用大尺度的先驗框和檢測器檢測大尺度的目標，小尺度的先驗框和檢測器檢測大尺度的目標，SSD網絡有6個不同的尺度分類器，這樣可以防止小目標在深層特征消失的問題，可以檢測不同尺度大小的物體，在遠處像素比較小的車輛也有較高的準確率，也使整個模型擁有較高的可靠性，SSD網絡結構如圖5所示。

SSD網絡的特征提取網絡使用VGG16的前4層卷積，后續補充4層額外卷積層，提取出的第一個特征圖由于特征太淺，需要經過一個歸一化模塊，按不同的特征圖尺度分配不同大小的先驗框，先驗框是一個不同尺寸的方框集合，當確定方框的尺寸和坐標后，還需要對計算方框的微調參數，對先驗框進行微調，得到目標的包圍框，使用非極大抑制，設置IoU的參數將所有尺度的包圍框綜合分析，得到最合適的包圍框結果，IoU是表示兩個框之間的重合程度的參數，通過重合面積除以總面積求得。

1.8 非極大抑制

非極大抑制（Non-Maximum Suppression， NMS）是判斷臨近框是否屬于同一個目標的算法，SSD網絡會總共產生8 732個先驗框，可想而知很多先驗框是無用的，需要對檢測的結果進行篩選：

1）對于某個類別，將分類預測的置信度小于置信度閾值的框刪除。

2）將篩選后的框按照置信度降序排序。

3）對處理后的框進行NMS： 首先計算置信度最高的框與其他所有框的IoU，IoU 大于IoU 閾值則刪除；其次找到經過第一步處理后另一個置信度最高的框， 重復第一步，直到所有框遍歷完成；最后對除背景以外的所有類別執行篩選操作。

IoU是指方框之間的重疊面積，當兩個方框之間的重疊面積超過一個閾值時，可以認為這兩個包圍框所包圍的是同一個目標物體，只需保留置信度最高的一個包圍框即可。

1.9 SSD的損失函數分為置信損失和定位損失

在目標檢測前，首先確定ROI區域，將車道線進行細致的劃分，減少誤差的出現，通過鼠標確定ROI區域的檢測范圍后，將ROI區域裁剪下來，將ROI裁剪的圖像通過自適應圖像填充調整為300×300，輸入到車輛檢測模塊。

SSD網絡的損失函數包括置信損失和定位損失，首先需要將篩選后的框與真實框對應起來，通過計算每個預選框之間的IoU，可以得到預測框與真實框的匹配關系，通過匹配關系計算置信損失，可以由交叉熵計算，計算真實框與預測框的Jaccard系數，可以得到預測框與真實框的相似度，計算定位損失，Jaccard系數和損失函數的計算公式如式（3）和式（4）所示：

L=Lconf+aLloc （3）

（4）

其中式（3）表示整體損失由置信損失和定位損失構成，式中α為定位損失的權重，默認為1，式中Lconf為置信度損失，表示物體包圍框內的類別預測準確程度，通過匹配后框類型與真實類型的交叉熵計算，Lloc為定位損失，表示物體包圍框與真實框的相似程度，通過計算Jaccard系數得到，其中，|A∩B|為重合面積，|A|為第一個框的面積，|B|為第二個框的面積，Jaccard系數就是IoU，是兩個框的重合面積與總面積之比。

車輛檢測的輸出是車輛包圍框的左上角坐標與右下角坐標和置信度，通過包圍框的坐標點計算車輛的中心坐標，結合車道線函數計算車輛中心屬于第幾車道，統計各個車道上的車流量，車輛檢測的效果如圖6所示，從左到右分別為左轉車道、直行車道、右轉車道。

2 實驗結果與分析

2.1 實驗環境

GPU是一種圖形處理器技術，他的設計之初是為了滿足視頻和游戲等行業的高分辨率、高幀率的圖像顯示，是為了更快速地計算圖像和圖形相關的運算而設計的，由于GPU優秀的圖像運算和并行計算的能力，GPU也成為深度學習發展的巨大推動力，非常適合深度學習中的CNN、RNN和等復雜模型，本文使用MX350訓練本文的所有模型，具體實驗配置如表1所示。

2.2 實驗數據

為了驗證真實環境下基于深度學習的智能交通燈設計的性能和可靠性，模擬交通燈的工作環境，對設計進行測試和評估驗證，我們使用天橋下的車流視頻對交通燈下的車流信息進行簡單模擬，錄制了10個不同車流視頻，每個視頻5分鐘，在車流量較少的時段，錄制2個空曠車道的視頻，每個視頻30 s。

主要評估項目為FPS（幀率）和精確度P（Precision），將視頻中指定時間段固定區域內的各個車道的車輛信息人工記錄下來，當系統檢測這段時間的車流量時，與人工記錄的數據對比得出系8704fadbff8cd389f1fd87d78f374dad022746c19614a7863f893434cb91f981統的準確度。

首先將模型部署好，這里使用Torchserve配置模型，簡單修改配置文件后，檢查是否部署成功，這里的localhost請根據真實的IP填寫。模型部署成功圖如圖7所示。

部署成功后，將視頻幀輸入配置文件設置的端口，模型即可正常工作開始測試。

2.3 評估指標

本文使用2個指標作為車輛識別準確度的評估標準，精確度（P）和幀率FPS。計算公式如式（5）、式（6）所示：

（5）

（6）

其中準確率P為預測正確的數量與總數之比，TP為樣本中預測正確的數量，FP為樣本中預測錯誤的數量，FPS為每秒處理的幀數，處理圖像數量和時間之比，FrameNum為處理的整體圖像數量，ElapsedTime為處理的時間。

本文使用一個自制數據集測試，數據集由視頻和標簽組成，標簽內標識對應的視頻名字和對應幀數內的各個車道車流量，例如在200幀到400幀內左轉車道3輛車、直行車道4輛車、右轉車道5輛車，可以表示為200，3，4，5，400，測試實際結果與檢測結果的誤差，使用精確度P作為評估標準。

為了驗證設計的泛化能力，本文使用在玉林市天橋上拍攝的道路視頻制作的測試數據集，視頻在三個時間段進行拍攝，分為早上和夜間2個不同種類的視頻，分別測試在不同時間段中，系統的性能表現，測試結果如表2所示。

智能交通燈在光線充足的情況下準確率在90.69%，最遠可以檢測到50 m以內的車輛，可以檢測到視頻2/3的區域，在30 m到50 m對于部分重疊在一起的車輛檢測正確檢測不穩定，容易將重疊的兩輛車輛檢測成為一個車輛，在30 m以內重疊車輛的檢測更加穩定，基本不犯錯誤，夜間檢測由于車輛的輪廓和邊界沒有日間明顯，導致車輛檢測的錯誤率急劇上升。

3 結 論

本文對目前的傳統交通燈存在的缺陷進行分析，對智能交通燈的主要功能進行設計。首先使用計算機視覺的方式統計各個車道的車流量信息，比原有的傳感器檢測檢測范圍更廣、車流量信息更豐富、準確率更高，使用這些數據通過交通判決系統，可以實現對交通燈的動態調節，更好地利用交通路網，減少交通問題的發生，在日常出行有更好的體驗。

參考文獻：

[1] 林春雨，代春宇，田偉，等.基于車流量檢測的智能交通燈控制系統設計與實現 [J].無線互聯科技，2021，18（18）：77-78.

[2] 李克文，楊建濤，黃宗超.基于邊界極限點特征的改進YOLOv3目標檢測 [J].計算機應用，2023，43（1）：81-87.

[3] 趙奇慧，劉艷洋，項炎平.基于深度學習的單階段車輛檢測算法綜述 [J].計算機應用，2020，40（S2）：30-36.

[4] 李凌，李一平.一種基于輪廓和混合高斯模型的運動車輛視頻檢測方法 [J].吉林師范大學學報：自然科學版，2013，34（4）：64-67.

[5] 竇菲，劉新平，王風華.基于OpenCV的道路視頻分析系統 [J].計算機系統應用，2017，26（8）：94-98.

[6] 韓俊，王保云.MeanShift算法在圖像分割中的應用 [J].現代計算機，2021，27（33）：71-76.

[7] 伍瀚，聶佳浩，張照娓，等.基于深度學習的視覺多目標跟蹤研究綜述 [J].計算機科學，2023，50（4）：77-87.

[8] 楊鋒，丁之桐，邢蒙蒙，等.深度學習的目標檢測算法改進綜述 [J].計算機工程與應用，2023，59（11）：1-15.

[9] 鄧天民，蒲龍忠，萬橋.改進FCN的車道線實例分割檢測方法 [J].計算機工程與設計，2022，43（10）：2935-2943.

[10] 秦曉暉.基于計算機視覺的流量監控智能交通燈系統的設計與實現 [J].軟件工程，2021，24（7）：43-45.

[11] 王漢譜，瞿玉勇，劉志豪，等.基于FCN的圖像語義分割算法研究 [J].成都工業學院學報，2022，25（1）：36-41.

[12] 黃子蘭.基于語義分割的復雜場景下的車道線識別 [D].石家莊：石家莊鐵道大學，2023.

[13] 宋曉茹，劉康，高嵩，等.基于深度學習的軍事目標識別算法綜述 [J].科學技術與工程，2022，22（22）：9466-9475.

作者簡介：孔令龍（2000—），男，漢族，廣西桂平人，電子工程師，本科在讀，研究方向：機器學習、人工智能；任仕艷（2000—），女，漢族，貴州羅甸人，本科在讀，研究方向：機器學習、人工智能。

DOI：10.19850/j.cnki.2096-4706.2024.17.035

收稿日期：2024-03-10

Design of Intelligent Transportation Light Based on Deep Learning

KONG Linglong， REN Shiyan

（Yulin Normal University， Yulin 537000， China）

Abstract： In view of the inflexibility of the passage time in traditional transportation light， an intelligent transportation light based on Deep Learning is designed through research on the traffic flow information collected under the transportation light. Firstly， the lane lines are extracted using FCN， and a clustering algorithm is used to fit the lane line function. Secondly， the SSD network model is extracted， with the VGG network as the backbone feature of model， to detect the positional information of vehicles， and the positional information of vehicles is combined with the positional information of lane lines to count the traffic flow information of each lane under the transportation light. The experimental results show that the intelligent transportation light system based on Deep Learning has an accuracy of 90.69% in the actual application process， which is basically applied in the real environment.

Keywords： vehicle detection; SSD; FCN; intelligent transportation