基于點檢測的車載攝像頭成像中的閘機檢測方法

作者簡介：陳偉迅（1994—），男，博士，專任教師，研究方向為機器視覺、人工智能。

孟思明（1976—），女，博士，副教授，研究方向為人工智能。

江躍龍（1984—），男，博士在讀，工程師，研究方向為人工智能。

基金項目：廣東省普通高校創新團隊項目（自然科學）（項目編號：2021KCXTD068）。

摘 要閘機定位與狀態檢測是實現點到點全自動駕駛的一個重要環節，直接關系到智能汽車是否能夠順利進出停車場。由于閘機種類繁多、背景復雜、多閘機同時出現且實時性要求較高，因此閘機的精確檢測是一項具有挑戰性的任務。針對閘機檢測存在的痛點，提出基于CenterNet關鍵點檢測的實時閘機檢測算法。首先通過在主干網絡前增加Focus層及設計輕量化的主干網絡加快模型檢測速度的同時保證在復雜環境下的特征提取能力；然后引入特征融合模塊（Feature Pyramid Network，FPN）高效利用主干網絡提取的高級語義信息和底層特征，并輸出閘機關鍵點以及Embedding值，設計的閘機Embedding確保在多閘機場景下閘機的準確檢測；最后基于預測的Embedding值確定屬于同一閘機的關鍵點并基于幾何關系進行閘機構建。實驗結果展示了提出算法能高效準確檢測不同場景下的閘機。

自動駕駛 計算機視覺 卷積神經網絡 閘機檢測

中圖分類號" TP3 文獻標識碼" A

Abstract： The positioning and status detection of the gate machine is an important link in achieving point-to-point fully-automatic driving， which is directly related to the smooth entry and exit of intelligent vehicles in and out of parking lots. Due to the wide variety of gate machines， complex backgrounds， the simultaneous occurrence of multiple gate machines and high real-time requirements， the precise detection of gate machines is a challenging task. Aiming at the pain points in gate detection， a real-time gate detection algorithm based on CenterNet key point detection is proposed. Firstly， a Focus layer is added in front of the backbone network and a lightweight backbone network is designed to accelerate the model detection speed and ensure its feature extraction ability in the complex environment. Then， a Feature pyramid network （FPN） is introduced to efficiently utilize the high-level semantic information and underlying features extracted by the backbone network， the key points and embedding value of the gate machine are output， and the designed embedding of the gate machine ensures the accurate detection of the gate machine in the scenario of multiple gate machines. Finally， the key points belonging to the same gate machine are determined based on the predicted Embedding value， and the gate machine is constructed based on geometric relationships. The experimental results demonstrate that the proposed algorithm can efficiently and accurately detect gate machines in different scenarios.

Key Words： Autonomous driving; Computer vision; Convolutional neural network; Gate detection

作為人工智能領域的主要研究方向之一，自動駕駛正受到學術界和產業界的重點關注，是汽車未來的重要變革技術之一[1][2]。閘機檢測作為點到點自動駕駛的重要環節之一，直接關系到智能汽車的行駛決策。對閘機的準確定位和狀態檢測能夠為行駛中的車輛提供道路信息，保障車輛行駛安全。

隨著計算機視覺和深度學習的快速發展[3][4]，從視覺方面對自動駕駛場景中的交通燈、車道線等檢測取得了重大突破[5]。

閘機檢測需要準確定位到閘機的位置，同時檢測出閘機的狀態為自動駕駛車后續的決策層和執行層提供可靠的感知信。因此，提出算法需要準確的重建出車載攝像頭圖像中所有閘機，這可以通過現有實例分割算法完成圖像中閘機的提取。近年來，實例分割算法取得了較大的發展，然而由于車載系統性能有限，且汽車行駛速度過快，閘機場景復雜（如圖1所示），而實例分割需要在像素級別對每個對象進行分割，因此需要更多的計算資源和時間，不能滿足自動駕駛車輛實時性的要求。此外實例分割需要標記每個對象的像素級別分割，這需要更多的人工標注工作和時間，這會成為算法落地的一個瓶頸。因此設計出準確率較高且運行速度極快的閘機檢測算法是自動駕駛領域內的研究重點與難點之一。

受骨架提取算法的啟發[6]，閘機可以由三個關鍵點（接地點，橫桿起點和橫桿終點）以及連接這些關鍵的兩條線段表示，如圖2所示。雖然骨架提取算法對于關鍵點檢測都能取得較好的性能，然而檢測速度無法達到實時效果，不能直接部署到計算資源有限的自動駕駛車輛上。

為了解決以上問題，本文提出了基于點檢測的實時閘機檢測算法。首先，通過在骨干網絡前增加Focus層將圖像的寬度和高度信息轉化為通道信息，從而增加模型感受野的同時不影響推理速度，此外主干網絡采用了輕量級的結構，具有較少的參數量和計算復雜度，因此確保在復雜環境下特征提取能力的同時能夠實現較快的推理速度；然后引入特征融合模塊（Feature Pyramid Network，FPN）[7]將低分辨率的頂層特征與高分辨率的底層特征進行有效融合；進一步，為了確保多閘機場景下閘機的準確重建，設計了閘機Embedding通道，屬于同一閘機的關鍵點具有相同的Embedding值；最后基于預測的Embedding值確定屬于同一閘機的關鍵點并基于幾何關系重建閘機，圖2展示了閘機檢測的流程。

1算法設計

建模原理：構建編碼解碼結構模型，實現接地點橫桿點的魯棒檢測，以及進行閘機一體化構建。該模型輸出為三個通道，每個通道特征圖的尺寸與輸入圖像尺寸一致，各通道定義如下。

1.1.橫桿點heatmap

對特征圖使用Sigmoid函數激活后，取大于閾值（0.4）的點，使用NMS（dist=10）抑制重復點，按confidence排序輸出橫桿點；

1.2.接地點heatmap

對特征圖使用Sigmoid函數激活后，取大于閾值（0.4）的點，使用NMS（dist=10）抑制重復點，按confidence排序輸出接地點；

1.3.閘機embadding

直接取出檢測的接地點以及橫桿點對應的embadding值，基于這些值對檢測的點按閘機進行分組。

算法總體流程圖如圖3所示。

2構建編碼解碼結構模型

Backbone使用殘差網絡，首先對輸入圖像使用步長為2的卷積進行3次下采樣得到特征圖尺寸為原始圖像的1/8，然后再使用反卷積對特征圖進行上采樣回到原圖像尺寸，且輸出通道數為3，如圖4所示。

3使用非極大值抑制（NMS）獲取閘機接地點及橫桿點坐標

對于輸出的閘機接地點、橫桿點特征圖，首先使用Sigmoid激活函數將特征值歸一化到0～1之間；然后取出特征圖中大于閾值（0.4）的所有點，并將這些點按特征值從大到小進行排序輸出；進一步，遍歷這些點并抑制遍歷到的點的鄰域（21*21）內的點，即若領域內的點在遍歷隊列中則將這些點移出隊列，最后輸出仍在隊列中的點作為檢測到的接地點或者橫桿點。

4基于embadding將接地點橫桿點按閘機分組

基于檢測的所有接地點以及橫桿點，通過第三個通道預測的embadding值（屬于同一閘機的embadding值比較近），將屬于同一閘機的點group到一組。具體來說，遍歷所有的接地點以及橫桿點，若任意兩個點的embadding值的差小于閾值（0.5）則認為這兩個點屬于同一閘機，否則屬于不同閘機。這個過程得到的屬于同一閘機的一組點可能大于等于3個也可能小于3個，對于小于3個點的組直接刪除。對于一組點的個數大于3的情況，可能會有2個以上橫桿點或者多個接地點，因此需要從中挑選出3個最終能構成閘機的點。

5基于幾何關系構建閘機

基于以上步驟可以確定屬于同一閘機上的一組點（barrier_line，numgt;= 3），然后判斷是否有接地點，若有則取出該組點中特征值最大的接地點作為該閘機的接地點，同時將該組點中的所有接地點剔除，僅剩下橫桿點。

判斷橫桿點數量是否大于2個，若大于2個點，則計算每個點到該接地點的歐式距離，然后將歐式距離值最小的點作為橫桿的起點，最大的點作為橫桿的終點，最后，基于以上三個點可以得到一個閘機。

6結語

針對自動駕駛系統中，閘機檢測自動這一問題，本文構建了基于卷積神經網絡的閘機檢測模型，提出了基于點檢測的實時閘機檢測算法。主干網絡通過采用輕量級的結構，減少了模型的參數量和計算復雜度，因此確保模型較快的推理速度；通過在骨干網絡前增加Focus層，將圖像的寬度和高度信息轉化為通道信息，從而增加模型感受野的同時不影響推理速度。然后，為了將低分辨率的頂層特征與高分辨率的底層特征進行融合，引入了特征融合模塊FPN。同時，設計了閘機Embedding通道，確保多閘機場景下閘機的準確重建。最后基于幾何關系重建閘機。本算法可用于自動駕駛系統的閘機識別中。

參 考 文 獻

[1] 王琦. 基于可解釋深度學習的自動駕駛汽車預測任務研究[D].長春：吉林大學，2023.

[2] YURTSEVER" E， LAMBERT J， CARBALLO A， et al. A Survey of Autonomous Driving： Common Practices and Emerging Technologies[J]. IEEE Access，2019， 8， 58443-58469.

[3] 章璐璐，李思照.基于深度學習的智能體軌跡預測文獻綜述[J].無線電工程，2023，53（3）：644-656.

[4] 劉博翀，蔡懷宇，楊詩遠等.一種用于自動駕駛場景的輕量級語義分割網絡[J].西安電子科技大學學報，2023，50（1）：118-128.

[5] 錢伍，王國中，李國平.改進YOLOv5的交通燈實時檢測魯棒算法[J].計算機科學與探索，2022，16（1）：231-241.

[6] NATHAN S ，KANSAL P.SkeletonNet： Mining Deep Part Features for 3-D Action Recognition[J]. IEEE Signal Processing Letters， 2017，24（6）： 731-735.

[7] 黃強，潘晴，田妮莉.一種用于目標檢測的位置加權特征金字塔網絡[J].計算機仿真，2023，40（6）：192-196.