基于視覺圖像與激光點云融合的交通標志快速識別方法

王 坤，倪 娟，陳 印

(1.四川信息職業(yè)技術(shù)學院 軟件學院，四川 廣元 628000；2.中國人民解放軍94333部隊，山東 濰坊 621000；3.重慶工程學院，重慶 400056)

0 引言

交通安全成為一個不容忽視的問題。通過智能交通系統(tǒng)準確識別不同類型的交通標志已經(jīng)成為當前研究的主要內(nèi)容[1-2]，其有效減少交通事故發(fā)生。在交通標志智能識別中，根據(jù)交通標志的文字和圖形等內(nèi)容的特征進行辨別，從而確定交通標志的含義，然后按照標志的含義執(zhí)行交通規(guī)則，從而達到了智能通行的目的。但是現(xiàn)階段的交通標志識別的性能仍可以提高，例如識別標志的時間可以進一步縮短等。

國內(nèi)相關(guān)專家針對交通標志快速識別方面的內(nèi)容展開了大量研究，褚晶輝等人[3]在骨干網(wǎng)絡(luò)中加入注意力模型，對各個空間以及通道內(nèi)的特征圖展開調(diào)整，通過特征圖元素權(quán)重加強或者抑制處理實現(xiàn)交通標志識別。但是該方法在實際應用中存在準確識別率低的問題，應用效果不佳。趙坤等人[4]建立大型復雜光照條件下交通標志數(shù)據(jù)集，然后對光照條件比較差的圖像展開自適應增強處理，實時調(diào)整圖像的對比度和亮度，強化圖像和背景之間的主要差異，最終引入YOLOv3網(wǎng)絡(luò)識別交通標志。該方法可以有效識別交通標志，但是其交通標志的識別時間較長。姚連璧等人[5]主要通過車載激光點云技術(shù)識別道路標線。該方法從車載激光點云中提取掃描線，根據(jù)道路邊緣位置幾何形態(tài)的突變從掃描線中提取道路路面，并且轉(zhuǎn)換為柵格圖像，結(jié)合自適應閾值分割方法，實現(xiàn)道路標線識別。該方法取得了一定的成果，但是也存在交通標志識別時間長的問題。

針對上述方法存在的交通標志識別問題，在以上幾種交通標志快速識別方法的基礎(chǔ)上，提出一種新的基于視覺圖像與激光點云融合的交通標志快速識別方法。該方法引入了視覺圖像與激光點云技術(shù)，通過兩者的融合，實現(xiàn)交通標志快速識別，從而提高識別率和降低識別時間。

1 交通標志快速識別方法

1.1 視覺圖像激光點云數(shù)據(jù)預處理

在進行視覺圖像和激光點云數(shù)據(jù)處理之前，預處理步驟是非常重要的。這是因為預處理可以幫助消除噪聲、提高數(shù)據(jù)質(zhì)量，并為后續(xù)的任務提供更準確和可靠的數(shù)據(jù)。以下是進行視覺圖像和激光點云數(shù)據(jù)預處理的主要原因：1)去除噪聲：視覺圖像和激光點云數(shù)據(jù)通常會受到各種類型的噪聲干擾，如傳感器噪聲、環(huán)境光照變化等。通過預處理，可以應用濾波技術(shù)去除噪聲，減少對后續(xù)算法的干擾；2)數(shù)據(jù)校準：如果涉及多個傳感器或攝像頭的數(shù)據(jù)融合，預處理可以用于數(shù)據(jù)校準和對齊，以確保數(shù)據(jù)在相同坐標系統(tǒng)下一致；3)特征提?。簩σ曈X圖像進行預處理可以提取出有用的特征，如邊緣、紋理、顏色等，用于目標識別等任務。對于激光點云數(shù)據(jù)，預處理可以提取出地面平面、物體邊界等特征用于建模和分割；4)數(shù)據(jù)降維：在某些情況下，視覺圖像和激光點云數(shù)據(jù)可能非常龐大，難以直接處理。預處理可以應用降維技術(shù)，如圖像壓縮、采樣或點云降采樣等，以減少數(shù)據(jù)量，簡化處理過程；5)數(shù)據(jù)增強：通過預處理，還可以進行數(shù)據(jù)增強操作，如旋轉(zhuǎn)、平移、鏡像等，以擴充訓練數(shù)據(jù)集，提高模型的泛化能力和魯棒性。綜上所述，視覺圖像和激光點云數(shù)據(jù)預處理是為了提高數(shù)據(jù)質(zhì)量、去除噪聲、校準數(shù)據(jù)、提取特征，并為后續(xù)任務提供更準確、可靠和易于處理的數(shù)據(jù)。預處理可以幫助提升算法性能，并為進一步的圖像識別任務奠定基礎(chǔ)。交通標志快速識別是以視覺圖像為基礎(chǔ)，因此，首先需要獲取交通標志的視覺圖像。視覺圖像將數(shù)據(jù)和信息以一種易于理解的可視化方式呈現(xiàn)的圖像。視覺圖像通過攝像機拍攝交通標志場景獲得。攝像機的內(nèi)參函數(shù)為：

K=[K1，x0；K2，y0；0，1]

(1)

式中，K1，K2均代表相機的焦距，x0，y0代表圖像中心點的坐標。

在設(shè)定攝像機內(nèi)參函數(shù)后，考慮雙邊濾波屬于非線性的空域濾波方法，不僅能夠得到滿意的噪聲濾除效果，同時還可以獲取完整的視覺圖像邊緣信息，引入雙邊濾波算法獲取高質(zhì)量的交通標志視覺圖像，公式為：

m(x，y)=l(x，y)+Kk(x，y)

(2)

式中，m(x，y)和k(x，y)分別代表包含和不包含噪聲的交通標志視覺圖像，其中，l(x，y)代表零均值加高斯噪聲模型l(x，y)。

通過雙邊濾波的本質(zhì)，引入局部加權(quán)平均的處理方式將交通標志圖像中的噪聲有效剔除，則有：

(3)

式中，S(x，y)代表交通標志視覺圖像中心像素點的鄰域范圍；α(i，j)代表鄰域內(nèi)像素點的權(quán)值；m(i，j)代表空域的鄰近度算子。

(4)

式中，q代表帶有噪聲的點云數(shù)據(jù)；d代表沒有任何噪聲的實體表面；n代表掃描點的符號距離。

(5)

式中，N代表掃描點總數(shù)。

通過公式(6)建立鄰域點云集合對應的協(xié)方差矩陣C：

(6)

通過公式(4)可以得到不同點云集合在空間的分布特征，對全部特征分解處理，則有：

C×Uk=βk×Uk，k=0，1，2

(7)

式中，Uk代表特征值；βk代表特征向量的交互結(jié)果；k代表常數(shù)。

將雙邊濾波方法應用到點云數(shù)據(jù)平滑處理中[8-9]，詳細的操作步驟如下所示：

1)通過K-最近鄰(KNN，K-Nearest Neighbors)算法掃描點云任意點的鄰域；

2)計算局部鄰域點在平面上的離散度L(x)，如公式(7)所示：

(8)

3)通過離散度確定均方誤差，將平滑次數(shù)設(shè)定為評價數(shù)據(jù)質(zhì)量的重要依據(jù)，最終實現(xiàn)激光點云數(shù)據(jù)的預處理操作[10-11]。

預處理視覺圖像激光點云數(shù)據(jù)是為了給交通標志快速識別提供更高質(zhì)量的視覺圖像，從而提高交通標志特征提取效果，進而達到準確識別交通標志的目的。

1.2 視覺圖像與激光點云融合的識別方法實現(xiàn)

在完成視覺圖像激光點云數(shù)據(jù)預處理后，為了更好完成交通標志快速識別，需要測量視覺圖像與激光點云融合的目標空間激光點云位置距離，為交通標志快速識別奠定基礎(chǔ)。目標空間位置測距過程需要將雷達激光點云投影到視覺圖像上，將數(shù)據(jù)點的距離設(shè)定為變量繪制熱圖。在繪制熱圖的過程中，為了準確描述不同數(shù)據(jù)之間的差異性，通過公式(9)將每張視覺熱圖像上雷達數(shù)據(jù)點的距離歸一化處理lnorm，同時設(shè)定區(qū)間范圍，則目標空間位置距離為：

(9)

式中，lmax和lmin分別代表交通標志圖像上的距離最大值和最小值；l代表沒有歸一化處理之前的距離。

通過公式(9)確定在lnorm區(qū)間范圍內(nèi)的激光點云數(shù)據(jù)，剔除范圍外的數(shù)據(jù)[12-13]，進一步優(yōu)化視覺圖像激光點云數(shù)據(jù)質(zhì)量，為交通標志快速識別提供高質(zhì)量數(shù)據(jù)，并且降低識別數(shù)據(jù)量，從而降低識別時間。

在得到交通標志視覺圖像的測距值后，以此為依據(jù)可以獲取目標視覺圖像位置，結(jié)合卷積神經(jīng)網(wǎng)絡(luò)(CNN，convolutional neural network)、k均值聚類(K-means，k-means clustering algorithm)算法等算法，完成交通標志快速識別方法設(shè)計。為了確保交通標志視覺圖像候選塊的尺寸滿足識別輸入的需求，需要對其歸一化處理，利用圖像插值方法調(diào)整候選塊的規(guī)格。視覺圖像插值的主要目的是有效改變原始視覺圖像的尺寸，利用原始視覺圖像中幾個離散的采樣點重構(gòu)建立一個視覺圖像函數(shù)，也就是通過視覺圖像函數(shù)完成交通標志圖像歸一化處理，具體的計算式為：

(10)

式中，τ代表交通標志視覺圖像的歸一化處理結(jié)果。

在道路環(huán)境下，交通標志會受到時間以及環(huán)境等多方面因素的影響。為了準確識別交通標志，采用傳統(tǒng)的灰度變化以及邊緣輪廓特征無法準確完成視覺圖像分割。所以，優(yōu)先對交通標志視覺圖像聚類處理，提取視覺圖像感興趣區(qū)域(ROI，region of interest)[14-15]。ROI是指在一個圖像或視頻幀中，被確定為具有特定屬性或含有感興趣目標的區(qū)域。ROI可以是任意形狀和大小的圖像區(qū)域，并根據(jù)具體應用領(lǐng)域和任務的需求來確定。通過提取感興趣區(qū)域，可以實現(xiàn)以下目標：其一，減少處理的數(shù)據(jù)量：對于大型圖像或視頻，僅關(guān)注ROI可以減少計算負擔，提升性能效率；其二，集中注意力：通過提取ROI，可以將注意力集中在對進一步處理和分析最有意義的區(qū)域上；其三，提高算法效果：對于特定任務(如識別等)，ROI的提取通常有助于提高算法的準確性和效果。

分析交通標志的輪廓特點，通過k均值聚類算法對各個類型的交通標志聚類處理。k-means算法是一種基于樣本間相似性度量的間接聚類方法，屬于非監(jiān)督學習方法，而引入k-means算法的原因是該算法可降低聚類時間復雜度，達到快速識別的目的。交通標志聚類處理首先獲取各類型數(shù)據(jù)樣本到聚類中心的距離平方和P(c)：

(11)

式中，hik代表類別相似性準則；ui和xi分別代表交通標志視覺圖像中第i個像素的灰度值和加權(quán)平均值。

為了有效降低原始交通標志視覺圖像在傳遞過程中產(chǎn)生的負面影響以及計算復雜度，分別提取不同類型交通標志視覺圖像的ROI，詳細的操作流程如下所示：

1)讀取待切割的交通標志視覺圖像，將全部圖像歸一化處理，同時設(shè)定圖像的統(tǒng)一規(guī)格。

審計的過程不能只是走馬觀花或者單純地走個過場，而是要有針對性、有重點、有價值地對重要內(nèi)容進行審計。一般來說，審計的內(nèi)容包括總部各項重大決策創(chuàng)造了多少經(jīng)濟效益，決策落實的過程中執(zhí)行是否到位，日常的經(jīng)營政策是否合理，還要對現(xiàn)存制度進行基于當前時代的考量，挑出已經(jīng)落后過時的條例條規(guī)。且經(jīng)濟社會的瞬息萬變要求審計機構(gòu)不能將審計工作僅僅停留在事后審查的程度上，還要通過現(xiàn)行的制度、政策、狀況看到目前甚至將來潛藏的風險，以做出及時的防范與規(guī)避。

2)引入k-means算法判斷交通標志視覺圖像的具體類別。

3)通過模板Q切割原始交通標志視覺圖像，獲取圖像感興趣區(qū)域G1和G2，如公式(12)所示：

(12)

式中，f1(r，q)和f2(r，q)分別代表交通標志圖像兩個不同感興趣區(qū)域的特征。

將兩個ROI對應位置的點展開乘運算，進而獲取沒有干擾信號的ROI，得到對應的切割算法：

(13)

4)提取感興趣區(qū)域的方向梯度直方圖(HOG，histogram of oriented gradients)特征，該算法通過計算圖像中每個像素點處的梯度方向和強度，并將這些信息分成若干個方向上的小區(qū)間，然后統(tǒng)計每個小區(qū)間內(nèi)的梯度強度的頻率。這樣，對于給定的感興趣區(qū)域，可以提取出一組代表該區(qū)域紋理、形狀和邊緣信息的HOG特征，用于識別。設(shè)定交通標志視覺圖像的像素以及單元尺寸，進而獲取視覺圖像對應的維度信息[16-17]。

為了提升交通標志視覺圖像特征提取速度，采用CNN可以自動提取數(shù)據(jù)中的深層抽象特征[18]，同時還可以有效防止特征信息缺失情況的發(fā)生。所以，以下將CNN和HOG特征相結(jié)合，對HOG特征展開二次過濾和二次深度特征提取。

通過構(gòu)建的卷積層對HOG特征展開卷積計算，對濾波器參數(shù)訓練處理，獲取交通標志視覺圖像的深層特征，同時引入CNN提取交通標志圖像復雜特征。其中，利用卷積提取標志特征為：

(14)

Tc=telu[telu(H)×{G1，G2}]

(15)

式中，telu代表全連接層參數(shù)。

在獲取特征維度計算結(jié)果的基礎(chǔ)上，需要對交通標志視覺圖像中的全部原始特征展開標定處理，詳細的計算過程如下：

(16)

softmax函數(shù)為輸出層激活函數(shù)f(xj)：

(17)

式中，z(xj)代表卷積神經(jīng)網(wǎng)絡(luò)各個節(jié)點的映射關(guān)系。

將交叉熵損失函數(shù)f(zk)設(shè)為優(yōu)化目標，引入Adam算法最小化損失代價loss，則有：

(18)

經(jīng)過上述分析，利用圖1給出交通標志快速識別流程圖。

圖1 交通標志快速識別流程圖

至此完成基于視覺圖像與激光點云融合的交通標志快速識別方法設(shè)計，通過上述設(shè)計的方法，實現(xiàn)交通標志快速識別。該方法結(jié)合了視覺圖像與激光點云，并且引入了k-means算法和卷積神經(jīng)網(wǎng)絡(luò)，通過多個算法的結(jié)合，實現(xiàn)提高交通標志識別的識別率和降低識別時間，從而提高叫他那個標志的識別效果。

2 實驗分析

2.1 實驗準備

為了驗證所提基于視覺圖像與激光點云融合的交通標志快速識別方法的有效性，選擇GTSBD作為識別數(shù)據(jù)集，GTSBD數(shù)據(jù)集是通常用于目標檢測的交通標志數(shù)據(jù)集，該數(shù)據(jù)集有900張圖像，包含禁止、危險、強制和其他四大類交通標標志，攻擊42小類。在該數(shù)據(jù)集中隨機選擇20個交通標志為研究對象，利用圖2給出具體研究對象圖像。

圖2 部分交通標志訓練樣本集

選擇圖2中4個交通標志為特征提取實驗的研究對象，其他類型的交通標志作為訓練樣本，將訓練樣本輸入本文方法。

在完成識別方法的訓練后，以交通標志特征提取效果、識別率和識別時間為實驗性能指標，實驗為對比分析實驗，對比方法分別為文獻[3]方法、文獻[4]方法、文獻[5]方法和所提方法。

實驗過程的配置為：內(nèi)存容量為16 GB，硬盤容量為1 TB，CPU為英特爾酷睿i5-13500H，操作系統(tǒng)為Windows 11，64位家庭版。

2.2 交通標志快速識別方法的訓練

設(shè)計的基于視覺圖像與激光點云融合的交通標志快速識別方法需要進行訓練，為交通標志的識別奠定基礎(chǔ)。訓練過程可以分為以下幾個步驟。

1)數(shù)據(jù)預處理，將原始數(shù)據(jù)轉(zhuǎn)換為神經(jīng)網(wǎng)絡(luò)可用的格式，即對交通標志視覺圖像數(shù)據(jù)進行歸一化、大小統(tǒng)一等處理；

2)初始化算法的參數(shù)，采用隨機初始化訓練算法參數(shù)，并且卷積神經(jīng)網(wǎng)絡(luò)的學習率初始值設(shè)置為0.001；

3)數(shù)據(jù)通過卷積神經(jīng)網(wǎng)絡(luò)，計算得到輸出結(jié)果；

4)計算損失函數(shù)，使用f(zk)評價指標，計算輸出與實際值誤差；

5)根據(jù)誤差反向傳播，更新參數(shù)，最小化loss；

6)通過隨機梯度下降優(yōu)化算法，優(yōu)化參數(shù)；

7)重復以上步驟，直到達到訓練輪數(shù)、誤差精度要求(訓練輪數(shù)為200輪，誤差精度采用0.5%)，二者滿足其一即可停止訓練。

避免過擬合現(xiàn)象，采用數(shù)據(jù)增強、Dropout技術(shù)進行處理，以提高是識別方法的泛化能力。

2.3 實驗參數(shù)設(shè)置

在開始實驗前，需要設(shè)置實驗參數(shù)，為實驗做準備，確保實驗順利進行，利用表1給出本文涉及的實驗參數(shù)設(shè)置的數(shù)據(jù)。

表1 實驗參數(shù)

按照上述實驗參數(shù)數(shù)值，設(shè)置實驗參數(shù)。完成實驗參數(shù)設(shè)置后，開始對比分析實驗，驗證本文方法的性能。

2.4 結(jié)果分析

2.4.1 交通標志特征提取效果分析

選取3種傳統(tǒng)交通標志識別方法作為對比方法，對比方法分別為文獻[3]方法、文獻[4]方法和文獻[5]方法，在圖3中選擇4個不同類型的交通標志作為測試對象，分別采用4種不同方法提取交通標志特征，分析特征提取效果，如圖3所示。

圖3 不同方法的交通標志特征提取結(jié)果對比

分析圖3可知，經(jīng)過所提方法可以準確提取不同類型交通標志的特征，而經(jīng)過另外3種方法提取的特征并不清楚，且邊緣比較模糊。由此可見，通過所提方法可以準確提取各個類型交通標志特征，該方法的交通標志特征提取效果更好。

2.4.2 交通標志識別率分析

經(jīng)過上述分析，為了驗證各個方法的識別性能，以交通標志識別率為性能指標。不同測試條件下識別率如表2。

表2 不同條件下各個方法的交通標志識別率實驗結(jié)果對比

由表2中的實驗數(shù)據(jù)可知，無論是在如何復雜的測試條件下，通過所提方法均可以獲取相對較高的識別率，即可以準確識別交通標志，綜合識別率達到了89.74%，而另外3種方法的識別率明顯更低一些，文獻方法的識別率分別為87.11%、85.96%和82.15%，4種方法相比，所提方法的識別率提高了2.63%、3.78%和7.59%，因此，所提方法有效提高了識別率，其具備了可行性和有效性。主要因為所提方法可以準確提取各個類型的交通標志，進而獲取更加精準的交通標志識別結(jié)果。

2.4.3 交通標志識別時間分析

為了進一步驗證設(shè)計方法的性能，采用識別時間為性能指標，分析不同方法的交通標志識別時間，通過圖4給出各個方法的識別時間對比結(jié)果。

圖4 不同方法的交通標志識別時間實驗結(jié)果對比

由圖4可知，所提方法的交通標志識別時間在兩個測試樣本集中均最低，識別時間最低值達到了13.1 s，而文獻方法最低值分別為22.2 s、30.1 s和20.0 s，相比另外3種方法，所提方法的識別時間降低了9.1 s、17.0 s和6.9 s，由此可知，所提方法的識別時間最短，表明其可以以更快的速度完成交通標志識別。

由于生活環(huán)境中存在各個各樣的干擾，因此，在上述實驗的基礎(chǔ)上，對研究對象增加高斯白噪聲，分析干擾情況下交通標志識別時間，并且增加測試用樣本集數(shù)量，數(shù)量為10個。在實驗分析過程中，分別采用所提方法、基于注意力模型的無錨框交通標志識別算法(文獻[3]方法)、弱光照條件下交通標志檢測與識別(文獻[4]方法)、車載激光點云的道路標線提取及語義關(guān)聯(lián)(文獻[5]方法)進行對比分析，實驗結(jié)果如表3所示。

表3 干擾情況下交通標志識別時間實驗結(jié)果對比

根據(jù)表3的干擾情況下交通標志識別時間實驗結(jié)果可知，4種方法在干擾情況下的交通標志識別時間均有所增加，但是4種方法中，所提方法的交通標志識別時間增加的較少，并且波動幅度較小，而文獻方法的識別時間增加較高，并且存在較大波動。詳細分析可知，所提方法的識別時間最高僅為15.1 s，均值僅為13.9 s，而文獻[3]方法的識別時間最高達到了35.2 s，均值為30.5 s，文獻[4]方法的識別時間最高達到了41.1 s，均值為36.1 s，文獻[5]方法的識別時間最高達到了31.2 s，均值為24.9 s，相比可知，所提方法的最高識別時間和均值均有所降低，其中最高識別時間降低了16.0 s以上，均值降低了11.0 s以上。該實驗結(jié)果進一步驗證了所提方法識別交通標志的時間更低，有效提高了識別效率，具備更高的性能。

3 結(jié)束語

為了提升交通標志識別結(jié)果的準確性，提出一種基于視覺圖像與激光點云融合的交通標志快速識別方法。該方法以視覺圖像和激光點云數(shù)據(jù)為基礎(chǔ)，將二者融合，并且引入了激光點云融合技術(shù)、k-means算法和卷積神經(jīng)網(wǎng)絡(luò)等算法，通過多個算法的結(jié)合，構(gòu)建了交通標志快速識別方法。經(jīng)過實驗對比證明，所提方法可以準確提取交通標志特征，進而獲取更加精準的交通標志識別結(jié)果，該方法的交通標志識別率提高了2.63%、3.78%和7.59%，識別時間降低了9.1 s、17.0 s和6.9 s，并且在存在干擾的情況下的識別時間也是4種方法中最短的，驗證了該方法具備更高的應用價值。未來階段，還需要進一步擴大研究范圍，可以將相關(guān)的決策理論引入到識別方法中，進而有效提升識別性能。