基于視頻的前車并線及碰撞預(yù)警算法研究

趙富強(qiáng)，孔 斌，楊 靜，王智靈，梁華為

(1.中國科學(xué)院合肥智能機(jī)械研究所，安徽合肥 230031；2.中國科學(xué)技術(shù)大學(xué)，安徽合肥 230026；3.中國科學(xué)院合肥研究院應(yīng)用技術(shù)研究所，安徽合肥 230088；4.安徽省智能駕駛技術(shù)及應(yīng)用工程實(shí)驗(yàn)室，安徽合肥 230088)

隨著社會(huì)經(jīng)濟(jì)的發(fā)展，人們生活水平不斷提高，汽 車和駕駛員數(shù)量增長迅速，平均每年增長率是上一年的10%，每年增加超過千萬輛汽車，汽車給人們帶來便利的同時(shí)，也不可避免地帶來了巨大的交通安全問題，在交通事故中，追尾事故占較大比重［1］。

駕駛安全問題是汽車產(chǎn)業(yè)亟待解決的關(guān)鍵性問題。近年來，知名車企將安全輔助駕駛系統(tǒng)納入標(biāo)配，盡可能保證駕駛員的安全［2］。安全輔助駕駛系統(tǒng)主要分為車道線偏離預(yù)警、前車碰撞預(yù)警和疲勞駕駛監(jiān)測(cè)等 ，綜合各方面信息，提醒駕駛員安全駕駛，該系統(tǒng)依賴于安裝在車輛內(nèi)或外部的相機(jī)，獲取交通環(huán)境下的視頻數(shù)據(jù)，利用計(jì)算機(jī)視覺方法，如目標(biāo)檢測(cè)、目標(biāo)跟蹤、區(qū)域分割等，計(jì)算目標(biāo)位置和軌跡等信息，通過一定策略綜合處理該信息，按照潛在危險(xiǎn)的重要程度，輸出預(yù)警信號(hào)［4］。但目前已有的輔助駕駛系統(tǒng)存在諸多問題：誤警率較高，影響駕駛員，從而導(dǎo)致駕駛員關(guān)閉輔助駕駛系統(tǒng)，輔助駕駛系統(tǒng)形同虛設(shè)；嵌入式平臺(tái)對(duì)視頻數(shù)據(jù)的處理速度難以滿足預(yù)警系統(tǒng)對(duì)實(shí)時(shí)性的要求；在不同的駕駛場(chǎng)景下，光照強(qiáng)度的變化導(dǎo)致車載相機(jī)成像質(zhì)量變差，影響對(duì)圖像的處理。近年來，隨著計(jì)算機(jī)視覺的發(fā)展，目標(biāo)檢測(cè)和目標(biāo)跟蹤算法的準(zhǔn)確率和實(shí)時(shí)性有了大幅度提高［5］，同時(shí)，隨著嵌入式GPU的興起，對(duì)圖像的處理速度可以滿足預(yù)警系統(tǒng)對(duì)實(shí)時(shí)性的要求，目標(biāo)檢測(cè)和目標(biāo)跟蹤算法可以應(yīng)用于安全輔助駕駛系統(tǒng)。

現(xiàn)實(shí)場(chǎng)景中，當(dāng)前車并線時(shí)，前車和本車的駕駛員均無法在短時(shí)間內(nèi)，判斷兩車是否保持安全的距離和速度，從而導(dǎo)致嚴(yán)重的交通事故。本文開創(chuàng)性地提出了前車并線預(yù)警策略，可以在前車有并線意圖的情況下，提醒本車駕駛員及時(shí)減速避讓。目前已有的前碰撞預(yù)警系統(tǒng)的原理是對(duì)前方靜態(tài)目標(biāo)障礙物的預(yù)警，主要關(guān)注前方目標(biāo)的靜態(tài)特點(diǎn)，并未考慮當(dāng)前車輛與前方車輛之間的相對(duì)運(yùn)動(dòng)趨勢(shì)。本文利用目標(biāo)跟蹤算法跟蹤前方車輛，記錄前車的位置和軌跡等信息，分析前車的運(yùn)動(dòng)趨勢(shì)，實(shí)現(xiàn)前車并線預(yù)警功能。

1 前碰撞預(yù)警算法整體流程

前碰撞預(yù)警算法由目標(biāo)檢測(cè)、目標(biāo)跟蹤、標(biāo)定測(cè)距以及預(yù)警策略模塊組成，算法的整體流程如圖1所示。通過車載相機(jī)獲取路況圖像，對(duì)圖像進(jìn)行預(yù)處理，利用目標(biāo)檢測(cè)算法檢測(cè)圖像中的目標(biāo)車輛，如果檢測(cè)到前方特定區(qū)域有目標(biāo)車輛出現(xiàn)，切換到目標(biāo)跟蹤模塊，跟蹤后續(xù)圖像中的目標(biāo)，如果跟蹤結(jié)果的最大置信度小于設(shè)定閾值，則說明目標(biāo)消失或發(fā)生較大的外觀變化，重新切換到目標(biāo)檢測(cè)模塊。跟蹤模塊輸出目標(biāo)矩形框，并記錄軌跡信息。通過標(biāo)定測(cè)距模塊測(cè)量當(dāng)前車輛與前方目標(biāo)車輛的距離［6］。預(yù)警策略模塊融合距離、軌跡等信息，實(shí)現(xiàn)預(yù)警。

2 算法模塊設(shè)計(jì)

2.1 交通場(chǎng)景下目標(biāo)車輛檢測(cè)模塊

2.1.1 檢測(cè)算法介紹

圖1 前碰撞預(yù)警系統(tǒng)功能流程圖

利用目標(biāo)檢測(cè)算法，獲得圖像中的目標(biāo)車輛的位置。本文根據(jù)交通環(huán)境下車輛的特點(diǎn)：目標(biāo)的尺寸通常變化不大，因此，本文對(duì)Yolov3卷積神經(jīng)網(wǎng)絡(luò)檢測(cè)算法進(jìn)行剪枝處理［7］；對(duì)檢測(cè)錨框的尺寸進(jìn)行調(diào)整，如表1所示，第1列表示兩個(gè)輸出層分別負(fù)責(zé)檢測(cè)的目標(biāo)尺度，第1行表示每個(gè)輸出層對(duì)應(yīng)的檢測(cè)錨框的3種大小，近似正方形錨框主要用于預(yù)測(cè)機(jī)動(dòng)車等目標(biāo)，瘦高的長方形錨框用于預(yù)測(cè)非機(jī)動(dòng)車等目標(biāo)。

表1 輸出層的目標(biāo)尺寸 單位：像素

2.1.2 算法的具體工作流程

利用已標(biāo)注的交通場(chǎng)景圖像樣本數(shù)據(jù)集，對(duì)目標(biāo)檢測(cè)網(wǎng)絡(luò)進(jìn)行訓(xùn)練，完成每輪訓(xùn)練后，求解網(wǎng)絡(luò)輸出結(jié)果的損失，當(dāng)損失小于一定閾值，或訓(xùn)練迭代到設(shè)定的次數(shù)后，保存權(quán)重參數(shù)并結(jié)束訓(xùn)練。在檢測(cè)階段，將輸入圖像輸入到檢測(cè)網(wǎng)絡(luò)，與訓(xùn)練好的權(quán)重參數(shù)進(jìn)行運(yùn)算，輸出目標(biāo)的位置矩形框［8］。具體流程如圖2所示，上面的圖像集合表示訓(xùn)練集，通過深度學(xué)習(xí)方法訓(xùn)練權(quán)重參數(shù)，左邊的圖像表示測(cè)試圖像，通過與網(wǎng)絡(luò)的權(quán)重參數(shù)運(yùn)算，輸出目標(biāo)檢測(cè)框，如右邊的圖像中紅色矩形框所示。

2.1.3 剪枝后的卷積神經(jīng)網(wǎng)絡(luò)結(jié)構(gòu)

圖2 目標(biāo)檢測(cè)算法流程圖

圖3 剪枝后的卷積神經(jīng)網(wǎng)絡(luò)結(jié)構(gòu)

剪枝后的Yolov3卷積神經(jīng)網(wǎng)絡(luò)結(jié)構(gòu)如圖3所示，圖中最上面的圖像表示輸入圖像，依次與網(wǎng)絡(luò)中各層運(yùn)算，得到特征矩陣；從網(wǎng)絡(luò)的不同層引出特征矩陣，經(jīng)過幾層卷積層融合后，到達(dá)輸出層，分別檢測(cè)不同大小的目標(biāo)，如圖中Convs/Scale1和Convs/Scale2所示，最下面的圖像中紅色矩形框表示目標(biāo)的位置。每個(gè)輸出層對(duì)應(yīng)3種錨框，因此，輸出層矩特征矩陣按通道分成3個(gè)部分，每個(gè)部分分別由矩形框(x，y，w，h)和置信度Conf組成。輸出層Scale1充分保留了圖像的細(xì)節(jié)信息，負(fù)責(zé)檢測(cè)中小目標(biāo)，輸出層Scale2保存較多的語義信息，負(fù)責(zé)檢測(cè)大目標(biāo)。按照置信度對(duì)檢測(cè)結(jié)果進(jìn)行排序，選擇置信度大于0.9對(duì)應(yīng)的目標(biāo)矩形框，作為最終網(wǎng)絡(luò)的檢測(cè)結(jié)果。

2.1.4 檢測(cè)算法的損失函數(shù)

檢測(cè)算法的損失函數(shù)由定位損失、分類損失和置信度損失組成［9］。

Locloss1表示目標(biāo)中心位置損失，由目標(biāo)框中心坐標(biāo)的均方誤差組成。

Locloss2表示目標(biāo)矩形框的長寬損失，由目標(biāo)框的長寬的平方根誤差平方組成，一定程度上弱化較大尺寸的目標(biāo)框損失對(duì)整體損失函數(shù)貢獻(xiàn)。

式中，S2表示輸出層的錨點(diǎn)數(shù)；B表示每個(gè)錨點(diǎn)對(duì)應(yīng)的示預(yù)測(cè)目標(biāo)的矩形框參數(shù)，分別對(duì)應(yīng)中心坐標(biāo)和長寬；x^i、y^i、w^i、h^i表示標(biāo)注目標(biāo)的矩形框參數(shù)。

分類損失用于計(jì)算預(yù)測(cè)類別與真實(shí)類別的誤差，由目標(biāo)類別誤差和背景類別誤差組成。

式中，Ci表示預(yù)測(cè)標(biāo)簽示真實(shí)標(biāo)簽；lnoobjij表示第i個(gè)錨點(diǎn)對(duì)應(yīng)的第j個(gè)檢測(cè)框是否有目標(biāo)，如果有，則

置信度損失用于計(jì)算分類置信度對(duì)損失的貢獻(xiàn)。置信度越小，對(duì)整體損失的貢獻(xiàn)程度越大，反之亦然。

式中，pi(c)表示第i個(gè)錨點(diǎn)中第c類的預(yù)測(cè)置信度；p^i(c)表示第i個(gè)錨點(diǎn)中第c類的真值置信度；

由于各部分損失對(duì)損失函數(shù)的貢獻(xiàn)程度不同，通過加權(quán)的方式，綜合各部分損失函數(shù)，得到總體損失函數(shù)。

式中，λcoord表示位置誤差的權(quán)重；λnoobj表示非目標(biāo)類別誤差權(quán)重。

2.2 基于路面紋理上下文的自適應(yīng)尺度目標(biāo)跟蹤算法

基于路面紋理上下文的自適應(yīng)尺度目標(biāo)跟蹤算法是前車碰撞預(yù)警算法的關(guān)鍵部分，主要用于跟蹤目標(biāo)車輛，記錄前車運(yùn)動(dòng)軌跡。核相關(guān)濾波算法屬于辨別式跟蹤算法，在第一幀中的目標(biāo)周圍區(qū)域，采用在x和y方向上循環(huán)位移的方式采集樣本，計(jì)算樣本的HOG特征矩陣，根據(jù)循環(huán)矩陣的性質(zhì)，可通過傅里葉變換在頻域進(jìn)行運(yùn)算，從而加快了在線訓(xùn)練和跟蹤的速度［10］。但由于其固有的缺陷，如：當(dāng)連續(xù)幀間的目標(biāo)尺度變化較大時(shí)，跟蹤框往往無法準(zhǔn)確跟蹤前方目標(biāo)車輛。本文從自適應(yīng)尺度和道路紋理上下文信息融合等方面，解決原有算法存在的缺陷。

2.2.1 核相關(guān)濾波基本理論

基于核相關(guān)濾波的目標(biāo)跟蹤算法是辨別式跟蹤算法，該算法利用樣本集，在線學(xué)習(xí)一個(gè)可辨別的相關(guān)濾波器，用于區(qū)分下一幀中特定區(qū)域內(nèi)目標(biāo)的位置。傳統(tǒng)的采樣策略是在目標(biāo)周圍區(qū)域隨機(jī)剪切樣本，得到正負(fù)樣本集，而核相關(guān)濾波算法采用循環(huán)位移的方法［11］，在目標(biāo)區(qū)域周圍進(jìn)行密集采樣，計(jì)算樣本的HOG特征矩陣，整個(gè)樣本空間的特征矩陣組成的矩陣是循環(huán)矩陣。通過二維高斯函數(shù)產(chǎn)生樣本標(biāo)簽，靠近樣本空間的中央位置，標(biāo)簽值較大，反之亦然，標(biāo)簽值的大小表示目標(biāo)的置信度。如圖4所示，下層表示經(jīng)過循環(huán)移位后的樣本空間中的樣本分布圖，上層表示樣本空間中的樣本對(duì)應(yīng)的標(biāo)簽值，靠近中間位置呈橘黃色，表示標(biāo)簽值較大，遠(yuǎn)離中間位置呈藍(lán)色，表示標(biāo)簽值較小。

圖4 循環(huán)樣本空間與標(biāo)簽對(duì)應(yīng)關(guān)系

在利用脊回歸算法訓(xùn)練過程中，根據(jù)循環(huán)矩陣的性質(zhì)，在頻域中減少計(jì)算量，有效提高算法的實(shí)時(shí)性。脊回歸算法如式(7)所示。

式中，A0為樣本集特征矩陣；w為可學(xué)習(xí)相關(guān)濾波器的權(quán)重參數(shù)矩陣；y為樣本集的標(biāo)簽矩陣；λ1為正則項(xiàng)參數(shù)。

對(duì)式(7)求導(dǎo)，并令導(dǎo)數(shù)為0，求解w的矩陣形式如式(8)所示；根據(jù)循環(huán)矩陣的性質(zhì)，時(shí)域中的循環(huán)矩陣X可用頻域中的對(duì)角陣表示，如式(9)所示；根據(jù)式(8)和式(9)，可得到頻域中的權(quán)重參數(shù)矩陣，如式(10)所示。

式中，F(xiàn)為傅里葉變換矩陣；AT為樣本集特征矩陣的0共軛轉(zhuǎn)置；α^0為循環(huán)特征矩陣A0的第一行向量組成的對(duì)角矩陣的傅里葉變換；α^0*為循環(huán)特征矩陣A0T的第一行向量組成的對(duì)角矩陣的傅里葉變換。

目標(biāo)跟蹤階段，將下一幀圖像中的搜索區(qū)域的特征組成的循環(huán)矩陣Z與權(quán)重參數(shù)矩陣w運(yùn)算后，得到的響應(yīng)矩陣R中最大的響應(yīng)值對(duì)應(yīng)的位置，是圖像中目標(biāo)的中心位置，如式(11)所示。

2.2.2 融合路面紋理上下文信息的跟蹤方法

傳統(tǒng)的核相關(guān)濾波器僅僅利用單一的目標(biāo)信息作為跟蹤標(biāo)準(zhǔn)，無法有效利用空間上下文信息，而空間上下文信息對(duì)預(yù)測(cè)目標(biāo)位置具有重要意義［12］。在交通場(chǎng)景下，圖像中的待跟蹤目標(biāo)車輛在路面上方行駛，且在行駛過程中，前后兩幀的路面紋理相對(duì)穩(wěn)定。如圖5所示，圖中藍(lán)色矩形框表示路面紋理區(qū)域，紅色矩形框表示目標(biāo)車輛。可以與傳統(tǒng)的核相關(guān)濾波算法融合，輔助跟蹤目標(biāo)車輛。

圖5 道路場(chǎng)景下路面紋理與目標(biāo)的位置關(guān)系

融合道路紋理信息的核相關(guān)濾波方法可有效解決目標(biāo)部分遮擋的跟蹤問題。如果遇到目標(biāo)車輛部分遮擋，導(dǎo)致目標(biāo)區(qū)域的響應(yīng)值非最大響應(yīng)值，融合路面紋理信息后，仍然可準(zhǔn)確跟蹤目標(biāo)。融合路面紋理上下文信息的脊回歸訓(xùn)練公式如式(12)所示。

式中，λ2為權(quán)衡路面上下文信息對(duì)響應(yīng)值的影響程度參數(shù)；A1為路面區(qū)域的循環(huán)樣本特征矩陣。

2.2.3 尺度自適應(yīng)跟蹤模型

在交通場(chǎng)景下的車輛跟蹤過程中，由于前車和當(dāng)前車輛的相對(duì)速度變化，導(dǎo)致圖像中的目標(biāo)車輛的尺度發(fā)生變化，傳統(tǒng)的核相關(guān)濾波方法無法適應(yīng)目標(biāo)車輛變化較大的情況。本文在傳統(tǒng)的核相關(guān)濾波的基礎(chǔ)上，增加尺度自適應(yīng)跟蹤模型。

采用圖像金字塔或?yàn)V波器金字塔模型處理與尺度相關(guān)的問題，通過一定尺度間隔采樣不同尺度的圖像［13］，但該方法的計(jì)算量急劇增大，不利于預(yù)警算法對(duì)實(shí)時(shí)性的要求。本文根據(jù)交通場(chǎng)景下目標(biāo)跟蹤尺度變化的特點(diǎn)，增加一個(gè)維度處理目標(biāo)尺度變化，如圖6所示，圖中左邊的圖像表示上一幀中用來在線訓(xùn)練位移濾波器w和尺度濾波器w1的樣本，通過以像素為單位進(jìn)行循環(huán)移位，得到循環(huán)樣本空間，計(jì)算樣本的HOG特征，與二維高斯標(biāo)簽矩陣結(jié)合，利用脊回歸算法訓(xùn)練，得到位移濾波器w；以目標(biāo)中心位置為中心，以一定的間隔采集不同尺度的樣本，并計(jì)算樣本的HOG特征，與一維高斯標(biāo)簽結(jié)合，通過脊回歸算法訓(xùn)練，得到尺度濾波器w1；當(dāng)獲取到當(dāng)前幀圖像后，首先，通過位移濾波器w與輸入圖像的特征矩陣運(yùn)算后，得到當(dāng)前幀目標(biāo)中心位置的坐標(biāo)，然后，利用尺度濾波器計(jì)算當(dāng)前幀目標(biāo)的最優(yōu)尺度，最終輸出目標(biāo)的位置和大小，如圖中右下角圖像中紅色虛線框所示。

圖6 自適應(yīng)尺度跟蹤算法的在線訓(xùn)練和檢測(cè)流程

2.2.4 目標(biāo)檢測(cè)和目標(biāo)跟蹤切換策略

在復(fù)雜多變的交通場(chǎng)景中，正在跟蹤的前方目標(biāo)易出現(xiàn)運(yùn)動(dòng)模糊、遮擋及截?cái)嗟那闆r，導(dǎo)致跟蹤算法對(duì)目標(biāo)跟蹤失敗，本文設(shè)計(jì)了一個(gè)目標(biāo)檢測(cè)和跟蹤模塊的切換時(shí)機(jī)的方法，當(dāng)跟蹤模塊對(duì)目標(biāo)跟蹤失敗后，及時(shí)切換到目標(biāo)檢測(cè)模塊，重新檢測(cè)目標(biāo)［14］。

根據(jù)核相關(guān)濾波跟蹤算法的輸出結(jié)果的最大響應(yīng)值的含義，當(dāng)準(zhǔn)確跟蹤到下一幀目標(biāo)時(shí)，響應(yīng)矩陣的最大值接近于1，反之，接近于0。根據(jù)該特點(diǎn)，設(shè)定切換閾值β，如圖7所示，當(dāng)0＜β＜0.7時(shí)，表示跟蹤模塊無法有效跟蹤目標(biāo)，切換到檢測(cè)模塊，重新檢測(cè)目標(biāo)；當(dāng)β＞0.7時(shí)，表示跟蹤模塊仍然能夠準(zhǔn)確跟蹤目標(biāo)；當(dāng)檢測(cè)模塊檢測(cè)到有效目標(biāo)時(shí)，切換到跟蹤模塊對(duì)目標(biāo)進(jìn)行持續(xù)跟蹤。

圖7 目標(biāo)檢測(cè)和跟蹤模塊切換流程

2.3 車載相機(jī)標(biāo)定測(cè)距

通過測(cè)距模塊實(shí)現(xiàn)測(cè)量當(dāng)前車輛和前方目標(biāo)的距離的功能。目前常用的測(cè)距方法有超聲波測(cè)距、毫米波測(cè)距、攝像機(jī)標(biāo)定測(cè)距和激光測(cè)距等［15］。利用單目相機(jī)的成像原理，通過鏡頭將物體的反射光進(jìn)行折射后，在攝像機(jī)的感光屏上成像［16］。車載相機(jī)的坐標(biāo)空間由4個(gè)相互關(guān)聯(lián)的坐標(biāo)系組成，如圖8所示。其中，OW-XWYWZW表示世界坐標(biāo)系，O-XYZ表示攝像機(jī)坐標(biāo)系，o1-xy表示成像坐標(biāo)系，o2-uv表示圖像坐標(biāo)系，紅色的“×”表示世界坐標(biāo)空間中的點(diǎn)MW和攝像機(jī)坐標(biāo)系中的點(diǎn)M的位置坐標(biāo)，藍(lán)色的“×”表示圖像坐標(biāo)空間中的點(diǎn)m的位置坐標(biāo)。根據(jù)式(13)，實(shí)現(xiàn)圖像坐標(biāo)空間的點(diǎn)m與世界坐標(biāo)空間中的點(diǎn)MW的一一映射關(guān)系。

式中，A為攝像機(jī)的內(nèi)部參數(shù)；fx為x方向以像素為單位的焦距；fy為y方向以像素為單位的焦距；cx為圖像中心對(duì)應(yīng)的x方向的索引；cy為圖像中心對(duì)應(yīng)的y方

圖8 坐標(biāo)空間的對(duì)應(yīng)關(guān)系圖

2.4 預(yù)警策略

在目標(biāo)檢測(cè)和跟蹤基礎(chǔ)上，利用圖9所示的流程實(shí)現(xiàn)檢測(cè)和跟蹤模塊之間數(shù)據(jù)傳遞的有效性。具體流程如下。

圖9 目標(biāo)檢測(cè)與跟蹤算法的數(shù)據(jù)傳遞流程圖

(1)預(yù)警系統(tǒng)啟動(dòng)后，獲取視頻數(shù)據(jù)的第一幀，首先，判斷獲取的幀是否有效，如果無效，則退出。否則，進(jìn)入檢測(cè)流程，檢測(cè)并輸出所有的檢測(cè)結(jié)果，如果未檢測(cè)到有效目標(biāo)，則繼續(xù)檢測(cè)下一幀，否則，將目標(biāo)位置信息記錄下來，并將檢測(cè)標(biāo)志IsDetecting置false，最后，初始化目標(biāo)跟蹤模塊，輸出目標(biāo)位置。

(2)當(dāng)下一幀到來時(shí)，進(jìn)入跟蹤流程，跟蹤目標(biāo)并輸出結(jié)果，如果跟蹤結(jié)果的置信度小于閾值，則認(rèn)為跟蹤失敗，則將檢測(cè)標(biāo)志IsDetecting置true，否則，更新目標(biāo)跟蹤模塊，輸出目標(biāo)位置。

2.4.1 碰撞時(shí)間預(yù)警

采用車載相機(jī)標(biāo)定的方法，可以計(jì)算當(dāng)前車輛和前車的實(shí)際距離，同時(shí)還需要獲得兩車的相對(duì)速度，綜合兩個(gè)指標(biāo)得出碰撞時(shí)間(Time of Collision，TTC)［17］。如圖10所示，A車表示當(dāng)前車輛，B車表示與A車同一車道的前方目標(biāo)車輛，A車和B車之間的連線表示兩車的碰撞時(shí)間。當(dāng)駕駛員在2.5 s以上發(fā)現(xiàn)危險(xiǎn)時(shí)，并采取制動(dòng)措施，可以避免與前車發(fā)生碰撞。

圖10 碰撞時(shí)間預(yù)警示意圖

利用兩車的相對(duì)距離d和相對(duì)速度v計(jì)算碰撞時(shí)間tTTC，由于無法直接測(cè)量前車的速度，為了降低成本，本車無法安裝測(cè)速儀器，因此，可以通過前后兩幀車距變化與連續(xù)兩幀之間的時(shí)間差得出兩車的相對(duì)速度，碰撞時(shí)間tTTC的計(jì)算方法如式(14)所示，以當(dāng)前車輛的行駛方向?yàn)檎较颍瑑绍嚨脑诘趖幀的相對(duì)速度由第t+1幀的距離dt+1與第t幀的距離dt之差與連續(xù)兩幀的時(shí)間間隔Δt決定，當(dāng)▽d＜0時(shí)，表示兩車的相對(duì)距離減小，當(dāng)▽d＞0時(shí)，表示兩車的相對(duì)距離增示輛車的相對(duì)速度越大，反之亦然。

根據(jù)碰撞時(shí)間tTTC的值，采取相應(yīng)的預(yù)警措施，如表2所示，當(dāng)tTTC的取值在(-∞，-2.5)范圍時(shí)，預(yù)警級(jí)別為三級(jí)，駕駛員可自主控制車輛，預(yù)警系統(tǒng)無需提示；當(dāng) tTTC的取值在(-2.5，-1.3］范圍時(shí)，預(yù)警級(jí)別為二級(jí)，預(yù)警系統(tǒng)發(fā)出聲音預(yù)警，提醒駕駛員安全駕駛；當(dāng)tTTC的取值在(-1.3，0］范圍時(shí)，預(yù)警級(jí)別為一級(jí)，預(yù)警系統(tǒng)發(fā)出聲音提示，并在一定程度上制動(dòng)車輛。

表2 碰撞時(shí)間與預(yù)警級(jí)別關(guān)系表

2.4.2 前車并線預(yù)警

如果前方車輛進(jìn)入當(dāng)前車道，駕駛員需要提前預(yù)判是否避讓，如果當(dāng)前車輛與前方車輛的相對(duì)速度較高，或前車以較大的速度和角度突然并線，駕駛員無法在短時(shí)間內(nèi)避讓，釀成車禍。本文結(jié)合前車運(yùn)動(dòng)軌跡，分析前車并線意圖，實(shí)現(xiàn)前車并線預(yù)警功能。

車載相機(jī)安裝在車輛頂部的中央位置，相機(jī)成像的中心點(diǎn)對(duì)應(yīng)于車輛正前方的中央位置，如圖11所示，圖中紅色柵格線表示當(dāng)前車輛安全行駛區(qū)域，該區(qū)域以當(dāng)前車輛中央向前方的延長線為中軸線，分別向左右兩邊擴(kuò)展的距離稱為擴(kuò)展距離，用d1表示，向前方延伸的距離稱為延伸距離，用d2表示。區(qū)域內(nèi)的每條紅色直線表示距離當(dāng)前車輛不同距離的位置，藍(lán)色實(shí)線表示該區(qū)域形成的三維空間的邊界，以當(dāng)前車輛兩側(cè)車道內(nèi)的目標(biāo)車輛的中心位置為目標(biāo)運(yùn)動(dòng)軌跡的錨點(diǎn)，當(dāng)目標(biāo)錨點(diǎn)從紅色區(qū)域外部向區(qū)域內(nèi)部移動(dòng)時(shí)，表示前方車輛有并線意圖，此時(shí)，預(yù)警系統(tǒng)開始預(yù)警，提醒駕駛員減速避讓。擴(kuò)展距離d1和延伸距離d2的關(guān)系，如圖12所示，橫坐標(biāo)表示兩車的相對(duì)距離，單位為m，用distance表示，縱坐標(biāo)表示不同distance對(duì)應(yīng)的安全行駛區(qū)域在圖像中的寬度，單位為像素，用width表示，隨著兩車的相對(duì)距離的增加，width逐漸減小。

圖11 前車并線預(yù)警原理示意圖

圖12 檢測(cè)寬度與車距關(guān)系折線圖

2.4.3 非機(jī)動(dòng)車預(yù)警

根據(jù)目標(biāo)車輛的類別，將目標(biāo)車輛分為機(jī)動(dòng)車和非機(jī)動(dòng)車。在交通場(chǎng)景中，非機(jī)動(dòng)車屬于運(yùn)動(dòng)狀態(tài)不穩(wěn)定的交通參與者，在駕駛過程中，容易出現(xiàn)突然停止、轉(zhuǎn)彎或摔倒等情況，機(jī)動(dòng)車駕駛員需要與非機(jī)動(dòng)車保持一定的距離，并隨時(shí)注意突發(fā)情況的發(fā)生。當(dāng)非機(jī)動(dòng)車出現(xiàn)在當(dāng)前車輛前方時(shí)，預(yù)警算法及時(shí)預(yù)警，提醒駕駛員注意避讓非機(jī)動(dòng)車，謹(jǐn)慎駕駛。

3 結(jié)果與分析

本文的實(shí)驗(yàn)采用KITTI數(shù)據(jù)集和實(shí)際交通場(chǎng)景采集的樣本數(shù)據(jù)集。其中KITTI數(shù)據(jù)集由德國卡爾斯魯厄理工學(xué)院和豐田美國技術(shù)研究院聯(lián)合創(chuàng)辦，是目前世界上最大的無人駕駛場(chǎng)景數(shù)據(jù)集，該數(shù)據(jù)集包含目標(biāo)檢測(cè)、跟蹤、激光雷達(dá)及雙目視覺等圖像序列和標(biāo)注數(shù)據(jù)。如表3所示，KIITI數(shù)據(jù)集根據(jù)目標(biāo)的最小尺寸(Min_Box)、最大遮擋面積(Max_Occlusion)和最大截?cái)鄥^(qū)域(Max_Truncation)，分為容易、中等和困難3個(gè)部分，分別評(píng)估算法在不同難度的數(shù)據(jù)集下的性能指標(biāo)；在實(shí)際場(chǎng)景下采集的數(shù)據(jù)集包括高架道路、市區(qū)公路等交通場(chǎng)景。

表3 KIITI數(shù)據(jù)集難易程度分布

3.1 標(biāo)定測(cè)距實(shí)驗(yàn)分析

通過車載相機(jī)與障礙物的實(shí)際距離和利用車載相機(jī)的標(biāo)定矩陣計(jì)算出來的距離，來分析標(biāo)定誤差。如表4所示，隨著相機(jī)與障礙物的距離的增加，誤差率有所增加，主要是因?yàn)榫嚯x相機(jī)越遠(yuǎn)的位置，單位像素所對(duì)應(yīng)世界坐標(biāo)空間中的距離越大，導(dǎo)致標(biāo)定誤差增大，但誤差在允許范圍內(nèi)，滿足預(yù)警系統(tǒng)對(duì)誤差的要求。

表4 車載相機(jī)標(biāo)定誤差統(tǒng)計(jì)

3.2 目標(biāo)跟蹤算法性能分析

利用KITTI數(shù)據(jù)集抽取包含單個(gè)目標(biāo)的數(shù)據(jù)集，并采用VOT評(píng)估工具箱，對(duì)比本文所述的跟蹤算法與已有的跟蹤算法之間的性能，結(jié)果如表5所示，Ms_Rcacf_6表示本文所述的算法在λ2=0.6時(shí)的算法，cacf_dsst表示未考慮路紋理上下文區(qū)域的多尺度跟蹤算法，cacf表示未考慮道路紋理上下文區(qū)域的單尺度跟蹤算法，kcf_dsst表示傳統(tǒng)的核相關(guān)濾波的多尺度跟蹤算法。分析實(shí)驗(yàn)數(shù)據(jù)可知，本文提出的算法的平均交并比和EAO(Expected Average Overlap)數(shù)據(jù)均排名第1，平均失敗次數(shù)排名第2，幀率FPS排名第3，綜合以上指標(biāo)分析，本文所述的算法在準(zhǔn)確率方面表現(xiàn)更好，在程序?qū)崿F(xiàn)中，可通過并行計(jì)算技術(shù)來彌補(bǔ)幀率較小的缺點(diǎn)。

表5 目標(biāo)跟蹤算法性能指標(biāo)

3.3 碰撞時(shí)間預(yù)警實(shí)驗(yàn)分析

本實(shí)驗(yàn)將車載相機(jī)安裝在車輛頂部中央位置，對(duì)真實(shí)道路場(chǎng)景進(jìn)行采樣，并在離線場(chǎng)景下對(duì)算法進(jìn)行測(cè)試，實(shí)驗(yàn)結(jié)果如圖13所示，x軸表示兩車的相對(duì)距離；y軸表示兩車的相對(duì)速度；z軸表示碰撞時(shí)間TTC。當(dāng)碰撞時(shí)間在(-1.3，0］之間時(shí)，進(jìn)行一級(jí)預(yù)警，如散點(diǎn)圖中紅色大號(hào)球點(diǎn)所示，當(dāng)碰撞時(shí)間在(-2.5，-1.3］之間時(shí)，進(jìn)行二級(jí)預(yù)警，如散點(diǎn)圖中黃色中號(hào)球點(diǎn)所示，當(dāng)碰撞時(shí)間在(-∞，-2.5)之間時(shí)，進(jìn)行三級(jí)預(yù)警，如散點(diǎn)圖中綠色小號(hào)球點(diǎn)所示。兩車的相對(duì)距離越小，相對(duì)速度為負(fù)數(shù)，且絕對(duì)值越大時(shí)，表示輛車在短時(shí)間碰撞，預(yù)警的緊急度越高，反之亦然。

圖13 預(yù)警時(shí)間與預(yù)警級(jí)別散點(diǎn)圖

交通場(chǎng)景下，碰撞時(shí)間與預(yù)警輸出示意圖，如圖14所示，上方坐標(biāo)系的橫軸表示當(dāng)前幀在圖像序列中的索引，縱軸表示碰撞時(shí)間TTC的值，圖中每一幀的索引對(duì)應(yīng)該幀中當(dāng)前車輛與目標(biāo)車輛的碰撞時(shí)間，紅色的點(diǎn)表示一級(jí)預(yù)警，黃色的點(diǎn)表示二級(jí)預(yù)警，綠色的點(diǎn)表示三級(jí)預(yù)警，下方的圖像表示特定幀在圖像中的預(yù)警結(jié)果，黃色矩形框表示目標(biāo)的位置，其下方的字體描述預(yù)警界別。

3.4 并線預(yù)警實(shí)驗(yàn)分析

該實(shí)驗(yàn)主要應(yīng)用于結(jié)構(gòu)化道路，如：高速、高架道路等場(chǎng)景，并線預(yù)警算法對(duì)當(dāng)前車輛前方一定范圍進(jìn)行檢測(cè)，并對(duì)可能變道的車輛進(jìn)行持續(xù)跟蹤，當(dāng)變道車輛開始進(jìn)入危險(xiǎn)區(qū)域時(shí)，進(jìn)行預(yù)警，提示駕駛員及時(shí)減速避讓，防止因減速不及時(shí)，導(dǎo)致與前方車輛發(fā)生追尾。并線預(yù)警實(shí)驗(yàn)結(jié)果，如圖15所示，綠色矩形框表示安全情況下目標(biāo)車輛的位置，這些車輛對(duì)當(dāng)前車輛安全行駛不能構(gòu)成潛在危險(xiǎn)；當(dāng)目標(biāo)車輛進(jìn)入危險(xiǎn)區(qū)域后，該車輛的位置矩形框由綠色變成紅色，預(yù)警系統(tǒng)通過語音或指示燈提示駕駛員“前方車輛變道，注意減速避讓”；圖中紅色符號(hào)“×”表示目標(biāo)車輛中心位置的歷史軌跡，黃色曲線表示目標(biāo)車輛與當(dāng)前車輛的相對(duì)位置變化；完成前車并線并穩(wěn)定行駛后，停止預(yù)警。

3.5 非機(jī)動(dòng)車預(yù)警實(shí)驗(yàn)分析

在實(shí)際交通場(chǎng)景下，非機(jī)動(dòng)車屬于弱勢(shì)交通參與對(duì)象，同時(shí)由于非機(jī)動(dòng)車駕駛員交通安全意識(shí)不強(qiáng)，容易突然變道或者曲線行駛，引發(fā)交通事故。該實(shí)驗(yàn)通過采集交通場(chǎng)景下的包含非機(jī)動(dòng)車的視頻數(shù)據(jù)，對(duì)本文所述的非機(jī)動(dòng)車預(yù)警算法進(jìn)行測(cè)試，實(shí)驗(yàn)結(jié)果如圖16所示，黃色直線表示當(dāng)前車輛前方危險(xiǎn)區(qū)域，綠色和黃色矩形框分別表示非機(jī)動(dòng)車或行人的位置信息，當(dāng)非機(jī)動(dòng)車進(jìn)入危險(xiǎn)區(qū)域后，預(yù)警系統(tǒng)進(jìn)行預(yù)警，提示駕駛員注意前方非機(jī)動(dòng)車輛，注意避讓或減速。

圖14 前車碰撞時(shí)間預(yù)警示意圖

圖15 前車并線預(yù)警示意圖

圖16 非機(jī)動(dòng)車預(yù)警示意圖

4 結(jié)束語

本文提出的基于視頻的前車并線及碰撞預(yù)警算法實(shí)現(xiàn)了前車碰撞時(shí)間預(yù)警、前車并線預(yù)警以及非機(jī)動(dòng)車預(yù)警等功能。目標(biāo)檢測(cè)算法對(duì)交通環(huán)境下的車輛有較高的檢出率，有效提高了預(yù)警算法的準(zhǔn)確率，同時(shí)，本文提出的基于路面紋理上下文信息的目標(biāo)跟蹤算法融合目標(biāo)周圍信息，實(shí)現(xiàn)對(duì)目標(biāo)的精確定位，可以準(zhǔn)確獲得前車目標(biāo)車輛的運(yùn)動(dòng)軌跡信息。根據(jù)檢出的結(jié)果，結(jié)合車載相機(jī)標(biāo)定方法，實(shí)現(xiàn)對(duì)前方車輛距離的估計(jì)，為后續(xù)的綜合預(yù)警提供充足的信息。但是，由于交通環(huán)境復(fù)雜，難以衡量跟蹤算法對(duì)目標(biāo)的跟蹤結(jié)果的準(zhǔn)確性，較難把握檢測(cè)算法和跟蹤算法的切換時(shí)機(jī)，在以后的工作中，將進(jìn)一步對(duì)長時(shí)跟蹤算法進(jìn)行研究，結(jié)合目標(biāo)的幾何及外觀信息等，進(jìn)行綜合判斷。