基于Transformer框架的3D車道線檢測(cè)算法

李勝，嚴(yán)華

（四川大學(xué)電子信息學(xué)院，成都 610065）

關(guān)鍵字：深度學(xué)習(xí)；計(jì)算機(jī)視覺(jué)；3D車道線檢測(cè)；自動(dòng)駕駛

0 引言

車道線是自動(dòng)駕駛系統(tǒng)環(huán)境感知中的重要環(huán)節(jié)，最常見(jiàn)的車道線感知的解決方案是使用單目攝像機(jī)作為解決任務(wù)的主要傳感器，然后使用目標(biāo)檢測(cè)的方法從采集到的圖像檢測(cè)出車道線的位置［1-4］。然而這些方法大都是假設(shè)路面是平整的，且只能提供二維車道線位置信息，當(dāng)這個(gè)假設(shè)被違反時(shí)會(huì)導(dǎo)致系統(tǒng)車道線檢測(cè)結(jié)果與真實(shí)路面存在嚴(yán)重偏差，造成自動(dòng)駕駛系統(tǒng)安全性的潛在隱患。3D車道線檢測(cè)可提供可駕駛車道相對(duì)于主車輛的3D位置的精確估計(jì)，增強(qiáng)了自動(dòng)駕駛環(huán)境感知系統(tǒng)的可靠性和魯棒性。R.Schmidt等［5］在未假設(shè)道路平坦或俯仰角恒定的基礎(chǔ)上提出了一種基于立體視覺(jué)的3D車道檢測(cè)方法。Lu Xiong等［6］提出了一種基于車道線信息的結(jié)構(gòu)路面三維估計(jì)方法。Noa Garnett等［7］提出了一種基于卷積神經(jīng)網(wǎng)絡(luò)的端到端3D車道線檢測(cè)算法，該算法使用兩條路徑處理來(lái)自車輛視圖和俯視圖的信息。車輛視圖路徑處理并保留來(lái)自圖像的信息，而頂視圖路徑處理頂視圖中的特征以輸出3D車道估計(jì)。Guo等［8］在新的坐標(biāo)框架中引入了一種新的幾何引導(dǎo)車道錨定表示法，設(shè)計(jì)一種將圖像分割子網(wǎng)和幾何編碼子網(wǎng)學(xué)習(xí)解耦的兩階段網(wǎng)絡(luò)模型，并應(yīng)用特定的幾何變換從網(wǎng)絡(luò)輸出中直接計(jì)算真實(shí)的三維車道點(diǎn)。

然而，由于透視現(xiàn)象的存在，在車載攝像機(jī)采集到的圖像中，近處道路在圖像中占據(jù)較大的像素區(qū)域，而中遠(yuǎn)處道路的所占像素則隨距離增大而越來(lái)越小，因此導(dǎo)致以往的車道線檢測(cè)算法在道路中遠(yuǎn)處的車道線檢測(cè)結(jié)果與真實(shí)值經(jīng)常存在著較大的偏差。本文提出了一種基于Transformer框架與卷積神經(jīng)網(wǎng)絡(luò)相結(jié)合的3D車道線檢測(cè)算法。首先利用卷積神經(jīng)網(wǎng)絡(luò)的卷積核旋轉(zhuǎn)不變性來(lái)提取輸入圖像的局部語(yǔ)義信息特征圖并生成初步的道路與車道線的二值語(yǔ)義分割圖像；其次利用透視變換將車載前景圖像轉(zhuǎn)化為俯視圖，且再次使用卷積神經(jīng)網(wǎng)絡(luò)提取俯視圖的車道線高級(jí)語(yǔ)義特征信息；最后將不同的視角的特征圖融合，利用兩個(gè)不同大小的Transformer網(wǎng)絡(luò)來(lái)分別處理不同尺度下的特征序列，分級(jí)逐步定位車道線的三維坐標(biāo)信息。實(shí)驗(yàn)表明，該方法相比最新的3D車道線檢測(cè)算法在道路遠(yuǎn)處的檢測(cè)結(jié)果更加準(zhǔn)確。

1 Transformer網(wǎng)絡(luò)

Transformer是一種人工神經(jīng)網(wǎng)絡(luò)［9］,最初用于自然語(yǔ)言處理任務(wù)。相比循環(huán)神經(jīng)網(wǎng)絡(luò)和卷積神經(jīng)網(wǎng)絡(luò)，Transformer網(wǎng)絡(luò)能夠建模輸入序列元素長(zhǎng)遠(yuǎn)距離之間的依賴關(guān)系，并通過(guò)支持輸入序列的并行處理來(lái)加快網(wǎng)絡(luò)的推理速度。因此被廣泛應(yīng)用于自然語(yǔ)言處理、時(shí)間序列預(yù)測(cè)、計(jì)算機(jī)視覺(jué)等領(lǐng)域。

1.1 Tr ansf or mer網(wǎng)絡(luò)框架

Transformer框架由編碼器和解碼器兩部分組成，如圖1所示，其中編碼器是由N個(gè)相同的編碼器層疊加而成。每個(gè)編碼器層包括多頭注意力、求和和歸一化、前饋神經(jīng)網(wǎng)絡(luò)等子模塊。解碼器同樣是由N個(gè)相同的解碼器層疊加而成，每個(gè)解碼器除了包括與編碼器相同的四個(gè)子模塊外，還添加了由掩碼多頭注意力模塊，用于在解碼過(guò)程中抹去需要被預(yù)測(cè)的后續(xù)序列信息。

圖1 Transformer模型展開(kāi)

1.2 位置編碼

因?yàn)門ransformer網(wǎng)絡(luò)相對(duì)于傳統(tǒng)的循環(huán)神經(jīng)網(wǎng)絡(luò)在輸入計(jì)算時(shí)沒(méi)有輸入先后順序，而是采用并行化的思想來(lái)加快運(yùn)算，這樣模型在前一個(gè)序列結(jié)果還沒(méi)有出來(lái)的時(shí)候便可以同時(shí)處理下一個(gè)序列，這會(huì)喪失了序列的順序性。因此為了不損失順序性，在將序列輸入之前還需要結(jié)合位置編碼（positional encoding）。

1.3 多頭注意力機(jī)制（multi-head attention）

將掩碼注意力模塊的輸出作為查詢向量（Query），并編碼器輸出的已經(jīng)編碼好的特征向量作為查詢關(guān)鍵字（key）和相關(guān)值（value）來(lái)計(jì)算注意力，從而得到當(dāng)前需要翻譯的內(nèi)容和特征向量的對(duì)應(yīng)關(guān)系，從而表示出當(dāng)前時(shí)間步的狀態(tài)。

2 車道線檢測(cè)網(wǎng)絡(luò)

2.1 車道線表示模型

圖2 車道正視圖和俯視圖

針對(duì)道路的車道線有三種表示模型，相機(jī)捕獲的正面視角車道原圖像、經(jīng)投影變換至俯視角度的俯視圖像和車道線三維坐標(biāo)表圖。本文采用錨定縱坐標(biāo)的方式，預(yù)先定義一組水平的坐標(biāo)集合，一組垂直坐標(biāo)集合，則第t條車道線可以表示為一組點(diǎn)的集合。其中xit表示車道線與預(yù)先定義的垂直坐標(biāo)偏移量,zit表示車道線高度信息，vit表示當(dāng)前集合是表示車道線還是道路中心線，pit表示當(dāng)前坐標(biāo)點(diǎn)存在車道線的概率值。

本文提出算法的輸入為車載前景攝像頭的實(shí)時(shí)圖像數(shù)據(jù)，假定圖像為IO，其大小為（H，W，3）。則輸出為當(dāng)前車輛所在行駛道路的三維車道線位置信息。如圖3所示，經(jīng)兩個(gè)CNN特征提取子網(wǎng)絡(luò)，再經(jīng)過(guò)兩個(gè)Transformer網(wǎng)絡(luò)，最后輸出車道線的三維坐標(biāo)信息。

圖3 3D車道線檢測(cè)網(wǎng)絡(luò)

2.2 CNN特征提取子網(wǎng)絡(luò)

特征提取子網(wǎng)絡(luò)包含正視圖特征提取模塊（VFM）和俯視圖特征提取模塊（TFM）。VFM模塊是由輕量級(jí)語(yǔ)義分割網(wǎng)絡(luò)erfnet［10］組成，TFM模塊是由resnet-34［11］構(gòu)成。輸入圖像經(jīng)過(guò)VFM模塊編碼器的多次卷積和逐級(jí)下采樣，得到車道正視角度的特征圖FV1,FV2，再通過(guò)解碼器的逐級(jí)上采樣得到與原輸入圖大小一致的車道線二值語(yǔ)義分割圖IS。通過(guò)使用透視變換將IS轉(zhuǎn)換到車道俯視角度的分割圖像IS′，使用TFM模塊提取俯視角度不同尺度的車道特征信息FT1、FT2。

2.3 特征融合子網(wǎng)絡(luò)

特征融合子網(wǎng)絡(luò)由語(yǔ)義Transformer和細(xì)節(jié)Transformer兩個(gè)模塊構(gòu)成，分別用于提取不同特征尺度下的車道語(yǔ)義信息。其中語(yǔ)義Transformer模塊旨在判別車道線高級(jí)語(yǔ)義信息，在例如車道線存在車輛遮擋、車道線磨損不連續(xù)等情景下，依賴圖像的上下文信息做出車道線的位置判斷。細(xì)節(jié)Transformer模塊在語(yǔ)義Transformer輸出信息基礎(chǔ)上在分辨率較高的特征圖中進(jìn)一步恢復(fù)出車道線細(xì)節(jié)位置信息。將特征提取模塊輸出的FV1，F(xiàn)V2，經(jīng)透視變化后與FT1、FT2融合，再將其加入位置編碼信息并展開(kāi)成序列SC和SF。SC表示分辨尺度較小下的語(yǔ)義車道特征序列，而SF表示分辨尺度較大下的細(xì)節(jié)車道線特征序列，保留了更多的局部車道細(xì)節(jié)紋理信息。語(yǔ)義Transformer將SC作為輸入，利用近處識(shí)別出的車道線信息，結(jié)合車道線具有長(zhǎng)而細(xì)且連續(xù)的結(jié)構(gòu)先驗(yàn)特征，輸出的特征序列語(yǔ)義SC″保持了遠(yuǎn)近車道線結(jié)構(gòu)的上下文一致性。細(xì)節(jié)Transformer則將SF作為編碼器的輸入序列，并將SC″作為解碼器的查詢向量，在分辨率更高的特征圖中識(shí)別出的車道線細(xì)節(jié)信息。

2.4 損失函數(shù)

給定圖像及其對(duì)應(yīng)的地面真實(shí)三維車道，本文將三維車道檢測(cè)的評(píng)估表述為預(yù)測(cè)車道和地面真實(shí)車道之間的二分匹配問(wèn)題。每條地面真實(shí)車道曲線都被投影到虛擬俯視圖上，并與最近的位于Yref的錨相關(guān)聯(lián)。根據(jù)預(yù)定義的水平位置集合處的地面真值計(jì)算地面錨點(diǎn)的屬性。給定成對(duì)的預(yù)測(cè)車道和相應(yīng)的真值損失函數(shù)可以寫(xiě)成:

3 實(shí)驗(yàn)結(jié)果與分析

3.1 數(shù)據(jù)集

本文的實(shí)驗(yàn)基于Guo等人［8］提出的3D車道線公開(kāi)數(shù)據(jù)集。該數(shù)據(jù)集基于美國(guó)硅谷的真實(shí)區(qū)域，并使用Unity游戲引擎構(gòu)建的虛擬3D道路地圖。其中包括虛擬高速路地圖樣本圖像6000張、城市地圖樣本圖像1500張、居住區(qū)道路樣本圖像3000張，還附加了以及相應(yīng)的深度圖、語(yǔ)義分割圖和三維車道線信息。為了充分驗(yàn)證并說(shuō)明本文算法的有效性和先進(jìn)性，將數(shù)據(jù)集劃分為三種不同的場(chǎng)景。

（1）平衡場(chǎng)景。本場(chǎng)景訓(xùn)練集和測(cè)試集數(shù)量保持相對(duì)平衡，場(chǎng)景變化保持相對(duì)穩(wěn)定。

（2）長(zhǎng)尾特征分布的場(chǎng)景。這個(gè)場(chǎng)景下訓(xùn)練集與平衡場(chǎng)景相同，但測(cè)試集僅使用復(fù)雜的城市地圖。該劃分方法中，由于測(cè)試圖像稀疏地呈現(xiàn)在不同的位置，涉及劇烈的海拔變化和尖銳的轉(zhuǎn)彎，測(cè)試數(shù)據(jù)中的場(chǎng)景很少?gòu)挠?xùn)練數(shù)據(jù)中觀察到。該數(shù)據(jù)集拆分方法旨在驗(yàn)證模型對(duì)于長(zhǎng)尾數(shù)據(jù)的泛化能力。

（3）具有視覺(jué)變化的場(chǎng)景。該場(chǎng)景下3D車道線數(shù)據(jù)訓(xùn)練數(shù)據(jù)集僅包含傍晚時(shí)分的道路場(chǎng)景，而測(cè)試數(shù)據(jù)使用一天之中其他時(shí)間段的道路場(chǎng)景。因此該分類中訓(xùn)練集與測(cè)試集的道路場(chǎng)景的光線存在較大的變化。

3.2 評(píng)價(jià)指標(biāo)

本文將3D車道檢測(cè)表述為預(yù)測(cè)車道和地面真實(shí)車道之間的二分匹配問(wèn)題。對(duì)于用于表示一條車道線一組點(diǎn)集合如果有超過(guò)75%的點(diǎn)在其預(yù)定義的水平坐標(biāo)y上的x偏移量和高度z與真實(shí)值的歐式距離不超過(guò)最達(dá)允許誤差（1.5 m）時(shí)，則認(rèn)定這條車道線模型與真實(shí)車道匹配成功，否則認(rèn)定為誤檢或者漏檢。匹配的地面真實(shí)車道線占總真實(shí)車道線百分比報(bào)告為召回，預(yù)測(cè)成功車道線占總預(yù)測(cè)輸出數(shù)量的百分比報(bào)告為精度。最后將平均精度（AP）和F-score作為主要的評(píng)價(jià)指標(biāo)。此外，在這些匹配車道上，近距離（0～40 m）和遠(yuǎn)距離（40～100 m）的誤差（歐氏距離）也作為算法的輔助評(píng)價(jià)指標(biāo)。

3.3 實(shí)驗(yàn)結(jié)果與分析

如表1所示，我們的方法在所有三個(gè)實(shí)驗(yàn)場(chǎng)景分組中都優(yōu)于最先進(jìn)的方法，F(xiàn)1-socre指標(biāo)提升5～7個(gè)百分點(diǎn)。特別是，在第二類和第三類道路場(chǎng)景中，考慮到這些類型的場(chǎng)景具有較少的道路樣本，并且道路環(huán)境更為多變，相對(duì)于最以往的檢測(cè)算法，本文提出的模型實(shí)驗(yàn)結(jié)果的指標(biāo)提升是非常明顯的。這意味著我們的網(wǎng)絡(luò)體系結(jié)構(gòu)在3D車道檢測(cè)任務(wù)中表現(xiàn)出更優(yōu)越的魯棒性和通用性。

為了客觀全面地說(shuō)明本文方法的有效性和先進(jìn)性，本文在測(cè)試集上選擇了幾個(gè)不同的典型場(chǎng)景車道圖像作為樣本并可視化了3D車道線檢測(cè)結(jié)果。如圖4所示。

圖4 車道線檢測(cè)結(jié)果可視化

表2 模型的評(píng)估結(jié)果

四種典型的道路場(chǎng)景，場(chǎng)景一（左上部分）是在道路遠(yuǎn)處有較大曲率轉(zhuǎn)彎的道路；場(chǎng)景二（右上部分）連續(xù)上坡道路；場(chǎng)景三（左下部分）連續(xù)下坡并存在較大曲率的轉(zhuǎn)彎道路；場(chǎng)景四（右下部分）是先下坡再上坡的凹形道路。檢測(cè)結(jié)果可視化表明，本文提出的模型在距離車輛近處的車道線檢測(cè)結(jié)果與以往的方法相當(dāng)，但在距離車輛較遠(yuǎn)的道路區(qū)域，以往檢測(cè)方法出現(xiàn)了嚴(yán)重的偏差，而本文模型則依然能夠捕捉到準(zhǔn)確的3D車道線位置，且在存在大幅度曲率的轉(zhuǎn)彎道路場(chǎng)景中依然表現(xiàn)出良好的性能。

3.4 Transformer模型大小的影響

為了研究Transformer模型中編碼器和解碼器層數(shù)對(duì)3D車道線檢測(cè)結(jié)果的影響，本文研究了編碼器和解碼器不同層數(shù)的組合。實(shí)驗(yàn)結(jié)果如表3所示。

表3 Transformer模型大小對(duì)檢測(cè)結(jié)果的影響

可以看出，隨著網(wǎng)絡(luò)層的加深，最終的3D車道線檢測(cè)準(zhǔn)確率不斷提高。這也表明本文提出的模型結(jié)構(gòu)的有效性和靈活性，在其單純?cè)黾泳W(wǎng)絡(luò)的深度的情況下，就能提升更加復(fù)雜場(chǎng)景下的3D車道線檢測(cè)精度。

4 結(jié)語(yǔ)

以往的3D車道線檢測(cè)算法在道路遠(yuǎn)處的檢測(cè)結(jié)果誤差較大，針對(duì)這個(gè)問(wèn)題，本文提出了基于Transformer框架與CNN網(wǎng)絡(luò)相結(jié)合的3D車道線檢測(cè)模型。通過(guò)對(duì)不同尺度下的車道線特征信息來(lái)從語(yǔ)義到細(xì)節(jié)逐步定位車道線的位置。并且使用Transformer網(wǎng)絡(luò)對(duì)長(zhǎng)距離序列的特征提取能力，利用道路近處和遠(yuǎn)處車道線的具有連續(xù)性和一致性來(lái)改善車道線遠(yuǎn)處的檢測(cè)效果，極大地提高了車道檢測(cè)的正確率。實(shí)驗(yàn)表明，本文實(shí)現(xiàn)的算法具備較強(qiáng)的魯棒性和較高的檢測(cè)準(zhǔn)確度。