城市道路及高速公路場(chǎng)景標(biāo)定問(wèn)題研究

田培辰

(長(zhǎng)安大學(xué)信息工程學(xué)院，陜西西安 710000)

1.相機(jī)標(biāo)定的相關(guān)理論條件

在對(duì)城市道路場(chǎng)景以及高速公路場(chǎng)景下的行人及車輛運(yùn)動(dòng)軌跡和相關(guān)信息進(jìn)行相機(jī)標(biāo)定的過(guò)程，指的就是求該場(chǎng)景下監(jiān)控相機(jī)的內(nèi)部參數(shù)和外部參數(shù)的過(guò)程。相機(jī)的內(nèi)部參數(shù)主要是指相機(jī)焦點(diǎn)的畸變位置記憶相機(jī)的主點(diǎn)位置，外部參數(shù)指的是相機(jī)在世界坐標(biāo)系中所構(gòu)建的矩陣以及平移產(chǎn)生的向量及之間的關(guān)系。城市道路場(chǎng)景以及高速公路場(chǎng)景下的監(jiān)控相機(jī)的內(nèi)外參數(shù)能夠構(gòu)成道路上的物體運(yùn)動(dòng)平面圖像，并能由此結(jié)合相關(guān)算法形成立體空間，這二者之間的集合映射關(guān)系就是由監(jiān)控相機(jī)的內(nèi)部參數(shù)、外部參數(shù)構(gòu)成的。

1.1 投影幾何

在相機(jī)標(biāo)定和分析各種坐標(biāo)系和成像模型的過(guò)程中會(huì)運(yùn)用到幾何知識(shí)，這個(gè)幾何信息并不局限于二維空間，因此需要事先知道何為投影幾何。投影幾何主要指的就是圖像投影研究領(lǐng)域中的一個(gè)旁支部分，投影幾何的有效運(yùn)用能夠?yàn)槌鞘械缆泛透咚俟穲?chǎng)景下的交通信息收集和研究，并為監(jiān)控相機(jī)的成像模型和相機(jī)的自標(biāo)定提供理論基礎(chǔ)。

1.2 消失點(diǎn)相機(jī)標(biāo)定

1.2.1 消失點(diǎn)涵義

根據(jù)相機(jī)的線性成像模型，消失點(diǎn)是立體空間中的平行線通過(guò)透視及線與線之間的變換，最后相交并映射在平面上的點(diǎn)。消失點(diǎn)的形成主要是產(chǎn)生于空間內(nèi)，平行線在平面圖像中通過(guò)不斷延伸而最終呈現(xiàn)出的一種愈發(fā)不平行且逐漸相交的趨勢(shì)。根據(jù)投影幾何的相關(guān)知識(shí)可知，在同一立體空間內(nèi)，相互平行的兩條或多條平行線，通過(guò)不斷延伸能夠在無(wú)窮遠(yuǎn)的地方形成一個(gè)點(diǎn)，這個(gè)點(diǎn)就是消失點(diǎn)，也就是通過(guò)相機(jī)的光心和平行直線的光線與像面形成的交點(diǎn)，可以觀察到兩條或多條直徑相同的平行線能夠在平面圖像上呈現(xiàn)相交的趨勢(shì)，而非完全平行。在實(shí)際的交通場(chǎng)景中，由于運(yùn)動(dòng)目標(biāo)的運(yùn)動(dòng)軌跡往往是呈現(xiàn)平行線和垂直線，因此，我們可以直接利用平面圖像中的平行線信息獲取消失點(diǎn)的位置，并對(duì)監(jiān)控相機(jī)設(shè)置自標(biāo)定功能。然后，根據(jù)消失點(diǎn)的性質(zhì)，來(lái)建立相機(jī)標(biāo)定過(guò)程中的內(nèi)外參數(shù)與消失點(diǎn)之間的聯(lián)系。

1.2.2 關(guān)于消失點(diǎn)的標(biāo)定算法

本文通過(guò)觀察實(shí)際交通場(chǎng)景中的交通視頻，發(fā)現(xiàn)在實(shí)際交通場(chǎng)景中，車輛和行人本身的運(yùn)動(dòng)軌跡就是大量的平行線信息，因此很容易得到其延伸到最終的消失點(diǎn)。在此基礎(chǔ)上，可以利用所觀測(cè)到的道路上的運(yùn)動(dòng)目標(biāo)的運(yùn)動(dòng)軌跡來(lái)提取消失點(diǎn)的相關(guān)信息，從而有效地設(shè)計(jì)相機(jī)自標(biāo)定。劍橋大學(xué)的Roberto Cipolla團(tuán)隊(duì)首次提出了基于消失點(diǎn)的標(biāo)定算法，這一團(tuán)隊(duì)還針對(duì)建筑物立體重建設(shè)計(jì)出相關(guān)應(yīng)用程序，并從不同角度拍攝校準(zhǔn)后的圖像，以消失點(diǎn)為出發(fā)點(diǎn)進(jìn)行相機(jī)自標(biāo)定就是其方法之一。這一方法在實(shí)際的應(yīng)用過(guò)程中能夠有效地獲取準(zhǔn)確的正交方向消失點(diǎn)的信息，接著計(jì)算出相機(jī)的內(nèi)外參數(shù)進(jìn)行相機(jī)標(biāo)定。這一方法經(jīng)實(shí)踐檢驗(yàn)可知，計(jì)算過(guò)程也比較簡(jiǎn)單易理解。

2.運(yùn)動(dòng)目標(biāo)的提取及估計(jì)消失點(diǎn)

2.1 提取運(yùn)動(dòng)目標(biāo)

考慮到不同的交通場(chǎng)景有不同的特點(diǎn)，相機(jī)標(biāo)定和計(jì)算要采用不同的方法。城市道路場(chǎng)景中的機(jī)動(dòng)車輛及行人行走的信息較為明確，且城市道路一般都是呈直線狀態(tài)的；而高速公路場(chǎng)景中基本沒(méi)有行人移動(dòng)的信息，且高速公路有很多都是蜿蜒的。因此，在城市道路場(chǎng)景下和在高速公路場(chǎng)景下，應(yīng)分別使用城市道路中運(yùn)動(dòng)著的車輛和行人相關(guān)軌跡信息以及與高速公路上運(yùn)動(dòng)著的車輛本身相關(guān)的線性信息，并根據(jù)這兩種不同的交通場(chǎng)景的運(yùn)動(dòng)目標(biāo)以及交通場(chǎng)景的運(yùn)行特點(diǎn)采取不同的計(jì)算方法來(lái)完成相機(jī)自標(biāo)定。

2.1.1 城市道路下的提取

城市交通場(chǎng)景中的運(yùn)動(dòng)目標(biāo)包括運(yùn)動(dòng)的車輛以及行人。這些運(yùn)動(dòng)目標(biāo)都在同一個(gè)平面上運(yùn)動(dòng)，運(yùn)行的機(jī)動(dòng)車輛往往也是沿著規(guī)定車道行駛，且車道為一個(gè)或多個(gè)直線或接近直線的路段。運(yùn)行著的機(jī)動(dòng)車輛的圖像投影也是沿著車道方向不斷延伸，這些線段所對(duì)應(yīng)的往往是對(duì)稱軸方向或垂直方向，且運(yùn)動(dòng)著的行人的身體基本上都是垂直于地面的。通過(guò)觀察這些城市道路場(chǎng)景中的屬性能夠發(fā)現(xiàn)，城市道路場(chǎng)景下，我們可以利用車輛運(yùn)動(dòng)、行人運(yùn)動(dòng)等相關(guān)屬性來(lái)估計(jì)三個(gè)正交方向上的線方程組，并通過(guò)估計(jì)行人的運(yùn)動(dòng)主軸方向和運(yùn)動(dòng)著的機(jī)動(dòng)車輛的延伸方向來(lái)提取線方程。

2.1.2 高速公路下的提取

相對(duì)于城市道路場(chǎng)景下的監(jiān)控相機(jī)，在獲取車輛自身直線信息時(shí)，在高速公路場(chǎng)景下獲取的信息往往不夠清晰，并且高速公路道路并非完全筆直。因此，在這種場(chǎng)景下，利用HOG 梯度方向的統(tǒng)計(jì)直方圖直接提取高速公路上行駛的車輛的直線是不可能的。本文采用沿道路方向的直線方程和沿水平方向的直線方程進(jìn)行提取。

2.2 估計(jì)消失點(diǎn)

2.2.1 霍夫變換

針對(duì)傳統(tǒng)霍夫變換檢測(cè)消失點(diǎn)效率較低的問(wèn)題，本文提出利用級(jí)聯(lián)霍夫變換方法提取消失點(diǎn)，將兩種場(chǎng)景中提取到的直線段變換到平行坐標(biāo)系中，經(jīng)過(guò)不斷累積獲得消失點(diǎn)，在該空間下能夠更直觀和準(zhǔn)確地檢測(cè)出消失點(diǎn)的位置，也包括趨于無(wú)窮遠(yuǎn)的消失點(diǎn)。

傳統(tǒng)的霍夫變換方法是一種窮舉算法，效率相對(duì)較低且不穩(wěn)定。當(dāng)同時(shí)存在多條直線時(shí)就相對(duì)而言不容易找到每條平行線的消失點(diǎn)。因此，采用級(jí)聯(lián)霍夫變換的方法來(lái)表示和檢測(cè)計(jì)算數(shù)值更為有效。級(jí)聯(lián)霍夫變換法不僅能有效地變換無(wú)限的原始圖像空間，還能使其在菱形空間內(nèi)進(jìn)行計(jì)算。

根據(jù)霍夫變換的這一性質(zhì)，將每一點(diǎn)變換為立體空間下的直線。當(dāng)所有的點(diǎn)都被變換成直線后，就會(huì)在空間內(nèi)通過(guò)延伸而最終相交并重疊，可以形成一個(gè)局部極大值點(diǎn)，這個(gè)極大值點(diǎn)就是對(duì)應(yīng)圖像中的直線，也就是我們即將要提取的直線。采用傳統(tǒng)的霍夫變換方法來(lái)檢測(cè)消失點(diǎn)時(shí)會(huì)存在一定的局限性，因此，通過(guò)利用級(jí)聯(lián)的霍夫變換算法，引入平行坐標(biāo)系，將無(wú)限延伸的圖像空間轉(zhuǎn)換到菱形空間內(nèi)，以實(shí)現(xiàn)線到線的變換

2.2.2 級(jí)聯(lián)霍夫變換

通過(guò)用平行坐標(biāo)系的方式建立三維坐標(biāo)來(lái)解決消失點(diǎn)的問(wèn)題，能夠?qū)⑷S及以上數(shù)據(jù)的分量用平行坐標(biāo)軸表示。在三維坐標(biāo)系中，不同等距的平行軸能夠代表不同的維度，坐標(biāo)值的點(diǎn)也能夠代表其投影在坐標(biāo)系上的反映。根據(jù)上述變換過(guò)程，可以將采集到的城市道路和高速公路場(chǎng)景的線性信息以線性變換的方式變換到菱形空間來(lái)估計(jì)消失點(diǎn)，并使用傳統(tǒng)的霍夫變換算法對(duì)菱形空間中的線方程進(jìn)行動(dòng)態(tài)累積投票。最后得出菱形空間內(nèi)的最大值也就是消失點(diǎn)最終的位置。與其他估計(jì)方法相比，該方法無(wú)需重復(fù)計(jì)算即可動(dòng)態(tài)估計(jì)出消失點(diǎn)的具體位置，檢測(cè)的實(shí)時(shí)性很高。

3.交通場(chǎng)景中利用消失點(diǎn)進(jìn)行自標(biāo)定測(cè)量

在具體的交通場(chǎng)景中，可以使用單目、固定式或非旋轉(zhuǎn)式相機(jī)進(jìn)行消失點(diǎn)的自標(biāo)定測(cè)量，可以在交通場(chǎng)景中以俯視拍攝的方式進(jìn)行拍攝。并在城市道路和高速公路中分別基于三個(gè)不同維度的消失點(diǎn)來(lái)進(jìn)行計(jì)算。

3.1 城市道路自標(biāo)定

首先，要進(jìn)行目標(biāo)檢測(cè)。城市道路交通場(chǎng)景視頻輸出后，利用改進(jìn)的高斯混合模型算法提取城市道路交通場(chǎng)景中的運(yùn)動(dòng)目標(biāo)并對(duì)其進(jìn)行區(qū)域標(biāo)記。接著根據(jù)分類規(guī)則對(duì)城市道路交通場(chǎng)景中的非機(jī)動(dòng)車進(jìn)行具體分類，從而獲得機(jī)動(dòng)車和行人的運(yùn)動(dòng)信息以完成檢測(cè)；利用HOG 直方圖算法提取城市道路交通場(chǎng)景中的運(yùn)動(dòng)車輛，以有效統(tǒng)計(jì)機(jī)動(dòng)車輛的像素及信息，得到車輛的行駛方向和與之垂直的線方程組。行駛方向和垂直方向的線方程組分別設(shè)為集合X 和集合Y，行人運(yùn)動(dòng)的軌跡為集合Z；根據(jù)級(jí)聯(lián)霍夫變換，將三組集合方程在菱形空間中求出三個(gè)消失點(diǎn)的位置。利用這三個(gè)消失點(diǎn)得到內(nèi)參數(shù)矩形陣列中的未知變量和主點(diǎn)，結(jié)合已知的相機(jī)高度得到平行向量的解。

3.2 高速公路自標(biāo)定

在高速公路場(chǎng)景中，利用集合X、Y、Z 進(jìn)行相機(jī)自標(biāo)定實(shí)驗(yàn)。首先是檢測(cè)目標(biāo)。通常高速公路中運(yùn)行的往往是機(jī)動(dòng)車輛，所以一般不用檢測(cè)行人運(yùn)動(dòng)。接著利用KLT 算法追蹤車輛的焦點(diǎn)，這樣就可以從高速公路上行駛的車輛軌跡直線上獲得準(zhǔn)確的數(shù)據(jù)。篩選后再根據(jù)LSD 檢測(cè)法，得到水平方向行駛的機(jī)動(dòng)車直線方程，篩選設(shè)置為集合A，而垂直方向線方程，篩選設(shè)置為集合B；接著將集合A、B 分別投票，進(jìn)而得到這兩個(gè)方向上的消失點(diǎn)。最后，假設(shè)圖像中間的是主點(diǎn)，再據(jù)此進(jìn)一步計(jì)算焦距，得到第三個(gè)消失點(diǎn)。利用獲得的三個(gè)消失點(diǎn)，獲得內(nèi)部參數(shù)矩形陣列中的未知變量和主點(diǎn)。最后結(jié)合已知的相機(jī)高度，得到平移向量T 的解。

4.結(jié)語(yǔ)

特定場(chǎng)景下的交通交通健康視頻能夠采集到許多有用的信息，合理利用該信息能夠?yàn)榻煌ㄒ?guī)劃提供重要數(shù)據(jù)以參考。相機(jī)標(biāo)定是交通系統(tǒng)智能化的關(guān)鍵部分，但傳統(tǒng)相機(jī)存在標(biāo)定復(fù)雜、不可控因素多等問(wèn)題。因此，基于不同維度的消失點(diǎn)的相機(jī)標(biāo)定方法被廣泛應(yīng)用。城市道路和高速公路場(chǎng)景中有行駛著的機(jī)動(dòng)車輛和行人等大量的運(yùn)動(dòng)信息，利用相機(jī)自標(biāo)定的方式針對(duì)不同的運(yùn)動(dòng)目標(biāo)提取消失點(diǎn)，能夠獲得較為精確的相機(jī)內(nèi)外參數(shù)。此外，通過(guò)對(duì)具體場(chǎng)景不同高度的拍攝和監(jiān)控，也可驗(yàn)證相機(jī)高度對(duì)內(nèi)外參數(shù)的影響較小。