針對車輛與行人檢測的感興趣區域自適應分割算法

張文影, 李禮夫

(華南理工大學機械與汽車工程學院，廣州 510641)

車輛與行人檢測是智能網聯汽車環境感知系統的關鍵功能之一，是后續進行車輛與行人目標跟蹤及其軌跡預測的基礎[1]。在基于圖像的車輛與行人檢測中，車載攝像機采集的行車圖像不僅包含所需的車輛與行人目標信息，還混雜著前方的天空、兩旁的樹木及建筑物背景區域等無關信息，這些無關信息不僅耗費了計算資源，還可能干擾檢測目標特征的提取。而感興趣區域(region of interest,ROI)即為整幅圖像中盡量剔除這些無關信息、保留所需目標信息的圖像區域，作為后續檢測算法的圖像輸入。因此為了提高車輛及行人檢測的實時性和準確性，快速精確的ROI分割十分必要。

目前在車輛及行人檢測領域的ROI圖像分割方法主要是固定比例/區域法，該方法根據對行車圖像中車輛及行人分布區域的觀察和經驗總結，采用某一固定比例/區域對行車圖像進行分割，從而獲得車輛及行人目標的ROI。如文獻[2]中某前方車輛檢測與測距系統將圖像底部2/3區域內的固定區域作為車輛與行人目標ROI。文獻[3]中類似地將目標ROI設置為圖像下部的1/3區域。但當路面坡度或者車身俯仰姿態發生變化時，車載攝像機與路面之間的俯仰角也隨之變化，造成包含車輛及行人目標信息的道路區域在圖像上的上下偏移，此時采用固定比例/區域分割方法得到的ROI(圖1中藍框區域)會出現分割區域浪費(過多分割區域不含目標信息)或者某些重要車輛及行人目標被割去的不良后果，如圖1紅色虛線所示，前者增加了檢測算法的任務量，不利于檢測的實時性，后者減少了檢測算法能夠獲得的目標信息，嚴重影響檢測的準確性。

圖2 基于消失點和車輛高度的ROI自適應分割算法Fig.2 ROI adaptive segmentation method based on vanishing point and vehicle height

為此，提出一種基于消失點和車輛高度的ROI自適應分割算法。首先，該算法利用道路消失點準確找到道路位置，避免分割區域浪費，保證檢測的實時性；其次，綜合車輛實際高度及檢測算法有效檢測距離對圖像上車輛高度進行補充，減少目標不完整分割，增加檢測的準確性；最后，循環利用前一幀行車圖像的車道消失點及其推導的實時俯仰角更新下一幀ROI，以做到依據路面坡度情況及車身俯仰姿態的ROI實時自適應分割。

1 ROI自適應分割算法原理

圖2所示為典型的車載攝像機采集的行車圖像，其中車輛及行人目標大都分布在道路區域及其周圍，所以準確找到道路區域是避免ROI分割區域浪費的關鍵。而根據透視變換的原理，行車圖像上的道路區域無限向前延伸，最終會與天空區域相交于一點并消失，此消失點所在的水平直線即為消失線(圖2中綠色虛線)，消失線上方大多為天空等無關區域，下方為道路區域，因此可利用車道消失點準確找到行車圖像中道路區域的上邊界，定位道路區域；同時由于透視變換“近大遠小”的特點，不同距離時車輛在圖像上的高度不同，所以可綜合車輛實際高度和檢測算法有效檢測距離的先驗知識，計算出圖像上的車輛高度來精確定位ROI邊界，防止目標不完整分割。其中車輛實際高度有一個固定且集中的范圍，可根據常見車輛的實際高度取一個合適值，檢測算法有效檢測距離包括最大、最小有效檢測距離，是指在該車載攝像機模型下檢測算法能有效檢測出目標的最大、最小距離，主要受檢測算法及行車圖像質量(分辨率、色彩深度和圖像失真)等影響，可由目標檢測算法性能標定得到。

基于消失點和車輛高度的ROI自適應分割算法步驟如下。

(1)建立車載攝像機成像模型。根據攝影成像原理及攝像機安裝信息等推導出車載攝像機成像模型，用于計算行車時世界坐標系下的任意物體在車載攝像機行車圖像上的像素位置，是后續進行ROI初始劃分及其實時更新的基礎。

(2)劃分初始ROI。首先，利用車載攝像機成像模型及其相機標定信息得到行車圖像的初始道路消失線中點M1(圖2中綠色虛線中點)，找到準確的道路位置，避免分割區域浪費，保證了后續檢測的實時性；其次，綜合車輛實際高度和檢測算法有效檢測距離的先驗知識，根據車載攝像機成像模型計算出最小有效檢測距離時前方車輛頂部的圖像縱坐標，得到圖像左右邊界高度點K3和K2，確定ROI左右邊界。同樣也可計算出最大有效檢測距離時前方車輛在圖像上的高度h1，得到消失點車輛高度補充點K1，補充圖像上消失點處的車輛高度，減少目標不完整分割，有利于后續檢測的準確性；最后，根據K1、K2、K3三點分割出初始ROI(圖2中藍色實線框)，輸入給檢測算法進行車道線檢測和車輛及行人檢測。

(3)實時更新ROI。利用當前幀行車圖像檢測到的車道消失點M′1(圖2中綠色實線交點)及其推導的實時俯仰角β′實時更新下一幀ROI(圖2中K′1K′2K′3藍色實線框)，做到依據路面坡度情況及車身俯仰姿態的ROI實時自適應分割。

2 車載攝像機成像模型

攝影成像坐標轉換描述了從三維空間世界坐標變換到二維圖像像素坐標的轉換關系，依此關系建立相應的車載攝像機成像模型，則根據該模型可計算出世界坐標系下的任意物體在車載攝像機行車圖像上的像素位置。因此，車載攝像機成像模型是后續進行ROI初始化及其更新的基礎。

2.1 攝影成像坐標轉換

攝像機構像坐標轉換如圖3所示。

圖3 攝像機成像坐標轉換Fig.3 Schematic diagram of photographic imaging

三維空間一點P(XW,YW,ZW)通過攝像機成像變換到二維像素平面下的P′(u,v)，其過程涉及了世界坐標系OW-XWYWZW、相機坐標系OC-XCYCZC、成像坐標系O-XY以及像素坐標系OO-UV之間的轉換關系，其中用攝像機外參矩陣M2來描述從世界坐標系到相機坐標系的轉換，用攝像機內參矩陣M1來描述從相機坐標系到像素坐標系的轉換[4]，即

(1)

攝像機的外參矩陣M2描述了攝像機坐標系與世界坐標系之間的旋轉、變換關系，由一個3×3的旋轉矩陣R3×3和一個3×1的平移矩陣T3×1表示，與攝像機安裝信息直接相關。

其中若攝像機的俯仰角為β、偏轉角為α、繞光軸的滾轉角為γ，則

(3)

攝像機的內參矩陣M1描述了相機坐標系到像素坐標系的轉換關系，包括針孔成像過程、主點偏移及坐標單位轉換等，只與攝像機本身的內部參數有關。

(4)

式(1)中：fx=f×sx，fy=f×sy，f為攝像機焦距，sx和sy的單位為像素/mm，表示每物理單位長度(mm)所具有的像素值；(u0,v0)為成像坐標系的原點在像素坐標系的坐標，也就是光心與像素坐標系的交點。

2.1 車載攝像機成像模型

建立車載攝像機成像模型如圖4所示，車載攝像機的焦點為攝像機坐標系OC-XCYCZC的原點OC，ZC軸與攝像機光軸重合。同時為方便說明，令世界坐標系OW-XWYWZW固定在車輛上，與攝像機坐標系有共同的原點OW(OC)，ZW指向車輛正前方，并與路面保持平行，YW垂直地面向下，面向正前方右側為XW；成像坐標系O-XY的原點(即光心O點)在像素坐標系OO-UV中的坐標為(u0,v0)；采集的行車圖像分辨率為M×N像素分辨率。

圖4 車載攝像機成像模型Fig.4 Vehicle-mounted camera imaging model

考慮到車載攝像機的安裝特性，偏轉角α和滾轉角γ都為0，攝像機只擁有一定的路面俯仰角β，代入式(3)求得旋轉矩陣R3×3；同時攝像機坐標系和相機坐標系原點相同，所以平移矩陣T3×1=(0, 0, 0)T，代入式(2)求得外參矩陣M2，聯立內參矩陣M1式(4)，代入式(1)并整理得到：

(5)

(6)

式(5)、式(6)為在該車載攝像機成像模型下，世界坐標系下一點(XW,YW,ZW)到其圖像上像素坐標 (u,v)的轉換關系，其中β為車載攝像機路面俯仰角，可通過安裝測量或者攝像機外參標定得到；fx、fy、u0、v0是車載攝像機內部參數，可通過攝像機內參標定得到。

3 初始ROI劃分

如圖5所示，在上述車載攝像機成像模型的基礎上，利用攝像機內外參數和分辨率得到初始消失線中點坐標M1；綜合車輛實際高度和有效檢測距離的先驗知識，得到圖像左右邊界高度點K3、K2和消失點的車輛高度補充點K1；根據K1、K2和K3這3點分割出初始感興趣區(藍線框內)，輸入給檢測算法進行車道線檢測和車輛及行人檢測。

圖5 初始ROI(藍線框內)劃分示意圖Fig.5 Schematic diagram of initial ROI (inside the blue line)

3.1 消失線中點

圖2所示的M×N像素分辨率車載攝像機行車圖像，假設其為平坦路面，則路面上所有無窮遠處的點(ZW取無窮大，YW=h，XW取任意值)通過式(6)會形成像素圖像上的一條直線(圖2中綠色虛線)，即消失線：

vmiss=fytanβ+v0

(7)

因此可得到像素圖像上的消失線中點坐標M1((M-1)/2,fytanβ+v0)，即當攝像機路面俯仰角β及其參數fy、v0和分辨率M×N確定時便可以確定初始消失線中點在圖像中的位置。

3.2 左右邊界高度點及消失點車輛高度補充點

如圖5所示，攝像頭安裝高度為h，車輛實際高度為H，最小、最大有效檢測距離分別為S1和S2，可得到世界坐標系下最小有效檢測距離時車輛頂部點坐標T1(XW1,h-H,S1)、最大有效檢測距離時車輛頂部T2(XW2,h-H,S2)和底部坐標T3(XW2,h,S2)。

將T1代入式(6)得到T1在圖像坐標系的縱坐標,即圖像左右邊界高度點K3、K2的縱坐標；將T2和T3坐標代入式(6)并作差，得到最大有效檢測距離時前方車輛在圖像上的像素高度h1，再由消失線中點坐標M1可得消失點車輛高度補充點K1坐標，即

(8)

式(8)中：M由圖像像素分辨率M×N得到；β、h可通過攝像機的外參標定和安裝測量得到；fy、v0是車載攝像機內部參數，可通過攝像機的內參標定得到；S1和S2為最小、最大有效檢測距離，由檢測算法提供；H為車輛實際高度，有一個已知的變化范圍，可取一個合適值。因此可根據這些信息及式(8)分割出初始ROI(圖5中藍線框內)，輸入給檢測算法進行車道線檢測和車輛及行人檢測。攝像機標定及實驗參數如表1所示。

4 ROI實時更新

上述算法劃分的初始ROI輸入給檢測算法進行車道線檢測和車輛及行人檢測，利用當前幀檢測到的車道線，計算出實時車道線消失點M1′，用于替換更新初始消失線中點M1；再結合俯仰角模型，由實時車道線消失點M1′坐標推出車載攝像機與行駛路面間的實時路面俯仰角β′，用于替換初始路面俯仰角β，并更新下一幀ROI，做到依據路面坡度情況及車身俯仰姿態的實時自適應ROI分割。

表1 攝像機標定及實驗參數

4.1 車道線消失點更新

車道消失點的更新依賴于車道線的檢測，常見的車道線檢測原理分為4步：灰度化、去噪、Canny邊緣檢測[5]和霍夫變換直線檢測[6-7]。得到車道線后，求其交點，便可得到車道線消失點，假設其為M′1(uM2,vM2)，替換更新掉初始消失線中點M1，用于消失點車輛高度補充點的更新。如6圖所示，綠色實線為檢測到的車道線，紅色方框中心表示車道線消失點，此時坐標為M′1(379, 204)，已取整。

圖6 車道線檢測及車道線消失點Fig.6 Lane detection and vanishing point of lane line

4.2 車載攝像機俯仰角更新

消失點是透視變換的一個顯著特征，在視覺導航、三維重建、相機標定等方面有廣泛應用。文獻[8]提出基于車道線消失點的逆透視變換法，通過消失點自動計算車載攝像機的標定參數，完成逆透視變換以用于道路標記的檢測與識別。文獻[9]利用人工神經網絡精確定位車道線消失點，并從消失點的圖像坐標推斷出車輛移動時不斷變化的俯仰角和偏航角。因此可以利用上述得到的實時車道線消失點M′1(uM2,vM2)，結合俯仰角模型，實時更新車載攝像機與行駛路面間的俯仰角β′。

如圖7所示，βc為攝像機與水平路面間的安裝俯仰角，βv為此時刻車身俯仰角，βr為前方路面坡度，由平行線同位角定理得βc+v=βc+βv，三角形外接角定理得βc+v+r=βr+βc+v=βr+βc+βv，而由于路面無限往前延伸，車載攝像機與路面實時俯仰角β′≈βc+v+r=βr+βc+βv，其中βc為初始安裝時定值，因此當路面坡度βr或者車身姿態βv發生變化時，會改變車載攝像機與路面實時俯仰角β′，從而根據式(7)改變消失線和車道消失點的縱坐標。

圖7 俯仰角模型示意圖Fig.7 Schematic diagram of vehicle-mounted camera pitch angle model

因此將上述得到的實時車道線消失點M′1(uM2,vM2)的縱坐標vM2代入式(7)反求得實時路面俯仰角

(9)

4.3 ROI更新

將以上車道線檢測獲得的實時車道消失點M′1(uM2,vM2)用于更新式(8)中的消失線中點M1，實時俯仰角β′由式(9)得到，用于更新式(8)中的俯仰角β，得：

(10)

式(10)中：uM2、vM2由車道線檢測算法獲得的車道線消失點M′1(uM2,vM2)提供，β′可由式(9)求得，其余參數變量與式(8)相同。

5 實驗結果與分析

實驗攝像機標定與實驗參數等信息如表1所示。主點坐標(u0,v0)和焦距信息(fx，fy)由攝像機標定[10]得到；分辨率M×N由攝像機參數得到；攝像機初始路面俯仰角β和安裝高度h由安裝測量得到；車輛高度H根據行人身高[11]及常見車輛高度[12-13]，選取合適值1 800 mm，高于中國95%成年人身高和約87%的常見車輛高度；根據某車輛檢測算法，最大檢測距離取70 000 mm，考慮本車車頭長度及安全車距，最小檢測距離取4 000 mm。

將這些參數代入式(8)得到初始ROI(其中坐標值已取整)：K1(320,199)、K2(639,115)和K3(0,115)。再利用當前幀檢測到的車道線消失點M′1(uM2,vM2)及其由式(9)推導的實時俯仰角β′根據式(10)更新下一幀ROI。

實驗結果如圖8所示，紅色虛線框內為固定比例/區域分割，藍色虛線框內為初始ROI，綠色實線及紅色實線框中心為上一幀檢測到的車道線及其消失點，藍色實線框內為更新后的ROI。與固定比例/區域分割相比，本算法在上坡路面和下坡路面時能顯著減少目標的不完整分割，保留更多的目標信息，有利于提高檢測的準確性；而在水平路面上，能在充分保留目標信息的同時避免不必要的分割區域浪費，減少了約16%的處理像素，有利于提高檢測的實時性。但由于ROI更新依賴于車道線檢測，當車道線檢測精度不高時，ROI更新分割的準確度也會受到影響。

圖8 實驗結果及對比Fig.8 Experimental results and comparison

6 結論

(1) 針對固定比例/區域的車輛及行人檢測ROI圖像分割適應性低的問題，提出一種基于消失點和車輛高度的ROI自適應分割算法。

(2) 利用消失點避免分割區域浪費，綜合車輛高度及檢測距離減少目標不完整分割，并根據當前幀的車道消失點及其推導的實時俯仰角實時更新下一幀ROI。

(3) 實驗結果表明，該算法速度快，魯棒性好，在不同情況下都能做到ROI的快速精確分割，有利于后續檢測的實時性和準確性。