面向遮擋與透視影響的道路凸包梯形檢測算法

胡 嘯，陳 黎

1.武漢科技大學(xué) 計算機科學(xué)與技術(shù)學(xué)院，武漢430081

2.武漢科技大學(xué) 智能信息處理與實時工業(yè)系統(tǒng)湖北省重點實驗室，武漢430081

1 引言

隨著視頻監(jiān)控在社會公共安全防范及各類經(jīng)濟行業(yè)部門多年來的推廣應(yīng)用，這些監(jiān)控系統(tǒng)除了應(yīng)滿足“看得見、看得清”的基本需求外，如果能夠進(jìn)一步基于監(jiān)控畫面自身的場景特征，比如基于道路區(qū)域的定位與識別，擴展一些針對性的業(yè)務(wù)管理工作，特別是與人工智能結(jié)合，將會為視頻監(jiān)控系統(tǒng)的使用方帶來顯著的業(yè)務(wù)價值。針對（室外監(jiān)控）視頻場景中最重要特征之一的道路區(qū)域檢測，隨著人工智能和深度學(xué)習(xí)技術(shù)的不斷快速發(fā)展，人們利用目標(biāo)檢測、識別、分割等計算機視覺技術(shù)來為一些實際應(yīng)用提供技術(shù)支撐，包括智慧城市、智能交通、智能物流、生活服務(wù)領(lǐng)域（無人駕駛）等，這不僅是一種可預(yù)見的社會經(jīng)濟領(lǐng)域中的普遍需求趨勢，而且其相關(guān)的解決方案也已經(jīng)越來越具備技術(shù)上的可行性[1]。由于在軍事國防、城市交通以及公共安全等諸多領(lǐng)域具有廣闊的應(yīng)用前景和潛在的使用價值，無人駕駛技術(shù)得到了許多國家的重視。道路區(qū)域識別技術(shù)作為無人駕駛的核心組成部分，成熟與否很大程度上決定了無人駕駛性能的好壞?，F(xiàn)階段，無人駕駛技術(shù)已經(jīng)取得了一定的進(jìn)展，然而無人駕駛車輛要在現(xiàn)實交通環(huán)境下實現(xiàn)安全的自主駕駛?cè)杂泻芏喙ぷ饕觥５缆穮^(qū)域識別算法的實時性、抗陰影能力、對光照變化的魯棒性、對復(fù)雜道路環(huán)境以及惡劣天氣的適應(yīng)能力等因素直接影響著無人駕駛技術(shù)的發(fā)展[2]?？煽坎⑶腋咝У牡缆穮^(qū)域檢測算法一直是從事該領(lǐng)域研究的科研工作者以及工程技術(shù)人員的追求。

近年來，用于道路識別與檢測的算法主要分為兩類：（1）基于圖像特征的檢測方法，即特征驅(qū)動法。特征驅(qū)動法基于圖像中道路的一些圖像特征，如顏色分布、紋理特性等，這類方法對道路的車道線、邊緣的清晰度有較高的要求，且對外界環(huán)境的變化（光照、陰影、天氣）和行人、行車的干擾較為敏感。如果車道線、道路邊緣被遮擋，依賴于這些特征的識別方法則會失效[3]。（2）基于模型的檢測方法，如模型匹配法和樣條函數(shù)法。這類檢測算法識別出來的道路區(qū)域較為完整，但模型的選擇和求解是關(guān)鍵，對于復(fù)雜的路面情況，很難建立準(zhǔn)確的模型[4]。在安防監(jiān)控視頻下，道路圖像存在著最主要的兩個問題：行人、行車對道路遮擋較為嚴(yán)重；消失點位于圖像外部。受以上因素影響，安防監(jiān)控視頻下受遮擋和透視影響的道路檢測變得非常困難。

針對上述問題，本文提出面向遮擋與透視影響的道路凸包梯形檢測算法。該算法采用了將深度神經(jīng)網(wǎng)絡(luò)輸出的基礎(chǔ)識別作為特征空間，同時與行業(yè)應(yīng)用經(jīng)驗相結(jié)合的檢測方法。該算法具有較高的準(zhǔn)確性，很大程度上解決了安防監(jiān)控視頻下受遮擋和透視影響導(dǎo)致道路區(qū)域檢測不準(zhǔn)確的問題，對道路檢測具有實際意義。

2 場景結(jié)構(gòu)與梯形模型

城市道路的安防監(jiān)控攝像頭通常安裝于道路兩側(cè)的高處或紅綠燈上，距離地面3.5～10.0 m 的高度，傾斜角依據(jù)監(jiān)控范圍而定，與監(jiān)控物距呈負(fù)相關(guān)關(guān)系。為了保證監(jiān)控視頻的清晰度，部分?jǐn)z像頭的俯仰角偏大，監(jiān)控物距偏小，因此采集到的圖像中不存在明顯的消失點[5-6]。文獻(xiàn)[7-9]介紹的基于消失點的道路檢測算法的核心方法是計算消失點后再以消失點為端點構(gòu)建兩條射線來劃分出道路區(qū)域（三角形模型）。因此，對于消失點位于圖像外部的情況會導(dǎo)致算法失效。其次，在實際復(fù)雜的場景中，道路邊界線經(jīng)常被行人、行車遮擋，這類遮擋對消失點和邊界線的檢測都有極大的干擾，如圖1所示（視頻的生成時間、地點等信息在圖像中被模糊處理）。

圖1 監(jiān)控視頻下行人、行車對道路邊界線的遮擋

圖1 （a）為行人遮擋，圖1（b）為行車遮擋?；谙c的道路檢測算法在進(jìn)行紋理方向計算[10]時，對這兩類遮擋的抗干擾能力較弱，從而直接影響到消失點的計算，獲得與實際場景相差較大的檢測結(jié)果。實際場景中監(jiān)控攝像頭的成像機理如圖2所示。

圖2 中左側(cè)紅線標(biāo)出的四邊形為攝像頭圖像傳感器所對應(yīng)的實景范圍[11-12]，經(jīng)過透視變換后轉(zhuǎn)換為右側(cè)矩形圖像。本文針對消失點難以被檢測的問題，分析道路成像特點，提出道路的梯形模型，如圖3所示。

圖3 中標(biāo)示的線條為預(yù)期道路的兩條邊界線。如果監(jiān)控場景中的道路在圖像中的呈現(xiàn)方式為道路的兩條邊界線均與圖像底邊相交，實際場景如圖1（a），則將梯形模型定義為圖3（a）；如果監(jiān)控場景中的道路在圖像中的呈現(xiàn)方式為道路的一條邊界線與圖像底邊相交，并且一條邊界線與圖像的左邊界或右邊界相交，實際場景如圖1（b），則將梯形模型定義為圖3（b）（圖示為道路左邊界與圖像左邊界相交），將圖中的五邊形ABDCE 定義為一個有截邊的梯形，邊EC 定義為截邊。圖3中的外接矩形為實例分割中的單個實例的邊框，后續(xù)分割在這個邊框內(nèi)部進(jìn)行。

圖2 監(jiān)控攝像頭成像機理

圖3 監(jiān)控場景下的道路梯形模型

3 道路凸包梯形檢測算法

3.1 算法概述

目前的分割任務(wù)主要有兩種：語義分割，實例分割。語義分割的定義是：為圖像中每個像素分配一個預(yù)先定義的表示其語義目標(biāo)類別的標(biāo)簽，但是一個像素點只能對應(yīng)一種固定的語義，由于卷積的平移不變性[13]，一個像素只能對應(yīng)一種語義，如U-Net[14]、DeepLabv3[15]等，而部分監(jiān)控場景為縱向雙側(cè)監(jiān)控（監(jiān)控目標(biāo)兼顧主道和輔道），需要獲取每個實例用以篩選出主道，剔除掉輔道。因此本文基于Mask R-CNN[16]實例分割來進(jìn)行道路區(qū)域的后續(xù)檢測。類的具體對象即為實例，那么實例分割不但要進(jìn)行像素級別的分類，還需在具體的類別基礎(chǔ)上區(qū)別開不同的實例，因此可以區(qū)分出多個道路實例。在實驗中，通過設(shè)置不同的學(xué)習(xí)率和迭代次數(shù)等參數(shù)進(jìn)行多次實驗對比，擇優(yōu)選擇最佳的實例分割模型進(jìn)行后續(xù)實驗。主要包括模型的訓(xùn)練和預(yù)測兩個階段：訓(xùn)練階段包括采集數(shù)據(jù)、清洗數(shù)據(jù)、制作數(shù)據(jù)集、選取框架與設(shè)定參數(shù)、迭代訓(xùn)練；預(yù)測階段是將圖像輸入訓(xùn)練所得模型獲取分割結(jié)果。

Mask R-CNN目標(biāo)檢測選用了經(jīng)典的目標(biāo)檢測算法FasterR-CNN[17]和經(jīng)典的語義分割算法FCN。Faster RCNN 可以既快又準(zhǔn)地完成目標(biāo)檢測的功能；FCN 可以精準(zhǔn)地完成語義分割的功能[18]。但是，在受遮擋與透視影響的道路場景中，F(xiàn)CN 并不能很好地提取出道路區(qū)域。主要原因是行人、行車等因素對道路邊界線造成一定的遮擋，會嚴(yán)重影響最終的分割結(jié)果。

針對以上問題，本文在原始Mask R-CNN算法的基礎(chǔ)上，保留其精確檢測與優(yōu)勢性能的同時，針對受遮擋與透視影響的道路的特殊性，提出安防監(jiān)控視頻下的道路梯形模型。檢測任務(wù)保持不變，對分割任務(wù)做出以下調(diào)整：將FCN分割算法調(diào)整為“語義分割+凸包算法+梯形模型擬合”組合形式，增加算法對遮擋的抗性，對“欠分割”道路做出有效彌補，使分割結(jié)果更加接近安防監(jiān)控視頻下的真實道路。

3.2 凸包算法

針對安防監(jiān)控視頻下的行人、行車遮擋道路邊界線問題，本文提出使用凸包算法對遮擋區(qū)域進(jìn)行彌補，并基于Graham 掃描法（Graham’s Scan）進(jìn)行道路區(qū)域的凸包計算。行人、行車對道路邊界線的遮擋發(fā)生在邊界線上，對模型檢測出的道路區(qū)域的干擾主要體現(xiàn)在道路區(qū)域輪廓上存在著凹陷，將這些凹陷點同時參與到梯形模型的擬合中會引入干擾信息，因此需要對其凹陷點進(jìn)行剔除。假設(shè)模型檢測出的道路區(qū)域的殘缺輪廓存在若干點，這些點構(gòu)成一個點集，依據(jù)點集每個元素對參照極點的極角大小依次處理。具體步驟如圖4所示：（1）搜索點集P 中最低最左的點并將其設(shè)為P0；（2）對剩余點按P0的逆時針方向進(jìn)行排序，將排序后的點記為{P0,P1,P2,…,Pn}，如果多個點有相同的極角即多點共線，只保留有最大極徑的點；（3）使P0、P1、P2進(jìn)入堆棧；（4）對k=3～n 個點進(jìn)行如下處理，對棧頂?shù)膬蓚€點和Pk做左轉(zhuǎn)判斷，若滿足左轉(zhuǎn)要求，則將Pk入棧，k=k+1；若不滿足左轉(zhuǎn)要求，則出棧，k=k-1；（5）最終堆棧S 中的元素就是凸包的頂點。

圖4 Graham掃描法計算凸包的步驟

求解過程中引入幾何學(xué)的結(jié)論（有向面積[19]）來快速確定當(dāng)前點C 是否在棧頂兩個點的連線AB 的左側(cè)。有向面積是平面解析幾何的向量體系中的概念，和普通的標(biāo)量面積相對。三角形的有向面積可以通過一個三階行列式求得，利用行列式運算法則即可得到有向面積：

有向面積可正可負(fù)，這取決于圍城封閉圖形的向量。如果C 在向量AB 的左側(cè)，那么SΔ的值為正，則將當(dāng)前點壓入棧，反之為負(fù)，將棧頂元素出棧。本次實驗中的點集輸入為模型檢測出的道路區(qū)域輪廓，運用上述凸包算法剔除掉輪廓上的凹陷點，可以提取整個道路區(qū)域的大致外形。

3.3 梯形模型擬合

經(jīng)過上述凸包算法對道路區(qū)域中被行人、行車遮擋的部分進(jìn)行補償后，道路區(qū)域檢測算法對這類遮擋已具有一定的抗干擾能力，但是所計算出的凸包區(qū)域仍是不規(guī)則的，與實際場景中的道路區(qū)域有所偏差，因為應(yīng)用價值較小。所以需要在凸包的m×n 的外接矩形框內(nèi)，對所檢測到的道路區(qū)域做進(jìn)一步的調(diào)整，將該區(qū)域擬合成圖3 中的梯形模型。定義凸包區(qū)域內(nèi)所有點的集合為P,g(x,y)為圖像內(nèi)每一個像素點值的函數(shù)，則凸包內(nèi)部像素點的值為1，外部像素點的值為0，即：

首先，計算凸包的面積，統(tǒng)計圖中所有值為1的點：

計算出最終梯形的上底中心點的橫坐標(biāo)，即凸包縱坐標(biāo)最小的所有點的橫坐標(biāo)平均值：

通過以下式中的K 值判斷凸包兩側(cè)有無明顯的截邊形態(tài)：

式（5）中的n 即為凸包外接矩形的寬，d 為預(yù)設(shè)參數(shù)，在本文實驗中取3。公式中列向量的3個元素分別為3個獨立判定條件，在圖像中的實際意義分別為凸包橫坐標(biāo)取最小時點的數(shù)量是否大于凸包橫坐標(biāo)取最大時點的數(shù)量、凸包橫坐標(biāo)取最小時點的數(shù)量是否大于外接矩形寬的、凸包橫坐標(biāo)取最大時點的數(shù)量是否大于外接矩形寬的。行向量中的3 個數(shù)1、2、4 分別對應(yīng)二進(jìn)制的001、010、100，這樣即可保證列向量中的3個條件呈各種組合值時K 都能有與之相對應(yīng)的值。本方法中，當(dāng)列向量的元素分別取1、1、1或1、1、－1，即當(dāng)K 的值為7或－1時，判定凸包左側(cè)有截邊；當(dāng)列向量的元素分別?。?、1、－1 或－1、－1、－1，即K 的值為－3 或－7時，判定凸包右側(cè)有截邊；否則為無截邊。

（1）若無截邊，則判定道路區(qū)域為一個完整的梯形，將凸包擬合成圖3（a）的形態(tài)，根據(jù)以下公式：

（2）若有截邊，則判定道路區(qū)域為一個有截邊的梯形，將凸包擬合成圖3（b）的形態(tài)（此處僅列出截邊在左側(cè)的情況，右側(cè)與左側(cè)類似），根據(jù)以下公式：

式（6）、（7）中的l 為最終梯形的上底長度，t 為上底中點的橫坐標(biāo)，求解出l 和t 后則可以在外接矩形中確定上底的精確位置，并以外接矩形的下底為最終梯形的下底，則可以擬合出完整的梯形模型。

4 實驗及結(jié)果分析

實驗測試圖像來自安防監(jiān)控攝像頭采集的城市道路場景。算法程序采用PyCharm平臺開發(fā)，CPU為Intel?CoreTMi7-8700K，顯卡為NVIDIA GeForce GTX 1080 Ti。本次實驗所使用訓(xùn)練集由4 200 幀圖像構(gòu)成，尺寸均為1 920×1 080。在精度評價方面，選擇交除并（IoU）、精確率（Precision）和召回率（Recall）作為評價性能指標(biāo)：

式中，TP、FP 和FN 分別表示真陽性、假陽性和假陰性像素點的個數(shù)。

4.1 實驗結(jié)果

測試數(shù)據(jù)是在模型訓(xùn)練前隨機抽取的來自安防監(jiān)控攝像頭采集的普通城市道路2 000 幀場景，包括了人行道、公路、巷路等不同場景，部分場景存在遮擋現(xiàn)象。為了驗證本文算法的性能，同時與消失點檢測法[10]、UNet[14]、DeepLabv3[15]、Mask R-CNN[16]進(jìn)行了對比，IoU、Precision、Recall 和檢測時間（Detection Time，DT）如表1所示。從表中可以看出，消失點檢測法并不適合本文場景，該方法能在紋理清晰、結(jié)構(gòu)單一的圖像中取得較好的效果，而在復(fù)雜、存在遮擋現(xiàn)象的道路中效果不佳，同時對于消失點位于圖像外部的情況算法易失效，故而平均精度不高，魯棒性較差。相較于U-Net、Deep-Labv3、Mask R-CNN，本文算法在精度上有所提高，而在耗時上略有增加。Mask R-CNN 這類原始分割算法的局限性在于易受行車、行人等遮擋因素的影響，造成缺口的出現(xiàn)，故而不適用于安防監(jiān)控視頻下的道路檢測。而本文所提出的凸包梯形檢測算法的耗時僅比Mask R-CNN多25 ms，在增加少量計算耗時的情況下，取得較好的檢測結(jié)果。

表1 不同算法性能對比

單張圖像的可視化結(jié)果如圖5 所示。圖5（b）中的白色區(qū)域為本文算法檢測出的道路區(qū)域，與圖3的梯形模型保持一致，符合場景預(yù)期。

圖5 安防監(jiān)控視頻下的道路區(qū)域檢測結(jié)果

4.2 不同遮擋程度下的實驗結(jié)果

為了分析本文算法在不同遮擋程度下的有效性，將測試數(shù)據(jù)的遮擋程度由低到高分為1～5 級并進(jìn)行對比測試，分級依據(jù)為圖像中的行車、行人、樹葉等遮擋因素的比例大小。實驗結(jié)果如圖6所示。

圖6 不同遮擋等級檢測結(jié)果

圖6 中實線條為本文算法，虛線為Mask R-CNN?？梢钥闯?，本文算法在輕微遮擋中對精度的提升未能發(fā)揮較大作用，而隨著遮擋等級的提升，本文算法的性能相較于Mask R-CNN有了明顯的提高。

4.3 不同透視角度下的實驗結(jié)果對比

不同場景中的監(jiān)控范圍不一致，因此監(jiān)控攝像頭俯仰角也不同。為了分析本文算法在不同透視角度下的有效性，抽取部分?jǐn)?shù)據(jù)進(jìn)行透視變換，模擬攝像頭俯仰角的變動。單張圖片檢測過程如圖7所示，第一行為透視變換處理后的一組圖片，后兩行分別為Mask R-CNN的檢測結(jié)果與本文算法的檢測結(jié)果。整個測試集在不同透視場景的IoU對比如表2所示?？梢钥闯?，Mask RCNN對遮擋較為敏感，行車、行人的位置變動易影響檢測結(jié)果，而本文算法相對有較強的穩(wěn)定性，在不同透視角度下能得到相仿且精確的檢測結(jié)果。

表2 不同透視場景的IoU對比 %

4.4 邊緣匹配度對比

分割問題采用IoU 等像素級指標(biāo)的缺陷在于對邊緣的刻畫不敏感，注意力主要集中在分割區(qū)域內(nèi)部[20]，而Hu 矩作為形狀相似性的一種度量，能夠?qū)oU 進(jìn)行較好的補充。Hu矩利用二階和三階規(guī)格中心矩可以導(dǎo)出7 個不變矩組，它們在圖像平移、旋轉(zhuǎn)和比例變化時保持不變，據(jù)此計算出的Hu 矩值越接近0，則表示兩者邊緣輪廓越匹配。實驗結(jié)果如表3 所示，可以看出，本文方法相較于Mask R-CNN 在道路邊界上的表達(dá)能力有一定程度的提升，更接近實際場景中的道路形狀。

表3 Hu矩對比

5 結(jié)束語

圖7 不同透視角度檢測結(jié)果對比

本文提出了一種面向遮擋與透視影響的道路凸包梯形檢測算法，與已知常見的同類檢測方法（比如基于道路特征、道路模型和傳統(tǒng)機器學(xué)習(xí)）相比，本文所提出的凸包梯形檢測算法對于安防監(jiān)控視頻下受遮擋與透視影響的道路具有較好的檢測效果。對比實驗證明，本文算法能夠在不同遮擋和透視程度下取得較為穩(wěn)定的檢測結(jié)果，滿足安防監(jiān)控視頻下道路實時檢測的需求，達(dá)到了預(yù)期效果。同時，本文所提出的梯形模型具有一定的局限性，下一步工作將考慮結(jié)合輔助信息（如車道線、行人與行車流向等）對場景結(jié)構(gòu)模型進(jìn)行優(yōu)化，提升多模態(tài)特征融合能力。