低照度環(huán)境下非結(jié)構(gòu)化道路區(qū)域識(shí)別

趙晉燕，羅素云，陳楊鐘

（1 上海工程技術(shù)大學(xué) 機(jī)械與汽車(chē)工程學(xué)院，上海 201620；2 大工科技（上海）有限公司，上海 200000）

0 引言

無(wú)人駕駛領(lǐng)域的研究中，對(duì)結(jié)構(gòu)化道路和非結(jié)構(gòu)化道路進(jìn)行準(zhǔn)確的路徑檢測(cè)，是自動(dòng)駕駛汽車(chē)的安全導(dǎo)航的關(guān)鍵環(huán)節(jié)。對(duì)自動(dòng)駕駛汽車(chē)非結(jié)構(gòu)化道路行駛路徑區(qū)域進(jìn)行精確檢測(cè)的過(guò)程中，各種傳感器的應(yīng)用起著至關(guān)重要的作用。基于非結(jié)構(gòu)化道路路徑檢測(cè)中所使用的傳感器，在道路檢測(cè)問(wèn)題中可以分為2 類(lèi)：基于相機(jī)視覺(jué)的檢測(cè)［1-2］和基于測(cè)距（LIDAR）的檢測(cè)［3］。分析可知，對(duì)于后者，基于激光雷達(dá)的自動(dòng)駕駛汽車(chē)非常昂貴，因?yàn)榧す饫走_(dá)傳感器的成本很高。目前，基于視覺(jué)的道路檢測(cè)系統(tǒng)則由于具備的成本低、內(nèi)容信息豐富、對(duì)機(jī)器學(xué)習(xí)、物聯(lián)網(wǎng)等新興技術(shù)的適應(yīng)能力強(qiáng)等優(yōu)點(diǎn)而受到各方青睞［4］。

1 相關(guān)工作

智能車(chē)輛和移動(dòng)機(jī)器人的道路識(shí)別是計(jì)算機(jī)視覺(jué)領(lǐng)域的一個(gè)研究熱點(diǎn)。現(xiàn)有的道路識(shí)別研究主要集中在帶車(chē)道的結(jié)構(gòu)化道路上，非結(jié)構(gòu)化道路的研究迄今為止卻遠(yuǎn)未充分展開(kāi)。目前，非結(jié)構(gòu)化道路識(shí)別可分為3 類(lèi)：基于特征的方法、基于模型的方法和基于神經(jīng)網(wǎng)絡(luò)的方法。其中，基于特征的方法主要是分析道路區(qū)域與非道路區(qū)域的特征差異實(shí)現(xiàn)檢測(cè)，常用特征包括顏色、紋理和邊緣等，如David 等人［5］提出的算法由基于顏色的道路檢測(cè)器和紋理線檢測(cè)器兩個(gè)模塊組成。再將這2 個(gè)模塊與無(wú)損卡爾曼濾波器相結(jié)合，估計(jì)出最佳道路。但這類(lèi)算法易受水漬、陰影和光照條件的影響。基于模型的方法是通過(guò)建立道路邊界的數(shù)學(xué)模型，計(jì)算道路邊界的相關(guān)參數(shù)以得到邊界。Obradovic 等人［6］提出了一種基于線性模糊空間數(shù)學(xué)的道路車(chē)道模型，并結(jié)合一種基于模糊C 均值聚類(lèi)的穩(wěn)健道路車(chē)道檢測(cè)方法。然而，這類(lèi)方法很難建立適用所有形式的道路模型，而在實(shí)際行駛中道路類(lèi)型經(jīng)常發(fā)生改變，難以滿足實(shí)時(shí)性的要求。基于神經(jīng)網(wǎng)絡(luò)的方法是通過(guò)訓(xùn)練大量的數(shù)據(jù)集以及視頻片段，分析其中涉及的道路特征，從而提升檢測(cè)的穩(wěn)定性和可靠性。隨著深度學(xué)習(xí)技術(shù)的快速發(fā)展，基于卷積神經(jīng)神經(jīng)網(wǎng)絡(luò)模型開(kāi)始更多地應(yīng)用到車(chē)輛可行駛區(qū)域檢測(cè)、道路路面損傷檢測(cè)［7］等道路檢測(cè)領(lǐng)域中。

近幾年，隨著圖像增強(qiáng)技術(shù)的不斷進(jìn)步，對(duì)于低照度圖像來(lái)說(shuō)，針對(duì)處理對(duì)象的不同，常見(jiàn)的算法可以分為直接以圖像像素點(diǎn)為處理對(duì)象的空域算法（直方圖、多尺度Retinex 算法等）、以圖像的某種變換域內(nèi)對(duì)圖像的變換系數(shù)值進(jìn)行某種修正的頻域算法（同態(tài)濾波、小波變換）以及新興的深度學(xué)習(xí)圖像增強(qiáng)技術(shù)，如Lore 等人［8］提出了一種基于深度自編碼網(wǎng)絡(luò)的方法，該方法在使明亮區(qū)域不致過(guò)飽和的情況下增強(qiáng)弱光圖像。Park 等人［9］提出了一種基于學(xué)習(xí)的新框架，該框架將堆疊卷積自動(dòng)編碼器與Retinex 理論相結(jié)合，增強(qiáng)了低照度圖像。

本文針對(duì)非結(jié)構(gòu)化道路檢測(cè)常面臨光照不足或者光照不均勻所導(dǎo)致的獲取圖像質(zhì)量低、極大影響道路識(shí)別準(zhǔn)確率的問(wèn)題，提出一種低照度增強(qiáng)的非結(jié)構(gòu)化道路檢測(cè)系統(tǒng)。

2 道路區(qū)域識(shí)別系統(tǒng)

圖1 為本文提出的道路區(qū)域識(shí)別系統(tǒng)的基本流程圖。該系統(tǒng)包括4 個(gè)主要步驟，對(duì)此可闡述如下。

圖1 道路檢測(cè)系統(tǒng)基本流程Fig.1 Basic flow chart of road detection system

（1）同態(tài)濾波增強(qiáng)低照度圖像。

（2）UNet 語(yǔ)義分割模型得到道路區(qū)域圖像。

（3）圖像預(yù)處理，包括轉(zhuǎn)變圖像格式以及去除在圖像處理過(guò)程中產(chǎn)生的噪聲。

（4）使用提出的邊界擬合算法得到道路區(qū)域邊界曲線，并與原圖像融合來(lái)產(chǎn)生最終輸出。

在此基礎(chǔ)上，主要對(duì)同態(tài)濾波算法、UNet 網(wǎng)絡(luò)以及提出的邊界擬合算法進(jìn)行了研究論述。

2.1 同態(tài)濾波算法

雖然許多傳統(tǒng)增強(qiáng)算法和基于深度網(wǎng)絡(luò)的模型在作為獨(dú)立的低照度圖像增強(qiáng)解決方案使用時(shí)都取得了成功，但卻都有一個(gè)共同的局限性、即都不是針對(duì)高級(jí)計(jì)算機(jī)視覺(jué)任務(wù)來(lái)進(jìn)行設(shè)計(jì)。模型的設(shè)計(jì)僅用于執(zhí)行增強(qiáng)，卻并未考慮這種增強(qiáng)方式對(duì)后續(xù)預(yù)處理階段的影響。Sobbahi 等人［10］提出一種低光同態(tài)濾波網(wǎng)絡(luò)（Low -light Homomorphic Filtering Network，LLHFNet）。該模型建立在同態(tài)濾波的基礎(chǔ)上，設(shè)計(jì)了一種特殊的濾波器對(duì)圖像的頻率分量進(jìn)行傅里葉變換。然后，利用可用于對(duì)象分類(lèi)的基于深度學(xué)習(xí)的特征提取器來(lái)估計(jì)濾波參數(shù)。所以，本文針對(duì)低照度圖像增強(qiáng)選用了對(duì)下一步分析更有效的同態(tài)濾波算法。

同態(tài)濾波（Homomorphic Filtering，HF）是一種高效的增強(qiáng)低對(duì)比度道路圖像的技術(shù)。HF 算法基于光照-反射模型（IRM）。IRM 圖像f（x，y）可以看作由照射分量i（x，y）與反射分量r（x，y）兩部分組成，其表達(dá)式為：

其中，fi（x，y）為光照分量，fr（x，y）為反射分量。

這里，將入射到圖像上的能量稱為照度。物體在場(chǎng)景中的反射量稱為反射率。光照分量的范圍為0＜i（x，y）＜∞，反射率分量范圍為0＜r（x，y）＜1。光照分量被視為一種低頻分量，因?yàn)檎斩鹊臄?shù)量不隨范圍變化。反射分量值在這個(gè)范圍內(nèi)變化很大，可認(rèn)作是高頻分量。在空間域中，光照對(duì)應(yīng)平滑，反射表示邊緣和邊界。同態(tài)濾波的實(shí)現(xiàn)流程，如圖2 所示。由圖2 可知，該流程主要分為5 個(gè)基本步驟，分述如下。

圖2 同態(tài)濾波算法處理流程Fig.2 Flow chart of homomorphic filtering algorithm processing

（1）對(duì)原圖像f（x，y）進(jìn)行對(duì)數(shù)變換，得到2 個(gè)相加的分量，即：

（2）利用快速傅里葉變換將空間域圖像轉(zhuǎn)換為頻域圖像。

（3）設(shè)計(jì)一個(gè)頻域?yàn)V波器，將傳遞函數(shù)設(shè)為H（u，v），進(jìn)行對(duì)數(shù)圖像的頻域?yàn)V波。

（4）做快速傅里葉逆變換（FFT-1），得到空域?qū)?shù)圖像s（x，y）。

（5）對(duì)結(jié)果做指數(shù)運(yùn)算（exp），得到最后結(jié)果g（x，y）。

如上所述，同態(tài)濾波圖像增強(qiáng)算法的關(guān)鍵在于濾波器H（u，v）的選取。對(duì)于一幅光照不均勻的圖像，同態(tài)濾波可同時(shí)實(shí)現(xiàn)亮度調(diào)整和對(duì)比度提升，從而改善圖像質(zhì)量。為了抑制低頻的亮度分量，增強(qiáng)高頻的反射分量，濾波器H選為一個(gè)高通濾波器，但又不能完全去除低頻分量，僅做適當(dāng)壓制。同態(tài)濾波器的一般表達(dá)形式為：

其中，rL ＜1，rH ＞1，2 個(gè)參數(shù)的作用是用來(lái)控制濾波器幅度的范圍。Hhp表示高通濾波器，常采用的高通濾波器主要包括高斯（Gaussian）高通濾波器、巴特沃茲（Butterworth）高通濾波器，對(duì)應(yīng)的高通濾波函數(shù)的定義及表述如下。

（1）高斯（Gaussian）濾波函數(shù)。數(shù)學(xué)定義為：

（2）巴特沃茲（Butterworth）濾波函數(shù)。數(shù)學(xué)定義為：

一般情況下，圖像增強(qiáng)算法是將RGB 圖像灰度化后再對(duì)灰度圖像進(jìn)行處理，包括同態(tài)濾波算法的實(shí)現(xiàn)。本文改進(jìn)原有程序，直接針對(duì)彩色圖像進(jìn)行同態(tài)濾波處理，選取高斯高通濾波器，其同態(tài)濾波函數(shù)形式可表示為：

其中，c為一個(gè)常數(shù)，調(diào)節(jié)濾波器的形態(tài)，即從低頻到高頻過(guò)渡段的陡度（斜率），其值越大，斜坡帶越陡峭。

2.2 UNet 語(yǔ)義分割模型

2015年，Ronneberger 等人［11］為解決生物醫(yī)學(xué)圖像分割問(wèn)題，提出了UNet 架構(gòu)，該模型是基于全卷積神經(jīng)網(wǎng)絡(luò)改進(jìn)的一種對(duì)稱式編碼器-解碼器（Encoder-Decoder）網(wǎng)絡(luò)。研究中，將道路區(qū)域識(shí)別問(wèn)題視為二值圖像標(biāo)記問(wèn)題，其中像素0 表示道路背景，像素1 表示道路區(qū)域。根據(jù)這一目標(biāo)，UNet是一個(gè)很好的選擇，因?yàn)樵摼W(wǎng)絡(luò)主要針對(duì)二值圖像。在對(duì)UNet 網(wǎng)絡(luò)做結(jié)構(gòu)設(shè)計(jì)時(shí)，著重考慮了從輸入到輸出的每一層的反饋，即使在很少的數(shù)據(jù)下也能直接達(dá)到可以接受的結(jié)果。

UNet 采用對(duì)稱結(jié)構(gòu)，可以融合不同層次之間的特征映射。UNet 的體系結(jié)構(gòu)如圖3 所示。由圖3可以看到，UNet 由下采樣、上采樣和跳過(guò)連接三部分組成。左邊是壓縮過(guò)程、即編碼器，利用卷積和下采樣來(lái)減少特征形狀，提取較淺的特征。右邊是解碼過(guò)程、即解碼器，利用卷積和上采樣來(lái)識(shí)別深層特征。在中間部分，將編碼器中獲得的特征與通過(guò)跳躍連接在解碼器中獲得的特征進(jìn)行組合，并通過(guò)組合對(duì)特征進(jìn)行細(xì)化。

圖3 UNet 語(yǔ)義分割模型Fig.3 UNet semantic segmentation model

2.3 自適應(yīng)邊界擬合算法

為克服單一算法或者單一擬合函數(shù)的局限性，本文提出一種邊緣擬合算法，根據(jù)分割得到的結(jié)果通過(guò)邊緣點(diǎn)提取可以得到可行駛區(qū)域的左右邊界點(diǎn)坐標(biāo)。以左邊界點(diǎn)坐標(biāo)為例，從得到的有序邊界點(diǎn)集合中選取3 個(gè)點(diǎn)的坐標(biāo)，為使得到的擬合邊界更加準(zhǔn)確，將集合中的數(shù)據(jù)點(diǎn)按橫坐標(biāo)大小均分為3份，每份中選取一個(gè)點(diǎn)，計(jì)算判斷第一個(gè)點(diǎn)和最中間的點(diǎn)擬合的直線與最中間的點(diǎn)和最后一個(gè)點(diǎn)擬合直線的夾角，若夾角的范圍在180°左右，采用直線函數(shù)擬合，否則采用最小二乘法二次曲線函數(shù)邊界擬合。算法的具體實(shí)現(xiàn)流程如圖4 所示。由圖4 可知，對(duì)此流程擬做探討論述如下。

圖4 自適應(yīng)邊界擬合算法Fig.4 Adaptive boundary fitting algorithm

首先，設(shè)置2 個(gè)集合，用于存放左、右邊界點(diǎn)坐標(biāo)值。

其次，將得到的二值圖像從左到右掃描，獲取第一個(gè)白色像素點(diǎn)坐標(biāo)（x，y）后，變換像素點(diǎn)坐標(biāo)，設(shè)圖像S（M，N），默認(rèn)原圖像的坐標(biāo)是以左上角為原點(diǎn)建立的，坐標(biāo)系的X軸正方向水平向右，Y軸正方向豎直向下。根據(jù)計(jì)算需要，建立以圖像左下角為原點(diǎn)的坐標(biāo)系，其坐標(biāo)變換公式為：

假設(shè)第一個(gè)白色像素點(diǎn)坐標(biāo)為（x1，y1），變換得到的放入集合N1；以此方式將第二個(gè)像素點(diǎn)坐標(biāo)值，與上一個(gè)坐標(biāo)值做判斷，若兩坐標(biāo)歐式距離小于設(shè)定閾值θ，則放入與上一個(gè)坐標(biāo)值相同的集合；否則，放入另一個(gè)集合。圖像遍歷結(jié)束，得到2 個(gè)邊界的2 個(gè)集合。將2 個(gè)集合中的數(shù)據(jù)點(diǎn)進(jìn)行可視化，如圖5 所示。圖5中，圖5（a）為非結(jié)構(gòu)化道路圖像原圖，中間上、下圖像分別代表擬合得到的左、右邊界的散點(diǎn)圖，右側(cè)代表原圖與之對(duì)應(yīng)的直角坐標(biāo)系下道路邊緣點(diǎn)示意圖。

圖5 平面直角坐標(biāo)系下道路邊緣點(diǎn)Fig.5 Road edge points in plane cartesian coordinates

考慮到分割出的道路二值圖像末端一般為閉合曲線，而且分類(lèi)出的道路末端的數(shù)據(jù)點(diǎn)誤差較大需要剔除，本文將集合的Y數(shù)據(jù)值從小到大進(jìn)行排序后，剔除大的Y值，個(gè)數(shù)設(shè)置為100，再剔除末端數(shù)據(jù)點(diǎn)后，統(tǒng)計(jì)一個(gè)集合內(nèi)坐標(biāo)值個(gè)數(shù)。為使選取數(shù)據(jù)具有代表性，將邊界點(diǎn)劃分為3 等份，分別在3 個(gè)區(qū)間中取出一個(gè)點(diǎn)，擬合得到2 條直線，參見(jiàn)圖5。經(jīng)實(shí)驗(yàn)驗(yàn)證，若2 條直線的夾角在［175°，185°］之間，采用Hough 變換擬合道路邊界；否則采用最小二乘法二次曲線函數(shù)擬合數(shù)據(jù)；另一集合同理。

最后，擬合得到2 條左、右邊界線，與原圖疊加，輸出最終的結(jié)果。

3 實(shí)驗(yàn)結(jié)果與分析

實(shí)驗(yàn)使用6 000 張樣本圖像構(gòu)建數(shù)據(jù)集，其中包括自行采集的照片、Zhang 等人［12］利用攝像頭與手機(jī)設(shè)備拍攝整理而成的UAS 數(shù)據(jù)集、以及網(wǎng)絡(luò)搜索得到的非結(jié)構(gòu)化道路圖像。將數(shù)據(jù)集分成75%和25%的比例，對(duì)UNet 分割模型進(jìn)行訓(xùn)練和測(cè)試。UNet 語(yǔ)義分割網(wǎng)絡(luò)經(jīng)過(guò)大量數(shù)據(jù)集訓(xùn)練，最終的loss值為0.118 0。

道路檢測(cè)系統(tǒng)的實(shí)驗(yàn)結(jié)果如圖6 所示。圖6（a）為輸入的原圖像，是一種低照度圖像；圖6（b）為使用同態(tài)濾波算法后得到的增強(qiáng)圖像；圖6（c）為利用UNet 語(yǔ)義分割模型分割后經(jīng)過(guò)二值化處理得到的結(jié)果；圖6（d）為最終的擬合結(jié)果。從實(shí)現(xiàn)結(jié)果來(lái)看，低照度圖像不但得到了有效加強(qiáng)，而且較好地?cái)M合出道路邊界。

圖6 道路檢測(cè)系統(tǒng)實(shí)驗(yàn)結(jié)果Fig.6 Experimental results of road detection system

此外，為了更好說(shuō)明提出的道路邊界擬合算法，本文算法與Wu 等人［13］提出的基于最小簇內(nèi)變量指數(shù)方差的閾值分割方法對(duì)道路圖像進(jìn)行分割后提取道路邊緣，直接利用霍夫變換提取道路邊界的算法進(jìn)行對(duì)比，結(jié)果所圖7 所示。圖7（a）為原圖，圖7（b）為文獻(xiàn)［13］的擬合結(jié)果，圖7（c）為本文提出算法的擬合結(jié)果。可以看出直接采用霍夫變換擬合的邊界線存在斷斷續(xù)續(xù)的直線、邊界擬合距離過(guò)短的問(wèn)題，并未取得令人滿意的檢測(cè)結(jié)果。

圖7 道路邊界擬合算法對(duì)比結(jié)果Fig.7 Experimental results comparison of road boundary detection system

4 結(jié)束語(yǔ)

針對(duì)低照度條件的非結(jié)構(gòu)化道路，本文提出一種低照度非結(jié)構(gòu)化道路區(qū)域識(shí)別系統(tǒng)，并取得較好的實(shí)驗(yàn)效果。首先，使用同態(tài)濾波算法對(duì)獲取的低照度圖像進(jìn)行增強(qiáng)；其次，利用分割精度高的UNet語(yǔ)義分割網(wǎng)絡(luò)準(zhǔn)確分割道路圖像；最后，提出一種融合多種方法的邊界擬合算法，擬合得出道路邊界線。實(shí)驗(yàn)證明，該算法在低照度環(huán)境下得到了有效的可行駛道路區(qū)域。但存在的問(wèn)題是系統(tǒng)算法并沒(méi)有進(jìn)行很好的融合，而且面對(duì)復(fù)雜的非結(jié)構(gòu)化道路環(huán)境，算法解決的問(wèn)題也比較單一。未來(lái)下一步的工作就是更好地實(shí)現(xiàn)算法融合以及增強(qiáng)系統(tǒng)通用性。