基于全連接條件隨機場的道路場景語義分割方法

王瑤 馮峰

摘要：道路場景圖像的準確分割是對道路場景進一步分析與理解的前提條件。針對基于點對條件隨機場（Conditional Random Field，CRF）的道路場景語義分割方法僅考慮了局部鄰域關系，無法表達像素點之間的相互依賴關系，易產生誤分割現象的問題，本文提出基于全連接CRF模型的道路場景圖像語義分割方法。首先，通過像素點間的相互依賴關系獲取空間全局信息，利用Textonboost分類器提取圖像的基本結構特征建立模型的一元勢能項，利用高斯核函數的線性組合構建模型的二元勢能項;之后，采用平均場近似算法實現模型的優化推理;最后，采用道路場景數據庫Sowerby-7進行實驗分析，驗證所提模型的可行性和有效性。實驗結果表明，與基于點對條件隨機場模型相比，該模型能夠得到較好的語義分割結果。

關鍵詞：全連接CRF;道路場景;圖像語義分割

中圖分類號：TP391? ? ? ? 文獻標識碼：A

文章編號：1009-3044（2019）18-0212-03

道路場景圖像語義分割主要是提取車輛前方可通行的道路區域，為智能駕駛系統的路徑規劃和車輛控制提供道路信息，是實現自動駕駛、輔助駕駛和自主導航等機器視覺應用中的關鍵技術之一[1-4]。現有的道路場景圖像語義分割方法主要利用顏色、紋理以及道路幾何形狀等圖像基本結構特征進行分割。Sirmacek等人[5]總結了基于顏色的道路檢測分割算法，包含K-means聚類、最近鄰法等，此類算法往往對路面陰影、積水等干擾敏感，分割性能易衰減且需要對圖像進行復雜的預處理操作;Hou等人[6]提出了基于紋理的道路邊緣分割法，該方法適用于邊緣清晰的直線道路，對于邊緣模糊場景復雜的道路無法得到較好的分割結果;肖紅光等人[7]基于道路幾何形狀的算法，提出一種新的高分辨率SAR圖像道路提取算法，要求道路邊緣輪廓清晰以便于控制點的選取，但該方法過分依賴控制點，建模條件復雜且對邊緣不清晰的路面沒有很好的分割能力。上述這些方法提取到的像素特征往往是圖像的局部特征，而且分類器對像素分類只考慮了當前點信息，像素之間互相獨立無法獲取上下文信息，因而無法獲得更好的語義分割結果。

近年來，條件隨機場（Conditional Random Field，CRF）模型由于能夠充分融合圖像多特征和表達空間上下文信息，可以很好地解決上述方法存在的問題。Costea等人[8]基于點對CRF的基本理論，提出了一種快速的交通場景語義分割方法，該方法利用相鄰像素點構建點對勢能函數，引入多范圍分類功能來捕捉局部結構和上下文信息，實現了快速的交通場景語義分割，但該方法不能描述相鄰較遠的連接關系;Geng等人[9]利用點對CRF模型引入鄰域像素間空間信息，并實現了動態地將顏色、紋理、空間及邊緣等多種特征融合，有效提高了圖像分割的精度，但對于圖像中邊緣細小的區域，分割結果仍不理想。這是由于點對CRF模型只考慮了局部鄰域關系，僅能描述簡單的鄰域平滑等先驗知識，無法描述更遠距離的空間關系。全連接CRF模型則進一步考慮了單個像素和其他所有像素的關系，在圖像中的所有像素對上建立依賴關系，因此，本文利用全連接CRF模型對道路場景圖像進行語義分割，通過像素點間的相互依賴關系獲取空間全局信息，利用Textonboost分類器提取圖像的基本特征建立模型的一元勢能項，利用高斯核函數的線性組合構建模型的二元勢能項，并采用平均場近似算法實現模型的推理。實驗結果表明，與基于點對條件隨機場模型相比，本文模型能夠得到較好的語義分割結果。

1 點對CRF模型

給定圖像的觀察場[Y={y1，y2，...，yN}i∈N]，其中yi為圖像中第i個像素的像素值，N為該圖像中的像素總數;定義圖像的標號場[X={x1，x2，...，xN}i∈N]，其中[xi={1，2，...，L}]為該圖像的類別標簽，L為語義類別標簽個數。圖像中的每一個像素值yi對應一個類別標簽xi，這樣每個像素點作為一個結點，結點間的關系作為邊，從而構成一個條件隨機場（X，Y）。點對CRF模型就是通過觀察變量yi來推測像素i對應的類別標簽xi。那么，在該模型中，求解滿足最大后驗概率的X*即為最優的類別標簽分配結果：

2 全連接CRF模型

針對基于點對CRF模型的道路場景語義分割方法僅考慮了局部鄰域關系，無法表達像素點之間的相互依賴關系，容易產生誤分割現象，本文提出基于全連接CRF模型的道路場景圖像語義分割方法。該方法進一步考慮了單個像素和其他所有像素的關系，在圖像中的所有像素對上建立依賴關系，利用鄰域像素之間的相互作用引入空間全局信息，獲得更準確的道路場景分割結果。

3 模型推理

全連接CRF模型具有成千上萬的邊連接，因而對能量函數的計算和推理過程非常復雜。平均場近似（Mean Field Approximation，MFA）算法[12]是一種高效的推理優化算法，其優點在于當有很多邊連接存在時，依然可以快速推理達到收斂，效率極高。因此，本文采用MFA算法對全連接CRF模型進行優化推理。

4 實驗結果與分析

為了驗證所提模型和推理算法的可行性和有效性，以道路場景數據庫Sowerby-7[10]為實驗對象，在實驗環境為Intel（R） Core（TM） i5-8300H CPU @ 2.30GHz 8.00G的臺式機上，通過VS2010平臺采用C++語言編程實現，并結合Opencv基本算法庫提高算法開發效率。

4.1 定性分析

現從道路場景數據庫Sowerby-7中選取3張圖進行分割實驗，并將全連接CRF模型的語義分割結果與點對CRF模型的進行對比，如圖1所示。

從室外道路場景語義分割結果可以看出，使用點對CRF模型的分割結果在圖像的局部區域存在缺失、模糊或者出現明顯的邊緣帶現象，這是因為點對CRF只考慮了局部鄰域關系，無法表達像素點之間的高級依賴關系;相對于點對CRF模型來說，全連接CRF模型對室外道路場景圖像的分割結果有了明顯提高，不僅能夠有效地描述圖像區域一致性，而且分割的邊緣細節也較為清晰，因此基于全連接CRF模型的圖像語義分割方法在室外道路場景上能夠得到較好的語義分割結果。

4.2 定量分析

為了進一步量化點對CRF模型和全連接CRF模型對室外道路場景圖像的語義分割結果，采用PRI指標[13]進行評估。從表1不同模型分割結果的PRI值對比可以看出，第1、2、3幅圖在基于全連接CRF模型下的PRI值比基于點對CRF模型下的依次增長了2.51%、19.6%、17.1%。

5 結論

本文針對基于點對CRF模型的道路場景語義分割方法僅考慮了局部鄰域關系，無法表達像素點之間的相互依賴關系，容易產生誤分割現象的問題，提出基于全連接CRF模型的道路場景圖像語義分割方法，利用鄰域像素之間的相互作用引入空間全局信息，獲得更準確的道路場景語義分割結果。同時采用道路場景數據庫Sowerby-7中的圖像進行實驗對比分析，驗證了所提模型的可行性和有效性。實驗結果表明，與基于點對CRF模型相比，全連接CRF模型在室外道路場景語義分割和標注的準確率方面都能夠得到較好的實驗效果。

參考文獻：

[1] PASSANI M， YEBES J J， BERGASA L M. Fast pixelwise road inference based on Uniformly Reweighted Belief Propagation[C]//.Intelligent Vehicles Symposium.2015.

[2] ZHOU H， KONG H， WEI L， et al. Efficient Road Detection and Tracking for Unmanned Aerial Vehicle[J]. IEEE Transactions on Intelligent Transportation Systems， 2015， 16（1）： 297-309.

[3] SHIN B S， XU Z， KLETTE R. Visual lane analysis and higher-order tasks： a concise review[J]. 2014， 25（6）： 1519-47.

[4] HILLEL A B， LERNER R， DAN L， et al. Recent progress in road and lane detection： a survey[J]. Machine Vision & Applications， 2014， 25（3）： 727-45.

[5] SIRMACEK B， UNSALAN C. Road detection from remotely sensed images using color features[C]//.International Conference on Recent Advances in Space Technologies.2011.

[6] HOU X， ZHANG T， XIONG G， et al. Image resampling detection based on texture classification[J]. Multimedia Tools & Applications， 2014， 72（2）： 1681-708.

[7] 肖紅光， 文俊， 陳立福， 等. 一種新的高分辨率SAR圖像道路提取算法[J]. 計算機工程與應用， 2016， 52（15）： 198-202.

[8] COSTEA A D， NEDEVSCHI S. Fast traffic scene segmentation using multi-range features from multi-resolution filtered and spatial context channels[C]//.Intelligent Vehicles Symposium.2016.

[9] GENG X， ZHAO J. Interactive Image Segmentation with Conditional Random Fields[M]. IEEE Computer Society， 2008.

[10] SHOTTON J， WINN J， ROTHER C， et al. TextonBoost for Image Understanding： Multi-Class Object Recognition and Segmentation by Jointly Modeling Texture， Layout， and Context[J]. International Journal of Computer Vision， 2009， 81（1）： 2-23.

[11] 李瀚， 楊曉峰， 鄧紅霞， 等. 基于網格搜索算法的PCNN模型參數自適應[J]. 計算機工程與設計， 2017， 38（1）： 192-7.

[12] KR?HENBüHL P， KOLTUN V. Efficient Inference in Fully Connected CRFs with Gaussian Edge Potentials[J]. 2012，

[13] MIGNOTTE M. A Label Field Fusion Bayesian Model and Its Penalized Maximum Rand Estimator for Image Segmentation[M]. 2010.

【通聯編輯：唐一東】