基于視覺與雷達感知融合的環衛車控制系統設計

孫正宜 王秦越 陳禮群

關鍵詞：環衛車；行人辨識；激光雷達測距；控制方案設計

1 引言

環衛車作為城市綠色建設中的一環，對城市整潔面貌的保持具有重要意義。常見的環衛車包括灑水車、綠化噴水車、清掃車、壓縮垃圾車等。隨著科技的發展，智能導航系統和定位系統等遠程終端服務的技術水平大大推進，在一些工程車輛上陸續開展了智能控制技術的應用研究。目前主流的研究方向是在工程車輛上加裝GPS定位系統與視覺感知系統，應用物聯網理論知識，解決環衛車遠程監控、科學調度和集中化管理的問題[1]。

由于受到多種因素的限制，無人駕駛與智能控制現階段主要被應用于小型低速無人車領域，應用場景也多為諸如機場、高校、隧道、大型商場等安全考慮指數較低的環境。考慮到無人駕駛技術在大規模應用前還需進行進一步的安全性能測試，環衛車輛作為大型車輛仍然少不了專門駕駛員進行路況的把控和車輛操縱[2]，將智能控制引入環衛車輛系統，尤其是工作中可能對行人造成影響的灑水車、綠化噴水車、大型路面清掃車等，以實現行人檢測與自動啟停，對于環衛車輛的駕駛人員工作輔助與減負還是相當有意義的。例如城市灑水車與綠化車，在遇到作業范圍內存在行人的情況下，只能由車輛控制人員主動關閉水閥，關閉不及時或控制人員未注意到行人存在時往往會造成行人被噴濺的結果，有時行人為了躲避作業中的環衛車輛而慌不擇路，甚至會引發嚴重的交通事故。因此，有必要研究更加智能的環衛車控制系統。

本文按照環衛車輛自動區別障礙物與行人，作業時不影響行人的要求，設計了一種基于視覺與激光雷達感知融合的智能環衛車控制方案。通過攝像頭獲取圖像信息進行行人檢測，與激光雷達獲取的激光點云測距信息相結合，有效地檢測環衛車作業范圍內行人的存在，通過智能控制算法實現自動關停或減小車輛作業核心裝置的控制效果，在避免影響到行人或非機動車輛的前提下，保證車輛作業面積和范圍。

2 系統設計

2.1 方案設計

通常情況下，環衛車輛的核心作業裝置應只對工作范圍內出現的行人進行避讓，而無須對工作范圍外的人員做出反應。因此本方案關注的兩個問題為視野中是否檢測到行人以及行人是否在工作范圍內。對于第一個問題，可采用行人檢測算法進行可視范圍內的行人檢測，考慮到基于單目的視覺方案雖能完成行人目標辨識，但無法獲得行人的距離信息，而雙目方案雖能同時獲取距離信息但計算量過大，對算法平臺要求高且實時性較差[3]，因此本方案采用激光雷達結合基于單目視覺的行人檢測模塊進行協同工作，為系統提供行人的實際距離信息。

在實際實施中，車輛兩側各配備一組16線激光雷達與相機，相機獲取環衛車周圍路面圖像，并傳送至控制器進行行人檢測。激光雷達則在工作過程中向外發射激光，并接收目標反射信號構成激光點云，經信號處理后快速準確地獲取汽車車身周圍的物理環境信息，以判斷環衛車作業范圍內是否有障礙物的存在，并將障礙物的測距信息傳送至控制器內進行處理。當行人檢測算法識別出視野中的行人目標存在，且激光測距的結果判斷該目標處于車輛工作范圍內，即關斷或減小核心作業裝置的相應側閥門，上述協同工作的流程如圖1所示。

2.2 行人檢測、

在本方案中，行人檢測模塊由攝像頭模組結合運算平臺搭載的行人檢測算法完成，攝像頭獲取路面圖像信息后，通過行人檢測算法完成對行人的識別。本方案采取方向梯度直方圖（Histogram of Oriented Gradi? cehnitn， eH，OSVGM） 特） 分征類結器合進支行持行人向檢量測機[4（-S5]，u能pp有ort效V檢ec測tor出M步a?行行人及駕駛非機動車的行人。算法的整體工作流程以及所獲得的城市街道行人檢測效果分別如圖2（a） 、（b） 所示。從實驗效果來看，受限于采樣圖片的分辨率等因素，該行人檢測算法對于遠處、有遮擋的行人識別效果不佳，但對于近處無遮擋的步行行人以及非機動車駕駛行人具有較高的識別率，滿足整體方案的要求。

2.3 激光雷達測距

采用上述行人檢測算法識別出視野內的行人目標后，輸出目標的檢測框。為了獲取行人目標的真實位置信息，需要將雷達獲得的點云數據與圖像數據預先進行關聯，以便對檢測框內的點云深度信息進行提取。為了完成上述關聯，需要將雷達數據和圖像數據進行時間與空間上的雙重匹配[6]。

時間匹配指的是不同傳感器的每次有效協同采樣應該為同一時刻所獲取，通常可將不同傳感器的數據統一至掃描周期較長的傳感器上，同時采集一幀雷達數據與一幀圖像數據。由于環衛車在城市街道進行作業時的行駛速度一般不高，最高時速限制在20至30km/h左右，相機的采集幀率可以選取為30fps，激光雷達的掃描幀率為10Hz，為了保持時間匹配，協同采樣的幀率選取可以統一至雷達掃描幀率，如圖3所示。

空間匹配則是按照標定法則，對雷達坐標系和相機獲取的圖像坐標系進行匹配，并將激光雷達獲取的三維點云投影至二維圖像平面上。圖像數據中的一個像素點p（u，v） 與其相對應的雷達數據掃描點P （x，y，z ）可通過下述轉換關系，進行轉換求取[7-8]。

其中ZC 為相機光軸，M 為相機內參矩陣，由相機橫縱焦距、光學中心位置等確定;R 和T 分別為兩坐標系轉換的旋轉矩陣和平移向量，可使用自動駕駛軟件平臺Autoware的標定工具Calibration Tool Kit進行確定。在像素點原有維度上添加雷達的y 分量，表示與障礙物的距離，擴展為p′（u，v，y ）。

當獲取行人目標的檢測框后，選取檢測框中心點、檢測框中心點與檢測框四角連線的中間點共5個像素點，如圖4中O、A′、B′、C′、D′所示，對其y 分量求均（值 作 為 該 行 人 目 標） 的 實 際 距 離 yˉ，即 yˉ = yO + yA′ + yB′ + yC′ + yD′ 5。

2.4 控制算法設計

當視野內檢測到多個行人目標時，總以距離最近的行人作為參照調節環衛車作業機構的閥門開度。在應用中，可以根據實際工作的不同的需求設置以下兩種工作模式：即停式與調節式。

即停式為在工作范圍內一旦檢測到行人存在，即yˉmin ≤ yTH 時，立即關閉相應側執行機構，其中yˉmin 為最近的行人距離，yTH 為由環衛車工作影響范圍大小所確定的閾值，當行人處于環衛車作業范圍外時再進行相應側執行機構的開啟。即停工作模式受攝像頭角度范圍制約，可能造成執行機構的提前開啟而影響行人。

調節式為當工作范圍內出現行人時，利用行人的距離信息進行執行機構工作閥門開度的調節，在行人距環衛車的距離由大變小時調小閥門開度，距離變大時調大閥門開度，至行人離開環衛車作業范圍外時閥門開度恢復至設定的初始最大值。本文引入神經網絡中常見的激活函數Sigmoid函數，對其進行修改優化后控制作業機構閥門開度，具體閥門開度與行人距離的對應關系為：

其中參數N 根據yTH 的值進行確定，N 值越大，S型函數的整體向右偏移越大，通過設置合適的N 值，可以在距離較小時獲得適當的“死區”，以達到當行人處于較近距離內時閥門無法開啟的效果。如圖5所示，當設置N 值為12，從相應的閥門開度曲線可以看出，行人距離小于3米時閥門基本處于關閉狀態，當行人距離為9米時，閥門基本完全打開。

3 結論

本文設計了一種基于視覺圖像與激光雷達感知融合的智能環衛車系統方案。通過基于HOG+SVM的行人檢測算法檢測視野范圍內是否存在行人，檢測到行人目標存在后，通過提取行人目標檢測框內的激光雷達深度信息，獲取行人距離并判斷其是否處于環衛車作業范圍內。若在環衛車輛行駛作業過程中檢測到作業范圍內行人存在，則根據行人距離自動調整車輛作業核心裝置的閥門開度。該方案提升了環衛車的智能化水平，節約了人力物力，能夠有效降低環衛車輛作業期間對行人產生的干擾。