基于MEMS激光雷達的車輛目標識別算法

霍健, 陳慧敏, 馬云飛, 郭鵬宇, 楊旭, 孟祥盛

(1.北京理工大學 機電動態控制重點實驗室, 北京 100081; 2.中國空空導彈研究院, 河南 洛陽 471009)

0 引言

激光雷達可以獲取目標的三維距離信息,受環境光影響小,可以全天時工作,是復雜戰場環境下實現精準探測的有效手段[1]。雖然激光雷達獲取的點云包含豐富的信息,但點云同時具有稀疏性、無序性和分布不均性等特點[2-4],因此增加點云的稠密度,設計合適的算法實現目標的精準識別,具有重要的意義[5-7]。

傳統彈載線陣激光雷達獲取的點云較為稀疏,為得到相對稠密的點云,物理層面最有效的方式是增加激光發射器的數量,但單純的增加發射器數量使得激光雷達調配難度增大,設備成本高。算法層面,蔣罕寒等[8]提出一種稀疏點云分類插值重構算法,能夠有效保留距離像的邊緣信息,為后續的目標分割提供技術支持。雖然該算法在還原特征較少的大目標時效果明顯,但在探測特征較多的目標時,卻很難還原目標的細節。

激光雷達獲取的點云中往往包含多個目標,選用合適的聚類算法區分不同目標,是后續識別工作的基礎。劉亞文等[9]使用基于密度的聚類算法(DBSCAN),結合地物的典型特征實現了點云數據的分類和提取。張雨禾等[10]提出了一種基于密度空間的聚類算法,將反K近鄰(KNN)的尺度作為點密度,引入特征的全局約束性信息,對基于密度空間聚類方法中的相關概念進行重定義,并建立新的特征識別準則。以上算法雖然簡單有效,但在處理間隔較小的目標時,聚類效果不佳。

點云目標識別研究方面,Lee等[11]和Miller等[12]提出將三維數據壓縮成二維圖像,然后按照傳統視覺算法進行檢測,此類方法在維度壓縮的過程中會有信息丟失,降低檢測的準確率。陸軍等[13]設計了一種基于局部曲面特征直方圖的點云識別算法,該算法選取點云中局部特征較明顯的點作為關鍵點,根據臨近關鍵點間的空間關系和特征描述符進行特征匹配,最終實現目標識別。該算法需要提前建立模型庫,而且隨著模型庫規模增大,識別速度會下降。鄒子強等[14]設計了一種針對彈載線陣掃描激光雷達稀疏點云的識別算法,該算法基于目標的頂部特征,建立目標三維特征圖模型,采用Prime算法得到目標的頂部輪廓空間分布特征。受限于線陣激光雷達點云的稀疏性,該算法的目標識別準確率偏低。

針對以上問題,本文基于MEMS激光雷達,開展彈載MEMS激光雷達推掃成像方法研究,設計相關實驗和算法,以提高典型車輛目標的識別準確率。特征提取方面,不再使用傳統無序點云處理方式,而是將推掃獲取的點云進行有序化操作,并在點云有序化基礎上采用基于數學形態學的聚類算法,把目標分割成獨立的點云簇。為進一步提高運算速度,提出一種自適應閾值的直方圖去噪算法,解決了去除離群噪點的問題。最后基于點云的空間分布信息,設計25維特征向量,對聚類后的點云進行分類判斷,實現對目標的準確識別。

1 點云獲取與預處理

1.1 彈載MEMS激光雷達推掃成像模式

一維MEMS激光雷達靜止不動時,只能獲取雷達前方一個固定視場的線狀點云信息。若將激光雷達安裝在飛行的導彈載體上,通過導彈的運動,實現對導彈下方區域的推掃成像,圖1為彈載MEMS激光雷達的工作原理示意圖。

圖1 彈載MEMS激光雷達工作原理示意圖Fig.1 Schematic diagram of missile borne MEMS LiDAR

圖1中,v表示導彈的飛行速度。探測區域的三維點云圖,可以通過拼接線狀點云獲取。推掃成像獲取的點云易實現有序化處理,而有序點云的數據結構與圖像類似,在數據處理方面可以參考成熟度較高的圖像處理算法。彈載平臺實驗條件較為苛刻,人們往往會選擇等效實驗或者軟件仿真來代替。

1.2 彈載MEMS激光雷達等效實驗數據獲取方法

針對彈載激光雷達實驗難度高的問題,設計了工作原理相似的等效實驗,實驗場景如圖2所示。

圖2 等效實驗場景圖Fig.2 Equivalent experimental scene

實驗選用的一維MEMS激光雷達波長為905 nm,在60°的視場內具有300線的探測能力,幀頻 360 Hz,該激光雷達每秒鐘可以采集點數108 000個。MEMS激光雷達的性能參數如表1所示。

表1 一維MEMS激光雷達性能參數

實驗中MEMS激光雷達固定在三腳架上,通過調節三腳架的架設高度來模擬改變激光雷達的探測距離,三腳架攜帶的可調云臺可以模擬改變彈載平臺的偏轉角和俯仰角。

1.3 多幀點云拼接

實驗中使用的一維MEMS激光雷達每次采集的數據是一條線狀點云,依據激光雷達和目標之間的相對運動速度,得到相鄰兩幀點云之間的距離值Δd(見式(1)),從而將若干幀點云拼接成三維點云圖。

Δd=v/f

(1)

式中:f為激光雷達的幀頻。根據導彈的飛行速度和姿態,可以得到相鄰兩幀點云之間的坐標變化(見式(2)),從而實現多幀點云的拼接。

(2)

式中:Δy為導彈運動方向的坐標增量;Δz為高程方向的坐標增量;θ為導彈的落角。MEMS激光雷達和 16線激光雷達獲取的點云如圖3所示。圖3(a)為MEMS激光雷達獲取的點云圖,車輛的細節信息一目了然;圖3(b)為16線激光雷達對同一目標的掃描點云,只能得到目標的大致輪廓。通過對比,可知MEMS激光雷達在目標探測方面具有明顯的優勢。

圖3 MEMS激光雷達和線陣激光雷達點云對比圖Fig.3 Comparison between MEMS LiDAR point cloud and linear array LiDAR point cloud

1.4 直通濾波去除條狀噪點

MEMS激光雷達獲取的點云數據會不可避免地混入噪點,這些噪點種類多樣,在點云主體中的分布位置也不相同。實驗中使用的MEMS激光雷達受強反射目標的回波影響,在距離激光雷達較近的位置出現條狀的噪點。為避免以上噪點影響后續的目標識別,應使用合適的算法去除噪點。

因該條狀點云距離目標較遠,可以使用直通濾波的方式去噪。首先設定直通濾波的閾值R,令R=[-∞,∞,-∞,∞,λ,∞],其中λ代表高程方向的有效點云閾值,應保留此閾值范圍內的點云。直通濾波前后的點云數據如圖4所示。

圖4 直通濾波前后的點云對比圖Fig.4 Comparison of point cloud images before and after directly filtering

2 點云分割和聚類

2.1 柵格濾波算法分割地面點

為滿足算法的實時性要求,選擇點云的高程信息作為分割地面的判據。在拼接好的三維點云圖基礎上,劃分1 m×1 m的網絡柵格,依據每個柵格中的點云高程值變化量和高程值分布直方圖,判斷是否是地面點。將拼接好的點云圖做直方圖分布運算,取置信區間0.05處的高程值作為地面參考值,并以此為依據處理每個柵格中的點云高程值,分割地面點云和地上目標點云,分割前后的效果如圖5所示。

圖5 點云分割前后對比Fig.5 Comparison before and after ground points segmentation

2.2 點云分割后聚類處理

為實現目標的精確識別,需將去除地面的點云做聚類處理[15-17]。傳統的聚類算法包括基于劃分的方法和基于密度的方法,其代表分別為K-means算法和DBSCAN算法[18]。這兩種算法自適應性差,需要提前設定閾值,不適用于彈載MEMS激光雷達的需求。本文采用推掃成像模式,提出基于數學形態學的聚類算法,該算法在檢測實時性方面顯著優于前述兩種算法。但數學形態學的應用涉及到點云的有序化,推掃獲取的點云在有序化方面有著先天的優勢,只需要少量的算力即可實現有序化處理[19]。

2.2.1 點云有序化

點云的本質是一長串點,改變點的順序不影響點云的表達形式,因此相同的點云可以由兩個完全不同的矩陣表示。

有序化后的點云可以對比圖像來理解(其結構是w×h×p的矩陣,其中w是一維MEMS激光雷達單幀獲取的點數,h是點云拼接圖的拼接幀數,p是點云的維度),點云的每個點對應圖像的像素,點云的維度對應圖像的通道。無序點云和有序點云的表達形式如圖6所示。

圖6 無序點云和有序點云的矩陣形式對比Fig.6 Comparison of matrix formats of unorganized point cloud and organized point cloud

本文使用的一維MEMS激光雷達推掃成像模式在點云有序化方面有著獨特的優勢,該激光雷達在±30°的視場內有300線的探測能力,令點云拼接的幀數為n,拼接后點云的大小為300×n×3。因為有暗點(未采到數據)等因素導致激光雷達單幀數據不足300,而有序化的點云空間結構固定,不應有缺失值。此處借鑒PointNet[20]中取特定數量點的方法,補全單幀點云中點的數量,點云有序化流程如圖7所示。

2.2.2 基于數學形態學的聚類算法

將有序化的點云做分割處理,維持點云的原始矩陣格式,去除的地面點以無效數據(NAN)代替,投影點云獲取黑白圖。點云圖和黑白圖如圖8所示。從圖8(a)中可知,點云圖存在很多離群噪點(紅色框中),如果不做去噪處理,則聚類運算將這些離群點作為單獨的一類,顯然會影響聚類的準確性。

圖7 點云有序化處理

圖8 原始點云圖和黑白圖對比Fig.8 Comparison between original point cloud and black-white image

本文使用開閉運算來去除噪點、消除粘連,開運算是先腐蝕后膨脹,可以有效去除離群噪點;閉運算是先膨脹后腐蝕,可以有效填補點云空洞。為得到良好的形態學運算結果,需要選擇合適的連通性窗口,常用的連通性有4連通、D連通和8連通,根據多次實驗數據處理結果比對,選擇8連通的濾波窗口。形態學運算后的結果如圖9所示。

圖9 開閉運算后的點云簇位置圖Fig.9 Position diagram of point cloud cluster after morphological operations

依據形態學運算后得到的聚類結果,可以得到每簇點云的位置標記,因為拼接后的點云已做有序化處理,根據點云的位置標記提取坐標值,從而得到每個目標的空間位置信息,提取出的典型車輛目標三維點云,如圖10所示。

圖10 聚類運算后提取的獨立點云Fig.10 Independent point cloud extracted after clustering operations

2.3 依據分布直方圖算法去除離群噪點

MEMS激光雷達獲取的點云數據存在著大量的離群噪點,雖然形態學運算過程中會去除一部分噪點,但是還有一部分噪點游離在主體點云簇周圍,對探測目標的識別形成一定程度上的干擾。KNN算法是去除離群噪點最有效的算法之一,該算法遍歷點云的每一個點,以選取的點為中心,計算離它最近k個點的歐式距離,然后求取平均值。將此均值與提前設定的閾值比較,超出閾值的即為離群點[21]。KNN算法簡單有效,但耗時較高,不適合處理MEMS激光雷達獲取的稠密點云。

為滿足實時性的要求,此處采用分布直方圖的濾波算法。將點云的3個坐標值排序,依據距離區間從直方圖的最小值向最大值方向統計點數,直到出現第1個區間點數超出閾值,將坐標值小于該區間起始值的點去除。坐標最大值方向的濾波恰與之相反,從直方圖最大值向最小值方向統計點數,直到第1個區間點數超出閾值出現,將坐標值大于該區間結束值的點去除。某個目標點云的分布直方圖如圖11所示。

圖11 點云目標的分布直方圖Fig.11 Distribution histogram of point cloud targets

圖11中,橫坐標表示點云高程值,縱坐標表示每個高程區間內的點云個數。本文選擇自適應閾值的直方圖濾波算法,按照點云的高程極值將高程值劃分50等份,計算每個區間點云個數,最后與閾值σ做對比,劃定新坐標區間。閾值σ由式(3)計算得出:

σ=N/100

(3)

式中:σ為自適應閾值;N是待識別目標點云中點的總數量。依據點云噪點的分布特點,系數設為 1/100。由圖11可知,在高程值約10.5 m處有離群噪點。

3 基于多維特征判據的目標識別

3.1 識別方法

激光點云具有豐富的特征信息[22-25],本文使用的MEMS激光雷達只能獲取目標的空間位置信息,并不能測量目標的回波強度。因此設計點云特征時,針對點云統計量和空間位置信息,設定了點云數量和外框尺寸等特征,依據提前設定的權值,綜合所有的特征信息,實現對探測目標的精確識別。選取的點云特征如表2所示。

表2 點云特征參數

點云數量N代表目標點云簇中點云的數目,一定程度上表征目標在Oxy平面的投影面積;點云外框尺寸表征目標的體積大小,可以由式(4)求取:

(4)

式中:l、q、g分別為目標外形的長、寬、高;xmax、xmin、ymax、ymin、zmax、zmin分別表示點云在x軸、y軸、z軸方向的極值。

點云的歸一化坐標中心如式(5)所示,代表點云的分布情況,根據該參數可以推斷目標的大致外形。

(5)

點云空間離散值如式(6)所示,該特征代表點云的離散程度,表征目標外形到點云中心的遠近。

(6)

點云的三維協方差矩陣如式(7)所示,該特征表征點云在3個坐標軸方向的相關性,協方差矩陣的特征值表征相應方向的權重。

(7)

式中:Q表示點云的三維協方差矩陣。

形態學聚類的目的是將地面上的物體劃分為獨立點云簇,基于上文設計的點云特征,對獨立的目標點云進行識別和分類,并針對典型類別的車輛繪制不同顏色的外框,識別效果如圖12所示。從圖12中可知,不同的車輛目標使用了不同顏色的bounding box(車輛外形立體框),即使用紅色框標注私家車,品紅色框標注公交車,黃色框標注廂式車,綠色框標注摩托車。本文識別算法對完整點云圖和局部點云都能實現準確識別。

圖12 目標識別效果圖Fig.12 Effect drawing of target recognition

3.2 評價方法

為驗證算法的泛化能力和穩定性,分3個不同時間段進行數據采集,如此可以規避不同時間段內不同光照方向和不同光強對實驗數據的影響;此外為模擬彈載平臺的數據采集方式,等效實驗過程中會不斷調整激光雷達的高度和位姿,從而獲取不同高度、俯仰角和偏轉角的激光雷達點云。實驗共采集45組數據,激光雷達掃描的目標共有626個,不同類別的車輛數量如表3所示。

表3 實驗采集的車輛數量

根據準確率Accuracy和精確率Precision來衡量算法的識別效果,兩種識別率的計算方法如式(8)所示:

(8)

式中:TP、TN、FP和FN分別表示正類目標被預測為正、正類目標被預測為負、負類目標被預測為正和負類目標被預測為負。實驗探測目標種類4種,可以分別求取每個種類的識別結果,把4個種類的平均值作為最終的實驗結果。依據式(8)計算得出識別準確率為94.9%,精確率為91.3%。

4 結論

本文針對傳統線陣激光雷達對地面目標識別準確率低的問題,提出了一種基于MEMS激光雷達推掃成像點云識別算法。通過設計等效實驗,獲取多種姿態下的典型車輛目標的原始點云數據,采取直通濾波、點云分割、聚類處理等方法,得到目標的有效點云數據,并基于多維特征判據進行目標識別及評價。得出主要結論如下:

1)針對傳統線陣激光雷達獲取點云較為稀疏的問題,提出采用基于MEMS激光雷達推掃成像方式獲取稠密點云數據。

2)引入直通濾波和柵格分割算法縮減原始點云數據,使用數學形態學算法處理有序點云投影到Oxy平面生成的黑白圖,可以實現簡單高效的點云聚類運算。

3)設計了25維特征判據實現對車輛目標的分類和識別。通過3次不同參數的實驗數據對設計算法進行驗證,識別準確率為94.9%,精確率為91.3%,表明該方法具有良好的泛化能力和準確性。