基于多傳感器融合的復(fù)雜越野環(huán)境人員識別方法

劉英哲，范晶晶，李志鵬，郭建英

(1.北方工業(yè)大學(xué) 城市道路交通智能控制技術(shù)北京重點(diǎn)實(shí)驗室，北京 100144；2.中國北方發(fā)動機(jī)研究所，天津 300405；3.順德中專學(xué)校，廣東，佛山 528300)

軍用無人車輛的一大應(yīng)用場景就是班組伴隨、跟隨士兵，減輕班組成員的負(fù)荷，可以從整體上提升班組的戰(zhàn)斗能力。實(shí)時、準(zhǔn)確并且可靠地檢測出車輛周邊的人員，是班組伴隨自動駕駛實(shí)現(xiàn)的前提，行之有效的人員檢測技術(shù)能夠幫助班組伴隨無人駕駛車輛實(shí)現(xiàn)自動跟隨功能。

由于激光雷達(dá)和攝像頭原理不同，受環(huán)境影響的特點(diǎn)也不盡相同，采用單一傳感器對人員進(jìn)行檢測，難以適應(yīng)復(fù)雜的環(huán)境，所以大都采用多傳感器融合的方式。在激光雷達(dá)和攝像頭融合領(lǐng)域，PREMEBIDA等[1-6]通過不同方法配置的圖像數(shù)據(jù)和激光雷達(dá)點(diǎn)云數(shù)據(jù)訓(xùn)練得到自適應(yīng)人員檢測器。PONZ等[7-14]通過聯(lián)合概率數(shù)據(jù)關(guān)聯(lián)方法對激光雷達(dá)、攝像頭以及慣性傳感器等的靜態(tài)信息和在線信息進(jìn)行數(shù)據(jù)關(guān)聯(lián)，以達(dá)到檢測人員的目的。在毫米波雷達(dá)和攝像頭融合領(lǐng)域，徐偉等[15-16]基于圖像的HOG特征和SVM分類方法以及毫米波雷達(dá)的快速容差中頻匹配算法，設(shè)計了多傳感器融合的行人識別算法，但由于HOG特征本身的局限性，行人識別率相對較低。

本文針對自動駕駛車輛對于復(fù)雜環(huán)境下人員識別的需求，將攝像頭和激光雷達(dá)作為感知設(shè)備，針對激光雷達(dá)采用基于KDTree加速的歐式聚類方法，針對攝像頭設(shè)計改進(jìn)YOLO v3深度學(xué)習(xí)網(wǎng)絡(luò)架構(gòu)，最后設(shè)計空間融合識別算法，旨在增加人員識別的準(zhǔn)確率。通過理論計算和理論分析，結(jié)合本文所設(shè)計的微型履帶式車輛驗證平臺，在復(fù)雜環(huán)境下進(jìn)行多工況實(shí)車試驗。試驗結(jié)果表明，所設(shè)計的多傳感器融合人員識別算法能夠準(zhǔn)確識別環(huán)境中的人員目標(biāo)，在復(fù)雜環(huán)境下識別率良好。

1 系統(tǒng)構(gòu)成

復(fù)雜環(huán)境下融合激光雷達(dá)與攝像頭的人員識別系統(tǒng)，如圖1所示。

圖1中，通過以太網(wǎng)接口和激光雷達(dá)驅(qū)動程序獲得激光雷達(dá)三維點(diǎn)云數(shù)據(jù)，隨后應(yīng)用基于KDTree的歐式聚類算法對激光雷達(dá)三維點(diǎn)云數(shù)據(jù)進(jìn)行歐式分割和聚類[17]，得到若干個人員候選點(diǎn)云區(qū)域。通過像素坐標(biāo)系到世界坐標(biāo)系的映射關(guān)系和激光雷達(dá)坐標(biāo)系到世界坐標(biāo)系的映射關(guān)系，可得到激光雷達(dá)坐標(biāo)系到像素坐標(biāo)系的映射關(guān)系，結(jié)合空間尺度融合算法將若干個人員候選點(diǎn)云區(qū)域分別映射到像素坐標(biāo)系，并通過改進(jìn)殘差模塊的YOLO v3深度學(xué)習(xí)網(wǎng)絡(luò)架構(gòu)識別出真正包含人員的區(qū)域，并通過矩形框的形式給出各個人員在像素坐標(biāo)系下的具體坐標(biāo)位置，最后通過人員身份判別準(zhǔn)則判定環(huán)境中人員是否存在、數(shù)量和位置等相關(guān)信息。

圖1 融合激光雷達(dá)與攝像頭的人員識別系統(tǒng)

2 方法設(shè)計

2.1 改進(jìn)殘差模塊的YOLO v3深度學(xué)習(xí)架構(gòu)

為了進(jìn)一步提升YOLO v3深度學(xué)習(xí)網(wǎng)絡(luò)在復(fù)雜環(huán)境背景下對目標(biāo)物體的識別性能，結(jié)合當(dāng)前深度學(xué)習(xí)領(lǐng)域的熱點(diǎn)研究成果，本文提出了一種改進(jìn)殘差模塊的YOLO v3深度學(xué)習(xí)網(wǎng)絡(luò)結(jié)構(gòu)，如圖2所示。

圖2中，改進(jìn)殘差模塊的YOLO v3深度學(xué)習(xí)網(wǎng)絡(luò)結(jié)構(gòu)與原始YOLO v3深度學(xué)習(xí)網(wǎng)絡(luò)結(jié)構(gòu)的差別主要體現(xiàn)在殘差模塊Residual Block的設(shè)計上。原始YOLO v3深度學(xué)習(xí)網(wǎng)絡(luò)中，殘差模塊RB的輸入經(jīng)過兩個CBL模塊處理后的信號再與RB模塊的輸入作相加的操作，得到的結(jié)果便是RB模塊的輸出。改進(jìn)殘差模塊的YOLO v3深度學(xué)習(xí)網(wǎng)絡(luò)中，在原始YOLO v3網(wǎng)絡(luò)RB輸出的基礎(chǔ)上增加了全局池化層、兩個全連接層、Sigmoid激活函數(shù)層和乘法層。具體來說，原始YOLO v3網(wǎng)絡(luò)RB輸出，經(jīng)過全局池化層、全連接層、全連接層和Sigmoid激活函數(shù)層操作后，再與原始YOLO v3網(wǎng)絡(luò)RB輸出的結(jié)果相乘，得到改進(jìn)后的殘差模塊輸出。圖3中，3個輸出通道y1、y2和y3的深度均為255，這是針對COCO數(shù)據(jù)集時的結(jié)果。改進(jìn)殘差模塊的YOLO v3深度學(xué)習(xí)網(wǎng)絡(luò)中，針對每一個網(wǎng)格單元進(jìn)行預(yù)測時都會得到3個矩形框，每個矩形框有左上角橫坐標(biāo)、左上角縱坐標(biāo)、寬度、高度和置信度等5個參數(shù)，同時由于COCO數(shù)據(jù)集有80種目標(biāo)類型，因此，每個矩形框還必須包含這80種目標(biāo)的概率，因此，輸出通道y1、y2和y3的深度為3×（5+80）=255。對于包含n種目標(biāo)類型的任意數(shù)據(jù)集來說，輸出通道y1、y2和y3的深度dep可由式（1）來進(jìn)行計算。

圖2 改進(jìn)殘差模塊的YOLO v3網(wǎng)絡(luò)結(jié)構(gòu)

與原始YOLO v3網(wǎng)絡(luò)相比，改進(jìn)殘差模塊的YOLO v3網(wǎng)絡(luò)在深度上明顯更勝一籌，增加了（1+2+8+8+4）=23個全局池化層，增加了2 ×（1+2+8+8+4）=46個全連接層，增加了（1+2+8+8+4）=23個Sigmoid激活函數(shù)層，增加了（1+2+8+8+4）=23個乘法層，所有網(wǎng)絡(luò)層數(shù)等于255+23+46+23+23=370個。相比于原始YOLO v3網(wǎng)絡(luò)，網(wǎng)絡(luò)層數(shù)增加了（370－255）/255=45.1%，網(wǎng)絡(luò)層數(shù)量提升效果明顯。

改進(jìn)殘差模塊的YOLO v3網(wǎng)絡(luò)層數(shù)量分布見表1。

表1 改進(jìn)殘差模塊的YOLO v3網(wǎng)絡(luò)層數(shù)量分布

2.2 空間尺度融合

假定激光雷達(dá)相對于世界坐標(biāo)系的俯仰角為θL，激光雷達(dá)相對于世界坐標(biāo)系的方向角為φL，激光雷達(dá)相對于世界坐標(biāo)系的側(cè)傾角為ψL，激光雷達(dá)相對于世界坐標(biāo)系原點(diǎn)的高度為hL，激光雷達(dá)相對于世界坐標(biāo)系原點(diǎn)的橫向距離為dL，激光雷達(dá)相對于世界坐標(biāo)系原點(diǎn)的縱向距離為lL。激光雷達(dá)坐標(biāo)系和世界坐標(biāo)系的位置關(guān)系如圖3所示。

圖3 激光雷達(dá)和世界坐標(biāo)系的位置關(guān)系

根據(jù)激光雷達(dá)坐標(biāo)系和世界坐標(biāo)系之間的旋轉(zhuǎn)和平移關(guān)系可得世界坐標(biāo)系到激光雷達(dá)坐標(biāo)系的映射關(guān)系，如式（2）所示。

TwL的表達(dá)式為：

假定攝像機(jī)相對于世界坐標(biāo)系的俯仰角為θ，攝像機(jī)相對于世界坐標(biāo)系的方向角為φ，攝像機(jī)相對于世界坐標(biāo)系的側(cè)傾角為ψ，攝像機(jī)相對于世界坐標(biāo)系原點(diǎn)的高度為h，攝像機(jī)相對于世界坐標(biāo)系原點(diǎn)的橫向距離為d，攝像機(jī)相對于世界坐標(biāo)系原點(diǎn)的縱向距離為l。根據(jù)攝像機(jī)坐標(biāo)系和世界坐標(biāo)系之間的旋轉(zhuǎn)和平移關(guān)系以及像素坐標(biāo)系與相機(jī)坐標(biāo)系之間的映射關(guān)系，可得世界坐標(biāo)系到像素坐標(biāo)系的映射關(guān)系，如式（5）所示。

式中：Zc為三維坐標(biāo)系壓縮至二維像素坐標(biāo)系的變換因子；（u,v）為像素坐標(biāo)系下的坐標(biāo)；f為相機(jī)的焦距；dx為每個像素在圖像坐標(biāo)系u坐標(biāo)軸方向上的尺寸；dy為每個像素在圖像坐標(biāo)系v坐標(biāo)軸方向上的尺寸。世界坐標(biāo)系到相機(jī)坐標(biāo)系的旋轉(zhuǎn)矩陣Rwc的表達(dá)式為：

世界坐標(biāo)系到相機(jī)坐標(biāo)系的平移矩陣Twc的表達(dá)式為：

結(jié)合上文推導(dǎo)的世界坐標(biāo)系到像素坐標(biāo)系的映射關(guān)系以及世界坐標(biāo)系到激光雷達(dá)坐標(biāo)系的映射關(guān)系，可得激光雷達(dá)坐標(biāo)系到像素坐標(biāo)系的轉(zhuǎn)換關(guān)系，如式（8）所示。根據(jù)式（8），可以完成激光雷達(dá)和攝像頭在空間尺度上的融合。

3 試驗驗證

為了驗證所設(shè)計的基于攝像頭圖像的深度學(xué)習(xí)網(wǎng)絡(luò)結(jié)構(gòu)以及激光雷達(dá)和攝像頭融合算法在復(fù)雜環(huán)境下對于人員識別的效果，搭建了如圖4所示的履帶式車輛驗證平臺。

圖4 履帶式車輛驗證平臺

圖4中，攝像頭遵循標(biāo)準(zhǔn)UVC協(xié)議（USB Video Class Protocol），其技術(shù)參數(shù)見表2。

表2 攝像頭技術(shù)參數(shù)

試驗環(huán)境選擇為非結(jié)構(gòu)化道路的復(fù)雜野外環(huán)境，該環(huán)境中包含有凹凸不平的草地、數(shù)目眾多且與人員高度相近的樹木、高壓線塔以及高度不等的建筑物等，將試驗工況劃分為單人工況和雙人工況。針對所設(shè)計的單人工況和雙人工況分別進(jìn)行實(shí)車試驗，可以得到各種工況下傳感器融合的識別結(jié)果。

3.1 單人識別工況

單人工況融合識別結(jié)果如圖5所示。由圖5可知，攝像頭的圖像標(biāo)注結(jié)果中，紅色矩形框除了標(biāo)注了目標(biāo)的類型為person，目標(biāo)類型為person的概率為1.00，目標(biāo)與試驗車輛前部的距離為10.3 m以外，還有一個LC的標(biāo)簽。LC是LiDAR Confirmed的縮寫，代表紅色矩形框內(nèi)的人員目標(biāo)已經(jīng)得到了激光雷達(dá)的確認(rèn)，說明激光雷達(dá)和攝像頭的融合是有效果的。具體融合準(zhǔn)則的運(yùn)行和判斷是在后臺的終端中完成的，具體計算過程如下：

（1）激光雷達(dá)測量距離與攝像頭測量距離之間的誤差為：|9.88-10.3|/9.88=4.25%，在誤差容許范圍之內(nèi)。（2）攝像頭給出目標(biāo)為person的置信度為1.00，該置信度已經(jīng)達(dá)到最大值，符合設(shè)計要求。（3）激光雷達(dá)三維點(diǎn)云數(shù)據(jù)中人員目標(biāo)的高寬比計算值為1.21，攝像頭識別到的人員目標(biāo)矩形框的高寬比為（384-154）/（319-237）=2.8，二者的計算值均在合理范圍之內(nèi)，符合設(shè)計要求。（4）激光雷達(dá)識別到的人員點(diǎn)云映射到像素坐標(biāo)系后，得到的矩形框與攝像頭識別到的人員矩形框交并比的計算值為95.4%，達(dá)到了95%以上，符合設(shè)計要求。

圖5 單人工況融合識別結(jié)果

3.2 雙人識別工況

雙人工況融合識別結(jié)果如圖6所示。由圖6可知，攝像頭的圖像識別結(jié)果中，紅色矩形框除了標(biāo)注了兩個目標(biāo)的類型均為person，兩個目標(biāo)為person的概率均為1.00，左側(cè)人員目標(biāo)與試驗車輛前部的距離為8.3 m，右側(cè)人員目標(biāo)與試驗車輛前部的距離為8.5 m以外，在兩個人員目標(biāo)上均有LC的標(biāo)簽，代表兩個紅色矩形框內(nèi)的人員目標(biāo)都已經(jīng)得到了激光雷達(dá)的確認(rèn)，說明激光雷達(dá)和攝像頭的融合是有效果的。具體融合準(zhǔn)則的運(yùn)行和判斷是在后臺的終端中完成的，過程如下：

（1）激光雷達(dá)測量距離與攝像頭測量距離之間的誤差為：左側(cè)人員目標(biāo)|7.89-8.3|/7.89=5.20%，右側(cè)人員目標(biāo)|8.07-8.5|/8.07=5.33%，兩個誤差均在容許的范圍之內(nèi)，符合設(shè)計要求。

（2）攝像頭給出兩個人員目標(biāo)為person的置信度均為1.00，該置信度已經(jīng)達(dá)到最大值，符合設(shè)計要求。

（3）激光雷達(dá)三維點(diǎn)云數(shù)據(jù)中左側(cè)人員目標(biāo)的高寬比計算值為1.48，攝像頭識別到的左側(cè)人員目標(biāo)矩形框的高寬比為（447-123）/（268-147）=2.68，二者的計算值均在合理范圍之內(nèi)；激光雷達(dá)三維點(diǎn)云數(shù)據(jù)中右側(cè)人員目標(biāo)的高寬比計算值為1.78，攝像頭識別到的右側(cè)人員目標(biāo)矩形框的高寬比為（400-118）/（587-482）=2.69，二者的計算值均在合理范圍之內(nèi)。總之，兩個人員目標(biāo)在激光雷達(dá)和攝像頭下的高寬比均符合設(shè)計要求。

（4）激光雷達(dá)識別到的左側(cè)人員點(diǎn)云映射到像素坐標(biāo)系后，得到的矩形框與攝像頭識別到的左側(cè)人員矩形框交并比的計算值為95.6%，激光雷達(dá)識別到的右側(cè)人員點(diǎn)云映射到像素坐標(biāo)系后，得到的矩形框與攝像頭識別到的右側(cè)人員矩形框交并比的計算值為96.3%，均達(dá)到了95%以上，符合設(shè)計要求。

綜上所述，雙人工況下，激光雷達(dá)和攝像頭識別到的兩個人員目標(biāo)均通過了所設(shè)計的空間融合準(zhǔn)則，可以認(rèn)定攝像頭和激光雷達(dá)識別到的左側(cè)人員是同一個人員目標(biāo)，攝像頭和激光雷達(dá)識別到的右側(cè)人員是同一個人員目標(biāo)。

圖6 雙人工況融合識別結(jié)果

3.3 單人跟隨識別工況

在上述野外環(huán)境中，跟隨單人行駛，車輛和引導(dǎo)員之間的距離控制在5～10 m，車輛行駛約50 m，平均行駛速度約4 km/h，得到跟隨工況識別的統(tǒng)計結(jié)果見表3。

表3 單人跟隨工況識別統(tǒng)計結(jié)果

在該工況下，人員沒有出現(xiàn)未識別情況，在統(tǒng)計結(jié)果中，攝像頭和激光雷達(dá)識別距離平均誤差為8.2%，高寬比平均誤差為5%，交并比的統(tǒng)計平均值為93.2%，該結(jié)果能夠滿足人員跟隨系統(tǒng)的設(shè)計要求。

4 結(jié)論

本文針對復(fù)雜環(huán)境下人員識別系統(tǒng)開發(fā)中所存在的一些難以解決的問題，首先建立了多傳感器融合體系架構(gòu)，重點(diǎn)研究了基于圖像的深度學(xué)習(xí)人員識別方法以及激光雷達(dá)和視覺融合算法等方法，并在搭建履帶式越野車輛試驗平臺的基礎(chǔ)上，選擇合適的試驗環(huán)境并設(shè)計合理的試驗工況進(jìn)行試驗驗證，驗證了所設(shè)計的算法在復(fù)雜環(huán)境下的有效性，并得到以下結(jié)論：

（1）設(shè)計的改進(jìn)殘差模塊的YOLO v3深度學(xué)習(xí)網(wǎng)絡(luò)架構(gòu)可以在越野環(huán)境中識別人員，對人員的識別效果達(dá)到了設(shè)計的要求。

（2）激光雷達(dá)和攝像頭融合算法實(shí)現(xiàn)了在空間尺度上的融合，融合效果達(dá)到了設(shè)計要求。

本研究僅融合了激光雷達(dá)與攝像頭，隨著車載傳感器數(shù)量的逐漸增加，后期有關(guān)多傳感器融合的研究會逐步擴(kuò)展到毫米波雷達(dá)、紅外相機(jī)以及慣性導(dǎo)航系統(tǒng)等，試驗環(huán)境的復(fù)雜度以及試驗工況的種類也有待進(jìn)一步擴(kuò)展和加強(qiáng)，自適應(yīng)閾值算法對于識別效果的提升也有待進(jìn)一步驗證。