多傳感器信息融合技術在環境感知中的研究進展及應用

許博瑋，馬志勇，李 悅

(湖州師范學院 工學院，浙江 湖州 313000)

0 引言

為了滿足軍事用途，多傳感器信息融合的概念在20世紀70年代被提出，在美國研究并開發的一套軍用聲納信號理解系統中，信息融合技術得到了最早的體現[1]。在實際生活中，智能機器人的工作環境越來越復雜，需要機器人完成的任務越來越多樣化，單一傳感器的感知模式不足以提供足夠的冗余信息進行處理，但是將多種傳感器同時使用時，隨之而來的如時間同步、坐標系同步、特征提取、傳感器信息權重等問題，都讓經典的數據處理算法無法滿足多傳感器機器人的數據處理需求。于是，不僅僅在軍事用途之上，多傳感器信息融合的概念也在實際生活中得到了廣泛的認可和實踐，基于此概念的理論研究和實際應用也是當下人工智能領域的研究熱點之一。

多傳感器信息融合技術(MSIF，multi-sensor information fusion)的基本原理就像是大腦集中處理人體所有感知器官獲取的信息一樣，融合技術需要協調所有的傳感器，將所有數據在時間和空間上做到統一，合理利用各個傳感器的能力，合理分配各個傳感器的計算單元，并綜合判斷信息的有效性和準確性。

MSIF的實現需要在智能設備的多個部位安裝若干個相似種類或完全互補的傳感器，來獲取單一的、不完整的信息，之后利用信息融合算法尋找不同傳感器大量數據之中，可能的潛在聯系，清除冗余信息，形成完整的系統環境，以達到準確理解的目的[2]。因其特有的優勢，在軍事領域、經濟領域、機器人智能領域、醫療領域等應用廣泛。信息融合的方法是多傳感器信息融合的最重要的部分，由于其應用上的復雜性和多樣性，決定了信息融合的研究內容極其豐富，涉及的基礎理論較多[3]，算法常用的有卡爾曼濾波、參數模板法、貝葉斯推理、自適應神網絡等[4]。

1 環境感知常用傳感器

傳感器技術的發展已經相對成熟，對于不同環境下的使用、不同種類的數據、不同功能的應用，都有其適合的傳感器類型；傳感器獲取的數據大多是用來獲取系統的自身的狀態或感知周圍的環境，現如今主流的環境感知方式可以根據傳感器的工作原理大致分為基于圖像信息感知和基于波信息感知兩種類型，如圖1所示。

圖1 環境感知傳感器分類

1.1 基于電磁波信息

1.1.1 二維激光雷達

二維激光雷達通過在二維平面的圓周掃描，得到一組距離信息并實時更新，在實際應用中可以保持較高的分辨能力和數據處理能力，同時較強的穩定性和實時性可以使其在一些極端的場景下使用。

文獻[5]將激光雷達用于移動機器人在不熟悉的環境中創建環境地圖。為了解決移動機器人在創建環境地圖時精度不高的問題，提出了分別校準激光雷達距離和角度測量的方法。這種方法不僅使測量數據更接近物體的實際幾何特性，而且提高了機器人的測繪精度。

文獻[6]中提出一種方法來檢測一些容易被常規方法忽略的障礙物或是一些不規整的平面的細節。論文中使用二維激光雷達獲取距離信息，結合空間距離的連續性來判斷障礙物的區域。但這種方法要求障礙物是連續且無明顯的距離變化的情況，如果障礙物發生位移，那么將造成較大的誤差。

從上述研究可以發現，二維激光雷達本身的局限性較強，且對使用環境有著較高的要求，對機器人本身亦或是機器人周圍環境的動態變化比較敏感，需要通過合理的算法去彌補誤差。

1.1.2 三維激光雷達

三維激光雷達相較于二維激光雷達，其在無人車自動駕駛領域的應用更為廣泛，它由多個單線激光組合而成，在室外使用時會受到雨天、雪天、霧霾等天氣的影響。三維激光雷達能夠感知自身周圍立體空間的信息，這是跟二維激光雷達最大的不同。三維的距離信息也使得三維激光雷達能夠輸出跟完整、更準確的結果。所以，想要更好的使用此種傳感器，就需要更加強大的處理器對大量的數據進行編碼和解碼，對雷達的設計、制造、安裝等環節的精度要求也有所提高。

文獻[7]中開發了一套自動駕駛障礙物感知系統，這套系統主要由三維激光雷達和慣性測量單元(IMU，Inertial Measurement Unit)組成，通過多個傳感器之間的信息互補，很好的解決了單個激光雷達存在的視野盲區，顯著的避免無人車了在路徑規劃中的死區問題。

文獻[8]對三維激光雷達的使用場景進行拓展。在三維激光雷達獲得點云數據的基礎上，通過對點云數據的內在規律進行識別，將數據大致分為兩類，其中一類有較強的規律且和地面有直接關聯，如垂直地面的墻壁、植被、路障等；另一類則和地面不相干，明顯高于測量的原點。之后對這兩類點云信息通過不同的顏色做區分就可以在不借助視覺傳感器的情況下實現物體識別的功能。

除了上述的消費級的三維激光雷達，工業上三維激光雷達經常搭配高清相機，用來完成地表、水面或數字化城市的測繪工作，其高精度的距離信息和角度信息，融合高清相機的圖像信息，可以完成非常復雜且高精度的現實模型。

經過對比分析可以得出，三維激光雷達的性能明顯強于二維激光雷達，其采集到的數據也比二維激光雷達更加完整。更多限制三維激光雷達應用的原因是其過高的成本和巨大的數據處理量。

1.1.3 毫米波雷達

毫米波雷達是工作在毫米波波段的傳感器，具有體積小、質量輕和空間分辨率高的特點[9]。

文獻[10]將毫米波雷達用于開發駕駛輔助系統。毫米波雷達的特點是響應速度快、穿透力強。如果汽車與周圍障礙物的距離過小，通過測量和評估與汽車周圍障礙物的距離，系統會主動剎車，節省人為反應的時間，減少剎車距離并提高駕駛安全性。防碰撞預警也是毫米波雷達的典型應用之一。

不僅如此，在軍用直升飛機上，毫米波雷達是障礙物感知系統(OWS，obstacle warning system)的重要組成部分，配合HELLAS(Helicopter Laser Radar)激光雷達，共同組成了軍用直升機在未知環境中起降安全性的重要保障[11]。

1.2 基于圖像信息的環境感知傳感器

1.2.1 單目視覺

單目機器視覺主要通過單目攝像頭和單目視覺算法來實現的，這種方式的優點就在于，算法邏輯簡單、實現更加方便、迭代更加成熟，硬件成本可控、可行性強、應用廣泛。但缺點也很明顯，相較于雙目視覺，精度和準確性有天生的硬件劣勢，只能通過算法彌補；雖應用廣泛，但實際應用場景十分有限，受自身條件約束導致在復雜環節下沒有可靠的表現。

文獻[12]中針對單目視覺無人機避障問題，提出單目深度估計和目標檢測的四旋翼自主避障方法，其中單目深度估計模型提供障礙物的深度信息，目標檢測模型提供障礙物位置信息。單張紅綠藍圖像的深度圖和目標檢測結果由卷積神經網絡獲得；圖像的區域劃分以目標檢測結果為依據區域深度以深度估計結果為計算依據；規劃算法依據區域深度和區域劃分結果計算無人機的線速度和角速度，實現無人機的自主避障。

1.2.2 雙目視覺

雙目視覺避障技術和單目視覺避障技術類似[9]，但由于攝像頭由單個變為兩個，就不需要對前后兩幀的圖像做對比。雙目視覺在識別物體距離的功能上相比單目視覺有先天的優勢。

文獻[13]為解決無人機自主導航問題，研發并實現了一種能夠自主識別未知外部環境并實時自動規劃軌跡的無人機系統。它使用雙目視覺并使用帶有光束調節優化的經典同步點位與建圖算法(SLAM，simultaneous localization and mapping)。ORB SLAM2算法捕獲無人機位置和方向信息，并使用掃描式感知和改進的絕對誤差和算法來捕獲環境信息和障礙點。接下來，結合無人機的位置信息和環境障礙點，創建無人機自主導航的局部障礙圖。

同時，機器視覺在障礙物識別[14-16]和自主導航[17-18]中的應用是最為廣泛的，當前研究者相較于單目視覺，對雙目視覺的性能更為重視，對雙目視覺的研究也更為深入。

表1對常見傳感器的優缺點以及應用場景做了簡要的總結。

表1 多傳感器融合常見環境感知傳感器比較

2 多傳感器信息融合技術

2.1 傳感器信息融合的一般結構

為了得到準確的環境描述，在使用多種傳感器共同工作的同時，還需要把采集到的信息傳入到數據融合中心。經過一系列的數據處理之后，才能得到完整的描述信息。圖2顯示了多傳感器信息融合的一般結構。

圖2 傳感器信息融合一般結構

2.2 集中式融合結構

多傳感器信息融合在一般結構的基礎上，還可以分為集中式、分布式以及混合式三大類。

集中式融合是將所有的傳感器獲得的測量信息，直接輸送到中央處理單元進行統一處理。基于跟蹤濾波算法的集中式融合估計的流程圖如圖3所示。

圖3 集中式融合結構

在此結構中，若所有的傳感器都通過標準時間戳進行了時統的配置，并且將所有傳感器自身的坐標系進行絕對或相對的坐標系變換。則傳感器測量信息為Yi=(xi,yi,zi)T其中i=1,2,…,n為傳感器個數。數據進入融合中心后，融合中心會對這n組數據進行計算，得到的yf=fusion(Y1,Y2,…,Y3)。

以卡爾曼濾波跟蹤濾波算法為例，系統的狀態方程和觀測方程如式(1)所示：

(1)

分布式及混合式融合結構：

同樣以卡爾曼濾波跟蹤算法為例，在分布式融合系統中，數據在進入融合中心之前需要經過預處理。經過預處理之后的數據，比起原始數據在信息量上會大幅度的減少，這樣做的好處是可以有效地減少對信息傳輸帶寬的要求。同時融合單元的計算量也會減少，這樣就可以部署更加復雜的算法而不損失太多的時間。實現流程如圖4所示。

圖4 分布式融合結構

混合式融合結構結合了集中式和分布式的特點。在數據達到融合中心之前，可以很好地發揮前兩種融合結構的優勢，靈活調整每個傳感器的通道。實現流程如圖5所示。

圖5 混合式融合結構

3 傳感器信息融合算法

信息融合技術雖然從上個世紀七十年代初就開始逐步發展[1]，但至今沒有一套通用的算法可以滿足所有的使用場景。按算法概念分類，主要分成三大類，分別為：物理模型類、基于參數類和基于認識模型類[19]。如圖6所示。

圖6 多傳感器融合算法

3.1 基于物理模型的算法

這種方法在理論研究和實驗室環境中經常被提及，但在實踐中很少使用。因為這種算法需要直接基于物理模型來計算預測對象的屬性。但當前科研人員建立現實物理模型的能力，仍處在一個比較初步的階段，并不能完整地將現實生活中所有物理特性在計算機中模擬出來。

3.1.1 加權平均法

作為融合算法中最常見的算法之一——加權平均法，已經在各個數據融合場景中得到應用。在這種方法中，來自不同傳感器的冗余信息被加權，得到的加權平均值是合并的結果。

3.1.2 卡爾曼濾波法

文獻[21]的多傳感器分布式信息融合過程是通過雙目定位和超聲波定位技術實現的。按照典型的分布式結構，張天團隊在傳感器數據進入融合中心之前，采用卡爾曼濾波算法對視覺和超聲波數據進行處理。經過仿真建模實驗，使用融合算法后，障礙物距離信息的誤差顯著降低，有效提高了四足仿生機器人感知障礙物的能力。

3.2 基于參數分類的算法

參數分類算法是最常見、最廣泛使用和研究的一類算法。這種算法通過建立標簽規范并將參數數據直接映射到標簽規范來實現數據的融合。

3.2.1 貝葉斯推理和D-S證據理論

貝葉斯推理是融合靜態環境中多傳感器信息的一種常用方法，其信息描述為概率分布，適用于具有可加高斯噪聲的不穩定性情況[22]。

D-S(Dempster-Shafer)證據推理是貝葉斯方法的擴展，其基本原理是使用信任區間來描述傳感器信息[23]。通過信任區間描述的傳感器信息可以對已知或未知的信息進行合理的區分，提升信息融合的效果。

文獻[24]中將激光測距和單目測距技術相結合，并采用集中式融合結構來處理多個傳感器的信息。他們將激光傳感器和單目視覺傳感器檢測到的原始距離信號直接發送到計算機的數據中心，并使用了將這兩種數據相結合的貝葉斯信息融合算法。測試結果表明，多信息融合有效地提高了避障系統的性能，提高了智能輪椅的避障效果。

3.2.2 神經網絡

神經網絡是在現代神經科學研究成果的基礎上提出的[25]。神經網絡算法的基本原理是通過大量數據樣本的內在聯系來對調整神經網絡的權重，其結構本質上是并行的，具有內部知識表示形式統一、容錯性和魯棒性強等優點。但神經網絡算法的實時性較差，由于模糊邏輯和神經網絡具有互補的特性，研究者通常綜合使用這兩種方法。

3.2.3 聚類分析

2.1 身體動作的呈現形式豐富成套動作層次感 動作軌跡，即指在做動作時，身體或身體某部分所移動的路線。包括：軌跡形狀（直線、曲線、弧線等）、軌跡方向（前后、左右、上下等6個基本方向及各種旋轉與環繞等）和軌跡幅度（長度、角度）[2]。運動員的運動軌跡與方向的多變將直接在視覺上留給裁判和觀眾第一印象，其必須以變化多樣且完整的方式利用整個地面區域，并創造出不同的模式[3]。

所謂聚類就是把大量的d維數據樣本聚集成n個類，使同一類內樣本的相似性最大，而不同類內樣本的相似性最小[19]。聚類分析適用于模型類數量不完全清楚的應用。聚類分析使用相應目標類中的特定數據集對數據進行分組，作為數據分類的基礎。聚類分析用于獲取有關數據庫中大量冗雜信息里詳細的、隱含的和有用的信息，總結每個類別的特征，并對特定類別進行分析。

3.2.4 基于認識模型的算法

模糊邏輯是一種多值型邏輯，它指定一個從0到1的實數來表示隸屬度[26]，而模糊推理過程直接表示推理過程的不確定性。模糊邏輯不依賴于數學模型，因此對于數學模型不可知的系統，模糊邏輯有較好的表現。

遺傳算法是通過數據不斷地迭代和遺傳實現，這種過程稱之為群體優化，而第一組數據稱之為初始值。

在實際操作中，為了控制群體優化的過程，規劃遺傳進化的方向，往往會采用遺傳算法和其他算法結合的方式來進行。典型的是通過和神經網絡目標分類器結合，判斷當前的進化特征并進行控制。

表2對上述數據融合算法在特點和局限性上做了簡要總結。

表2 多傳感器數據融合算法比較

3.3 多傳感器數據融合算法模型

多傳感器數據融合中的數據處理方法和經典方法的區別可以在復雜形式中體現出來[1]。并且不同的信息層次，其復雜形式也不同。

根據融合系統中數據的抽象層次，可將融合分為3個層次，數據級融合、特征級融合和決策級融合[28]。表3中對這3種方式的優缺點、主要理論支撐和應用場景進行了總結。

表3 多傳感器數據融合層級比較

4 多傳感器數據融合算法在環境感知中的應用

4.1 實時定位

文獻[29]中使用全球導航衛星系統(GNSS，global navigation satellite system)、IMU和雙目視覺傳感器構成多傳感器融合算法的基礎，完成姿態跟蹤任務和定位。其中，IMU傳感器用來對無人機的位姿信息進行補償和修正，全球導航衛星系統為無人機提供高精度的定位數據和時間戳，方便在多傳感器信息融合時校準時間和位置，同時利用深度相機實時獲取畫面來實現物體的識別和跟蹤。這些傳感器的使用，非常好的彌補了各自的缺陷，充分的發揮了它們各自的優勢，在解決定位漂移、圖像失真、距離判斷失誤等問題上有較好效果。

無人機在實現自主定位時，經常會采用多傳感器融合的技術，通常采用視覺傳感器輔以IMU等傳感器，使機器人接收到的信息更加完整，完善了單一傳感器使用的一些缺陷。通過結合各種傳感器獲取的數據的特點和相應的信息融合算法，達到減少傳感器測量造成的定位誤差，實現信息量增加的效果，提高定位精度的目的[30]。

文獻[35]為了解決可見光相機實時定位無法在弱光和黑暗環境中使用，提出了一種基于紅外視覺和激光雷達融合的目標識別和定位算法。首先，通過基于顏色遷移的數據增強訓練方法，提高了紅外目標識別算法的泛化性能。繼而，提出了一種基于激光雷達修正的單目深度估計方法，通過視覺圖像與激光雷達點云的數據融合，實現了基于稠密深度圖對目標位置的估計，提高了對小目標的定位能力。實驗結果證明，該方法能夠顯著提高無人車在弱光或黑暗環境下的物體定位精度。

4.2 目標識別及跟蹤

文獻[31]中利用中心網絡(CenterNet)算法提取候選目標的中心點，采用視錐方法將雷達檢測結果與候選目標中心點進行數據關聯，然后通過回歸候選目標的深度、旋轉角度和速度對先驗檢測結果進行修正，在不借助額外信息的條件下。

文獻[32]為了提高毫米比雷達的跟蹤精度，提出一種基于車載調頻等幅波(FMCW，frequency-modulated continuous wave)毫米波雷達數據的多模切換的信息融合目標跟蹤算法。并在模擬的車輛場景和道路上的測量數據進行仿真測試，結果證明，數據融合后的跟蹤精度明顯提高。

文獻[33]為了使無人機在對線纜桿塔等物體有更好的避障效果，采用了多傳感器融合算法，對包括機器視覺、毫米波雷達、GPS導航系統在內的傳感器進行數據融合，并采用虛擬力場法(VFF，virtual force field)對無人機周圍障礙物進行判斷，完成路徑規劃。

4.3 障礙物檢測及避障

文獻[11]中，德國航空航天中心(DLR，deutsches zentrum für luft- und raumfahrt)啟動了ALLFlight項目。該項目涉及將全尺寸增強視覺傳感器套件集成到DLR的研究直升機EC135上。該傳感器套件由兩個不同的測距傳感器組成：一個光學雷達掃描儀和一個毫米波雷達系統。這兩個雷達以及其他如紅外相機、可見光相機等設備都配備了單獨的傳感器協同處理器(SCC，sensor co-computer)，為了能夠處理和顯示來自這些傳感器的大量傳入數據。這套多傳感器融合的系統可以顯示直升機前方的障礙物信息，特別是高壓電線和復雜的地形信息，可以輔助飛行員駕駛飛機低空飛行，給飛行員提供足夠的引導，使其在未準備好的著陸點安全著陸。

文獻[34]為了讓軍用直升機在敵方監視和武器系統的威脅下，完成低空、高速、低能見度、地形信息不完整的極端飛行任務，減少與障礙物發生碰撞的可能性，提高飛行可靠性，保證飛行員的安全，提出了一種基于前視掃描激光雷達的解決方案。采用大視場、高角度的范圍分辨率，高脈沖重復率以及足夠的脈沖能量對前方障礙物和軍事設施的距離進行有效的探測和記錄，比采用先進的3D場景分析算法，實現障礙物預警、測量距離圖像數據的實時處理、障礙物分類和可視化、地形跟蹤、自主避障和自動目標識別等功能。

文獻[36]中提到，當軍用直升機降落在沙地或塵土飛揚的地區時，直升機旋翼的下洗流會導致視覺限制性物質云團完全阻擋飛行員的外部參考，導致飛行員完全失去態勢感知和空間定位，最終可能導致飛機完全失控并引發危險事故。為了避免飛行路徑中或附近的障礙物常常對直升機構成威脅。這些障礙物可能是電力線、空中索道、塔架和塔架等，以及意外導致的飛機斷電事故，提出了斷電保護恢復系統，該系統能夠將了HELLAS距離圖像數據可視化，形成著陸區域的合成增強視覺圖像，以及通過高度計和慣性導航平臺的參考信息，形成可靠的周圍環境，以適當的方式在駕駛艙顯示器上進行顯示，在斷電條件下(由著陸直升機引起的塵云)充當飛行員的著陸輔助設備。

5 多傳感器數據融合技術的發展與展望

多傳感器融合技術是一個多學科交叉的先進技術，其發展的方向需要滿足當前工業發展和社會發展的需求；滿足人們對日常工作、生活、生產的需要；無論是在軍用、民用或是科研用途中，都能發揮出實際的優勢。對于多傳感器數據融合技術未來的發展將會集中在以下幾個方面。

5.1 低成本、高性能的微型傳感器

多傳感器數據融合技術在20世紀70年代發展至今，從最開始軍事應用中，無論硬件設備還是軟件開發都不計成本，性能優先，到如今的商品化、民用化的轉換，產品價格和性能之間的平衡已經成為用戶選擇的重要依據。作為多傳感器融合技術發展的先決因素，低成本、高性能的微型傳感器能很好的豐富多傳感器融合技術的應用場景，如英特爾(Intel)公司推出的D435深度實感相機以極小的體積和重量集成了兩個RGB攝像頭、IR投影儀和用于數據融合處理的處理器，來實現較高的測量精度和輸出分辨率。

5.2 智能化數據融合

智能化是現代社會工業發展的潮流和趨勢，多傳感器數據融合技術涉及到的多個領域和學科都與人工智能有著密切的聯系，在未來，多傳感器數據融合技術也將朝著智能化發展，多傳感器數據融合技術的智能化能夠很好的提升其應用靈活性和魯棒性，有效減少人為的介入，提升整體的性能。

5.3 多維度融合策略

多傳感器數據融合技術的出現就是用來解決單一傳感器數據采集不完整、觀測誤差大、受觀測環境影響等問題。但是單一維度的數據融合不能夠滿足復雜場景下的應用，同時也限制了系統的能力。多傳感器數據融合技術未來發展應朝著多類型傳感器、多維度融合、多策略融合發展，以適應從簡單到復雜的應用場景，提升系統魯棒性和穩定性，最大程度的發揮系統硬件和軟件的能力。

5.4 高速在線融合

過去對于超大數據量的融合大多是采用實時存儲后，離線處理的方式來實現，但隨著傳感器技術的發展，傳感器的測量精度越來越高，同時，用戶對系統實時處理并輸出的需求越來越大。微電子技術的發展讓微處理器的性能有了極大的提升，使多傳感器數據融合技術需要在保證魯棒性和準確性的前提下實現高速在線融合成為可能，在未來，多傳感器數據融合技術仍要在硬件技術的支持下不斷優化算法的計算速度，提高高速在線融合的能力。

5.5 自適應數據融合

現如今的多傳感器數據融合的精度會受到環境因素的影響，由于不同的傳感器對環境的敏感程度不同，在未知的環境條件下，傳感器的測量精度也會受到影響，常見的解決方法是通過獲取準確的環境信息，通過融合算法來修正誤差。但這樣的做法有著巨大的局限性：(1)環境信息非常復雜多變，想要獲取完整環境信息的難度非常高；(2)如此辦法的多傳感器數據融合算法將會成為特定環境下的專用算法，只能在一些特種用途的產品中發揮作用，不能夠適用于通用產品；(3)若在使用過程中環境信息發生突變，環境配置參數如果無法及時更新，那么可能導致系統的失靈，造成不必要的人員和經濟損失。自適應的數據融合算法就能解決上述問題，使系統工作在各種各樣的不確定的環境中。

6 結束語

隨著計算機技術、傳感器功能以及信息融合技術的發展，多傳感器信息融合已經成為人工智能領域智能機器人一項重要的技術，同時也會在未來成為自主避障、目標識別、測距測繪等研究的重點應用技術之一。本文在介紹環境感知傳感器的基礎之下，對多傳感器信息融合技術做了詳細的總結，為之后的多傳感器信息融合避障系統的研究提供理論依據。