多智能體協同高精地圖構建關鍵技術研究

陳 龍，劉坤華，周寶定，李清泉

1. 中山大學計算機學院，廣東 廣州 510006； 2. 深圳大學土木與交通工程學院，廣東 深圳 518060； 3. 深圳大學城市智慧交通與安全運維研究院，廣東 深圳 518060； 4. 深圳大學廣東省城市空間信息工程重點實驗室，廣東 深圳 518060； 5. 自然資源部大灣區地理環境監測重點實驗室，廣東 深圳 518060

高精地圖專為自動駕駛設計，是自動駕駛核心技術之一。它又被稱為高分辨率地圖，具有高精度的道路場景(車道線、交通標志、路沿等)、定位等信息，可以輔助自動駕駛過程中的感知、定位、路徑規劃、決策與控制，提高駕駛過程中的安全性。

近年來，針對高精地圖的研究可以分為以下3個研究方向：高精地圖格式[1-2]、高精地圖數據結構和高精地圖制作方法。由于本文主要討論高精地圖的數據結構和制作方法，因此，對高精地圖格式不做詳細介紹。從高精地圖數據邏輯方面分析，文獻[3]對高精地圖的靜態圖層數據邏輯結構進行了分析，認為高精地圖應該包括：道路層、車道網絡層、車道線層與交通標志層。文獻[4]提出了路徑導航車道級地圖體系結構。由于靜態地圖不能保證行駛的安全，文獻[5]提出局部動態地圖的概念，首次將動態物的感知納入地圖范疇。文獻[6]提出不同駕駛級別的自動駕駛汽車需要依賴不同級別的高精地圖；自動駕駛級別越高，對高精度地圖的要求越高；指出L5級別自動駕駛汽車的需求為智能化的高精地圖，即動態高精地圖+分析數據的能力。

從高精地圖制作方法分析，目前的高精地圖制作均面向L3或L4級別的自動駕駛，未對L5級別的自動駕駛地圖進行研究。面向L3或L4級別自動駕駛高精地圖的構建可以分為數據采集、制圖與地圖更新3個步驟。其中，數據采集方案[7]均為通過搭配多種傳感器的自動駕駛車輛或全景移動測量系統進行數據采集。但是無論自動駕駛數據采集車輛還是全景移動測量系統，成本均太過昂貴，不能實現大規模的數據采集，影響高精地圖的制圖和地圖更新；同時，目前制圖算法多基于深度學習來實現圖像理解、定位等，該類算法存在數據需求量大、可解釋性差等問題。

本文以智能化的高精地圖為研究對象，提出多智能體協同高精地圖構建定義與框架，并對其關鍵技術、構建過程中存在的挑戰進行了分析，該框架的核心思想包括以下兩點。

(1) 將數據采集平臺由自動駕駛車輛或全景移動測量系統擴展為機器人、自動駕駛車輛、無人機等多種類型的智能體。通過搭配相同或者不同類型傳感器的、不同類型的多個智能體協同采集數據，既降低了采集設備的成本，又保證了數據采集速度。

(2) 為保證高精地圖的智能性、精度和地圖更新速度，提出多智能協同高精地圖的制作和更新框架。

本文的主要內容包括：①提出了多智能體協同高精地圖構建定義和框架；②分析了多智能體協同高精地圖構建過程中的關鍵技術；③研究了其構建過程中存在的挑戰。

1 多智能體協同高精地圖構建定義及框架

多智能體協同高精地圖構建指采用多個搭建相同或不同傳感器(攝像機、激光雷達、GNSS、IMU等)、不同類型的智能體(自動駕駛車輛、機器人、無人機等)協同采集數據，并對數據進行處理，實現智能高精地圖制作和更新的過程。依據多智能體協同高精地圖構建定義，其具體構建框架如圖1所示。

(1) 多智能體數據采集：通過對多智能體進行路徑規劃，使其協同進行數據采集的過程。其中，如何令多智能體協同工作、規劃多智能體數據采集路徑，實現高效、高質量采集某區域的數據是該部分的重點和難點。

(2) 數據一體化表達：由于不同的傳感器具有不同的數據表達形式(數據內容、格式、特性、精度等)，為方便智能高精地圖的制作，需要對多源異構數據進行一體化表達，得到三維地圖。

(3) 場景認知：智能化的高精地圖具有理解靜態物、半靜態物、半動態物和動態物的能力，還具有解釋數據(認知)的能力。而目前基于深度學習的場景感知方法要求大量訓練數據，且模型泛化能力差、不具有可解釋性。因此，智能化的高精地圖構建需要發展對數據量要求小、模型泛化能力強、具有可解釋性的場景認知方法。

(4) 軌跡規劃：軌跡規劃用于表達虛擬道路和道路間的邏輯關系，并對自動駕駛車輛在各車道的可行駛軌跡進行規劃，為自動駕駛車輛行駛過程中的導航提供強約束。

(5) 地圖融合：基于認知數據和軌跡數據將不同空間、時間、層次的數據高精度地融合成為一個完整的高精地圖。

(6) 矢量化表達：將形成的智能高精地圖從俯視圖角度進行矢量化表達，形成矢量地圖，提供給自動駕駛車輛使用。

(7) 地圖更新：自動駕駛程度越高，對高精度地圖的準確度要求越高。而由于現實生活中頻繁的道路建設和維修，使地圖不能保持現勢性，進而不能為自動駕駛車輛提供準確信息。因此，智能化的高精地圖需要具有較好的更新能力。

圖1 多智能體協同高精地圖構建Fig.1 Multi-agent collaborative high definition map construction

2 多智能體協同高精地圖構建關鍵技術

2.1 多智能體數據采集路徑規劃

多智能體數據采集路徑規劃，即多個單智能體信息交互，在共同完成某個區域數據采集的過程中，每個智能體的路徑規劃；其本質為多智能體路徑規劃。針對多智能體路徑規劃問題，傳統的方法一般采用遺傳算法[8]和蟻群算法[9]求解。然而，隨著問題規模的增大、計算復雜度增加，傳統方法不能高效地規劃多智能體路徑。近年來，隨著深度學習的發展，涌現出眾多基于深度強化學習的路徑規劃方法[10]，提高了規劃的效率[11-12]。但是，現有的算法在進行多智能體路徑規劃時，通常將問題抽象為多旅行商問題[13-14]，多旅行商問題不考慮場景的復雜性與動態性。而在多智能體數據采集時，場景的復雜性與動態性是影響數據采集效率和通信效率的重要因素之一，不可以被忽略。為解決此問題，本文建立適用于多智能體協同建圖的路徑規劃模型。

集中學習和分散執行是一種多智能體協同策略。集中學習指通過應用集中的方法訓練一組智能體，從而減輕智能體間通信負擔。分散執行指智能體可以在其局部觀測優勢的基礎上分散執行[15]，這種體系在通信受限的情況對于保持多智能體間的信息高效交互意義重大[16]。文獻[17]基于集中學習分散執行框架，提出了一種集中式專家監督多智能體強化學習算法，該算法采用DAgger算法獲得單智能體分散執行策略，可以在較低的樣本復雜度下訓練分散執行多智能體策略。文獻[18]將集中和分散的思想應用到主從多智能體架構中，主智能體處理來自從智能體的信息；從智能體接受主智能體消息，并結合自身信息來執行動作，顯著降低了多智能體系統的通信負擔。實際上，集中學習分散執行策略已成為多智能體系統協同的標準框架[19]。

為了實現多智能體間信息交互與協同路徑規劃，本文提出采用“集中學習和分散執行”結合“多智能體強化學習”的多智能體協同路徑規劃模型，如圖2所示，以集中式深度學習模型學習多智能體全局路徑規劃，以分散式執行實現多智能體間高效信息交互，充分利用二者在信息處理與信息交互方面的優勢。即：首先，基于深度強化學習算法分析單一智能體的觀測和行為，學習建圖環境狀態更新信息；其次，通過深度神經網絡，集中學習智能體之間的溝通和協同方法；最后，基于網絡結構，實現智能體之間的交互及協同規劃，從而完成基于集中學習分散處理的多智能體路徑規劃方案。

具體來講，各智能體向集中式學習模型發送建圖環境狀態更新信息，如場景隨時間動態變化、與預測復雜度差異較大等；集中式學習模型將全部更新信息集中表達為圖神經網絡的形式，并基于該網絡同步更新全局實時地圖特征。更新后的全局特征發送至所有智能體，為多智能體路徑規劃提供一個新的全局視野。多智能體接收來自集中學習模型提取的全局地圖特征，結合局部觀測信息進行分布式規劃得到新的執行策略。

圖2 集中學習分散執行路徑規劃模型Fig.2 Path planning model with centralized learning and decentralized execution

2.2 多源異構一體化數據融合與表達

在多智能體協同地圖構建中，基于不同采集平臺得到的多源異構數據需要進行融合以構建地圖。此過程中的難點為數據的異構性，即基于不同智能體及傳感器得到的數據具有不同的內容、格式、特性及精度等。例如：激光雷達提供了測距范圍與點反射值數據；相機提供了彩色或灰度圖像數據；IMU提供了自身加速度、角速度等動量測量值；GNSS則提供了粗略的全局定位坐標。如何基于異構數據的不同特征描述數據關聯，準確聯合多時空數據，進行多源異構傳感器數據時空域對齊；充分利用各異構傳感器測量的優勢并實現數據一體化表達，是完成多源異構數據融合、實現多智能體協同高精地圖構建的重要基礎。

高維學習的方法[20]可以提取高動態、劇烈變化環境下多源異構數據的特征，通過多源異構特征匹配能夠在幀間實現多源異構數據的關聯。同時，使用因子圖[21]的方法，將概率圖模型與圖優化方法結合，能夠將幾何、語義和數據關聯置于統一的框架中，進行環境建模和狀態的估計。在地圖的表示方法中，面元[22]在靈活性、表達能力占據了優勢，能夠支持多種傳感器數據進行環境整合。因此，通過引入高維學習來進行異構數據的時空關聯，并基于非高斯多假設估計器構建基于面元的多源異構一體化數據的表達模型，從而實現準確的多源異構一體化數據融合與表達，在理論上具備高可行性。

本文提出的多源異構一體化數據融合與表達主要分為3個部分：多源異構特征的選取，信息融合以及地圖存儲與表達。目前的工作大多使用高度近似的表達方式概括測量數據，尚缺乏多種異構數據緊耦合的方法。此外，現有的工作應用于數據分布未知的數據時，通?；趩胃咚狗植技僭O進行數據關聯和殘差構建，這類方法容易出現估計器狀態不一致的問題，使得模型無法正常收斂。對于現有工作的不足，本文提出了4點改進的思路，如圖3所示。

(1) 通過引入高維學習的方法，改造前驅數據處理框架，進行多源異構數據的超特征追蹤；選擇場景表達最豐富的圖像數據作為關鍵幀，利用立體深度圖作為構造半稠密點云的先驗。采用滑動窗口的形式，通過固定滯后平滑器優化窗口內深度狀態量，提升半稠密點云精度。在激光雷達點云存在時，通過顯著角點、深度連續三維線特征構建異構數據關聯，為后端優化提供約束條件。

圖3 多源異構一體化數據融合與表達Fig.3 Multi-source heterogeneous integration data fusion and expression

(2) 引入循環完備像素關聯光流變換器，提升異構數據的時空關聯性。針對未知深度的數據(例如：RGB圖像)，依據序列的連續性假設，通過估計其“密集位移場”，進行幀間特征數據關聯。利用深度網絡從輸入的每一幅圖像序列進行處理，得到特征編碼；通過在所有序列的特征編碼估計視覺相關性，構建圖像金字塔；通過上下文網絡和基于金字塔的輔助信息，計算圖像序列幀間相關性。在密集高維特征圖間，進行幀間的特征跟蹤，最終得到光流計算結果。

(3) 研究非高斯多模態的最大后驗估計器，考慮覆蓋的數據不確定性范圍。引入多假設非高斯因子圖模型和“假設修剪”去除冗余假設，充分支持概率信息的分發與因子增量更新。同時考慮進行多假設貝葉斯樹的推斷，引入對觀測的全貝葉斯推斷，以確保參數得到最優的估計。

(4) 基于不確定性建模的面元構建表達模型，從而建立更準確的多源異構一體化數據表達模型，最終求解得到初始的環境模型及三維地圖。對異構數據進行時空關聯，并計算得到測量誤差，根據誤差和先驗的傳感器測量噪聲模型構建殘差因子，利用多假設非高斯因子圖模型進行求解得到初始的環境模型。此外，利用形變圖來進行面元調整，完成模型表面形變，細化環境模型。

2.3 道路場景認知

在傳統的高精地圖構建中通常實現對道路場景的理解，即對道路場景元素進行識別[23]、檢測[24-26]、分割[27-28]和修復[29-30]。近年來，隨著深度學習的發展，道路場景理解取得了顯著的成果。但是，現有的道路場景理解多為對其進行感知理解?；谏疃葘W習的感知理解需要大量的訓練數據，并且訓練后的模型泛化能力差，沒有分析數據能力，無法服務智能化的高精地圖?；趫D推理的認知方法可以解決以上問題，目前基于圖推理的認知僅在人體解析語義分割[31]、人體目標檢測[32]和視覺語言任務[33]有少量的研究。但是該類研究的數據集簡單，推理方法也相對簡單。而道路場景認知任務的數據集里包含汽車、自行車、摩托車、標志、行人、路面等多個元素，且元素間關系復雜；認知結果面向無人駕駛車輛，認知精度要求高，因此，需要探索面向道路場景的認知方法。本文提出了基于圖推理的道路場景認知方案，該方案分為了兩個階段：首先基于元素之間的相互關聯特性構建道路場景異構圖(圖4)，然后基于圖推理理論設計道路場景認知理解網絡(圖5)，實現對道路場景的認知。

圖4 道路場景理解異構圖Fig.4 Road scene understanding heterogeneous graph

圖5 基于圖推理的道路場景認知理解網絡Fig.5 Cognitive understanding network of road scene based on graph reasoning

(1) 道路場景異構圖構建。道路場景有汽車、行人、路面等多個元素組成。其中，部分元素可以依據特征進行細化，如汽車特征可以細化為車燈、車身、排氣筒、車輪；車燈可以進一步細化為近光燈、前位燈、遠光燈等。本文定義道路場景元素的特征為第1特征，第1特征構成的圖層為第1特征層；第1次細分的特征為第2特征，第2特征構成的圖層為第2特征層；第3特征和第3特征層的定義依據上述規則。特征層內依據元素間物理關系實現圖內推理，相鄰特征層間依據元素間物理關系實現圖間推理。準確表達道路場景各特征層的圖內推理和圖間推理，即完成了道路場景異構圖的構建。

(2) 基于圖推理的道路場景認知理解網絡。基于搭建的道路場景異構圖，可以設計出道路場景理解網絡。該網絡以道路場景RGB圖像為輸入，首先，通過卷積神經網絡(CNNs)提取圖像特征；然后，通過圖間卷積實現所有特征層的圖內推理，并對其進行特征再表達，實現所有特征層的道路理解；最后，通過圖間推理方法，實現圖間特征理解，即完成了道路場景認知理解。

2.4 智能化的高精地圖融合

多智能體采集的地圖數據包含了地圖不同時間、空間、層次采集到的信息；同時，由于場景的變化，不同時空的信息之間可能發生變化，造成地圖的不一致；各智能體采集到的數據也存在誤差，需要經過地圖融合來得到一致的高精地圖。傳統的地圖融合方案在處理這些誤差和不一致時，通常采用貝葉斯濾波[34]或手工較準等方法。但是，對于數據種類越來越多，數據規模越來越大的高精地圖而言，傳統的方案難以滿足需求。因此，發展智能地圖融合技術是未來高精地圖構建中一項不可或缺的關鍵技術。為了解決此問題，本文從3個方面(圖6)進行了研究。

(1) 基于認知抽取關鍵幀。智能化的高精地圖數據量巨大，如何有效地濾除冗余數據，精簡數據量的同時保證不損失地圖的關鍵信息，對于城市規模量級的地圖構建和融合具有重要意義。關鍵幀的抽取能夠減少地圖中的冗余信息，但傳統的關鍵幀抽取方法[35]通常只考慮到局部的幾何信息，沒有考慮到全局的重復性和特殊性。而基于場景的認知，可以有效利用場景全局的信息。本文提出基于場景認知結構抽取關鍵幀，實現對數據的差異化度量，抽取關鍵幀，降低誤差和冗余。

圖6 地圖融合技術Fig.6 Map fusion technology

(2) 基于認知關聯數據。由于多智能體協同建圖的傳感器種類多、精度參差不齊，在建圖的過程中會由于傳感器誤差和建圖誤差降低高精地圖的精度?；丨h檢測已經被證明是一種有效的提升建圖精度的方法[36]，其利用場景中重復出現的部分，優化地圖構建與融合。本文基于場景認知方法抽象出單幀數據中關鍵元素的關系[37]，由此設計基于元素拓撲關系的回環檢測框架，可進一步實現精細化數據關聯，從而建立序列數據時空關聯約束，降低地圖誤差，提升地圖精度。

(3) 基于圖優化理論對地圖進行全局優化。三維地圖的輸出，需要對所有的約束信息進行集中優化計算，從而得到精準的環境模型[21]。本文基于圖優化理論構建優化模型，提出將多類別、多層次的數據關聯，放在統一的圖優化框架中進行全局一致性整合與提升，從而實現平滑誤差，提升地圖精度。

2.5 智能化的高精地圖更新

在自動駕駛領域，精度越高的地圖意味著越高的安全性、可操作性。隨著時代的高速發展，地圖信息瞬息萬變，因此，智能化的高精地圖更新是一個重要問題。在傳統的地圖更新工作中，由于更新數據的數據量巨大、數據類型復雜，造成了云端響應時間長、網絡擁堵等不良情況。對此，文獻[6]提出了“眾包+邊云協同計算”模式來處理這個問題。此模式沒有考慮智能體間的通信信息，且眾包下部分智能體不受控，會造成智能體數據雜亂、冗余等問題，使得多智能體協同建圖中的地圖更新能力受限。針對多智能體通信問題，文獻[38]提出了基于方差控制和多智能體強化學習的通信方法，證明了多智能體強化學習可以用于提高多智能體通信效率。本文提出基于邊緣計算[39]和多智能體強化學習的高精地圖更新方案(圖7)。

圖7 邊緣計算+多智能體強化學習架構Fig.7 Edge computing+multi-agent reinforcement learning architecture

如圖7所示，數據采集源包括自動駕駛汽車、無人機、機器人等設備，在進行數據一體化操作后，將更新數據提交給邊緣云，邊緣云在邊緣計算技術的支持下進行多智能體強化學習，處理后向用戶反饋局部高精地圖。同時中心云在收到邊緣云傳來的海量數據后利用大數據技術進行處理，以協同各邊緣云的更新工作，突出各邊緣云需要的更新數據，處理完畢后向邊緣云反饋全局高精地圖。整個高精地圖更新工作被分為了局部更新和全局更新兩部分完成，理論上可以達到實時更新的效果。

具體來講，中心云根據各邊緣云所處環境不同，向不同的邊緣云提出不同的地圖更新需求，如更新的數據類型、上傳的數據量等。邊緣云根據需求對該范圍內的多智能體進行多智能體強化學習，即中心化訓練、去中心化執行。在多智能體執行過程中，智能體間通過通信[38]，傳遞彼此狀態信息，從而促進各智能體更好地協同，得到優化的更新數據。最終，通過多智能體強化學習方法區分出高更新頻率的數據類型和非高更新頻率的數據類型。如果是高更新頻率的數據類型，則進行局部的高精地圖更新；如果是非高更新頻率的數據類型，則判斷是否達到了中心云設定的周期，如果滿足，則進行全局的高精地圖更新。

3 存在的挑戰

本文提出了多智能體協同高精地圖構建的框架，并對其關鍵技術進行了研究，但是在制圖過程中，仍存在著以下挑戰。

(1) 隨著經濟的快速發展，地圖數據采集場景變化越來越快(車輛及行人流動性，建筑物改造等)，而智能體的數據交互及處理能力有限，如何解決多智能體系統異步通信帶來的延遲問題，保證系統一致性，是多智能體路徑規劃的一個主要挑戰。

(2) 以特征間關系構建的道路場景異構圖中，圖內關系和圖間關系錯綜復雜，如何建立準確有效的道路場景元素異構圖，發展圖內推理和圖間推理方法，是實現道路場景認知的關鍵科學問題，也是目前亟待解決的重要挑戰。

(3) 為保證地圖的覆蓋率及更新頻率，需要采集大量的數據。在地圖融合的過程中，如何有效地濾除冗余信息，同時保證不損失地圖的關鍵信息，對于城市規模量級的地圖構建工作是一個挑戰。

4 總 結

為實現高效、高精度、智能化的地圖構建，本文定義了一種多智能體協同地圖構建方式，提出了其構建框架，對其關鍵技術進行了分析。具體包括集中學習分散執行路徑規劃模型、多源異構一體化數據融合與表達框架、基于推理的道路場景認知理解框架、智能化的地圖融合技術框架、基于邊緣計算和多智能體強化學習的地圖更新框架，并對其在構建過程中可能存在的挑戰進行了分析。