可持續自主學習的micROS機器人操作系統平行學習架構

戴華東 易曉東 王彥臻 王之元 楊學軍

(軍事科學院國防科技創新研究院人工智能研究中心 北京 100071)

人類正在經歷第三次工業革命，機器人即將重復個人電腦崛起的道路，走進千家萬戶[1].作為機器人平臺最重要的基礎軟件，機器人操作系統是推動這一發展的核心和關鍵.機器人操作系統是“機器人革命”的引擎，具有重大的經濟價值和軍事價值.機器人操作系統正朝著空間分布性、功能異構性、任務并行性以及更強的智能性和容錯性方向發展，致力于在更廣泛的應用場景中自主或人機協同完成更為復雜的任務.特別地，機器人群體可以形成數量規模優勢，降低全系統的研用成本.當前，人工智能正由手工知識/統計學習向適應環境發展，適應實際環境的學習理念為拓展機器人操作系統的實用性提供了有益借鑒.

本文在群體智能機器人操作系統micROS[2]的基礎上，提出了面向機器人群體的可持續自主學習的平行學習架構，通過“虛實結合、同步演進”的技術途徑實現機器學習器的學習訓練，加速智能機器人的自學習和自演進，支持適應環境的人工智能在機器人和無人系統上的實現.本文的主要研究包括4個方面：

1) 拓展了機器人操作系統的體系架構，以支撐機器人系統的可持續自主學習為目標，提出了“虛實結合、同步演進”的平行學習架構；

2) 設計并實現了機器人操作系統的核心概念，針對機器人資源管理和行為管理的特點，提出了基于“角色”的控制抽象和基于“語義情境圖”的數據抽象；

3) 突破了群體智能行為操控、自組織無線網絡等需解決的關鍵技術問題；

4) 開展了機器人操作系統的應用驗證，以無人農機、無人物流、協同搜索、通信中繼等實際應用需求作為牽引，采用虛實結合方式對micROS的能力進行驗證.

1 國內外發展趨勢

與micROS相關的研究方向包括群體機器人、機器人操作系統及類似軟件框架，以及近年來提出的適應環境的人工智能.

1.1 群體機器人

單體機器人的研究相對成熟.在單體機器人研究的基礎上，許多國家都啟動了群體機器人研究計劃.日本早在1989年就由Asama等人提出了Actress系統[3]和CEBOT系統[4].Actress系統是通過設計底層的通信結構而把機器人、周邊設備和計算機等連接起來的自治多機器人智能系統，這個系統的主要特點是系統的單個動作和合作動作的并存.CEBOT系統假設每個機器人可以自主地運動，沒有全局的世界模型，整個系統沒有集中控制，可以根據任務和環境動態重構，對具有學習和適應能力的群體智能，采用分布式的體系結構.美國學者Jin和Beni等人研究了SWARM[5]系統，該系統認為單個機器人無智能，但它們在組成系統后將表現出群體的智能.2014年，哈佛科學家Nagpal設計了名為Kilobot的集群機器[6]，它包含1 024個建造成本低廉的微型機器人，以產生去中心化、無領導的、點對點的、網絡特征的(大規模)合作.歐盟MARTHA[7]項目針對多自主機器人協同搬運問題，對多機器人中進行了系統研究.其他類似項目還包括歐盟的Swarmnoid[8],Swarm-Bots[9],REPLICATOR[10]項目，瑞士聯邦理工大學的SMAVNET[11]，Nissan公司的EPORO項目[12]等.

1.2 機器人操作系統及類似軟件框架

在機器人操作系統的概念提出之前，實現類似功能的基礎軟件被稱為機器人中間件、機器人軟件框架或者機器人開發環境等.2000年機器人中間件的概念開始興起，出現了Miro[13],Orca[14],RT-Middleware[15],Player/Stage[16],RSCA[17]、Orocos[18]等典型項目和系統.2006年，微軟也推出了機器人開發平臺RDS.近年來，機器人操作系統的概念也逐漸被學術界和產業界認可和接受，越來越多的實驗性和商業機器人系統都全部或部分基于機器人操作系統進行開發實現，其中甚至包括機組成員工作座艙內自動化系統(ALIAS)和宇航機器人Robonaut 2等對系統可靠性和實時性要求苛刻的項目.

各國競相展開了機器人操作系統的研究，如美國的Player/Stage、歐洲的Orocos和YARP[19]等.特別值得關注的是，一套用“機器人操作系統”命名的機器人軟件——ROS[20](robot operating system)從2007年開始發展，進展迅猛，得到了國內外學術界和工業界的廣泛關注.《麻省理工技術評論》[21]指出,“ROS正在逐步成為機器人研發領域的事實標準”.最近，微軟也發布了可在Windows 10上運行的ROS版本，并將對其進行持續開發維護.近幾年來，ROS的應用日益廣泛，無論是無人機/無人車等機器人本體的研究[22-23]、機器人平臺控制器的研究[24-25]，還是機器人導航定位等方面的應用研究[26-27]，都大量基于ROS開展，為ROS的進一步改進和完善提供了廣闊的舞臺，但國內外的科研機構在ROS內核方面投入研究力量并不充分，ROS1.0及當前的2.0版本主要還是由開源社區維護和主導.

美國軍方早在無人機平臺上成功地研發了通用操作系統——COS，并投入實戰.COS的設計目的是將所有無人機平臺的武器、傳感器和通信等進行整合，對X-45,X-47以及未來10年內新開發的飛機進行統一操控.基于機器人操作系統，美國DARPA更加注重體系集成，推出SoSITE[28]等體系集成項目，重點是尋求有人平臺和無人平臺統一的體系架構以及支撐工具，這為機器人操作系統及其軟件體系的研究和設計打開了一條新思路.

1.3 適應環境的人工智能

美國DARPA按照信息處理系統的4種能力——感知、學習、抽象和推理，將人工智能發展分為3個階段，即手工知識型、統計學習型和適應環境型.手工知識型人工智能可針對限定問題進行推理，因不具備學習能力而不能處理非確定性問題.我們正在經歷統計學習型人工智能發展階段，以深度學習為代表的統計機器學習方法可從大數據中學習數據的表征，可有效處理分類和預測等非確定性問題.然而，當前人工智能系統的抽象和推理能力較弱，不能有效適應動態變化的任務環境.未來，人工智能將在向適應性環境型發展，系統將具備較強的感知、學習、抽象和推理能力，可適應樣本類別、數據分布、樣本屬性等因素不斷變化的“開放動態環境”.

美國已經對第3次人工智能浪潮展開布局，DARPA宣布投資20億，分10個項目利用5年時間開發適應環境型人工智能技術.2018年正式發布“利用更少標記樣本學習”(LwLL)項目，試圖利用3年時間將面向特定問題的深度學習模型訓練所需的標記樣本量降低100萬倍；正式發布“內嵌物理知識的人工智能”(PAI)項目，試圖在機器學習算法中嵌入因果推理、確定性方程等物理知識，以提升人工智能系統在開放環境中的學習能力.

2 平行學習架構

在micROS的可擴展多態分布架構基礎之上，為了揭示群體機器智能的橫向——深向協同機理，借鑒平行控制思想，本文提出了機器人操作系統的平行學習架構，研究虛實聯動的平行學習智能體系.為支撐適應環境的群體機器智能，從深向設計了虛實聯動的平行學習架構，如圖1所示，其原理是：基于情境圖和語義構建可解釋的內部世界模型，設計對環境的感知和持續更新的學習算法，并將經驗知識和學習知識不斷用于抽象和推理.

Fig. 1 Parallel learning architecture of micROS圖1 機器人操作系統的平行學習架構

針對動態場景中智能行為的偶然性和復雜環境情境數據的非獨立同分布特性，研究群體機器智能結構性實現方法，按照本能反應式智能——局部后天反應式智能——全局后天反應式智能——慎思式智能等多個人類的智能水平層級，設計并實現平行學習架構，包括：在分布式智能無人平臺上實現本能反應式智能的學習、局部后天反應式智能的學習、在群體機器智能系統的云端分級實現全局后天反應式智能的學習、慎思式智能的學習等.這種架構解決了群體機器智能聯合學習算法設計和群體機器智能系統設計相結合的問題.

另外，通過虛實聯動的平行控制解決學習器訓練的問題.據此，把體系中的要素分為實際系統和人工系統，實際系統可是無人系統，也可是人機共融系統，人工系統是基于計算機模擬的虛擬系統.實際系統在實際環境中運行，人工系統在模擬仿真的虛擬環境中運行，與實際系統聯動.同時，實際環境為虛擬環境提供了基礎性數據，虛擬環境可以通過訓練和推理的方式生成數據，為實際環境提供海量的數據擴充.通過實際系統和人工系統的相互耦合、虛實互動，可為群體智能行為的自學習、自演進、智能涌現奠定技術基礎.

針對大規模群體無人系統的平行學習，基于云平臺和輕量級容器技術，在后臺虛擬空間中構造與前端物理空間中的無人集群系統保持虛實聯動同步演進的平行管控系統.構建“平臺即服務”的平行控制系統構造所需的基礎設施，設計計算資源、存儲資源以及網絡資源的按需分配、協同調度、高效并發等機制，支持前端智能無人集群系統大規模并發訪問、信息共享、全局視圖的快速構建；基于容器云消息隊列構建松耦合的基于發布/訂閱模式的互操作協議與平行管控協議，統一前端異構無人系統之間及其與后臺平行管控系統之間的互操作模型和框架；基于容器云快速構建深度學習器，為前端智能演算提供實時算力支持.

3 核心概念

控制抽象和數據抽象是操作系統基礎研究的核心內容.在計算機操作系統發展過程中，基于“進程/線程”模型的控制抽象的提出具有劃時代的意義，是現代操作系統資源管理和程序執行的基本單元，是構成并發、實時、分布等計算模式的基礎，并衍生出許多計算機基礎理論，例如進程代數理論等.基于文件的數據抽象同樣是計算機操作系統發展過程中的重要里程碑，使得不同來源的異構數據和設備能夠被統一管理和共享使用.

群體智能機器人操作系統擔負管理機器人和群體機器人的資源和行為的任務，資源管理從信息域擴展到物理、信息、認知、社會四域，行為管理更是計算機操作系統所不具備的功能.另外，機器人需要具備觀察、判斷、決定、行動的態勢元素集，以及空間數據庫、人機自然交互系統、目標與場景識別等系統.因此，群體智能機器人操作系統需要設計和實現不同于傳統計算機操作系統的控制抽象和數據抽象機制.

3.1 基于“角色”的控制抽象

我們認為，智能是有結構的.為了揭示多元群體機器智能的分布結構模型形成機理，采用基于角色(actor)的思想，研究單體機器智能與群體機器智能結構的關聯性，重點是角色設定與交互規則、基于學習的角色能力形成機理、角色的智能生成與演化機理，以及分布結構模型中各角色的分工協作.我們以多智能體(multi agent system， MAS)、計算機支持協同工作(computer supported cooperative work，CSCW)等理論為基礎，提出了基于角色模型的群體智能機器人操作系統控制抽象.角色是機器人及機器人群體面向特定任務的一次行為的抽象，它與傳統計算機操作系統中進程核心概念的對比如表1所示.我們設計了角色的核心數據結構，并實現了機器人群體中角色的扮演、激活、調度和遷移等基本操作.

1) 角色扮演.角色扮演是指將角色與傳感器、機器人、機器人群體等進行綁定，實現資源分配，并建立機器人群體的組織結構、交互關系等.

2) 角色激活.角色激活是指將任務分配給角色，角色按照所分配的任務，開始執行以OODA循環為模型的行為.

Table1 Comparison of Process and Actor表1 進程與角色的對比

3) 角色調度.傳感器、機器人平臺、機器人群體等可以并發扮演不同的角色，根據任務需求、資源約束等進行調度.

4) 角色遷移.面向傳感器、機器人平臺或機器人群體失效等情況，由不同的傳感器、機器人平臺或機器人群體扮演原有角色，繼續完成任務，實現群體的任務彈性.

基于以上角色模型，課題組正在研究面向群體智能行為管理與協同任務管理的機制與算法.

3.2 基于“語義情境圖”的數據抽象

我們提出語義情境圖作為機器人操作系統的數據抽象，以實現機-機協同與人-機協同、數據融合、異步更新、多視圖共享、事件觸發等功能.語義情境圖和傳統計算機操作系統中文件的概念對比如表2所示.在群體智能操作系統中，語義情境圖包含可幫助機器人具備觀察、判斷、決定、行動的態勢元素集，以及空間數據庫、人機自然交互系統、目標與場景識別等系統.

Table 2 Comparison of Files and Semantic Situational Maps表2 文件與語義情境圖的對比

根據DARPA提出的適應環境的人工智能思想，針對基于群體機器智能構建可解釋環境模型的挑戰，我們重點提出了可解釋環境表征、單體環境模型構建和群體環境模型構建機理.針對構建可解釋復雜環境表征的挑戰，我們提出了復雜環境的分解機理，重點是可解釋的環境積木發現和表征機制；針對單體機器人構建環境模型的挑戰，我們提出了基于可解釋的環境積木的動態組合機制，重點是環境積木的相關性分析和層次式組合派生機制；針對群體構建環境模型的挑戰，我們通過設計與實現，探索了群體共享環境模型的可擴展性，重點是環境模型知識與語義有組織的理解和共享.

4 系統實現

4.1 關鍵技術

4.1.1 群體智能行為操控技術

美國軍事戰略家約翰·博伊德(John Boyd)提出了一個行為認知模型——OODA循環[29]，該模型最初用于描述軍事對抗行動，現在已經被廣泛擴展到商業行為、社會事件和學習過程等應用領域.OODA循環由“觀察(observe)、判斷(orient)、決定(decide)、行動(act)”4個環節組成.該模型充分考慮到了開放環境和復雜系統的特征，能夠用于描述高級和復雜的群體行為.群體智能操作系統以“自主觀察與群體感知、自主判斷與群體認知、自主決定與群體博弈、自主行動與群體動力”這4個科學問題為牽引，參照OODA行為認知模型，將感知智能、認知智能、群體智能、人機混合智能等人工智能技術應用于OODA循環的4個環節，實現了對群體機器人的智能行為管理.

群體智能行為可以看作是一個復雜適應系統(complex adaptive systems， CAS)，系統中的成員是具有一定適應性的主體，每個主體能夠與環境以及其他主體進行交互作用.主體在這種持續不斷的交互作用的過程中，不斷地“學習”或“積累”經驗，并且根據學到的經驗改變自身的結構和行為方式.整個宏觀系統的演變或進化，包括新層次的產生、分化和多樣性的出現新的、聚合而成的、更大的主體的出現等，都將在這個基礎上逐步派生而來.群體智能體在這一過程中涌現出來的群體智能，使得整個群體行為系統不斷發展和進化，通過不斷地適應產生群體智能行為的復雜性.

4.1.2 自組織無線網絡技術

具有適應性和涌現性的智能群體通過單體之間的信息流動，實現復雜適應系統的“流”特性.在群體機器智能系統中，信息的流動依賴于自適應、自組織的網絡.因此，自組織網絡不僅是對群體機器智能適應性與環境交互機理的運用，也是構建具有適應性和涌現性的各類群體機器智能系統的共性基礎.

群體機器智能系統自組織網絡以群體機器智能聯合感知、群體機器智能聯合學習、群體機器智能聯合抽象和群體機器智能聯合推理算法為指導，一方面涉及分布式寬帶頻譜探測與認知機制、多維智能通信機制和彈性自組織網絡機制，另一方面涵蓋將上述模型和機制物化為實體的自組織網絡系統集成方法，主要包括：

1) 分布式寬帶頻譜探測與認知機制.基于分布式多無人平臺的協作頻譜探測，聚合多個平臺的探測頻段并進行精確的頻譜認知，從聚合的智能電磁群體與電磁環境的交互機制出發，設計自適應調控和折衷的單體規則.重點還包括基于機器學習的無線信道模型、多維頻譜地圖模型構建方法、頻譜感知網絡與自適應通信網絡動態構建方法.

2) 多維智能通信機制.主要是具有自主調節能力的多維智能通信機制，包括發射端基于學習型算法的波形自適應機制和接收端基于學習型算法的自適應接收技術，以實現空、時、頻、能、碼等多個維度的智能通信，匹配集群機器智.

3) 彈性自組織網絡機制.可進一步分解為通信運動聯合規劃和混合式自適應路由.群體機器智能系統通信運動聯合規劃根據任務需求量化系統優化目標，對物理電磁環境等外部約束、無人平臺自主感知-規劃-控制能力、通信能力和能量等內部約束進行建模，設計群體通信運動聯合規劃.混合式自適應路基于群體智能的適應性機理，在拓撲結構變化動態性較低的子網中采用反應式路由協議，在高動態拓撲變化的無人機子網中采用先應式路由協議等.

4) 自組織網絡系統集成方法.根據層次式和軟件構件化的設計思路，設計和實現支持分布式寬帶頻譜探測與認知機制、多維智能通信機制和彈性自組織網絡機制的自組織網絡系統集成方法，形成物化的分布可擴展互操作協議棧.

4.2 軟件原型開發

我們已完成了群體智能操作系統軟件micROS原型版本的開發，初步實現了多態分布體系架構，并且支持基于軟件總線的軟件插件化擴展.該軟件原型主要采用C++程序設計語言開發.micROS按照群體智能操作系統的結點層次式架構設計開發，核心模塊包括資源管理層和群體行為操控支撐架構層.其中，資源管理層分為物理域(physics domain)資源管理、信息域(information domain)資源管理、認知域(cognition domain)資源管理和作戰域/社會域(social domain)資源管理共4個子模塊；群體行為操控支撐架構層分為群體觀察支撐框架observe、群體判斷支撐框架orient、群體決定支撐框架decide、群體行動支撐框架act共4個子模塊.群體智能操作系統軟件原型的每一個子模塊都基于“軟件總線+插件”的設計進行開發，例如群體行動支撐框架act子模塊中包含群體行動軟件總線act_softbus和群體行動功能插件庫plugins.micROS在插件庫中提供了典型功能插件范例，并且支持第三方根據插件接口規范進行軟件的插件化擴展.目前micROS提供的典型插件范例包括多種無人系統傳感器驅動插件、典型控制器插件、導航定位數據處理插件、可見光數據處理插件、路徑規劃插件、群體行動自適應插件、群體動力控制插件、局部運動插件等.

針對大規模群體無人系統在虛擬空間中的行為仿真，基于高性能三維物理引擎、精細化虛擬實體建模系統、逼真環境生成系統、可視化展示系統構建并行化模擬仿真環境，為micROS提供仿真支撐，為平行學習架構提供平臺支撐，形成基本功能要素齊全的可視化展示能力、實物試驗前的功能集成測試能力、大規模集群的實驗驗證能力.針對物理引擎模塊計算復雜度高，仿真效率低的問題，基于自適應參數設置、多線程并發等技術，構建高性能物理引擎并行計算模塊.

針對單一仿真器可擴展性差，不足以支撐大規模集群實時/超實時仿真的缺點，基于micROS架構和發布/訂閱模式，構建可擴展的多仿真器分布式仿真架構.通過物理引擎并行計算與分布式仿真架構，實現大規模無人系統實時/超實時高精度并行仿真.針對仿真器可視化功能弱、展示效果差的問題，在可擴展的分布式仿真架構下，搭建三維可視化平臺，構建精細化虛擬實體建模系統、逼真環境生成系統，將仿真計算功能與可視化展示功能解耦，具備高逼真度的三維可視化展示能力.

4.3 機器人平臺適配

4.3.1 低成本群體無人機試驗系統Beebots

為了便于群體無人系統實物試驗的開展，我們首先基于商用微型四旋翼無人機搭建了群體無人機實驗硬件系統.相比固定翼無人機，旋翼無人機具有成本低、速度慢、安全性好、場地需求小等優勢，在系統研制初期試驗開展方面具有較大優勢.為了確保機上有足夠的計算資源部署和運行無人機應用程序，為無人機配備專門的任務板，為了使實驗平臺對機器人軟件開發有良好的支持，我們完成了群體智能操作系統軟件原型同無人機和任務板的適配與優化工作.如圖2所示，我們選取了Parrot Bebop 2旋翼無人機和樹莓派3 b開發板，作為無人機硬件和機載任務板，組成Beebots群體無人機實驗系統的個體.任務板可通過USB線纜直接連接無人機傳輸控制指令.

Fig. 2 Beebots experimental platform圖2 Beebots實驗系統

將樹莓派3 b和Parrot Bebop 2連接后組裝成Beebot個體，即可由多個Beebot個體組網形成無人機群，再加入PC地面站即可構成一套完整的無人機實物實驗驗證硬件系統，如圖3所示.進行組網時，既可以將所有樹莓派與地面站的無線網卡連接到同一路由器，也可以直接利用所有樹莓派與地面站的無線網卡組成無線自組網，從而實現Beebot個體之間以及與地面站之間的通信.

在上述Beebot群體無人機實驗硬件系統之上，我們完成了群體智能操作系統軟件原型適配、實驗輔助工具軟件開發等工作，進行了包括自主起飛、編隊生成、編隊機動、隊形變換、自主降落等科目在內的無人機群體協同行動能力實物驗證.

Fig. 3 Collective Beebots connected by ad hoc network圖3 Beebots群體無人機系統硬件結構示意圖

4.3.2 無人潛航器

無人潛航器在民用領域可執行鋪設管線、海底考察、海底施工等危險工作，在軍用領域則可用于偵察、布雷、掃雷、援潛和救生等任務.水域無人系統的推進方式和載荷類型與無人機具有顯著的不同，為驗證micROS對于水域無人系統的適配能力，我們對某型無人潛航器展開適配.

潛航器采用輪緣推進器實現動力推進，采用集成有多普勒測速儀的捷聯慣性系統實現位姿和速度估計，采用溫濕度傳感器、壓力計、電源管理等傳感器實現意外檢測和應急處理，采用前置聲吶實現障礙物檢測.此外，潛航器還配備有水下攝像頭、側掃聲吶等載荷.在micROS中，對潛航器的推進器和各型傳感器進行了資源適配，行動控制采用姿態位置控制回路和導引回路，實現了對潛航器的懸停、上移、下沉、等高航行和轉向等基本控制，以及繞航跡點的自主航行控制和行進過程中的自主避撞.

5 應用驗證

以無人系統實際應用需求作為機器人操作系統研發的導向，構建良好的機器人操作系統生態環境，以機器人操作系統易用、易開發為目標，在實際應用中驗證、發展micROS.值得注意的是，在傳統計算機操作系統的發展歷程中，不乏具備技術特色和技術優勢的產品，但是這些產品重技術輕應用、重研發輕驗證、重實驗輕推廣，最終都逐漸退出了歷史舞臺.以史為鑒，micROS從研發工作開始，就強調面向實際需求的應用驗證，近年來國內智能無人系統領域產業發展迅速，形成了一大批具備強大研發實力的企業，我們目前已開展的應用包括：無人農機、無人物流、協同搜救、通信中繼等，主要應用領域覆蓋無人系統相關的機械制造、動力控制、關鍵零部件加工、裝備實驗測試等.

在應用驗證的技術手段方面，借助并行化模擬仿真環境，根據現實應用需求牽引，采用虛實結合的方式，開發面向群體的地面站軟件，對micROS支持人機自主協同的能力進行驗證.另外，設計面向群體的任務級地面站軟件，作為面向應用的人機交互界面.該軟件擺脫了簡單一對一、一對多的遙控式交互方式，而是按照任務和功能劃分設計操作席位，例如任務規劃席、群體操控席、無人平臺監控席、通信保障席等，以實現操作員對群體無人系統的人機交互式操作.

6 結論與展望

群體智能機器人是有別于群體生物和群體社會的“新物種”，micROS創新了機器人操作系統的體系架構和核心概念的設計與實現.目前，micROS重點面向的是群體智能的結構性和適應性科學問題，下一步工作還將考慮群體智能機器人系統的智能涌現問題，朝著這一有挑戰的領域拓進發展.