有人/無人機編隊三位可視化系統的軟件設計與實現

李一波，王倉庫，姬曉飛

(沈陽航空航天大學 自動化學院，遼寧 沈陽 110136)

?

有人/無人機編隊三位可視化系統的軟件設計與實現

李一波，王倉庫，姬曉飛

(沈陽航空航天大學 自動化學院，遼寧 沈陽 110136)

摘要：針對未來有人/無人機混合編隊的作戰模式和增強三維可視化虛擬實現效果的需求，設計了在某無人機真實的Simulink模型的基礎上結合FlightGear和MFC的有人/無人機編隊三維可視化系統。系統充分利用FlightGear的強大視景系統、MATLAB-Simulink快速解算控制算法的能力、MFC開發的應用程序以及各個功能模塊結構化，使得三維可視化系統的飛行數據和飛行視景具有時序性、可視性，各模擬模塊可以根據不同的需求進行更改、升級和替代。經過多次仿真實驗，該系統占用資源少，實現了有人/無人機混合編隊的編隊飛行和空戰演示的整個過程的三維可視化顯示，具有很好的三維可視化效果，達到了有人/無人機編隊三維可視化系統項目的要求。

關鍵詞：模塊化；有人/無人機編隊；三維可視化系統；虛擬現實；FlightGear；Simulink

中文引用格式：李一波，王倉庫，姬曉飛. 有人/無人機編隊三位可視化系統的軟件設計與實現[J]. 智能系統學報， 2016, 11(2): 272-278.

英文引用格式：LI Yibo, WANG Cangku, JI Xiaofei. Design and implementation of manned/unmanned aircraft formations in 3D visualization[J]. CAAI transactions on intelligent systems, 2016, 11(2): 272-278.

有人機作為長機帶領有人和無人機的混合編隊飛行不僅將使系統的綜合效能和任務執行時的冗余性能得到大幅提升，而且彌補了單純無人機編隊對復雜環境識別和判斷失誤等方面的不足，成為有人/無人機混合編隊及其應用技術發展的研究新熱點，目前在編隊隊形控制、協同作戰、信息交互處理以及具體實現驗證等多方面已經開展了廣泛的研究。隨著研究的不斷深入，設定的系統運行環境和編隊模型的相異性，對驗證研究理論的方法和驗證手段帶來了更大的困難，由于實體驗證需要完備的工程設計，大量的驗證工作，人力資源的浪費，工作的耗時，以及昂貴的實驗儀器和物質消耗，因此虛擬仿真驗證作為一種靈活、低耗的驗證方法適用于大多數的理論性預研研究[1-4]。

目前有人/無人機編隊飛行的虛擬仿真實驗平臺設計與實現方面的取得了一定的研究進展[5-8]，Rasmussend等[5]結合MATLAB和VC實現了無人機編隊航跡規劃過程中的自主避障的仿真,采用MATLAB快速的解算能力和VC設計的操作平臺使無人機編隊在航跡規劃過程中達到了很好的避障效果，但是避障過程不能夠實現三維可視化的呈現并且可視化過程中不能添加指令，占用資源多； Wei等[6]構建了一種FlightGear、VC++平臺和MFC框架結合的可視化仿真平臺，利用FlightGear強大視景顯示功能和MFC設計的操作界面實現了在仿真過程中可以添加指令，同時也具有很好的可視化仿真效果，但是基于FlightGear飛機模型解算速度比較慢，不能達到可視化效果的實時性，且占用資源多;應進等[7]綜合應用MATLAB/Simulink、FlightGear設計并實現了一個在MATLAB環境下基于FlightGear視景的直升機飛控仿真平臺，利用MATLAB/Simulink快速的解算能力和FlightGear強大視景顯示功能實現了直升機仿真的三維實時可視化顯示，但沒有設計仿真系統操作平臺界面，不能在仿真過程中添加指令且占用資源多；李文皓等[8]提出了模塊化結構的無人機編隊飛行仿真實驗平臺，使系統占用資源小，但是系統可視化場景單一，不能體現起飛、編隊和空戰整個過程。綜上所述，目前有人/無人機編隊三維可視化系統的研究還不成熟，均不能同時實現三維實時可視化顯示和在仿真過程中隨機地添加指令的功能。為了解決上述問題，提出了運用FlightGear、MATLAB-Simulink和VC(MFC框架)結合的方法設計有人/無人機編隊三維實時可視化顯示的系統，實現了無人機編隊整個起飛、編隊變換和空戰的三維實時的可視化效果和隨機添加指令的功能。

該有人/無人機編隊三維可視化系統是目前軟件結合最為復雜、功能最全面的研究，為有人/無人機編隊飛行的研究提供了一個預研性的實驗工具，同時也為未來研究有人/無人機混合編隊協同作戰中相關的技術提供了有效的驗證平臺。

1可視化系統軟件

1.1功能需求分析

混合編隊可視化系統包含單機控制、編隊隊形保持控制[9]、編隊隊形變換控制、數據通信傳輸控制、避障控制、任務分配以及攻擊占位控制等，為了驗證這一系列的綜合效果，系統必須具有以下幾點功能：

1)地面站控制指令；

2)有人機的任務端指令；

3)編隊中控制器的輸入輸出；

4)編隊中避障控制器的輸入輸出；

5)編隊中隊形保持和隊形變換控制器輸入輸出。

此外，為使得混合編隊可視化系統具有系統邏輯封裝性好、擴展性強、性能穩定、易于維護的特點，在設計系統時應當充分采用結構模塊化、分散控制方式、獨立化以及通用化接口設計。

1.2系統結構設計

為了適應未來編隊飛行控制技術要求，以系統結構模塊化設計思想為指導，將混合編隊可視化系統分為人機交互和控制部分。系統的總體架構如圖1所示。

人機交互部分包括：

1)可視化視景模塊：通過FlightGear軟件視景將各有人機、無人機飛行的狀態實時地反映于虛擬3D場景中，將立體展示了有人/無人協同編隊飛行的整個飛行場景，增加用戶的沉浸感，達到了人機交互、實時可視化的效果，輸入為對應當前時刻各架飛機的飛行信息，輸出為3D場景渲染圖形圖像；

2)界面交互模塊：為了方便研究人員在控制過程中添加指令和干預系統的進程，可以通過界面完成各種操作，包括編隊隊形的變換，在飛行航跡上添加空中或者地面威脅，重新設置控制參數等。

控制部分包括：

1)控制器模塊：為了使得僚機能夠快速跟蹤長機的飛行航向、高度和速度，同時與長機保持一定的橫向和縱向間距，通過變換控制信號使得間距誤差趨向于零，無論長機是處于平飛或機動狀態，任能保持一定的編隊隊形，并能滿足性能指標。

2)編隊隊形保持和變換控制模塊：通過地面站或者長機界面的指令集輸入期望保持的編隊隊形參數，輸出編隊隊形保持的狀態指令。

3)編隊隊形變換控制模塊：通過地面站或者長機界面的指令集輸入期望變換的編隊隊形參數，輸出編隊變換的狀態指令。

對于由N架飛機組成的編隊，各個模塊將生成N個獨立的模塊，編隊中各架飛機相互獨立的控制和飛行數據解算，通過在各個模塊設置標準的輸入端口，方便系統中各個算法的修改和變換。

圖1　系統的總體架構Fig.1　The overall architecture of the system

2系統的實現

系統平臺設計總的可以分為人機界面、FlightGear三維可視化模塊、無人機模型模塊、無人機動力學系統仿真模型模塊和聯合仿真。

2.1系統界面的實現

混合編隊可視化系統包含地面站界面、無人機界面，人機界面如圖2所示。采用MFC框架的CFormView為基類[9]，并通過添加菜單項和添加按鈕、地圖、列表框、圖片等控件進行開發設計，用以實現數據的顯示、無人機編隊的實時航跡及位置和控制指令的輸入。人機交互界面主要包含二維電子地圖區、編隊放大區、數據信息顯示區和操作指令控制區。

圖2　人機界面Fig.2　The man-machine interface

2.2FlightGear三維可視化視景

由于單純以OpenGL語句實現系統編隊飛行場景和飛機模型代碼量巨大，也不利于針對不同的無人機尺寸模型修改，為此采用AC3D軟件構建無人機的外部模型，通過編寫模型的配置文件將其映射至場景中，而后飛行數據通過通信模塊傳輸給FlightGear仿真模塊，驅動無人機模塊仿真。由于FlightGear包括很多子系統，飛行器模塊是各個系統的綜合，接受環境系統和動力學系統的控制，控制結果通過三維可視仿真系統進行渲染，通過日志系統記錄飛行姿態和位置信息，發動機的響動和風聲都由聲音/音效系統模擬，大大簡化系統開發的復雜度和周期，而且針對無人機模型不同尺寸和不同的無人機模型都可以進行相應的修改，使得建立模型與系統可視化仿真互相獨立，增大了系統仿真的擴容性和模型的可移植性，同時FlightGear各主要組件都獨立于硬件和操作系統，基于FlightGear開發的三維可視化仿真系統具有較高的可重用性和可擴展性，能夠輕松地在不同操作系統之間移植。此外，通過設置變視點和隨機全景視點，使得可以從多角度、大跨度、多尺距地觀察虛擬可視化場景，為操作員的感官認知帶來有利的支撐。其無人機模型制作和場景多視點觀察效果如圖3所示。

圖3　無人機模型制作和場景多視點觀察效果Fig.3　The model production and multi-view observation effect of scene

2.3模塊化與集成的實現

為了使得仿真系統具備較強的可擴展性，其各模塊都采用UDP通信模式，在不斷深入的研究中可以在離線的條件下修改對應模塊算法而無需對仿真系統內部各個模塊進行升級，當仿真系統出現運行報錯或者異常時可通過逐步檢查各模塊的輸入輸出給予以定位和修復。無人機編隊三維可視化系統的內部模塊之間存在著相互獨立又有數據信息交互性耦合，為了使數據傳輸能夠在獨立的情況下實現數據交互的耦合性，設立了指令集和無人機狀態顯示集。當地面站利用UDP網絡傳輸方式將飛行指令傳給僚機任務終端，各架僚機之間實施分散協同控制，同時將基于PID編隊隊形控制算法解算的飛行控制數據傳輸給無人機Simulink動力學模型，如圖4所示，飛行控制數據被解算為飛行數據傳輸到地面站界面，完成一次解算輪回，同時驅動可視化系統不斷更新場景，使得三維可視化顯示的實時性更高。

圖4　無人機Simulink動力學模型Fig.4　Simulink dynamic model of UAV

2.4仿真的實現

啟動VC和FlightGear，VC初始化模塊對FlightGear的初始化模塊和Simulink模型中的初始化文件進行設置，然后將VC的環境設置模塊傳給FlightGear的環境設置模塊，此時，運行控制模塊，開始起飛，地面站界面模塊利用UDP網絡傳輸方式(通信模塊)將飛行指令傳給僚機任務終端界面模塊，根據指令將基于PID的控制模塊解算出的飛行控制數據傳=傳輸給無人機Simulink動力學模型，飛行控制數據被解算為飛行數據，這時飛行數據被分別傳送到采用外部數據驅動的并已載入無人機模型的FlightGear，驅動FlightGear可視化引擎，生成混合編隊的編隊飛行、編隊巡航和空戰的三維可視化顯示和界面終端模塊，再次經過飛行控制器和動力學模型解算出下一時刻的各飛機飛行狀態并更新狀態，完成一次解算輪回，通過間歇式的時序驅動系統仿真不斷進行解算飛行數據，使得仿真系統的飛行數據具有較高的實時性,實現了VC(控制模塊)—Simulink(自駕儀模塊)—FlightGear(飛機模塊)三者循環調整數據，系統模塊數據傳輸如圖5所示,控制整個飛機作戰系統的飛行任務，其聯合仿真圖如圖6。

圖5　系統模塊數據傳輸Fig.5　System data transmission

圖6　系統仿真流程圖Fig.6　Simulation flow chart of the system

3基于PID的編隊飛行控制

系統采用了經典的PID控制進行編隊隊形控制，編隊采用長僚模式飛行，由于長機采用航跡跟蹤控制，故編隊隊形協同控制主要是對僚機控制，分為速度通道、航向通道、高度通道，分別對應為速度控制量、滾轉角控制量和俯仰角控制量，并且將各個通道強制解耦，即每個通道不存在相互影響。

1)速度通道(速度)：對于長僚機速度偏差采用增量式PID，其中kvp、kvi、kvd分別為長僚機速度偏差調節的比例、積分、微分系數，計算公式為

(1)

對于縱向偏差采用位置式PID，其中kyp、kyi、kyd分別為縱向偏差的比例、積分、微分系數，公式為

(2)

式中：VC_L_F、VC-ye、VC分別將長僚機速度偏差經過PID后計算的速度量、縱向偏差經過PID后計算的速度量、最終得到速度控制量。經過線性組合得

(3)

(4)

2)航向通道(滾轉)：對于長僚機航向偏差采用增量式PID，其中kwp、kwi、kwd分別為長僚機航向偏差調節的比例、積分、微分系數，計算公式為

(5)

對于橫向偏差采用位置式PID，其中kxp、kxi、kxd分別為橫向偏差調節的比例、積分、微分系數，公式為

(6)

將長僚機航向偏差經過PID后計算的速度量ωC-L-F與橫向偏差經過PID后計算的速度量ωC-xe線性組合,最終得到速度控制量ωC為

(7)

由于無人機飛行滾轉角受限，故輸入的滾轉角要設定在一定范圍之內。

(8)

3)高度通道(俯仰)：對于高度偏差采用增量式PID，其中kzp、kzi、kzd分別為長僚機高度偏差調節的比例、積分、微分系數，計算公式為

(9)

由于無人機飛行俯仰受限，故輸入的俯仰要設定在無人機的俯仰范圍之內。

(10)

4無人機編隊和空戰可視化效果

4.1系統性能測試

為了驗證混合編隊可視化系統飛行數據的實時性，進行了56次的功能測試，測試平臺如表1。

通過校內跨境電商創業基地，學生可以學習和掌握跨境電商一線的操作技能，這些技能是從任何書本都學不到的。通過跨境電商校內創業基地培養的學生，畢業后可以直接進入企業崗位。

表1　本系統測試結果

表2文獻[8]系統測試結果

Table 2Test results of system test in the literature [8]

參數值平均仿真時間36'27″平均飛行數據36.90M平均錄像數據721.59M仿真數據刷新率10幀/sVR幀數5幀/s系統資源占用度Cpu31%內存:30M平均重繪圖線47幅

通過表1和表2的對比，可知該三維可視化系統占用資源較少，實時性較高。

4.2無人機編隊可視化

設置不同的編隊隊形進行飛行可視化試驗，用以驗證算法的編隊隊形控制，無人機編隊由一字隊形變換成菱形編隊，在變換為人形編隊。編隊相對位置參數如表3所示。通過對PID控制算法中比例、積分、微分參數進行調節快速實現編隊隊形的變換，PID參數如表4所示。

表3　編隊參數

表4　PID參數

通過多次試驗，該系統三維可視化效果如圖7、8、9所示。

圖7　一字編隊Fig.7　A word formation

文獻[5]、[7]的可視化效果分別圖10中的(a)和(b)。通過對比，本系統的三維實時可視化效果好，并可以通過地圖實時顯示無人機編隊的位置，同時還可以在系統運行過程中添加指令。

圖8　菱形編隊Fig.8　The diamond formation

圖9　人字形編隊Fig.9　The herringbone formation

圖10　文獻可視化效果Fig.10　The visualization effect of literature

5結束語

隨著對混合編隊飛行控制、空戰研究的深入，使得綜合驗證混合編隊控制理念的需求日趨重要和迫切，本文通過可替換的飛機模型、實時的FlightGear場景的更新、飛行數據的實時顯示和混合編隊飛行的三維可視化顯示，能夠給與實驗者深刻的沉浸感和參與感，解決了現有開發系統文獻的不足，為混合編隊控制理論的研究提供有力支撐，為未來研究有人/無人機混合編隊協同作戰中相關的技術提供了有效的驗證平臺。

參考文獻:

[1]TORENS C, ADOLF F, GOORMANN L. Certification and software verification considerations for autonomous unmanned aircraft[J]. Journal of aerospace information systems, 2014, 11(10): 649-664.

[2]REW D Y, LEE W R, KOO C H, et al. HILS approach in the virtual flight test of the Korean lunar lander demonstrator[C]//Proceedings of AIAA Modeling and Simulation Technologies (MST) Conference. Boston, MA, 2013: 4675-4684.

[3]TIAN Yongliang, LIU Hu, FENG Haocheng, et al. Virtual simulation-based evaluation of ground handling for future aircraft concepts[J]. Journal of aerospace information systems, 2013, 10(5): 218-228.

[4]SULLIVAN B, MALSOM S. Development of a real-time virtual airspace simulation capability for air traffic management research[C]//Proceedings of AIAA Modeling and Simulation Technologies Conference and Exhibit. Monterey, California, 2002: 4592-4598.

[5]RASMUSSEN S J, CHANDLER P R. MultiUAV: a multiple UAV simulation for investigation of cooperative control[C]//Proceedings of the Winter Simulation Conference. San Diego, CA, USA, 2002, 1: 869-877.

[6]WEI Liu, XU Zhi, MA Y M, et al. A study on the flight data visualization of general aviation based on flightgear[J]. Applied mechanics and materials, 2014, 552: 367-372.

[7]應進, 潘浩曼, 代冀陽, 等. Matlab/FlightGear直升機視景仿真研究[J]. 實驗技術與管理, 2014, 31(8): 106-109.

YING Jin, PAN Haoman, DAI Jiyang, et al. Research on visual flight simulation based on Matlab/FlightGear[J]. Experimental technology and management, 2014, 31(8): 106-109.

[8]李文皓, 張珩. 用于陣形控制的無人機編隊飛行仿真平臺設計與實現[J]. 系統仿真學報, 2009, 21(3): 691-694.

LI Wenhao, ZHANG Heng. Simulation platform design and realization for unmanned aerial vehicle formation control[J]. Journal of system simulation, 2007, 21(3): 691-694.

[9]徐璇, 姜明新, 黃靜, 等. 基于MFC的工程軟件界面設計[J]. 電子設計工程, 2011, 19(21): 11-13.

XU Xuan, JIANG Mingxin, HUANG Jing, et al. Software interface design of MFC-based engineering[J]. Electronic design engineering, 2011, 19(21): 11-13.

李一波，男，1963年生，教授，博士生導師，博士，主要研究方向為飛行控制、復雜系統、人機智能、生物特征識別、圖像處理與模式識別等。曾獲軍隊級科技進步三等獎1項、省國防工業辦公室科技進步二等獎1項。主持和參與近30項科研項目，發表學術論文100余篇，其中被SCI及EI檢索30余篇。

王倉庫，男，1989年生，碩士研究生，主要研究方向為系統的開發與實現、人工智能和自主飛行控制。

姬曉飛，女，1978年生，副教授，博士，主要研究方向為視頻分析與處理、模式識別。承擔國家自然科學基金項目、教育部留學回國啟動基金項目等多項。發表學術論文30余篇，其中被SCI、EI檢索15篇。

Design and implementation of manned/unmanned aircraft formations in 3D visualization

LI Yibo, WANG Cangku, JI Xiaofei

(School of Automation, Shenyang Aerospace University, Shenyang 110136, China)

Abstract：For future war modes requiring cooperative engagements that mix manned aircrafts with unmanned automotive vehicles (UAVs) and for enhancing the 3D visualized virtual realization effect, a manned/unmanned aircraft formation 3D visualization system based on Simulink model, FlightGear, and MFC was designed. The system makes full use of FlightGear′s powerful visual system, the control algorithm′s fast calculating ability on MATLAB Simulink, the application procedure developed by MFC, and the structuring of each functional module to make the flight data and flight vision sequential and visible and to enable each simulation module to be renewable, updatable, and exchangeable. Numerous simulation experiments indicate that this system requires a small amount of resources to implement a series of 3D visual displays of the entire process, including formation flight simulation, air combat demonstrations, weather conditions, and geographical environments. The system has a good 3D visualization effect and satisfies the requirements for a 3D visualization system for manned/unmanned aircraft formations.

Keywords：modulation; manned/unmanned aircraft formation; 3D visualization system; VR; FlightGear; Simulink

作者簡介：

中圖分類號：V279;TP311

文獻標志碼：A

文章編號：1673-4785(2016)02-0272-07

通信作者：王倉庫.E-mail：13354247128@163.com.

基金項目：遼寧省教育廳科技研究項目(L2014066)；遼寧省高等學校優秀人才支持計劃項目(LJQ2014018).

收稿日期：2015-08-14. 網絡出版日期：2016-03-15.

DOI:10.11992/tis.201508014

網絡出版地址：http://www.cnki.net/kcms/detail/23.1538.TP.20160315.1252.022.html