高性能分布式論證仿真支撐環境分析

陳 欣，梁洪波，李 猛，張英潮

（1.北京郵電大學計算機學院，100876 北京;2.復雜系統仿真國家重點實驗室，100101 北京;3.國防科技大學 計算機學院，410073 長沙）

高性能分布式論證仿真支撐環境分析

陳 欣1，2，梁洪波3，李 猛3，張英潮2

（1.北京郵電大學計算機學院，100876 北京;2.復雜系統仿真國家重點實驗室，100101 北京;3.國防科技大學 計算機學院，410073 長沙）

為獲得能滿足論證仿真需要的具有超實時運算能力的高性能仿真支撐環境，根據高性能分布式仿真的需求特點，研究以高層體系結構(HLA)為核心的高性能分布式仿真集成開發與運行管理環境的軟件組成和體系結構，主要包括集成開發環境和運行與監控管理環境，為高性能分布式仿真應用的開發、測試、集成、初始化、運行、監控、管理等提供一體化的支撐.重點研究基于高性能計算機的分布仿真支撐環境HPCRTI的功能設計和關鍵技術.基于該環境進行了某裝備體系仿真實驗，實驗結果表明，大規模仿真系統的運行效率提高了17.8倍.

高層體系結構(HLA);高性能分布式仿真;開發集成環境;運行與監控管理環境

論證仿真主要以復雜問題分析為目的，利用仿真技術模擬戰爭系統的運動規律，突出模型的構建和大量的運算分析，對模型構建的可信性要求高，對模擬系統的分析計算能力要求高，其目的是能夠獲得可行、優化的戰略決策、作戰方案以及武器裝備運用方案.論證仿真一般針對研究對象的不確定性因素進行探索仿真，獲取大量仿真結果數據，繼而采用適當的后處理方法對仿真結果進行綜合分析，以發現和理解復雜現象背后的數據變量(各個影響因素)之間的重要關系，找出它們之間所遵循的規律，獲得論證問題的合理解與滿意解［1］.

用于論證分析研究的仿真系統不同于用于訓練的仿真系統，具有如下特點:

1)解空間的海量性.論證問題首先體現在變化因素多，如組成結構、數量規模、性能參數等;因此，優化時的解空間具有維度災，方案的數量是根據解空間的維度而成指數倍增長.如“恐怖的海峽”采用了探索性分析方法，僅對7個變量進行分析，就產生了3×4×2×2×3×2×6=1 728次仿真試驗方案.

2)仿真試驗方案的海量性.由于解空間具有維度災，效能指標的數量和結構非常繁多和復雜，而每項效能指標的獲取都需要大量基礎數據的支持.論證分析的結論需要建立在對多次仿真結果進行綜合分析的基礎上.例如，在“恐怖的海峽”項目中，蘭德公司研究人員通過1 700多次JICM運行，用以研究7個關鍵變量的影響.在“沙漠盾牌”行動方案分析評估中，美陸軍概念分析局(CAA)使用 CEM 共運行了500 多次［1－2］.

3)仿真運行的超實時性.論證分析的仿真推演時間通常要求遠小于實際軍事活動的推進時間，且軍事分析結論是建立在對各類關鍵變量進行大量探索性運算基礎之上的;因此，運算時間成為分析仿真系統必須考慮的重要問題.“超實時”仿真運行模式能大幅度縮短對一次軍事行動過程的仿真運行時間，進而實現在一個相對短的時間內完成盡可能多的仿真試驗方案分析.如美軍JWARS仿真系統能夠在2.5 h內完成100 d時間的戰區級戰役.美國空軍的THUNDER系統要求在2 h內對45 d的戰役行動仿真運行5次，一次仿真運行的時間加速比要達到2000∶1.由此可見，高層次的論證分析仿真具有很高的仿真時間加速比.

1 目前分布式交互仿真平臺存在的問題

目前，分布式仿真的代表是由美國國防部提出的高層體系結構HLA(High Level Architecture)，該結構通過定義了一個靈活的、可伸縮的、可重用的軟件體系，實現了基于組件“即插即用”的分布式仿真思想［3］，并于2000年9月，被正式接納為IEEE 1516標準［4］.HLA技術對新一代分布仿真技術的發展起到了極大的推動作用.

在我國，不少科研單位都已研制了HLA仿真平臺，并廣泛應用于國防和經濟建設的各個領域.然而，隨著由于仿真規模的不斷擴大和復雜程度的不斷提高，基于PC機網絡的仿真運行無法滿足應用需求，主要存在以下幾個問題.

1)系統響應慢.在論證過程中，總是希望修改某個參數(集)后，仿真系統能夠迅速得到相應的仿真結果，但如果采用分布式仿真技術(DIS/HLA或其他體系結構)，由于網絡延時和節點間時間同步開銷，這種需求是很難滿足的.對于一個比較完整的攻防對抗仿真系統，通常至少需要運行30 min以上.

2)仿真試驗時間長.武器裝備論證要求定量的仿真結果達到一定的置信度水平，因此要求試驗的樣本數足夠大，如果一次仿真試驗需要較長時間，就無法保證仿真試驗的效率;

3)多次仿真運行之間的不相關性很難保證.仿真定量評估采用的基本方法是蒙特－卡羅方法，它要求使用的隨機數序列的獨立性和相關性符合要求.對于分布式仿真系統來說，如果不經過精心的設計，是很難滿足的.

4)仿真系統管理復雜.對分布式仿真系統，隨著節點的增加，系統的開發、調試、維護和數據管理的復雜度也相應的加大.

因此，人們期待利用高性能計算機強大的計算和通信能力提高仿真系統的運行效率.基于高性能分布式仿真的要求，支撐環境必須具有高性能、跨平臺的仿真運行支撐及監控管理能力［5］，具備高度自動化的、功能豐富齊全的集成化仿真開發與集成測試環境，并為大規模分布式仿真建立先進、高效、規范的應用開發模式.

2 高性能分布式仿真支撐環境軟件結構及功能設計

高性能分布式仿真支撐環境由集成開發環境和運行監控管理環境組成，為分布式仿真的開發、測試、集成、初始化、運行、監控管理、分析評估提供一體化的支撐，其軟件結構如圖1所示［5］.

2.1 集成開發環境

集成開發環境具體包括對象模型開發工具、盟員框架自動生成工具、聯盟測試工具、想定生成工具、任務分發與負載平衡工具、資源共享環境、對象模型庫、盟員庫、想定庫等［5］，旨在為大規模仿真的開發、測試、集成及仿真初始化等提供高度自動化、功能豐富齊全的集成化工具.

2.1.1 對象模型開發工具StarOMT

對象模型開發的目的是為了實現HLA分布交互仿真系統.該工具要求采用靈活快捷的數據組織方式、建模能力和模型重用能力.

圖1 高性能仿真集成開發與運行支撐環境軟件結構

2.1.2 盟員框架自動生成工具StarWizard

研究盟員框架自動生成工具旨在建立一個基于HLA/RTI仿真系統的可視化集成開發環境，可以為聯盟成員提供一個高度結構化的、圖形化環境.實現讀入FDD格式的對象模型數據文件，自動生成基于FOM/SOM中各元素的C++源代碼，生成聯盟成員外殼代碼，在RTI和實際仿真實體模型間提供一個抽象層等功能.聯盟成員開發者只需要負責實現仿真實體模型的仿真功能.

2.1.3 聯盟測試工具StarTest

聯盟測試工具的研究旨在聯盟開發和集成中，對聯盟及盟員進行全面的測試，確保聯盟各項功能的實現.

聯盟測試過程較為復雜，包括盟員測試和聯盟測試，其中盟員軟件單元測試通常由各盟員的開發者對自己所開發的盟員進行測試，直至各軟件單元沒有錯誤且滿足其最初的設計意圖，為整個測試的基礎;集成測試通常先進行盟員之間一對一的測試，再進行多盟員集中測試.

2.1.4 想定生成工具StarSET

傳統的想定編輯與生成系統大多面向特定領域的具體應用，具有固定的想定參數結構和設置界面，通用性較差，各單位均想開發適合自己的想定系統.想定生成工具StarSET采用基于參數模板文件的通用想定參數編輯方法，通過解析用戶提供預定義格式的仿真應用參數模板文件，自動生成參數設置界面，實現想定需求編輯與生成仿真想定參數，滿足想定編輯與生成通用性的需求.

2.1.5 任務分發器(StarDeploy)

研制任務分發器(StarDeploy)旨在依據作戰方案，為用戶提供描述任務分發的規程，根據機器的載荷狀態，對盟員進行動態分配，依照用戶的任務分發規程對盟員進行遠程啟和初始化設置.技術難度主要包括任務分發規程描述語言，負載平衡調度機制，流程控制機制以及遠程分發和執行機制.

2.1.6 資源共享環境StarShare

建立資源共享環境通過為模型、數據、計算、存儲、網絡等各種資源的封裝和發布提供工具，通過網絡用語可實現共享資源的瀏覽、查詢和信息交換(許可條件下).當本地資源不足時(大規模作戰)，可將多個實驗室構成為一仿真網絡，利用遠程仿真資源，將遠程實驗室作為分布式仿真的一個節點加入到大規模仿真系統中.環境共享資源的關鍵技術主要包括資源管理和調度、網格監控服務和數據管理.

2.2 運行與監控管理環境

運行與監控管理環境為分布式仿真的運行、監控、管理記錄回放等提供高效、直觀的支撐平臺和工具，主要包括高性能分布式仿真運行支撐平臺、聯盟管理工具、仿真顯示盟員和記錄回放工具［5］.

2.2.1 高性能分布式仿真運行支撐平臺HPC-RTI

高性能仿真運行支撐平臺HPC－RTI旨在支持多武器平臺、大范圍、多軍種以及戰略、戰役和戰術層次上的模擬仿真，實現不同地域、不同領域的各仿真實體及其與實裝系統的綜合集成和無縫連接［3］.

與高性能仿真運行支撐平臺相關的主要技術突破包括:滿足大規模仿真的RTI體系結構及其實現技術，特別是基于高性能計算機的RTI的實現技術;高效的RTI自適應通信機制;針對分布式仿真應用多盟員互連通信特點的高效的共享內存通信技術等.

2.2.1.1 高性能RTI體系結構及其實現技術

高性能RTI由于需要支持的實體規模大、盟員多，因此，適宜采用功能分布式體系結構［6］.其實現由兩部分組成:中心RTI部件CRC以及本地RTI部件LRC.HPC－RTI實現結構如圖2所示.

圖2 HPC-RTI實現結構

CRC作為中心服務器程序，負責創建與銷毀聯盟，并在聯盟執行過程中，維護全聯盟信息，監控聯盟運行狀態，協調各盟員之間的信息同步.

本地RTI部件(LRC)作為盟員方的HLA中間件，主要完成以下任務:為盟員調用RTI服務提供支持;向盟員提供回調服務支持;維護本地聯盟及盟員信息;實現與CRC之間的通信;實現與其他LRC之間的通信.

功能分布式體系結構能夠有效地分散RTI的計算和通信負擔，提高仿真系統的運行效率.

2.2.1.2 高性能RTI自適應通信技術

目前，刀片集群已逐漸成為高性能計算機(HPC)的主流體系結構，該結構結合了SMP和MPP的優點，具備節點內共享存儲和節點間分布存儲的層次結構，可實現節點內共享內存、節點間Infiniband等高速互連兩級通信.此外，當與外部網絡連接時，還存在高性能節點與外部PC節點間的以太網通信.這種多層次的通信環境，客觀上對HPC－RTI的通信機制提出了更高的要求［7－9］.HPC-RIT 的通信環境見圖3.

圖3 HPC－RTI通信環境

然而，現有的RTI通信機制主要基于TCP/IP實現，雖然能滿足基于分布網絡構建HLA仿真的應用需求，但單一的通信機制不能有效發揮高性能計算機層次式通信硬件的效能，即不能實現同一個計算節點內盟員間高效的共享內存通信，只能基于同一個網絡實現盟員間互操作.為實現與外部盟員間通信，盟員需基于以太網TCP/IP通信，因此不能發揮高性能計算節點間高速IB互連優勢.為此，必須研究支持HPC－RTI共享內存/IB/以太網自適應的通信機制，使之能夠根據通信雙方所在節點的網絡拓撲信息，自適應建立延遲最小的通信連接，實現共享內存、IB等高速互連及以太網互連的自適應選擇.

2.2.1.3 高效的節點內盟員共享內存通信技術.

對于多核多CPU計算平臺，共享內存是一種高效的進程間通信方式，通過共享內存運行不同CPU上的進程間通信從而獲得較高的通信效率.然而，傳統的共享內存通信方式是多個進程使用同一個內存區域，當通信的進程增多時，易造成讀寫沖突，導致系統資源等待，共享內存通信效率降低.針對分布式仿真應用多盟員互連通信的特點，研究基于分布式共享內存的RTI盟員通信算法(見圖4)，在保證內存訪問一致性的同時，有效減少盟員之間的共享內存訪問沖突，提高通信效率.

圖4 分布式共享內存通信

2.2.2 聯盟管理工具StarFM

在HLA仿真中，對聯盟進行監控和管理需建立在對RTI、聯盟和盟員深入了解的基礎之上，是一項十分復雜的工作.為有效對其進行監控和管理，HLA中定義了管理對象模型MOM，有限的對RTI、聯盟和盟員進行監控和管理［10］.

2.2.3 仿真顯示盟員StarScope

仿真顯示盟員在仿真過程中可以表格、一維曲線、二維曲線、三維曲線、直方圖、二維態勢圖、盟員狀態圖等多種方式實時顯示指定盟員的有關屬性和參數.

2.2.4 記錄回放工具StarLogger

記錄分析是HLA仿真平臺必備的功能，但對于大規模分布式仿真系統，巨大數據的多樣性和復雜性使得記錄分析面臨的挑戰，對仿真過程中的數據進行有效記錄和分析成為許多仿真應用和發展的巨大障礙.研制盟員記錄分析工具的目的是將仿真過程中盟員的狀態進行記錄和保存，仿真完成后通過保存的記錄重現盟員仿真的過程，進而對聯盟執行和結果分析提供幫助.

高性能仿真記錄回放工具面臨運行環境復雜(高性能計算機+PC機+共享內存、Infiniband、以太網等多種通信環境)、記錄數據量大等挑戰，需要突破跨平臺、自適應、高效率等相關技術.

3 陸軍裝備體系論證仿真實驗

某體系對抗仿真系統共有300多個盟員，涉及1 300多個裝備實體對象，在傳統的HLA仿真環境下運行一次共需67 h，將其移植到本文的高性能環境并進行仿真效率的分析對比，主要包括三類指標.

1)仿真實體硬件指標主要體現仿真資源的硬件環境，包含系統反應時間、信息存取速度和節點利用率;

2)仿真實體網絡資源指標主要體現分布式環境中數據交換的網絡環境，包含反應網絡QoS性能指標網絡帶寬、延時和信道利用率;

3)仿真實體綜合性能主要體現在分布式仿真中的實體模型組件性能，包含組件智能水平、響應時間、吞吐量和資源利用率.

這些指標可以分別量化，同時可以根據不同系統設計要求或經驗選擇各指標的權值作為資源的綜合評判標準.為了更公平的對比，以單個節點的仿真效率評價為基準，其評價函數和表示為

其中αi(i≤i≤10)為評價函數的權值參數，分別對應表示系統的9個具體資源評價指標參數.在不同層次進行資源評價時，可以根據信息聚合的不同要求對評價函數的權值進行調整.指標參數包括:

tR(n)表示第n個節點上的硬件設備反應時間，即節點從收到信息請求到信息返回的總運算時間，這個指標本是一個隨機數，對單一特定任務滿足高斯分布，這里定義為指標的統計期望值.

s(n)表示第n個節點上硬件設備的數據存取速度，即信息在運算過程中對數據庫操作的總完成時間，在硬件性能和軟件相同的情況下，它可以設為存取信息量的線性函數.

rN(n)表示第n個節點上硬件設備的節點利用率，即節點運行時間與系統運行時間的比值，這個量體現了系統并行運行的效率.

b(n)表示針對第n個節點的網絡帶寬指標，一般可以作為固定數值來處理.

tD(n)表示第n個節點的網絡傳輸延時，即從數據傳輸請求開始到數據傳輸完成確認為止的時間間隔，這是一個隨機數，滿足高斯分布，這里也考慮為指標的統計期望.

rC(n)表示第n個節點的網絡信道利用率，即網絡通信時間與系統運行時間的比值，這個量體現了網絡利用的效率.

tC(n)表示第n個節點硬件平臺上可組合組件的響應時間，即節點程序從收到信息請求到信息返回的總運算時間，這里也定義為指標的統計期望值.

h(n)表示第n個節點硬件平臺上可組合組件的吞吐量，即組件每秒鐘處理信息量的大小，這個量體現了組件信息處理的效率.

rm(n)表示第n個節點硬件平臺上可組合組件的資源利用率，即組件運行時間與系統運行時間的比值，這個量體現了資源利用的效率.

通過運行計算得到如圖5所示的對比結果，其中節點的平均仿真效率R(n)從70增加到1 246，提高了17.8倍.所用仿真時間從4 020 min減少到279 min，縮短了93.1%.

圖5 仿真運行效率對比

4 結束語

1)由于需要海量仿真數據作為支撐，論證仿真系統需要在高性能仿真平臺上實現超實時仿真.

2)基于高性能計算機的HPC－RTI是實現高性能仿真環境的關鍵，其主要解決分布式體系結構、自適應通信技術和共享內存通信技術等問題.

3)高性能分布式論證仿真支撐環境主要由集成開發環境和運行與監控管理環境兩大部分組成，可為分布式仿真的開發、測試、集成、初始化、運行、監控管理、分析評估提供一體化的支撐.

4)對某大規模仿真系統進行對比分析表明，本文設計的高性能分布式論證仿真支撐環境運行效率提高了17.8倍，仿真時間縮短了93.1%.

［1］姚益平，張穎星.基于并行處理的分析仿真解決方案［J］.系統仿真學報，2008，24(12):6617－6621.

［2］姚益平，劉剛.面向大規模體系仿真的高性能仿真計算機系統［J］.系統仿真學報，2011，23(8):1617－1623.

［3］李猛.高性能RTI自適應通信機制研究與實現［D］.長沙:國防科學技術大學，2011.

［4］Simulation Interoperability Standards Committee(SISC)of the IEEE Computer Society.IEEE Standard for Modeling and Simulation(M＆S)High Level Architecture(HLA)—IEEE Std 1516 － 2000，1516.1 － 2000，1516.2 －2000［S］.New York:The Institute of Electrical and Electronics Engineers Inc，2000.

［5］姚益平，曲慶軍，劉步權，等.大規模分布式仿真支撐環境的設計［C］//全球化制造高級論壇暨21世紀仿真技術研討會論文集.貴州:中國系統仿真學會，2004:458－462.

［6］姚益平，盧錫城，王懷民.層次式RTI服務器的設計與實現［J］.計算機學報，2003，26(6):716 －721.

［7］姚益平，盧錫城.HLA/RTI時間管理的一種優化算法［J］.電子學報，2004，32(2):294 －297.

［8］CHEN Chunpeng，YAO Yiping，WANG Huaimin.Hierarchical Federation Community and Time Management［J］.SIMULATION，2008，84(7):373－383.

［9］LIU Buquan，YAO Yiping，WANG Huaimin.An Efficient Algorithm in the HLA Time Management［C］//Proceedings of the 2007 Winter Simulation Conference.New York:Institute of Electrical and Electronics Engineers Inc，2007:585 －593.

［10］梁洪波，柳林，姚益平，等.高性能RTI自適應通信機制研究［J］.國防科技大學學報，2012，34(3):148－153.

Analysis of support environment for high performance distributed simulation

CHEN Xin1，2，LIANG Hong-bo3，LI Meng3，ZHANG Ying-chao2

(1.School of Computer Science and Technology，Beijing University of Posts and Communications，100876 Beijing，China;2.State Key Lab for Complex Systems Simulation，100101 Beijing，China;3.Computer College of National University of Defense Technology，410073 Changsha，China)

To obtain high-performance simulation supporting environment that can satisfy the need of argument simulation and with super real-time operation ability，according to the characteristic of high-performance distributed simulation，a software architecture and components of integrated environment is researched for developing and running high-performance distributed simulation based on high level architecture(HLA).It Mainly includes the integrated development environment and running-monitoring management environment，and provides an integrated environment for the development，test，integration，initialization，execution，monitoring，and management of high-performance distributed simulation.The function design and key technologies of each component，especially HPC-RTI，are described in detail.A certain equipment system simulation experiment was carried out，and the experimental results show that the efficiency of large-scale simulation system is improved by 17.8 times.

high level architecture(HLA);high-performance distributed simulation;development and integration environment;execution and management environment

TP391.9

A

0367－6234(2012)09－0107－06

2011－08－07.

國家自然科學基金資助項目(61170048).

陳 欣(1978—)，男，博士研究生.

陳 欣，skybirdcx@sina.com.

(編輯 楊 波)