美軍面向聯合環境的能力試驗方法研究

石治國, 韓 波, 林 木, 高愛國

(1.中國人民解放軍91351部隊,遼寧 葫蘆島 125106; 2.中國人民解放軍92941部隊,遼寧 葫蘆島 125000)

由于我軍開展裝備試驗鑒定的時間較短,缺乏系統、全面的試驗鑒定理論支撐,因此需要進一步探索如何高效開展一體化聯合試驗鑒定。美軍在裝備試驗鑒定方面經過多年的研究和實踐,取得了許多經驗。隨著作戰樣式逐漸向網絡化和體系化轉變,美軍認為,其傳統試驗鑒定過多關注系統級和體系級產品性能層面的評估,而新的試驗鑒定模式應更加關注如何在能力層面發現和解決作戰體系存在的問題。由于這種采辦策略重點放在能力生成上,因此被稱為基于能力的采辦(Capability-Based Acquisition,CBA)。其試驗基本思想是面向聯合環境的試驗(Test in a Joint Environment,TIJE)[1-2],聯合環境是指在不同體系結構、不同類型的異構試驗環境資源之間互聯互操作構建的聯合試驗環境。美國國防部基于該思想建立了對應聯合環境試驗的需求生成機制——聯合能力集成與開發系統(Joint Capability Integration and Development System,JCIDS)、體系結構建模規范——國防部體系結構框架(DoD Architecture Framework,DoDAF)和研究機構——聯合試驗與鑒定(Joint Test &Evaluation,JT&E)項目辦公室,美國國防部基于上述機制保證武器裝備在試驗周期中能夠進行高效的聯合能力試驗和評估[3-6]。

聯合環境下武器裝備性能的評估與聯合使命環境(Joint Mission Environment,JME)相關,聯合使命環境是指通過不同使命、任務功能構建的聯合環境。而傳統試驗鑒定領域中并沒有一個合適的理論體系來解決它們之間定義和集成的問題。因此,美國國防部授權JTEM(Joint Test &Evaluation Methodology)項目組開發了一種新的模型化方法。此前,美軍國防采辦政策中已經有一個稱為“V模型”的系統工程方法[7],描述了組件、分系統與系統層面的試驗方法和規程,用于規范研制試驗評估到作戰試驗評估階段的采辦過程,但“V模型”無法解決能力層面的評估問題,這促使美國國防部開始對已有的研究成果進行整合和創新,并根據實踐經驗提出了能力試驗方法(Capability Test Methodology,CTM),該方法適用于聯合環境。

本文在研究美軍CTM基本方法和應用的基礎上,從模型化描述、評估指標體系與能力走廊、試驗空間與MTM探索性分析方法、能力試驗評估方法等方面對CTM進行綜述,最后分析該方法對我軍裝備試驗與鑒定的借鑒意義。

1 CTM的模型化描述

作為美軍面向聯合環境試驗的指導性方法,CTM包含一整套用以解決能力評估的理論、方法、程序、規程和試驗手段[8-10]。在CTM出臺以前,美國防部已經有很多標準和機制用來指導聯合環境試驗,包括國防部分析議程(Analytic Agenda,AA)、JCIDS、DoDAF和國防采辦系統(Defense Acquisition System)等。JTEM在開發CTM時采用本體方法建立了一套術語集,對相關的概念進行了統一的規范。這套術語集主要包括3個模型[11-12]:

① 能力評估元模型(Capability Evaluation Metamodel,CEM),用于為CTM的評估和操作提供評估指標框架;

② 流程模型,用于提供各個操作之間的流程關系;

③ 聯合使命環境基礎模型。

作為CTM方法和流程的基礎,CEM從認識論的角度對CTM進行了詳細的建模,CEM核心模型如圖1所示,其包括一系列概念和它們之間的關系和規則[13]。

圖1 CEM核心模型

CEM整合了DoD能力、體系、分析基線、能力差和評價指標等概念,為評估“能力”對體系使命效能(Joint Mission effectiveness,JMe)的貢獻率提供兼容平臺。CEM(又稱為“星模型”)與流程模型的輸出緊密關聯,并形成了一個循環結構,如圖2所示。該結構描述了CEM與流程和若干子流程之間的關系。

圖2 CTM的“星模型”

“星模型”的開發和集成聯合能力軸如圖3所示[14],該軸按照以下3個步驟進行。

圖3 “星模型”與“V模型”在需求生成方面對比

① 需求分析。從使命預期效果和關鍵任務兩方面發現能力問題。

② 功能分析和分配。從使命級和任務級層次出發,映射到聯合能力域(Joint Capability Area,JCA)。

③ 綜合設計。在體系層面上進行邏輯設計使得CTM可以在裝備和非裝備兩方面考察體系能力問題。

“星模型”的2～6軸,表示系統集成與校核活動,具體如圖4所示。與“V模型”相比,CTM的試驗活動更加強調在能力生成過程中建立一個不斷校正、改進試驗評估活動的循環。該循環有以下好處:

圖4 “星模型”與“V模型”在試驗活動方面對比

① 不但關注能力域問題,而且對試驗活動本身進行限制,這使得試驗能夠及時糾正和調整,從而適應特殊的任務需求。

② 發現體系缺陷后,對體系進行調整和改進,為能力生成提供穩定保證。

2 評估指標體系與能力走廊

2.1 評估指標體系

美軍傳統的研制試驗鑒定是在系統性能層面進行的,側重于評估單個系統的效能、適用性和生存能力。但是對于由多個系統組成的體系,其整體的能力和性能不能再簡單地分解為部分之和。按照分類,體系評估的內容包含了裝備和非裝備兩方面,非裝備方面是體系評估區別于傳統試驗評估最明顯的特征,包括條令、組織、訓練、裝備、領導力、人員和設施(DOTMLPF)。這些新內容的加入大幅增加了試驗鑒定的復雜性,因此,CTM采用了新的評估指標體系,這個評估指標體系在兼容傳統試驗鑒定的基礎上,還將關鍵聯合問題(CJI)、使命預期效果和聯合任務整合到一起[13]。

簡單地說,CTM的評估指標體系按照3個層次進行衡量,可以描述為以下多元組:

Measure=

即指標層主要分為使命效能指標、任務性能指標和體系屬性指標。使命效能指標MOE(Measure of Effectiveness)用來評估系統行為、能力、作戰環境的變化對使命終態達到、使命目標實現、使命預期結果創建的影響;任務性能指標MOP(Measure of Performance)用來評估一項任務是否能夠完成,例如近空火力支援、聯合火力打擊任務等;體系屬性指標MOSA(Measure of System/SoS Attribute)是最底層的指標,包括一系列裝備和非裝備的性能屬性。在CTM中,能力的評估是在一個特定的想定和環境下進行的,即認為能力是在聯合使命環境以及規定的標準和條件下,通過一定的方式和方法完成一組任務,最終達到使命預期效果的程度。系統和體系本身被看作實現任務集的手段之一,最終目的是實現使命預期效果,因此,系統或體系的不同配置和不同運用方式成為試驗變量之一,這與關注系統級、體系級產品自身性能的研制試驗評估、作戰試驗評估有明顯區別。

2.2 關鍵能力問題和關鍵作戰問題

為了確保需求部門提出的能力需求可精準地在試驗中得以復現,分析人員需要在設計試驗之前明確關鍵能力問題(CCI)和關鍵作戰問題(COI)。

關鍵能力問題用來定義、組織、構建基于能力思想的多維方案空間和多維響應空間。關鍵能力問題中的主要元素包括要執行的任務、使命預期效果、體系組成、條件(包含威脅和環境因素),其典型表述形式為評估在指定的條件A下使用體系配置Y執行任務X以達到使命預期效果Z的能力,例如:評估在全面軍事行動下,當前/未來指揮控制系統執行戰場空間消解任務,以達到聯合作戰區域內敵方威脅被摧毀或失效的能力。

關鍵作戰問題用來定義系統功能的實現與風險,與關鍵能力問題不同的是,關鍵作戰問題是一個成敗型的評價標準,它的失敗意味著系統沒有滿足用戶的需求。關鍵作戰問題一般以問題的形式表述,例如:網絡化支援裝備是否能與現有綜合火力體系兼容?在作戰環境下系統是否安全運行?某系統的飛行軌跡在線修正能力如何?

2.3 能力走廊及其矩陣

為了規范試驗指標的設計過程,CTM使用了一種稱為“能力走廊”的方法[9],它將試驗評估和聯合作戰想定(Joint Operational Context for Test,JOC-T)中所有關鍵因素結合起來,通過多個矩陣描述它們之間的關系。按照不同用途,能力走廊的矩陣可分為能力追溯矩陣和指標追溯矩陣。

能力追溯矩陣描述關鍵能力問題、關鍵作戰問題到使命預期效果、任務和體系元素的映射關系。根據任務需要,能力追溯矩陣靈活可調,示例如圖5所示。圖5將關鍵能力問題映射到DOTMLPF條件、任務環境和體系配置的組合中。

圖5 能力追溯矩陣

指標追溯矩陣描述關鍵能力問題、關鍵作戰問題或者使命預期效果、任務和系統/體系元素到評估指標的映射關系,示例如圖6所示。圖6中將關鍵能力問題映射到了使命效能指標、任務性能指標和體系指標。

圖6 指標追溯矩陣

3 試驗空間與MTM探索性分析方法

通過試驗指標體系設計,CTM給出了聯合使命效能與其他試驗變量之間的關系[9],可表示為

JMe=f(SoS,JME,JM)

即聯合使命效能是我方體系SoS、聯合使命環境JME和規定的聯合使命JM的函數。將SoS、JME和JM作為坐標軸,可以把試驗變量看作是在三維空間上的樣本空間,稱為試驗空間。在具體的實例中,每一個坐標軸又可能包含更多的維度,這使得試驗空間變得非常復雜。

為了在如此復雜的試驗空間中展開試驗,CTM采用的策略是通過被稱為MTM的探索性分析方法對試驗空間進行篩選,如圖7所示。MTM探索性分析的第1步是設計一個試驗評估策略來生成一個試驗空間,并根據試驗空間定義的試驗因素和試驗指標,建立試驗需求。第2步是將試驗空間改進為總體試驗空間的子集,可以通過建模仿真技術來確定關鍵的試驗區域。最終的試驗是在一個LVC(Living-Virtual-Constructive,真實—虛擬—構造)的分布式環境上進行的[15-17],通過分析試驗結果來判斷試驗是否滿足需求,通過不斷重復,完成聯合能力的評估。

圖7 MTM探索性分析方法

在試驗空間的探索性分析中,有很多經典的試驗設計方法可以使用,包括正交設計、空間填充設計[18]等,對試驗空間進行探索的一般流程如圖8所示。在這方面已經有很多成功的案例[19-23],例如美國海軍研究生院在涉及多達120個因素的試驗中使用了“中央復合設計”[23],Team6使用基于Agent的仿真工具MANA對一個“火力支援”任務的試驗空間進行了探索性分析[25-31]。

圖8 對試驗空間的探索性分析過程

4 能力試驗評估方法

CTM試驗結果的評估包括數據分析和SoS/JMe評估2條線程,流程進行如圖9所示。數據分析通過分析試驗定性和定量數據,研究系統/體系在使命環境下對使命效能的貢獻是否具有統計意義,并研究在試驗期間發生了哪些重要的結果或重要的趨勢。SoS/JMe評估包括探索性分析、綜合評估,識別重大發現等步驟。評估過程通常使用的技術包括響應曲面法、分類和回歸樹、輪廓和交互圖、多目標檢測響應函數的決策分析等。

圖9 試驗結果分析與評估流程

5 實例分析

下面以一個優化聯合空地系統(Joint Air Ground System,JAGS)摧毀敵方威脅能力的例子進行說明,JAGS是一套包含了各種作戰實體及其指揮、控制、通信等系統的聯合體,該系統使用戰術空域集成系統(Tactical Airspace Integration System,TAIS)作為其空域協調和管理的手段。試驗包含2個變量因素,一個使用2個不同版本的TAIS的代表當前/未來的系統方案,反映裝備層面要素;另一個使用2種不同的指控流程(傳統的和簡化的)代表非裝備層面要素影響。2個因素的組合構成了一個被試“體系”和4種不同配置方案,通過執行4次試驗對結果進行分析和評估。

5.1 試驗數據分析流程

(1) 使命效能指標分析。

對于使命效能指標MOE1“敵方威脅目標失效率”,在4種不同的體系配置下各進行了4次試驗,統計敵方威脅目標失效率,結果如表1所示,需關注這4種不同體系配置是否對使命效能指標MOE1具有明顯影響。

表1 敵方威脅目標失效率

這是一個多樣本非參數檢驗問題,使用Kruskal-Wallis的H統計量進行檢驗,針對假設:H0(各樣本Xi代表的總體分布相同)和H1(各樣本Xi代表的總體分布不完全相同),求出混合后各樣本的秩和,構造H統計量:

(1)

式中:Ri為第i個樣本的秩和;ni為第i個樣本的樣本數量。計算H=0.796,查自由度為3的χ2分布表,按a=0.05水平檢驗,不拒絕H0,因此還不能認為不同體系配置對完成使命的效能有顯著差異。

(2) 任務性能指標分析。

任務性能指標MOP1“執行間接火力支援任務耗時”是一個時間維變量,可作為衡量不同體系配置對任務級性能的影響度量。在4種不同的體系配置下各收集了64個樣本,統計直方圖如圖10所示,任務耗時數據的均值和方差如表2所示,需關注不同體系配置是否對MOP1具有明顯影響。

表2 任務耗時數據的均值和方差

圖10 統計直方圖

該試驗樣本量比較大,可以用方差分析方法,首先提出原假設H0和備擇假設H1,構造F檢驗統計量,計算得F=3.05,在a=0.05水平上選擇拒絕H0,即認為不同體系配置下的MOP1具有明顯差異。

(3) 體系屬性指標分析。

體系屬性指標MOSA1“決策速度”是一個衡量體系指揮效率的指標,該指標計算從空中支援請求進入指控鏈到指控系統完成評估的總耗時,它反映了整個OODA循環的效率。與上面類似,4種不同的體系配置下各收集了64個樣本,通過方差分析,選擇接受H0,即認為不同體系配置下的MOSA1沒有明顯差異。

5.2 SoS/JMe評估流程

5.1節的分析中統計了MOE1和MOP1的均值,它們從不同角度刻畫了不同體系配置在作戰行動中的效率,可以用來評估體系的貢獻率。但這還不足以全面反映體系對使命層次需求的滿足情況,例如某些體系配置下,在行動初期就可以對敵方威脅進行迅速、有效的打擊,但隨著時間的推移,敵方威脅數量逐漸減少,打擊效率必然下降,這種對影響整個行動進程的評價是MOE1和MOP1無法給出的。因此,這里還引入了“敵方威脅系統失效累計時間”的使命效能指標MOE2,計算公式為

(2)

式中:x為威脅目標數量;Ti為第i個目標的失效時間;Tn為行動結束時間;TD為期望的平均累計失效時間。

圖11解釋了使命效能指標MOE2與MOP1之間的區別,2個試驗樣本都是由多個單獨的間接火力支援任務組成,雖然總體任務平均耗時相同,即MOP1相同,但樣本1中的MOE2更高,即敵方威脅失效累計時間更長,相當于敵方威脅存在的累計時間更短,顯然,樣本1的體系配置更優。

6 結束語

能力試驗法是美軍為了在聯合作戰環境下有效進行武器裝備聯合試驗與評估而開發的一種方法,并已在實踐應用中獲得成功。本文對其方法模型進行了深入研究,分析其能力指標的構建和評估方法,對我軍武器裝備體系貢獻率的評估具有很大的啟示。

目前,體系化建設已成為武器裝備發展的重要原則。我軍裝備建設正步入自主創新、成體系發展的歷史階段,裝備信息化程度顯著提高。為客觀有效地檢驗裝備的體系化實戰能力,可以借鑒美軍CTM方法的成功經驗。CTM方法的基礎是其底層的系統工程結構,即CEM,它合并了能力、體系、分析基線、能力差距和評估措施概念,在評估體系對作戰能力需求滿足度時可提供更好的一致性。基于CEM概念,CTM建立了其龐雜的上層結構——“星模型”,以增強系統在能力開發過程中的應用。這種模型化驅動方法的好處在實際應用中得到了充分體現。通過整合JCIDS能力概念、CJI和度量框架,建立了強大的能力評估循環。基礎的CEM底層結構和能力“星模型”為體系貢獻率提供了一種科學的、符合系統工程原理的評估方法,其理論方法和實踐值得我軍借鑒。