信息系統體系成熟度的加權評價模型

柯宏發，陳典斌，郭道通，祝冀魯

(1. 裝備學院 裝備試驗系， 北京 102206； 2. 裝備學院 研究生管理大隊， 北京 101416)

【基礎研究】

信息系統體系成熟度的加權評價模型

柯宏發1，陳典斌2，郭道通2，祝冀魯1

(1. 裝備學院 裝備試驗系， 北京 102206； 2. 裝備學院 研究生管理大隊， 北京 101416)

總結了信息系統預期發展演化目標實現水平評價體系成熟度問題的國內外研究現狀；給出了體系成熟度評價框架和實現步驟；建立了互操作、互認知和技術成熟度分量評價模型和體系成熟度加權評價模型；分析了體系成熟度加權評價模型的應用前景。

信息系統；體系成熟度；互操作；互認知；技術成熟度；權重

軍事信息系統是軍隊作戰要素高度融合、信息資源高效利用和體系作戰能力生成的基礎和平臺，已經成為軍事裝備現代化的基本象征、國防和軍隊現代化水平的重要標志[1,2]，成功開發一些滿足聯合作戰需求的軍事信息系統至關重要。但是軍事信息系統的研制開發存在著較嚴重的費用超支、進度拖延等問題，給武器裝備體系建設造成了極為不利的影響。將成熟度理論應用于裝備的研制管理，可以為裝備的發展建設決策提供依據，降低裝備的建設風險[3]。

目前國內關于技術成熟度、系統成熟度取得較多的研究成果[3-6]，形成了相應的國家軍用標準[7]，在多種武器裝備的論證、研制中得到了成功的應用。如GJB/Z144—2004[7]提供了一種對指揮自動化系統互操作性等級進行劃分和評估的方法，文獻[4]基于單項技術成熟度模型建立了武器裝備系統、體系技術成熟度模型，文獻[5]針對軍事信息系統的發展和運用現狀很有創見地提出了“互操作、互理解、互遵循”成熟度模型，文獻[6]提出了一種基于集成的信息系統體系成熟度評價方法，等等。本文借鑒國外系統成熟度的權值計算法和國內研究成果，考慮軍事信息系統分系統互操作成熟度、互認知成熟度、技術成熟度之間的相對重要性，提出一種信息系統體系成熟度的加權評估模型。

1 體系成熟度的國內外研究現狀

軍事信息系統是信息化作戰體系的中樞神經，通過信息系統實現信息獲取、處理、共享、存儲、運用以及對抗，最終形成全軍一體化聯合的體系作戰能力。信息系統的體系成熟度是指在技術研發、集成生產、試驗與評價、使用保障等階段，體系發展演化等預期建設目標的實現水平或層級；體系成熟度評價就是針對體系發展成熟的若干階段、采用標準化或等級化的度量等級對體系成熟度等級進行判斷的系統化方法和流程。體系成熟度評價可以用來描述信息系統當前狀態在其發展演化過程中所處階段的位置，反映體系對預期建設目標的滿足程度。

1.1 國外研究現狀

系統或體系成熟度評價均源自于技術成熟度評價。美國國家航空航天局(NASA)于20世紀70年代前后提出了技術成熟度等級的概念，1995年對7級技術成熟度進行補充完善后劃分為9級，并發布了《技術成熟度等級白皮書》[8-10]。美國國防部副部長幫辦于2001年6月簽署備忘錄，將技術成熟度評價方法引入新的國防重大采辦項目。2003年5月，美國國防部在新發布的采辦政策和指令文件中，要求必須采用技術成熟度評價方法支撐國防采辦的關鍵里程碑節點決策，同年發布《技術成熟度評價手冊》，2005年、2009年、2011年進行三次補充修訂，最終為《技術成熟度評價指南》[11-13]。

目前的9級技術成熟度標準主要針對單項技術，隨著網絡化、開放性和服務化的裝備體系集成和發展，單純的技術成熟度評價越來越表現出不確定和不成熟現象。美國斯蒂文森理工學院Brain Sauaer等人借鑒集成技術指標的思想，于2006年提出了系統成熟度的概念，2008年提出了相應的矩陣計算模型。經過大量探索與實踐，美英等國學者在系統成熟度研究方面取得重大進展[14]，目前提出的典型計算理論和模型包括矩陣計算法、權值計算法、因子計算法和模板對比法，為系統成熟度在武器裝備研制評價中的應用提供了豐實的理論基礎。針對指揮信息系統的互操作性屬性，美國國防部在1998年系統地規范了信息系統互操作性等級(Levels of Information Systems Interoperability, LISI)評估方法[15]。

1.2 國內研究現狀

國內從20世紀90年代末開始重視成熟度評價的研究工作[3]，航天領域最先引入成熟度的概念，對航天產品進行成熟度劃分[16]；裝備論證機構和科研管理部門自2008年起開始試點應用技術成熟度評價方法[3]，在裝備建設中開展了大量的成熟度評價理論研究與實踐工作?？傮w而言，隨著成熟度理論的研究與推廣，結合裝備建設的實際應用，國內關于技術成熟度評價的應用研究已基本成熟，取得很多的研究與應用成果，形成了相應的國家軍用標準，如GJB9001B質量管理體系要求、GJB5000A軍用軟件研制能力成熟度模型GJB/Z144—2004指揮自動化系統互操作性等級及評估等。國內部分研究人員對系統成熟度評價方法也進行了研究探索，如文獻[4]在單項技術成熟度評估的基礎上，建立了裝備系統技術成熟度、武器裝備體系技術成熟度的評估方法；文獻[5]針對軍事信息系統的發展和運用現狀，提出了“互操作、互理解、互遵循”的新型能力，并建立了“互操作、互理解、互遵循”成熟度模型；文獻[6]將信息系統體系成熟度分解為技術、互操作和互認知3個成熟度分量，提出了一種基于集成的信息系統體系成熟度評價方法；文獻[16]深入探討了復雜系統體系技術成熟度評價的模型框架和評價標準制定、評價流程設計等問題；文獻[17]分析了海軍裝備技術體系的系統成熟度評價需求，提出了與我軍裝備發展過程相適應的評價等級定義；文獻[18]結合單項技術成熟度和技術集成成熟度評估，建立了大型武器裝備子系統技術成熟度和系統成熟度評估模型；文獻[19]基于技術成熟度探索性地對飛行試驗技術發展過程進行階段劃分和內涵說明。

技術成熟度、系統成熟度已在多種武器裝備的論證、研制中得到成功應用，但是由于信息系統是從信息收集系統、信息處理系統、信息分發系統等多個復雜系統演化組成的“系統體系”，特別是信息系統的信息域、認知域、社會域特征，信息系統的體系成熟度評價是目前裝備體系發展中的研究熱點與難點。

2 信息系統體系成熟度評價框架和步驟

2.1 體系成熟度評價框架

信息系統是由信息收集、信息處理、信息分發等多個復雜系統組成的“系統體系”，其復雜度高、綜合性強，系統與系統之間的交聯橫跨物理、信息、認知、社會等領域，各個分系統的論證、研制是一系列不同步的周期模型，信息系統的論證、研制是一項復雜的系統工程。因此，隨著時間的推移，體系成熟度模型需要涵蓋、綜合物理、信息、認知、社會等領域的特點和要求來描述信息系統的成熟度水平層級?？紤]信息系統體系成熟度的不同層次構建，主要以互操作成熟度和技術成熟度表征信息系統物理域和信息域的成熟度水平層級，以互認知成熟度從整體上表征信息系統認知域和社會域的成熟度水平層級，建立信息系統體系成熟度評價框架如圖1所示。

圖1 信息系統的體系成熟度評價框架

假設信息系統由n項分系統組成，圖1中將信息系統體系成熟度分解為互操作成熟度、互認知成熟度和系統技術成熟度3個分量；每個分量又分別取決于n項分系統的分系統互操作成熟度、互認知成熟度、技術成熟度和分系統之間的權重；其中每個分系統互操作成熟度取決于相應的互操作屬性成熟度水平及互操作屬性權重，每個分系統互認知成熟度取決于相應的互認知屬性成熟度水平及互認知屬性權重，每個分系統技術成熟度取決于相應支撐的單項技術成熟度和技術集成成熟度。

基于圖1所示的多層次評價框架，需要從下至上依次建立各個成熟度等級評價模型。首先需要建立由單項技術成熟度等級和技術集成成熟度等級到分系統技術成熟度等級的聚合模型、互操作屬性成熟度水平到分系統互操作成熟度等級的聚合模型、互認知屬性成熟度水平到分系統互認知成熟度等級的聚合模型；然后考慮n項分系統的相對重要性，分別建立分系統互操作成熟度等級、分系統互認知成熟度等級和分系統技術成熟度等級到互操作成熟度等級、互認知成熟度等級和技術成熟度等級的聚合模型；最后建立互操作成熟度等級、互認知成熟度等級和技術成熟度等級的聚合模型，從而得到信息系統體系成熟度評價結果。

2.2 體系成熟度評價步驟

信息系統組成分系統之間存在兩兩交互關系，其復雜度高、綜合性強，系統之間交聯覆蓋物理、信息、認知、社會等領域，其體系結構的復雜性、綜合性直接增加了上述各種聚合模型的表達難度。鑒于建模的合理性和可行性，本文采用線性加權的思想建立聚合模型。其中體系成熟度3個分量以及分系統之間的權重采用網絡化層次分析法進行計算，以反映其中的交互關系；互操作、互認知屬性權重采用層次分析法進行計算。

根據圖1所示的體系成熟度評價框架，信息系統體系成熟度加權評價可分為如下主要步驟：1)確定信息系統的主要分系統組成及各分系統涉及的關鍵技術；2)分析體系成熟度3個分量以及分系統之間的交互關系，分別構建權重的網絡化判斷矩陣，求解3個分量及分系統的權重向量；3)分析各個分系統互操作屬性、互認知屬性之間的相對重要性，基于層次分析法求解權重向量；4)分析各分系統內部技術結構及技術集成關系，制定各分系統的集成成熟度和技術成熟度等級標準，并依據定義的標準確定各分系統的單項技術成熟度與技術之間的集成成熟度；5)制定各分系統互操作、互認知成熟度等級標準，依據相應的標準確定各分系統互操作、互認知成熟度等級水平；6)基于分系統單項技術成熟度與技術集成成熟度計算分系統技術成熟度，基于相應的屬性權重和屬性等級水平計算各分系統的互操作成熟度和互認知成熟度；7)基于分系統權重計算信息系統的互操作、互認知和技術成熟度；8)基于3個分量權重計算信息系統體系成熟度。

信息系統n項分系統的相對重要性程度采用網絡層次分析法進行計算，其主要步驟是，首先基于網絡層次分析法的1～9標度對分系統之間相對重要性進行量化，其次通過計算網絡的兩兩比較判斷矩陣、構建無權超矩陣和加權超矩陣、計算極限超矩陣，最后進行綜合排序得到權重值。本文假設求得n項分系統的權重向量為W=w1,w2,…,wn。

本文后續模型中的符號含義如下：信息系統體系成熟度等級用符號ISRL(information system readiness level)表示、互操作成熟度等級用符號IORL(interoperability readiness level)表示、互認知成熟度等級用符號MCRL(mutual cognition readiness level)表示、系統技術成熟度等級用符號STRL(system technology readiness level)表示；分系統互操作成熟度等級用符號SIORL(subsystem interoperable readiness level)表示、分系統互認知成熟度等級用符號SMCRL(subsystem mutual cognition readiness level)表示、分系統技術成熟度等級用符號SSTRL(subsystem technology readiness level)表示；單項技術成熟度等級用符號TRL(technology readiness level)表示，技術集成成熟度等級用符號IRL(integration readiness level)表示。

3 互操作成熟度等級及評價模型

互操作是信息系統最為核心的物質基礎[20]，美國國防部在2001年給出的互操作性定義是：互操作性是指系統、單位或軍事力量之間相互提供和接受服務，以使他們能夠有效共同運作的能力；我國GJB/Z144—2004對互操作性所做的定義是：兩個或兩個以上系統或應用之間交換信息并利用所交換信息的能力。

美國國防部C4ISR工作組分析了信息系統之間的交互復雜性、交互特點以及互操作需求，提出了5個互操作成熟等級描述信息系統之間交互和共享信息的“成熟度”；文獻[7]建立了指揮自動化系統的5級互操作成熟等級模型；文獻[5]提出了軍事信息系統6個級別的增強型互操作成熟度參考模型，該模型涵蓋信息系統的軟件、網絡、資源等活動載體特征，本文采用該模型評估信息系統的互操作成熟度，其模型及含義要素見文獻[5]。

(1)

基于加權求和的思路，對信息系統分系統互操作成熟度度進行聚合，得到信息系統互操作成熟度

(2)

4 互認知成熟度等級及評價模型

信息系統是物理域、信息域、認知域、社會域內軍事活動的載體，多領域知識的認知與共享從一定程度上也就決定了信息系統的發展水平。認知就是指軍事活動者對軍事活動信息領會、了解、懂得的判斷和決策行為，而互認知就是指軍事活動者對這些信息和知識的共享過程。在一定的制度、規則和機制前提下，信息系統利用網絡、人工智能等技術對獲取的信息進行加工，為這些知識、經驗和智慧的一致性認知、互認知創造了條件。信息系統的互認知主要關注其信息、知識的處理，使信息處理能力覆蓋到認知域、社會域等。

文獻[6]借鑒文獻[5]的互理解和互遵循成熟度模型，建立了一種信息系統的互認知成熟度等級模型，其模型及含義要素見文獻[6]，本文利用該互認知成熟度等級評價信息系統的互認知能力。

(3)

對各個分系統互認知成熟度進行加權求和，得到信息系統互認知成熟度

(4)

5 技術成熟度等級及評價模型

單項技術成熟度和技術集成成熟度是信息系統分系統技術成熟度分析的基礎，單項技術成熟度和技術集成成熟度等級決定了分系統技術成熟度的高低。本文采用目前通用的9級單項技術成熟度和9級技術集成成熟度，其含義見文獻[3-4]。

(5)

假設第i項分系統中第kk=1,2,…,j項技術所集成的技術數量為ik，則有第i項分系統的標準化技術成熟度等級矢量

(6)

則第i項分系統技術成熟度表示為

(7)

對n項分系統的技術成熟度進行加權聚合，得到信息系統的技術成熟度為

(8)

6 體系成熟度評價模型及應用分析

6.1 體系成熟度評價模型

信息系統互操作、互認知和技術成熟度作為體系成熟度評價的基礎要素，從3個角度刻畫、表征了信息系統發展演化的狀態和水平。利用權重集w1,w2,w3表示信息系統互操作、互認知和技術成熟度之間的相對重要性，則有信息系統體系成熟度等級評價模型

ISRL=w1IORL+w2MCRL+w3STRL

(9)

式中ISRL的取值范圍為0,1?？梢钥闯?，該模型對信息系統互操作、互認知和技術成熟度采取了分級量化評估的描述形式，雖然體系成熟度能評估給定發展階段下信息系統的潛在成熟水平，能通過值ISRL比較不同信息系統的成熟度大小，但是該值本身并不具備明顯的物理意義。

6.2 評價模型的應用分析

本文關于信息系統體系成熟度的加權評價模型可以應用于以下幾個方面。

1) 依據體系成熟度的大小對多個不同的信息系統進行比較，可以用于一定發展階段的信息系統選型。

2) 分析影響信息系統發展演化水平的瓶頸分量和瓶頸分系統。將3個分量IORL、MCRL、STRL分別與ISRL進行比較，小于ISRL值對應的分量建設狀態滯后于信息系統發展狀態水平，應注意分析該分量對信息系統整體建設的影響；其中最小值對應的分量可以認為是影響信息系統整體建設的瓶頸分量，應重點采取針對性的管理措施。另外，在權重集w1,w2,w3作用下，第i項分系統的成熟度模型可以表示為

ISRLi=w1SIORLi+w2SMCRLi+w3SSTRLi

(10)

比較ISRLi與ISRL的大小，若ISRLi≥ISRL，則可以認為第i項分系統的發展狀態水平達到信息系統的建設狀態，否則認為第i項分系統的發展狀態滯后。ISRLi評價值較低的分系統，可以認為是影響信息系統整體建設的瓶頸分系統，應重點分析其滯后的原因。

3) 分析影響各個分系統發展演化水平的瓶頸分量。此處類似地采用上述影響信息系統發展演化水平的瓶頸分量分析方法，重點從互操作、互認知、技術屬性等方面入手，查找問題出現的可能原因。

7 結論

隨著武器裝備的體系化、網絡化、智能化發展，處于神經中樞地位的信息系統功能涵蓋物理域、信息域、認知域和社會域，其發展狀態及管理越來越受到關注。本文基于文獻[6]研究成果，提出了信息系統體系成熟度的加權評價模型。研究過程中的算例表明該模型有效可行，能為信息系統的發展管理提供有關的決策依據，但是以下2個方面還需要進一步研究。一是該模型在多個層次上都基于權重進行計算，權重算法的典型弱點就是主觀性太強，就各層次權重對該模型的影響需要深入研究；二是本文僅僅提出了信息系統體系成熟度的評價模型，還需要定義、制定與信息系統發展和運用相適應的體系成熟度評價等級，以便為控制信息系統的發展狀態提供更精細的管理手段。

[1] 楊榮芳，陸秀梅，姜山.基于試訓模式下的靶場指揮信息系統建設研究[J].四川兵工學報，2015，36(8): 153-156.

[2] 張惠民，楊曉龍，崔偉寧.軍事信息系統綜合集成方法[J].四川兵工學報，2012，33(11): 103-106.

[3] 張新國.國防裝備系統工程中的成熟度理論與應用[M].北京：國防工業出版社，2013.3.

[4] 卜廣志.武器裝備體系的技術成熟度評估方法[J].系統工程理論與實踐，2011，31(10): 1994-2000.

[5] 曹江，高嵐嵐.互操作、互理解、互遵循——軍事信息系統的新型能力目標與評估模型[J].指揮與控制學報，2015，1(1): 41-45.

[6] 柯宏發，郭道通，陳典斌，等.基于集成的信息系統體系成熟度評價方法[J].裝甲兵工程學院學報，2017，31(4):.

[7] 指揮自動化系統互操作性等級及評[S].中華人民共和國國家軍用標準，2004.

[8] BRIAN S, MATIN S.System maturity and architecture assessment methods, processes, and tools[R].Systems Engineering Research Center, Stevens Institute of Technology, Hoboken, NJ, 2012.3.

[9] MARGARET A F, PATRICIA M B.Jet Propulsion Laboratory (JPL) Technology Readiness Assessment Guideline[C].Areospace Conference, Jet Propulsion Laboratory, California Institute of Technology, Pasadena, CA, 2016: 1-10.

[10] HERNANDO JIMENEZ, DIMITRI N MAVRIS.Assessment of technology integration using technology readiness levels[C].51st AIAA Aerospace Sciences Meeting Including the New Horizons Forum and Aerospace Exposition, Grapevine, Texas, 07-10 January 2013: 1-14.

[11] JACK TAYLOR.DoD Technology Readiness Assessment (TRA) Policy[R].Ofc Deputy Under Secretary of Defense, Science & Technology/ Weapons Systems, Rosslyn, VA, 2007.9.

[12] DoD.Technology readiness assessment (TRA) deskbook [R].Director Research Directorate, Office of the Director Defense Research and Engineering, Washington, DC, 2009.

[13] DOD.Technology readiness assessment (TRA) guidance [R].Assistant Secretary of Defense for Research and Engineering, Washington, DC, 2011.

[14] JEREMY STRAUB.In search of technology readiness level (TRL) 10[J].Aerospace Science and Technology, 2015(46): 312-320.

[15] C4ISR Interoperability Working Group.Department of defense level of information systems interoperability(LISI)[R].Washington, 1998.

[16] 程文淵.復雜系統體系的技術成熟度評價模型研究[J].航空科學技術，2013(6): 55-59.

[17] 孫沖，劉磊，曹強.海軍裝備技術體系中的系統成熟度評價方法研究[J].國防科技，2014，35(4): 54-58.

[18] 朱江輝，孫勇軍，周占廷.技術成熟度評估在飛行試驗中的應用[J].飛行力學，2015，33(3): 193-195.

[19] 梁新，劉寶平，李凜然.大型武器裝備系統成熟度評估及優化[J].武漢理工大學學報(信息與管理工程版)，2015，37(3):344-348.

[20] 李瑋，仇建偉.信息系統互操作性評估技術研究[J].現代電子技術，2015，38(8): 84-88

WeightedAssessmentModelofSystemReadinessofInformationSystems

KE Hongfa1, CHEN Dianbin2, GUO Daotong2, ZHU Jilu1

(1.Department of Equipment Test, Equipment Academy, Beijing 102206, China; 2.Department of Graduate Management, Equipment Academy, Beijing 101416, China)

Aiming at the achievement level assessment of information system development, a weighted assessment model of system readiness of information systems is put forward. The research status of system readiness at home and abroad is summarized. And the framework and steps of system readiness assessment are proposed. Then, assessment models of interoperability readiness, mutual cognition readiness and technology readiness are set up. The weighted assessment model of system readiness of information systems based on above 3 elements is introduced and the application of the model is analyzed finally.

information system; system readiness level; interoperability; mutual cognition; technology readiness level; weights

2017-06-21；

2017-07-20

軍隊科研計劃項目

柯宏發(1969—)，男，博士，教授，博士生導師，主要從事電子裝備試驗理論與技術研究。

10.11809/scbgxb2017.12.058

本文引用格式：柯宏發，陳典斌，郭道通，等.信息系統體系成熟度的加權評價模型[J].兵器裝備工程學報，2017(12):267-271.

formatKE Hongfa, CHEN Dianbin, GUO Daotong, et al.Weighted Assessment Model of System Readiness of Information Systems[J].Journal of Ordnance Equipment Engineering,2017(12):267-271.

N949;N945.1

A

2096-2304(2017)12-0267-05

(責任編輯楊繼森)