空間技術驗證試驗綜合評估探索研究

柴　黎，　廖育榮，　王杰娟，　洪海麗

( 1. 裝備學院 光電裝備系， 北京 101416；　2. 63893部隊)

?

空間技術驗證試驗綜合評估探索研究

柴黎1，廖育榮1，王杰娟2，洪海麗1

( 1. 裝備學院 光電裝備系， 北京 101416；2. 63893部隊)

摘要分析技術驗證試驗評估國內外現狀，研究美軍空間系統試驗與評估體系的理論基礎，得出對我國技術驗證試驗評估研究的一些啟示。從試驗階段、在軌試驗體系、各層次間關系3個方面，全面分析基于層次化的綜合評估模型；從構建思路、原則和類型等方面設計層次化評估模型的指標體系。最后，從典型任務的仿真試驗和在軌試驗數據2個方面提出對下一步評估工作的思考與建議。

關鍵詞空間技術驗證試驗；綜合評估模型；指標體系設計

空間技術試驗衛星對空間系統新技術、新原理、新器件進行空間飛行演示驗證，驗證若干項關鍵技術，尋找技術增長點，為將來轉入航天裝備研制或形成航天技術能力奠定技術基礎。試驗衛星不以用戶需求為牽引，以技術驗證為目的，屬探索性試驗，沒有特定的用戶，試驗任務是否完成、任務管理是否有效，需要通過較為科學合理的評估指標體系來評估。因此，全面分析空間技術驗證試驗國內外綜合評估研究現狀，建立綜合評估層次模型、設計相應指標體系，對開展我軍空間系統綜合評估探索研究具有重要意義。

1國內外研究現狀

1.1美國技術驗證試驗綜合評估相關研究

1.1.1試驗與評估流程

圖1　試驗與評估流程

美軍試驗與評估的流程為：確定試驗目標(計劃)；試驗前分析(預測)；試驗；評價與報告(比較)；結果滿足需求；改進(改正)[1]。如圖1所示。1) 確定試驗目標(計劃)。確定系統的試驗目標，參考任務需求說明書、作戰要求文件、成本與作戰有效性分析、設計與性能規范等源文件后得出詳細的系統規范、系統的試驗要求，形成試驗與評價總計劃、綜合后勤支援計劃、建模和仿真能力、試驗與評價記錄、編制詳細試驗計劃所需的信息等文件。

2) 試驗前分析(預測)。一旦確定了試驗目標并完成初始試驗計劃后，就需要準確確定各目標需要檢測的內容以及如何檢測。試驗前分析要細化試驗概念，選擇最優成本效益和最可行的試驗方案。采用建模與仿真預測試驗環境下的系統性能，形成詳細試驗計劃、數據采集、操作及分析計劃。

3) 試驗。要求所有參與人員準備所需環境和受試品及應急方案等工作，按照試驗事件計劃進度執行核對清單，同時加以監控和報告。

4) 評價與報告(比較)。試驗結果與預測值相比較，按單個的試驗目標來分析單個試驗數據，評價試驗結果。最后，評價累計試驗結果和系統成熟度。

5) 結果滿足需求。單個試驗結果和總體試驗結果清晰地說明系統成熟度滿足需求，接著進行持續的系統分析。

6) 改進(改正)。這是重要的反饋循環。如果試驗結果與預測不相符，原因可能是系統設計、試驗方法、意外的環境因素或者預測不正確造成的。分析試驗數據，找出性能偏差的原因，從而對后續試驗進行決策。

1.1.2試驗與評估

美軍試驗與評估包括研制試驗與評估、作戰試驗與評估兩大類。研制試驗與評估為工程設計和研制提供幫助，驗證技術性能規范是否得到滿足，以及對達到技術目標的潛力進行檢驗；作戰試驗與評估是在真實作戰條件下進行的試驗，確定裝備由典型軍事用戶在作戰中使用時的效能與適用性，對系統滿足作戰要求的潛力進行評估，并可提供使用效能和適用性、機構、人員需求、條例和戰術等方面的信息。兩者的區別如表1所示。

表1　研制試驗與評估和作戰試驗與評估的區別

1.2我國空間系統試驗評估現狀

我國技術試驗衛星評估研究剛剛起步，將來如何根據技術試驗衛星的特點對技術試驗衛星進行評估，缺乏切實可行的理論與方法指導。

目前國內僅有一些學者對這類問題進行了初步的思考，技術試驗衛星評估的目的主要是客觀評價各試驗載荷、平臺和整星的空間飛行試驗考核及相關管理情況。技術試驗衛星評估分為2個層次，一是整星層次，評估內容包括技術試驗、項目管理和成果應用轉化3個方面。其中，技術試驗評估包括載荷、平臺組件和元器件3個內容；項目管理評估包括試驗選項、管理流程、試驗流程等方面的內容；成果應用轉化評估包括小子樣試驗有效性分析、技術成熟度分析、經濟可行性分析和轉化制度評價等內容。二是各個單項技術試驗層次，評估內容包括試驗目標評價、試驗完成情況評價和應用效益分析評價等方面。由于項目管理評估和成果應用轉化評估內容通常在技術試驗衛星管理問題研究中會有所涉及，因此重點在對整星和各個單項技術試驗載荷評估上。

1.3啟示

美國空間技術驗證試驗由軍事需求“物化”為關鍵技術和系統能力，再通過技術驗證和使用保障轉化為戰斗力。美國開展的空間技術驗證試驗，及早考慮試驗可能的應用問題，研究分析其潛在的軍事能力，凝練和明確空間技術驗證試驗的軍事需求重點。從技術走向應用，是使用價值體現的關鍵環節，空間技術驗證試驗的最終目的同樣也是實現技術的應用。作戰試驗與評估對作戰效能和適用性進行評估，著眼未來空間技術驗證的應用需求，促進已經驗證的關鍵技術向應用能力轉化。

我國空間技術試驗衛星評估中著眼于項目管理、成果轉化應用和技術試驗3個方面的評估，具有一定的借鑒價值，但并沒有涵蓋空間技術驗證試驗評估的所有層面?？臻g技術驗證試驗在技術試驗方面包含的內容更為豐富，衛星的研制部門側重于技術驗證與新技術探索方面的評估；任務總體單位側重于對試驗層面的總體評估，考察試驗的完成情況與收益；同樣項目管理評估和成果轉化應用評估也是重要內容。此外，空間技術驗證試驗評估還需要思考對新現象、新問題等科學問題認知程度的評估。

2空間技術驗證試驗綜合評估層次模型

2.1基于層次化的綜合評估模型

分析國內外研究現狀，結合我國近年來空間技術驗證試驗任務的實際情況，建立層次化的綜合評估模型。

圖2　任務總師系統、工程總師系統在不同任務階段關系圖

圖3　基于層次化的綜合評估模型

空間技術驗證試驗通?？蓜澐譃?個任務階段：立項論證階段、工程研制階段和在軌試驗評估階段。每一個任務階段包括不同的試驗活動，圖2為任務總師系統、工程總師系統在不同任務階段關系圖。立項論證階段由任務總師系統完成編制任務試驗需求與總體技術要求、關鍵技術攻關、系統方案論證報告、任務總體實施方案，工程總師系統配合完成相關任務。工程研制階段由工程總師系統完成工程大總體方案及接口控制文件、初樣、正樣的研制和相關地面試驗、開展在軌測試，任務總師系統負責完成任務系統研制總要求的編制、開展任務地面綜合演練、進行關鍵技術狀態的把關和相關集成試驗的協調。在軌試驗評估階段，任務總師系統完成在軌試驗大綱和試驗評估總體方案、完成在軌驗證試驗、綜合評估與總結，工程總師系統參與試驗協調與技術支持[2]。

在軌試驗與評估階段包括技術驗證階段和后期拓展應用階段。在技術驗證階段完成以技術驗證和系統能力演示驗證為目的的試驗，在后期拓展應用階段開展以新技術驗證、能力提升和科學探索為目的的試驗。依據試驗目的和試驗階段，構建在軌試驗體系，如圖3所示。

開展空間技術驗證試驗綜合評估工作，將評估對象分層，有利于評估工作的分解，降低評估的復雜性。依據在軌試驗體系，可分為技術層、科學層和應用層3個層次。此外，需要考慮對任務管理情況進行評估，所以評估從實施層面上分為技術層、科學層、應用層和管理層4個層次。

2.2綜合評估模型各層次間關系

綜合評估模型各層次間的關系依據技術驗證和后期拓展2個階段試驗目的的不同進行分析。在技術驗證階段，針對航天器的關鍵技術和基本功能進行在軌驗證，對試驗任務的系統能力進行在軌演示驗證；后期拓展應用階段是在前期技術驗證的基礎上，充分發揮航天器效能，開展兩類拓展試驗。一類是深化試驗，在確保衛星安全前提下，進一步挖掘衛星潛力，獲取更多的科學試驗數據；另一類是極限試驗，按照試驗項目風險遞增排序，逐項開展高風險試驗，最大限度地摸清航天器的能力極限。試驗目的包括技術驗證、能力提升和科學探索。

1) 試驗效果評估。技術層包括技術驗證階段的技術驗證試驗、系統能力演示驗證試驗和后期拓展試驗階段的新技術驗證試驗和能力提升試驗。試驗效果評估是對衛星關鍵技術、系統能力的可達性、精度和可用性的評估，以及對試驗結果的評估。

2) 科學評估?？茖W層的科學探索試驗是針對新現象、新認識、新技術開展的探索性試驗，進一步積累在軌試驗數據，提高對空間科學規律的認知水平。科學評估是考察在拓展試驗中對一些科學問題的認知程度。

3) 應用評估。應用層的應用試驗是由需求單位提出未來空間技術驗證的應用需求，探索在軌應用模式，促進關鍵技術向應用能力轉化。應用評估就是分析衛星完成軍事任務的效果和適用性，評估衛星技術能力滿足軍事任務需求的程度，找出技術短板，為技術發展提供需求牽引。

4) 管理評估。管理層的評估是在軌試驗結束后開展的評估工作。管理評估是分析任務管理的合理性，客觀評價和系統總結各方成績與不足，為今后重大項目的管理模式提供借鑒。

2.3評估流程

評估工作分為評估準備階段和評估實施階段。評估實施階段分為技術驗證試驗階段、試驗完成后、后期拓展試驗階段、后期拓展試驗完成后的評估工作。各評估主體在不同的階段分別完成各自負責的評估工作，生成評估數據及結論，進行匯總后形成任務總結與評估報告。評估準備和實施2個階段的評估流程如圖4所示。

圖4　評估工作流程

3基于綜合評估層次模型的指標體系設計

基于綜合評估層次模型，設計相應的指標體系。評估對象不同，指標體系的分解思路和具體內容不同。本文依據指標體系的構建思路、原則和類型對試驗效果評估、科學評估、應用評估、管理評估指標體系進行詳細說明，對于具體的評估方案不展開介紹。

3.1構建原則

1) 科學性原則。在評估的過程中，選取的指標應科學合理、具有代表性，能真實反映項目總體面貌、本質特征和基本水平?；疽蟀ǎ簝热菘茖W，表達準確，定義確切，指標間無合并、無重復、權重合理、層次清晰簡練。

2) 全面均衡原則。指標選取以評估客體為核心，全面均衡地考慮項目各要素間的相關關系、準確描述和測度其本質屬性及主要特征。

3) 一致性和綜合優化原則。指標的設計應對發揮評估的功能有積極的指導和督促作用；同時，建立綜合評估指標體系，盡可能反映各方面的因素，適當加權擇重評估以體現出綜合優化的要求。

4) 可操作性原則。評估指標的設置既要符合客觀規律，又要符合主觀思維程序，便于執行時具有針對性和可操作性。基本要求包括：指標少而精，內涵明確，覆蓋全面，方法簡便，易于實施。

3.2指標類型

對于空間技術驗證試驗，評估指標大致分為3類，驗證類指標、評判類指標、統計類指標。

1) 驗證類指標。此類指標的性質為考核型，即該指標評估結果以預先設定的參考值作為標準。主要針對任務總體設計方案中的技術指標設定值，考核各項指標是否得到驗證。驗證性指標為核心指標，是評估任務完成好壞的基礎。

2) 評判類指標。此類指標的性質為定性評判，即該指標評估結果沒有固定的參考值，評估結論根據試驗數據，由專家給出定性評估結果。評判性指標為輔助指標。

3) 統計類指標。此類指標的性質為數據統計結果，沒有參考值，沒有最好值，只是將任務過程中產生的各種數據進行統計匯總，為任務評估和總結提供參考。統計性指標為參考指標，僅作為評估和總結的數據支撐[3]。

評估標準根據指標類型的不同而有所區別。驗證類指標，以是否達到參考值為依據；評判類指標，以同行專家的定性結論為依據；統計類指標，不設明確的評估標準。

3.3試驗效果評估指標體系

試驗效果評估指標體系如圖5所示，對關鍵技術、系統能力、試驗結果進行評估。

1) 關鍵技術驗證指標——重點列出在軌試驗中需要驗證的以及與試驗目的緊密相關的幾大類關鍵技術。

2) 系統能力驗證指標——從衛星主要功能的角度進行分解，著眼于未來可能的應用需求，分析在軌試驗過程中衛星功能的實現程度。

圖5　試驗效果評估指標體系

3) 試驗結果指標——根據在軌試驗技術驗證任務，對幾大類，若干個試驗項目是否成功進行評估。試驗效果評估立足于任務總體，評估整體試驗任務，從關鍵技術、系統能力、試驗結果3個方面對試驗效果進行評估。重點是如何根據技術驗證需求，設計一系列復雜的在軌試驗，能夠最大限度地驗證各項關鍵技術，并且使試驗流程的冗余度最小。評估結果的重點在于各項試驗是否成功，整體關鍵技術和各種系統能力是否能夠實現。

3.4科學評估指標體系

空間技術驗證試驗遵循空間科學實驗和技術試驗的要求與規律，主要通過積累科學試驗數據，為認識空間和探索空間的科學規律服務?？茖W評估的目的就是考察拓展試驗中對相關科學問題的認知程度。在后期拓展應用階段，科學探索試驗中的科學問題可以歸納為2類：為了認識科學現象總結規律而研究的科學問題；為了探索提高技術性能的方法而研究的科學問題。

1) “認識科學現象總結規律”指標體系。從是否發現科學現象、科學數據積累成果、科學規律與特性總結結果來衡量“認識科學現象總結規律”評估結果。

2) “探索提高技術性能的方法” 指標體系。從是否提高技術性能水平、改進后技術的應用價值、該科學方法對(其他)技術的推動力等指標來衡量“探索提高技術性能的方法”評估結果[4]。

3.5應用評估指標體系

通常新裝備的作戰試驗與應用評估是為了確定最佳設計，指出該發展階段的性能風險等級，檢查系統研制在作戰方面的問題，評估潛在的作戰效能和適用性。應用評估的作用包括：評估新系統相對于現有能力的潛力；評估系統的效能和適用性；評估部署、保障和組織方案的充分性；條令、戰術和訓練需求的充分性。

對于空間技術驗證試驗的應用評估，具有特殊性，不能像評估傳統武器裝備時需要考慮較為全面的使用因素，而主要評估作戰效能和作戰適用性，即對已驗證技術能力的應用價值進行評估，如圖6所示?？紤]的指標因素相對全面，對于具體的軍事任務進行應用評估時，評估指標可依據任務類型(偵查任務、保障任務、攻防任務)進行選取[5]。

圖6　應用評估指標體系

任務完成質量指標包括相關技術指標和效果描述指標2個方面。衛星類型與任務類型不同，任務完成質量的具體指標也各有不同，在此無法統一全部列出，需要根據具體實施的任務類型進行指標說明。指標需要進一步細化。

3.6管理評估指標體系

管理評估定位于評估周期中的事后評估，在空間技術試驗經過論證、立項、研制建設和試驗后組織實施。從組織、成本和效益3個方面進行管理評估[6]。

1) 組織管理。組織管理評估主要是指對重大項目專家組、任務總體單位、工程研制單位的任務組織管理過程和結果進行總結分析，為今后重大項目任務管理提供借鑒。評估內容主要依據項目管理理論中的管理要素，結合管理方特點和管理重點進行評估。組織管理指標分解依據不同的參與單位進行分解，按照“組織管理-參與單位-不同單位負責工作”的分解思路逐級細化。

2) 成本投入。成本管理評估是對經費和人員投入情況進行數據統計和匯總，掌握任務經費和人員分布情況，為今后重大項目的人才和資金投入提供參考。成本管理指標分解從人員和經費2條線進行分解，按照“成本管理-人員投入-不同任務系統組成人員投入”和“成本管理-經費投入-不同階段經費投入”的分解思路逐級細化。

3) 任務效益。任務效益評估是評估任務產出的效益，主要包括任務研制過程和試驗結果所奠定的技術基礎，以及國防軍事應用和產生的社會影響，可具體分為對技術效益、軍事效益和社會效益3個方面的評估。任務效益指標分解從技術、軍事、社會3條線進行分解，按照“任務效益-技術效益-分類技術效益”“任務效益-軍事效益-可能實施的軍事任務”和“任務效益-社會效益-影響、人才、科研”的分解思路逐級細化。

4結 束 語

開展空間技術驗證試驗綜合評估探索研究，本文提出了基于層次化的綜合評估模型，從實施層面分為試驗效果評估、科學評估、應用評估和管理評估4個評估層次。依據指標體系的構建思路、原則和類型，設計了各層次相應的指標體系。針對我國的空間技術驗證試驗綜合評估研究，下一步將通過典型任務的仿真試驗和在軌試驗數據，不斷完善并細化技術層、科學層、應用層、管理層的指標體系，構建面向系統和典型試驗任務的綜合評估方案，支持指標體系、試驗數據、分析評估等深入研究，進而推動評估工作在理論和應用2個方面取得新的進展，為相關重大試驗提供參考和借鑒。

參考文獻(References)

[1]防務系統管理學院.試驗與評價管理指南[M]. 國防科工委軍用標準化中心，譯.北京:航空工業出版社,1992:20-22.

[2]孫萬,劉燕潔.航天技術驗證試驗任務綜合評估研究[J].裝備學院學報,2013,24(5):102-106.

[3]武小悅,劉琦.裝備試驗與評價[M].北京:國防工業出版社,2008:107-108.

[4]張先恩.科學技術評價理論與實踐[M].北京:科學出版社,2008:134.

[5]江敬灼.作戰實驗若干問題研究[M].北京:軍事科學出版社,2010:122.

[6]袁家軍.神州飛船系統工程管理[M].北京:機械工業出版社,2006:20.

(編輯：李江濤)

Study on Validation Experiment and Comprehensive Evaluation for Space Technologies

CHAI Li1,LIAO Yurong1,WANG Jiejuan2,HONG Haili1

( 1. Department of Optical and Electronic Equipment, Equipment Academy, Beijing 101416, China;2. 63893 Troops, China)

AbstractThrough discussion on the status quo of technical validation experiment and evaluation home and abroad and study on the theoretic basis of space system experiment and evaluation system in U.S., the author draws inspiration for China’s technical validation experiment and evaluation. In three respects including test phases, on-orbit experiment system and relation among all layers, the author comprehensively analyzes the layered comprehensive evaluation model; from perspectives like construction method, principle and type, the author designs an index system for the layered evaluation model. In the end, the author proposes some ideas and suggestions on the future evaluation work in two respects: simulation and on-orbit experimental data of typical missions.

Keywordsvalidation experiment for space technologies; comprehensive evaluation model; index system design

文獻標志碼A DOI10.3783/j.issn.2095-3828.2016.02.020

文章編號2095-3828(2016)02-0088-07

中圖分類號V57

作者簡介柴黎(1982-)，女，講師，碩士研究生，主要研究方向為信息與通信工程。chaili1981@163.com

收稿日期2015-07-24