靶場試驗任務績效評估方法研究

戶 鯤，李 睿

(1.北京宇航系統工程研究所，北京100076；2.中國運載火箭技術研究院戰術武器事業部，北京100076)

1 引言

靶場試驗是國防武器裝備研制的重要環節，貫穿了研制、生產、使用和維護的全過程，能夠為研制單位設計驗證、生產單位工藝驗證、武器裝備定型、部隊列裝等提供依據。一項武器裝備研制過程中通常需要進行多次靶場試驗任務。

隨著國防現代化的發展，國防工業企業在研武器裝備多，研制周期緊張，靶場試驗任務越來越密集。建立一套科學、合理的靶場試驗任務績效評估體系，分析每次靶場試驗任務的績效改進點，并指導后續靶場試驗任務的開展，對國防工業企業降低任務成本、增加任務產出以及實現企業目標具有重要的現實意義。

一些學者對靶場試驗任務的評估開展了研究。陳萬玉等[1]提出了一種結合卓越績效管理模式的質量管理體系，提高了靶場試驗的運行績效。馬駿等[2]提出建立資深的考評隊伍和先進的訓練監控評估系統，采取人機結合的評估方法，對靶場試驗任務進行定量與定性的考評。魏陽等[3]提出一種試驗技術狀態管理方法，從試驗技術狀態的角度對靶場實驗結果進行評定。韓建軍等[4]分析了國防工業企業的特點，提出了融入科研生產、質量管理、綜合計劃等指標的完成型和增量型相結合的考核評價體系，為靶場試驗任務評估提供了參考。還有一些學者聚焦在靶場試驗任務的質量管理[5]、風險控制[6]、靶場建設[7]等方面。

對靶場試驗任務績效評估的研究多是從質量管理的角度，通過分析所滿足的質量標準來對靶場試驗任務進行績效評估。雖然一些研究提出了參考指標，但沒有指明具體的量化評估方法。本文結合國防工業企業的實際情況，設計相關指標，采用DEA方法對靶場試驗任務進行定量化的績效評估。

2 靶場試驗任務績效評估方法

2.1 評估方法選擇

靶場試驗任務的績效評估是指對照統一的標準，對試驗任務的質量保證、計劃管理、資源利用、成本控制等方面做出綜合評價，從而對靶場任務的效率和效果進行客觀評判。對靶場試驗任務進行績效評估具有一些特殊性。首先，評估標準特殊。圓滿成功是靶場試驗任務追求的首要目標，為實現這一目標，各項工作都有嚴格的質量要求和過程控制，績效評估需要參照和遵循相關質量和標準文件。其次，評估指標特殊。在相關質量和標準文件中，對程序和規范的描述有時候是定性描述，需要仔細分析這些描述并設計定量指標，以便收集這些指標來建模分析。最后，評估主體特殊。鑒于靶場試驗任務一般都具有保密性要求，評估主體應當是試驗任務的組織者，不能有外部獨立評估機構參與，評估主體所關心的相關利益應當納入模型設計中。

靶場試驗任務績效評估的結果應當盡量客觀，減少人為主觀因素的影響。考慮到一項武器裝備研制過程需要開展多次靶場試驗任務，對于這種重復性強的評估對象，評估結果還要能夠指導后續靶場試驗任務的開展。基于以上因素，設計合適的績效評估方法非常重要。

績效評估方法的研究廣泛存在于企業管理、政府管理、公共事業管理等領域[8]-[10]，常用的方法包括層次分析法(Analytic Hierarchy Process，AHP)，模糊綜合評價法(Fuzzy Comprehensive Evaluation，FCE)以及數據包絡分析法(Data Envelopment Analysis，DEA)等。AHP和FCE經常結合使用：首先AHP確定各項指標的權重，然后運用FCE求出被評估對象的綜合評分[11]。AHP方法，以及AHP和FCE結合的方法，評估過程中都包含大量主觀成分。用這兩種方法對靶場試驗任務開展績效評估還存在一定的不足：靶場試驗任務具有大規模、綜合性強的特點，這就需要大量的指標標度工作，容易引起專家判斷混亂，從而得到不一致的判斷矩陣；解決矩陣不一致性的過程往往也比較耗時，需要專家進行多輪迭代；這兩種方法還不能很好地指出績效改進的問題點，在解決突出問題并指導后續任務開展方面有所欠缺。

相較而言，DEA方法結合“相對效率評估”的思想，無需先給定輸入、輸出權向量，分析更具客觀性。另外，DEA方法能夠衡量某一次靶場試驗任務相對最優靶場試驗任務的差距，并給出具體的調整量，適合用來對靶場試驗任務進行績效評估。本文采用DEA系列模型中規模報酬不變條件下的C2R模型和規模報酬變化條件下的BC2模型對靶場試驗任務績效進行評估。

2.2 規模報酬不變條件下的C2R模型

C2R模型由Charnes、Cooper和Rhodes三位學者[]提出，是經典的DEA模型。C2R模型用于評估決策單元是否總體具有有效性。

設需要評價p次靶場試驗任務，分別表示為Ti，其中i=1，2，…，p。每次試驗任務都具有m種類型輸入，表示試驗任務對“資源”的消耗，設Ti的輸入為向量xi=(x1，i，x2，i，…，xm，i)T。每次試驗任務都具有n種類型輸出，表示試驗任務取得的“產出”，設Ti的輸出為向量yi=(y1，i，y2，i，…，yn，i)T。又設m種類型輸入的權系數為向量v=(v1，v2，…，vm)T，n種類型輸出的權系數為向量u=(u1，u2，…，un)T。

利用投入產出比的指標對試驗任務進行效率評價，則試驗任務Ti的效率評價值為(uTyi)/(vTxi)。當對特定的第r次試驗任務Tr進行相對績效評估時，可以選取適當的權系數向量v和u，使得Tr效率評價值最大，基于該思路就得到C2R模型

(1)

(2)

表1 C2R模型有效性判斷準則

若Tr為技術無效，說明在現有技術水平下，Tr輸入太多而輸出太少。θ*值越小，效率越低，改進空間也就越大。若Tr為弱技術有效，說明Tr在保持原輸出不變的條件下輸入可以減少S-*，或者在保持原輸入不變的條件下，輸出可以增加S+*。若Tr為技術有效，說明Tr的運作效率高，全部輸入都發揮了最大限度的效用，獲得了最大的輸出。

2.3 規模報酬可變條件下的BC2模型

C2R模型隱含著規模報酬不變的假設，即在試驗任務規模效率等于1的條件下去分析其技術效率。實際情況中，非DEA有效既有可能受技術無效率的影響，也有可能受規模不合理的影響。Banker、Charnes和Cooper等[13]改進以上局限并提出了BC2模型，將規模報酬不變條件下的技術效率ET分解為規模報酬可變條件下的純技術效率EPT和規模效率Es的乘積，即ET=EPT×Es。純技術效率是指排除規模因素外，單純從技術角度進行有效性評估。規模效率評估實際規模與最優規模之間的差距。BC2模型如下

(3)

表2 BC2模型有效性判斷準則

3 靶場試驗任務績效評估分析

3.1 決策單元選擇

DEA模型的決策單元即評估對象，可以是企事業單位、技術方案、事件活動等。決策單元選取的主導原則是：就其“輸入的資源”和“輸出的產品”而言，每個決策單元都可以看作是相同的實體，即每個決策單元有相同的輸入和輸出[14]。同型號的靶場試驗任務由于任務背景基本相同，投入和產出可進行橫向比較，滿足上述要求。本文選取某單位近3年某型號執行成功的7次靶場試驗任務作為待評估的決策單元。

3.2 輸入輸出指標

績效評估的內容體現在輸入輸出指標的設計。每一次靶場試驗任務，均需要投入一定的人力、物力和時間。另外，配套的質量活動也是靶場試驗任務取得圓滿成功的有力保障。這些對于國防工業企業而言都屬于靶場試驗任務的成本。從以上4個角度梳理得到某型號靶場試驗任務輸入指標如表3所示。表中隱去了一些每一次靶場試驗任務輸入量都相同的輸入指標。

表3 某型號靶場試驗任務輸入指標

技術崗位人員數量，包括型號總師、副總師、技術顧問、測試人員、特種車輛司機等人員的數量。服務保障崗位人員數量，包括政工、保衛、保密、技安、醫生、司機、廚師、攝影攝像、會計等相關人員的數量。參試設備數量，包括所有參與靶場試驗任務的單機、系統級測試設備的數量。車輛調配數量，即靶場試驗任務期間所有保障類車輛調配次數總和。測試時間，指靶場試驗任務期間實際有開展技術陣地測試、發射陣地測試工作的天數。測試等待時間，包括測前準備、測試期間暫停、無效測試、測試完成后等待的天數總和。質量復查報告數量，指在靶場試驗任務期間開展質量復查工作所產生的報告數量。質量復查應該盡可能在靶場試驗任務進場之前完成，靶場試驗任務期間的質量復查報告越少越好。

從待評估的靶場試驗任務收集得到的輸入指標數據如表4所示，表中所有數據都已經過脫密處理。

表4 某型號靶場試驗任務輸入數據

參照某單位質量工作體系和質量工作要求中有關靶場試驗任務的描述，以及評估主題所關注的指標，從組織指揮、技術操作、設備設施、任務軟件、成本管理5方面進行梳理，得到某型號靶場試驗任務輸出指標如表5所示。

表5 某型號靶場試驗任務輸出指標

問題處理及時率，指能夠按照質量要求及時處理的靶場問題數占發生問題總數的比率。試驗文書正確率，指未出現差錯的試驗文書數量占總數量的比率，試驗文書是靶場工作的指導依據，包括管理類及技術類文件、圖紙、通知單等。技術操作正確率，指在靶場試驗任務的重要時段，如技術陣地測試、發射陣地測試、進場、轉場、加注、發射等階段，技術操作正確次數占總共操作次數的比率。設備設施正常率，指整個靶場試驗任務過程中，設備設施正常運行的次數，占總使用次數的比率。測試工位保障率，指在技術陣地測試和發射陣地測試期間，有效保障測試的工位數占所需工位數的比率。靶場測試工位通常為公共設施。任務軟件正確率，指整個靶場試驗任務過程中，軟件正常運行的次數占軟件總運行次數的比率。成本超預算比率，指靶場試驗任務期間實際費用超過預算費用的比率，包括交通費、住宿費、伙食費、運輸費等，顯然成本超預算比率越低，試驗任務效率越高。為符合DEA模型應用條件，本文采用“1-x”方法，即利用1減去原始值得到“1-成本超預算比率”指標。

從待評估的靶場試驗任務收集得到的輸出指標數據如表6所示，表中所有數據都已脫密處理。

表6 某型號靶場試驗任務輸出數據

3.3 模型計算分析

運用pyDEA軟件進行模型計算，得到靶場試驗任務的C2R模型評估結果和BC2模型評估結果分別如表7和表8所示。

表7 某型號靶場試驗任務C2R模型評估結果

表8 某型號靶場試驗任務BC2模型評估結果

從表7可以看出，各靶場試驗任務的技術效率分別為0.8229、1、1、1、0.9395、1、1。相對于T2、T3、T4、T6、T7，試驗任務T1、T5技術無效。

對于T1，在維持輸出指標數據不變的條件下，技術崗位人員數量可以減少28.3257；服務保障崗位人員數量可以減少2.7662；參試設備數量可以減少29.9275；車輛調配數量可以減少47.1048；測試時間可以減少6.8269；測試等待時間可以減少10.0863；質量復查報告數量可以減少6.2343。輸入指標x1～x7可減少比例分別為38.80%、25.15%、17.71%、17.71%、24.38%、26.54%、41.56%，重點應該分析本次試驗任務質量復查報告數量、技術崗位人員數量、測試等待時間投入過多的原因，并從這些問題點進行績效改進。對于T1，在維持輸入指標數據不變的條件下，問題處理及時率可以提升0.0148；試驗文書正確率可以提升0.0109；技術操作正確率可以提升0.0068；任務軟件正確率可以提升0.0166；1-成本超預算比率可以提升0.0016；設備設施正常率和測試工位保障率達到了最優水平，重點的績效改進方向應該在任務軟件正確率、問題處理及時率和試驗文書正確率等方面。

對于T5，輸入方面重點應該分析技術崗位人員數量、質量復查報告數量、車輛調配數量投入過多的原因。輸出方面重點的績效改進方向應該在設備設施正常率、技術操作正確率、試驗文書正確率等方面。

從表8可以看出，各靶場試驗任務的純技術效率分別為0.8293、1、1、1、0.9763、1、1。相對于T2、T3、T4、T6、T7，試驗任務T1、T5純技術無效。

對于T1，在維持輸出指標數據不變的條件下，輸入指標x1～x7分別可以減少29.5289、3.5661、28.8472、45.4045、6.5847、9.2644、6.1508；可減少比例分別為40.45%、32.42%、17.07%、17.07%、23.52%、24.38%、41.01%。重點應該分析質量復查報告數量、技術崗位人員數量、服務保障崗位人員數量投入過多的原因。對于T1，在維持輸入指標數據不變的條件下，輸出指標y1～y7分別可以提升0.0228、0.0200、0.0143、0.0058、0.0085、0.0243、0.0098，重點的績效改進方向應該在任務軟件正確率、問題處理及時率、試驗文書正確率等方面。

對于T5，輸入方面重點應該分析技術崗位人員數量、車輛調配數量、質量復查報告數量投入過多的原因。輸出方面重點的績效改進方向應該在測試工位保障率、技術操作正確率、試驗文書正確率等方面。

綜合表7和表8的數據，得到績效評估排序如表9所示。其中規模報酬變動列的IRS表示試驗任務處于規模報酬遞增階段；CRS表示試驗任務處于規模報酬不變階段。

表9 某型號靶場試驗績效評估排序

試驗任務T2、T3、T4、T6、T7是純技術有效和規模有效的。對于技術無效的T1，主要是因為純技術無效造成。對于技術無效的T5，主要是因為規模無效造成。T1和T5都處于規模報酬遞增階段。最終得到績效評估排序為：T2、T3、T4、T6、T7排在第一梯隊，剩下的試驗任務排序T5>T1。

4 對策建議

結合該型號7次靶場試驗任務的績效評估結果，從優化輸入角度，對于后續靶場試驗任務，應適當減少質量復查報告數量和技術崗位人員。為此，可研究將靶場質量復查工作前移，在型號出廠評審前，以總裝測試為基礎，搜集完整的各系統考核指標和數據，通過計算機仿真技術，模擬靶場全系統測試流程，對關鍵檢驗點逐一核查并開展質量復查，從而實現減少報告和技術人員數量的目標。

從優化輸出角度，應提高試驗文書的正確率。當前試驗文書錯誤多，一個主要原因是由于軟件功能、基礎設施限制，設計人員在完成產品三維設計后，依舊需要將產品的幾何信息和非幾何信息反映在二維圖樣和相關輔助文件中，增加了出錯的可能。為此，可借鑒基于模型的工程定義(Model Based Definition，MBD)技術，積極推行無紙化設計和制造聯動，消除信息轉換和傳遞錯誤的風險。

5 結束語

靶場試驗任務的績效評估工作是一項重要工作，對提升試驗任務的質量，降低試驗任務的成本，保障試驗任務的進度都具有指導意義。本文利用DEA模型進行了靶場試驗任務的績效評估。從人力、物力、時間、質量活動等方面設計了靶場試驗任務的輸入指標，并根據質量管理規則從組織指揮、技術操作、設備設施、任務軟件、成本管理等方面設計了靶場試驗任務的輸出指標。利用DEA系列模型中的C2R模型和BC2模型分析了各靶場試驗任務的技術效率、純技術效率和規模效率，得到了靶場試驗任務的績效評估排序。

結果表明，DEA方法不僅能夠客觀準確地衡量靶場試驗任務的效率，還能幫助找出試驗任務效率低下的原因，并從輸入松弛和輸出松弛的角度分析各試驗任務的改進方向，為后續試驗任務提供指導。