軍工行業標準化工作評估方法研究

李國強，徐 啟，李 立，于亞笛

（1.北京跟蹤與通信技術研究所，北京 100094；2.中國航空綜合技術研究所，北京 100028；3.北京空間科技信息研究所，北京 100094；4.國家市場監督管理總局國家標準技術審評中心，北京 100026）

0 引言

標準化工作評估是依據某種評價準則，應用某種技術或手段，按照一定的程序，對標準化工作過程與結果的有效性進行測量和判斷的過程，是對標準化工作實施閉環管理和持續優化的一個重要手段。軍工行業標準化工作是我國軍工行業和裝備制造領域的重要技術基礎，對軍工行業相關部門、單位組織開展標準化工作的情況進行評估是衡量標準化工作完成質量、分析標準化工作體系是否運行有效、形成“以評促改”的評估改進機制，調動各級各類人員參與標準化工作的積極性和主動性的重要抓手。

1 國內外相關評估方法分析

目前未檢索到關于標準化工作評估理論和方法的專門資料，盡管在文獻[1]中提出了可從軍事效果、經濟效果和技術效果等三個方面評估軍用標準化工作效果的設想，并將標準化系數作為實施評估的指標，但這種方法更適用于對某類裝備自身標準化程度的評估，無法體現組織/單位的標準化工作質量與水平。

國際上也缺乏針對標準化工作評估開展的專門研究，可資參照的類似評估工作主要集中在質量領域，如美國波多里奇國家質量獎、歐洲質量管理基金會卓越獎、日本戴明質量獎等。在我國，發布了國家標準GB/T 19273－2017《企業標準化工作 評價與改進》，規定了企業標準化工作評價與改進的原則與依據、基本要求、策劃、實施、結果與管理、改進等要求[2]。通過對以上國內外相關評估理論與方法進行綜合分析，可得到以下結論作為軍工行業標準化工作評估方法研究的借鑒：

1）通過建立評估模型以表征各評估要素間的邏輯關系，有助于理解評估要素和評估指標的關系與內涵；

2）評估要素的設置需與評估需求（目的）、評估對象等相適應；

3）定量與定性評估相結合的方式可提升評估工作的客觀公正性；

4）評估組織體系中各類角色的具體分工不同，但基本可分為決策機構、執行機構、專家顧問團隊、被評對象等；

5）采用“自評+評估團隊評估”的評估程序，確保評估的全面性、公正性。

2 評估要素體系設計

2.1 設計思路

隨著我國科技的迅猛發展，軍工型號研制模式發生了巨大變化，各部門、各單位圍繞技術進步、產品研制與保障，不同程度地開展了相應專業技術領域標準體系建設、標準化工作隊伍建設、各級各類標準編制與實施應用等標準化工作。其對標準化工作評估的需求主要體現在以下幾個方面：

1）通過評估，加強標準化意識，幫助建立（提升）對標準化工作的認識，為提高標準化工作的規范性奠定基礎；

2）通過評估，查找標準化工作機制存在的不足，提出針對性的改進要求并實施整改，保證工作目標實現過程的正確性，逐漸形成“以評促改”的評估改進機制；

3）通過評估，為樹立標準化工作標桿提供基準，通過對標準化工作的最佳實踐進行挖掘并加以推廣，調動人員參與標準化工作的積極性和主動性；

4）通過評估，形成標準化工作提升長效機制，激勵工作基礎薄弱的機構強化標準化工作技能，鼓勵基礎雄厚、成果豐碩的機構進一步提升標準化工作水平。

5）通過評估，分析標準化工作對強化能力建設、提升產品質量的技術支撐效力，對標準化工作取得的成效進行總結固化。

軍工行業標準化工作評估要素與評估指標的設計將以上述評估需求為導向，以《標準化法》[2]及有關部門標準化制度文件為依據，以軍工行業當前和可預見的標準化專項工作為補充，以現有國內外標準化工作相關評估方法調研分析結論為參考，綜合使用系統分析法、對比分析法等軟科學研究方法，進行評估要素與評估指標設計。

2.2 評估要素內容設計

依據3.1的設計思路，軍工行業標準化工作評估要素內容設計主要包括基礎評估要素（A）、效能評估要素（B）和獎懲要素（C）等三類要素，三者共同作用，體現軍工行業標準化工作的綜合效果。評估要素的內容詳見表1。

表1 軍工行業標準化工作評估要素表

2.3 評估要素權重設計

采用定量與定性相結合的方式進行評估可更加客觀公正地展現評估結果。由于各個評估要素的重要程度（即權重）不同，進行定量評估時需要區別對待。實際開展評估工作前，可通過專家打分、調查問卷等方式獲取權重樣本數據，并采取層次分析法[4]、特征值法[5]等方法確立各評估要素的權重。本文通過采用特征值法，給出要素權重設計示例：

1）建立判斷矩陣

將表1中隸屬于同一個上層要素且處于同一層次的評估項目抽取出來并建立權重咨詢表及判斷矩陣。例如為標準化組織與管理、關鍵標準研究與標準制定、標準應用實施、標準化信息服務、標準化資源保障等五個評估要素建立權重咨詢表，如表2所示。

表2 評估要素權重咨詢表示例

通過權重評估咨詢單對各指標的重要性進行兩兩比較，以常用的1～9標度方法（表3）表示比較結果，最后根據咨詢結果建立相應的判斷矩陣。

表3 1～9標度方法

對于n個指標，可以得到判斷矩陣C=(Cij)n×n。

C具有以下幾點性質：Cij＞0；Cij=1Cij(i≠j)；Cii=1(i，j=1，2，...，n)

2）計算指標權重

利用方根法計算指標權重，計算步驟如下：

首先，計算判斷矩陣C中每行元素的乘積Mi：

然后，計算Mi的n次方根

其中，Wi就是各項指標的權重；

3）判斷矩陣的一致性檢驗

一致性檢驗是為了驗證專家在判斷指標重要性時，各判斷之間大體協調一致，不出現極端矛盾的情況。計算步驟為：

首先，計算判斷矩陣C的最大特征根λmax：

然后，計算一致性指標CI：

最后，計算隨機一致性比率CR：

其中RI是平均隨機一致性指標，根據判斷矩陣階數n查詢平均隨機一致性指標查詢表可得。

當CR＜0.1時，認為判斷矩陣具有滿意的一致性，否則需要調整矩陣，直至具有滿意一致性。

4）計算指標組合權重

利用前面的計算方法，可以得到評估項i的權重Wi，然后就要利用層次關系計算i在上一層要素中占的組合權重Pi。

其中Qi是包含指標i的上一層要素的權重。

考慮到易操作性，將評估項權重進行取整處理。設置標準化工作基礎要素分數為72分，標準化工作效能要素分數為28分，加分項20分，扣分項40分，總分滿分120分。各子要素的權重（即分值）如表1。

2.4 評估要素模型構建

為增進相關人員對標準化工作評估要素和評估項目的理解，設計標準化工作評估要素模型，對各項評估要素間的關系進行表征。通過對評估要素和評估項目進行梳理，對要素、項目間的關系進行綜合分析，演化得到軍工行業標準化工作評估要素模型見圖1。

圖1 軍工行業標準化工作評估要素模型

在評估模型中，標準化工作基礎是基石，標準化工作基礎和獎懲項要素共同作用于標準化工作效能的提升，標準化工作效能是切實發揮標準化工作對技術進步和型號研制建設支撐作用的表征。在標準化工作基礎中組織與管理能力是基礎的基礎，為其他所有工作服務；關鍵標準研究與標準制修訂能力是標準化工作質量的顯性體現，標準應用實施能力是體現標準化效益的重要方面；標準化信息服務能力和標準化資源保障能力是必不可少的保障支持；標準化工作效能提升是軍工行業標準化能力提升的方向，是樹立標準化標桿的載體。

3 評估實施模式研究

3.1 評估組織體系

標準化工作評估涉及各類組織機構和人員，包括評估的決策機構、執行機構、技術顧問、評估隊伍以及被評對象等，各類組織的職責如下：

1）評估決策機構：確定評估計劃、確定納入考核評估的單位名單、確定評估標準、評估隊伍名單，對評估中涉及的其他重大事宜進行決策。

2）評估執行機構：起草評估計劃和評估標準，組織成立評估隊伍，并為評估提供標準化技術支持。

3）技術顧問：為標準化工作評估工作提供決策咨詢和技術支持，參與審查評估計劃和評估標準，指導評估工作的開展。

4）評估隊伍：由具有高級職稱、熟悉所在專業領域標準化工作的多位專家（一般為5～7位）組成的評估組，負責具體實施評估工作。

5）被評對象：被評對象為納入考核范圍的部門（單位），其主要職責是根據評估要求開展自評，并提交自評報告及相關證明材料，為評估提供必要的場地、人員等資源。

3.2 評估程序研究

參考國內外相關評估程序，結合軍工行業標準化工作評估的實際需求，本文定義了一個適合軍標準化工作評估的過程模型，模型中的活動及內容同時適用于外部專家和各部門（單位）內部對標準化工作水平進行評估。評估過程模型具體如圖2所示。

圖2 軍工行業標準化工作評估過程模型

該模型描述了評估過程四個階段的活動內容以及活動所需信息，各個階段內容如下：

1）評估策劃：為順利進入評估所必須的準備階段，是為整合所有評估過程所需人力、資源等而進行的活動，其內容包括處理評估需求并分配相應資源，例如確定評估目標、評估內容，協調參與人員，明確評估實施形式。對評估事項的計劃主要是指制定評估標準，制定工作計劃。當工作計劃制定完成后，通過領導審批或專家會議評審的方式審核其正確性，最后形成正式文件，對評估中各項具體工作進行指導和監督。

2）評估實施：為產生評估結果而進行的活動，根據需要通過選擇自評與現場評估相結合、會議評估、資料審查等評估形式收集評估數據，并組織相關人員進行評估數據收集與分析。

3）評估總結：對評估問卷的調查結果和處理后的評估數據進行定性和定量的分析，發現并總結問題，給出評估總結報告。

4）交流改進：將評估結果以及評估過程中發現的最佳實踐、問題和建議反饋給相關單位，開展評估結果的交流。被評單位開展評估中發現問題的整改。

模型中評估的支持過程指的是評估中的項目管理，對評估的時間、人員、資源進行綜合把握。

4 結語

標準化工作評估對于提升軍工行業各部門各單位的標準化工作水平，進而提高我國軍工行業整體的標準化支撐能力具有重要意義。目前，各軍工行業的標準化工作評估仍處于起步階段，通過將本文確立的評估要素和評估程序將作為實施標準化工作評估的輸入，并在后續評估工作中進行持續的優化與改進，將對標準化工作精準服務于我國軍工行業技術進步和能力提升提供重要支撐。