基于層次分析法的標準評估研究
——以氣象服務類標準為例

李 嘉，付智斌，夏 雪

（江西省氣象災害防御技術中心，南昌 330046）

1 引言

氣象事業是科技型、基礎性社會公益事業，氣象工作的各個領域都離不開標準的支撐與引領，做好氣象標準化工作對促進氣象事業科學發展具有重要意義。[1]黨的十八大以來，氣象標準化工作已取得了長足發展，呈現出新增標準數量逐年增長，標準覆蓋范圍越來越廣的特征[2]。經查詢中國氣象標準化網發現，截至2022 年底，我國現行氣象標準共1782 項，其中國家標準209 項、行業標準578 項、地方標準960 項、團體標準35 項。雖然如此，面對氣象高質量發展新形勢新要求，現行氣象標準及標準體系還存在許多不足，迫切需要進一步發揮好氣象標準的技術支撐和引領作用，加快構建支撐保障氣象高質量發展的標準體系，全面提升氣象標準化治理效能。為此，應及時掌握現行氣象標準的實施和應用推廣情況，準確評估其社會價值和現實意義，有的放矢發現標準存在的不足，進而為進一步加強氣象標準制修訂工作，持續優化完善現行氣象標準體系奠定堅實基礎。目前，關于氣象標準評估相關研究，國內尚未見公開發表的內容。本研究以氣象服務類標準為例，通過層次分析法（AHP）對該類標準的質量水平及實施效果進行分析評估。

2 標準評估指標體系構建及權重計算

2.1 層次評估模型構建

AHP 層次分析法是一種解決多目標復雜問題的定性和定量相結合進行計算決策權重的研究方法，具有靈活簡潔、系統性強的顯著特點，被廣泛應用于社會、經濟、科技、規劃等諸多領域的評價、決策、預測、規劃等。本研究基于AHP 層次分析法，以現行氣象服務類標準為研究對象，對同類型、具有可比性的指標進行分析，分層分級確定評估因素和子因素，從而建立起氣象服務類標準的評估指標體系（見圖1）。該體系包含一級指標3 項，即技術因素、經濟因素、社會因素；二級指標15 項，即制定方法、參數設定、評定指標、編制嚴謹、可操作性、資源節約、工作效率、經濟效益、精細化管理、滿意率、普及程度、環保能力提升、政策一致性、技術促進、規范社會行為[3-4]。

2.2 指標權重計算及一致性校驗

組織多名專家對各指標進行兩兩比較，并采用1～9 標度法進行打分。根據專家組打分結果構建兩兩判斷矩陣，并運用SPSS 軟件計算出準則層和要素層的各指標權重值，以及要素層各指標相對于目標層的綜合權重，完成整體權重的分配（見表1）。

表1 氣象服務類標準評估指標體系權重分配表

一致性檢驗是為了檢驗各指標重要度性間的協調性和合理性，避免指標兩兩比較時出現A ＞B，B ＞C，而C ＞A 的矛盾情況。當一致性比率CR 值＜0.1 時，表明該組數據通過一致性檢驗，且CR 值越趨近于0，則一致性越好。經計算，體系內各指標CR 值均＜0.1，通過一致性檢驗。

3 樣本采集和數據分析

3.1 選定評估樣本

為實現對標準量化評估的目的，被選取作為評估樣本的標準應具有代表性。評估樣本選取時主要考慮到四項因素：一是在業務工作中使用頻次較高，二是可操作性強，三是對具體業務有明顯指導作用，四是應用群體背景具有多樣性。綜上，本項目選取了56 項已公布實施1 年以上的江西省現行氣象服務類標準（含國家標準、行業標準、江西省地方標準）作為評估對象，并將其分布編號為bz01～bz56（見表2）。這些標準涵蓋了氣象災害防御、人工影響天氣、氣候論證、氣象科技服務等多方面內容。

表2 標準評估對象表

3.2 數據采集

根據上述標準評估體系模型，設計標準質量水平及實施效果調查問卷。該問卷包含姓名、職務、職稱、單位、工作崗位、工作時間等答卷人的基本信息；以易于量化、表述客觀、簡潔方便的選擇題為主，便于答卷人做出適配選擇；按照問題邏輯順序分類設置內容，以便后期統計歸類分析；問卷內容與要素層的15 項指標一一對應；另外提供部分開放性問題供答卷人表達意見。為保持評分的一致性，除基本信息外，問卷調查表中相關內容選項使用Likert 5 點量表法進行測試[5]，以1（完全不同意）、3（不太同意）、5（一般同意）、7（比較同意）、9（完全同意），五檔分數區分、量化問卷指標數據。問卷發放對象為各標準使用單位及相關人員。本項目設計的問卷于2021 年7月正式在網絡上發布，歷時3 個月，最終共收集有效問卷樣本1627 份。

3.3 信度分析

信度即可靠性，是指采用同樣的方法對同一對象重復測量時所得結果的一致性程度。為衡量本項目中問卷答案的可信程度，將問卷中15 項指標因素編號為Q1～Q15，對其數據進行信度分析。

本項目采用α 信度系數法。α 系數評價的是問卷中各題得分一致性，為內在一致性系數，可用于態度、意見式問卷的信度分析。一般而言，問卷整體的α 系數在0.8 以上為好，0.7～0.8 屬于可接受范圍，在0.6 以下則表明其內容需重新編輯。此處以標準bz01 為例，信度分析結果如表3 所示，其Cronbach α 系數為0.92，通過信度檢驗。其余55 項標準經分析計算，也均通過信度檢驗。

表3 Cronbach 信度分析表（標準bz01）

3.4 效度分析

效度即正確性，是指一個測驗或測量工具能真實地測量出所要測量的事物的程度。效度分析用于研究題項是否有效表達研究變量或者維度的概念信息，簡單來說就是研究題項設計是否合理，或者題項某個變量是否合適，即問卷設計的準確程度。

本項目采用因子分析驗證預期變量與問卷題項之間的對應關系。此處以標準bz01 為例，效度分析結果如表4 所示，Q1～Q5、Q6～Q10、Q11～Q15 的各項因子荷載系數最大值均分別與因子1、因子2、因子3 相對應，且所有題項的共同度均大于0.7，說明效度良好，通過效度檢驗。其余55 項標準經分析計算，也均通過效度檢驗。

表4 效度分析表（標準bz01）

4 標準特征分析

4.1 標準評分

以bz01 為例，結合評估指標體系權重和問卷調查所得分數（該標準有效問卷樣本數為33），對其進行綜合水平評價分析，即標準的評估得分為要素層各指標綜合權重與該指標調查問卷得分平均值的乘積之和。如表5 所示，標準bz01 的評分為8.5061。

表5 標準bz01 評估得分表

按上述方法，根據1627 份有效問卷樣本，計算出56 項江西省現行氣象服務類標準的最終得分情況，如表6 所示。最終得分由8.3728 至8.8809 不等，整體標準的平均得分為8.6152，其中27 項標準得分高于平均分，29 項標準得分低于平均分。

表6 標準評估得分總表

4.2 指標主導分型

以bz01 為例，其3 項準則層指標的得分情況及歸一化值如表7 所示。該標準的準則層指標中，技術因素得分的歸一化值為0.3278，分值最高，因此認為該標準為技術主導型標準。

表7 標準bz01 準則層指標得分表

將56 項被評估標準的準則層指標的得分數據都進行歸一化處理，繪制出對比圖（見圖2）。根據歸一化值將標準分類，其中29 項為技術主導型，10 項為經濟主導型，17 項為社會主導型。

圖2 評估對象準則層指標的歸一化得分對比圖

5 結語

5.1 研究結論

標準的種類繁多，分類型對其進行評估更具科學性和可靠性。本研究基于AHP 層次分析法，從現行氣象服務類標準中提取出共性評價指標，并構建起氣象服務類標準的評估指標體系。之后選取56 項江西省現行氣象服務類標準作為評估對象，對照評估體系各項指標設計出標準質量水平及實施效果的調查問卷，并以網絡問卷調查的形式收集有效問卷樣本1627 份。再通過加權計算，得出被選取標準的最終評分。結果表明，江西省現行氣象服務類標準以技術主導型為主，社會效益較經濟效益表現更突出，符合公共服務類標準的核心理念。

5.2 研究局限性

本研究具有一定的局限性。一是樣本選擇有偏差，由于評估樣本中的地方標準均為江西省地方標準，其地域性強，而代表性不足，可能影響到研究結果的可靠性和普適性；二是數據收集有偏差，調查問卷主要針對氣象服務類標準的應用單位及工作人員，其與標準的關聯性強，可能會導致標準得分偏高的情況發生；三是研究方法本身帶來的偏差，基于層次分析法的標準評估指標體系模型在指標設置及權重設立上具有較強的主觀性，易受主觀意識、專家經驗等因素的影響；四是研究深度不夠，在依據評分結果對標準進行主導分型后，未繼續展開進行更深一步的研究。

5.3 研究展望

本研究基于層次分析法，構建了氣象服務類標準評估指標體系，并對江西省現行氣象服務類標準進行了評估。該方法為評價氣象標準的質量水平、實施效果及社會價值提供了較為客觀、準確的依據，有利于提高標準制修訂效率，增強氣象標準的科學性和可操作性，進而優化完善現行氣象標準體系，助力支撐氣象高質量發展。此外，該方法對于其他類型標準的評估也具有一定參考作用。但需要注意的是，由于標準評估涉及諸多復雜因素，本研究具有一定的局限性，在研究方法、評估專家、樣本對象的選擇，評估指標及權重的設立，調查問卷的設計與發放，以及調查數據的校驗與處理等方面，都還有進一步優化的空間，有待后續研究探討。