淺析層次分析法在水務科技項目實施效果評估中的應用

汪 燕

(深圳市水務科技信息中心，深圳 518036)

在科技項目實施的全周期內，如何保障科技創新項目研究活動及其成果的水平與質量，如何采用定性與定量分析方法結合起來，對科技管理進行科學、公平、合理的評估一直是科技行政管理部門、科技工作者及社會各界關注的焦點。深圳市水務科技創新項目自設立以來，支持了一大批水環境治理、水安全保障、水資源利用、水生態健康、水管理服務和水利工程運行等水務重點領域項目，取得了非常明顯的成效。但是在實施和管理中仍然存在布局整體性和系統性不足、項目來源單一、部分成果的應用和推廣性不高等很多問題。如何選擇合適的方法、對過去深圳市水務科技創新項目效益成果作出合理的評估，是水務科技創新項目管理中急需解決的問題。本文以深圳市近年來實施的水務科技項目為分析對象，通過調查整理項目實施過程的問題和成效，結合項目管理資料，通過劃分項目類型，梳理評價指標種類，建立評估體系，探討采用層次分析法對項目的效益指標進行賦分評價，進而評判項目實施的質量層次。

1 項目評估體系構建

1.1 評估體系的建立

合理構建項目評估體系是至關重要的，按照深圳市水務科技創新項目實施特征，本文將評估指標體系分為三層：目標層、準則層、指標層。目標層為單一目標——深圳市水務科技創新項目評估指數，深圳市水務科技創新項目評估的目的在于綜合評估深圳市水務科技創新項目資金以項目的形式用于深圳市水安全、水資源、水環境、水生態、水管理和水利工程等項目的整體實施過程，分析項目實施過程中存在的問題，對項目實施過程中積累的經驗進行總結，為強化項目管理單位和項目實施單位在深圳市水務科技創新項目管理提供決策依據。準則層包括項目立項、項目管理、項目產出和項目效果4個層面，是影響和制約深圳市水務科技創新項目實施的因素，項目立項是決定項目能否為深圳水務科技工作提供有力支撐的重要因素，是項目能否按照既定計劃順利實施的必要條件，也是深圳市水務科技創新項目實施過程中的重要基礎工作，包括立項程序、項目目標、項目內容三項基本指標；二是項目管理，項目管理是深圳市水務科技創新項目具體實施過程的核心環節，是決定項目成敗的關鍵，是深圳市水務科技創新項目評估的重要落腳點，包括組織管理、財務管理、驗收管理、檔案管理四項基本指標；三是項目產出，項目產出是深圳市水務科技創新項目實施規范性的重要考核層面，包括產出進度和產出質量兩項基本指標；四是項目效果，項目效果是深圳市水務科技創新項目實施總體成效的集中體現，包括成果應用和實施成效兩項基本指標。每一個準則層包含的基本指標構成指標層，共11個單項指標，以全面反映和考核深圳市水務科技創新項目實施情況，每一個指標的含義和評判標準如下：

(1)立項程序：反映和考核項目是否滿足申報條件；項目的申請、論證、入庫、批復等程序是否符合項目立項相關要求；實施方案的編制內容是否完整，是否按照項目管理部門(單位)的要求進行修改完善。

(2)項目目標：反映和考核項目目標是否符合國家法律法規、方針政策和自己支持方向；是否符合深圳水利事業改革發展方向，是否與項目承擔單位的工作職責和任務一致；項目目標是否合理。

(3)項目內容：反映和考核項目內容與項目目標是否匹配；內容設置是否清晰、細化、量化、可衡量。

(4)組織管理：反映和考核承擔單位在項目實施過程中權責分工是否明確；項目相關管理制度是否健全，是否嚴格貫徹執行相關管理制度。

(5)財務管理：反映和考核承擔單位項目預算編制是否規范；是否建立獨立項目資金賬戶；預算經費是否及時、全額到位；經費管理、費用支出等制度是否完善，是否嚴格執行；經費使用是否合規；項目經費是否按時執行完成。

(6)驗收管理：反映和考核承擔單位項目驗收程序是否符合相關規定；驗收報告文本是否規范。

(7)資料管理：反映和考核項目承擔單位是否嚴格按照項目管理部門(單位)要求的內容及期限整理并上報項目相關材料，項目上報材料主要包括項目實施方案、總結、驗收報告、成果報告、成果信息摘要等。

(8)產出進展：反映和考核項目按照實施方案、項目內容等要求的任務進展情況。

(9)產出質量：反映和考核項目已完成任務是否應用；是否達到項目目標要求；是否滿足相應技術標準。

(10)成果應用：反映和考核項目成果是否實際應用及應用過程是否正常。

(11)實施成效：反映和考核項目的實施是否能夠推進深圳水務科技創新及應用、水務領域新技術推廣與示范、水務業務重大技術攻關、水務工作專題研究等方面。

指標詳細劃分情況見表1。

表1 深圳市水務科技創新項目評估指標體系

1.2 確定指標權重

指標權重的確定是層次分析法的重要步驟，其目的是確定系統中各因素之間的關系，建立系統層次結構模型。將包含的因素分組，每組作為一個層次，從上至下依次分為目標層(最高層)、準則層(中間層)和指標層(底層)，上一層次對相鄰的狹義層次的逐層支配關系，即遞階層次關系。由層次結構模型中每層中的各因素的相對重要性的判斷數值列表構成判斷矩陣，判斷矩陣表示同一層與上一層某因素有關各因素之間相對重要的比較。例如，若A層次中因素Ak與下層次nB1，B2，，Bn有聯系，則判斷矩陣：

(1)

bij是判斷矩陣P的元素，表示對因素而言，與相對重要性的數值，以(1～5)標度值表示比較結果，各級標度的含義詳見表2。

表2 判斷矩陣標度及其含義

根據判斷矩陣求出這n個元素B1，B2，，Bn對Ak的相對權重向量W=(W1，W2，，Wn)T，即計算判斷矩陣的最大特征值及對應的特征向量。

對該特征向量進行規范化(歸一化處理)，

(2)

采用構造兩兩比較判斷矩陣，由各指標之間的兩兩比較關系判斷矩陣計算指標權重。對同一層次指標，進行兩兩比較，以標度值表示比較結果，標度值由項目組先行暫定，通過專家咨詢環節確定。通過對近期水務科技創新項目的分析，采用上述方法確定深圳市水務科技項目評估指標準則層項目立項、項目管理、項目產出、項目效果四個層面的權重分別為：0.0972、0.1639、0.4018、0.3370。同理，分別得出準則層各層面指標兩兩比較判斷矩陣的最大特征值及一致性比例，準則層各層面指標兩兩比較判斷矩陣的一致性比例均小于0.1，滿足要求，結果見表3。

表3 準則層各層面指標判斷矩陣最大特征值及一致性比例

準則層各層面評估指標的相對權重規范化處理結果見表4。

表4 規范化處理后準則層各層面評估指標的相對權重

綜合各準則層權重值以及準則層各層面評估指標的相對權重值，可得指標層所有指標對目標層的合成權重，見表5。

表5 指標層所有指標對目標層的合成權重

1.3 指標賦分標準

指標層各項基本指標按照100分制進行逐項打分，評分標準以項目立項(C1)和項目內容(C3)為例，打分如下：

項目立項(C1)：一是申報條件(20分)。項目滿足申報條件的，20分；不滿足的，0分。二是立項程序(50分)。項目立項程序完整且符合相關規定的，50分；立項程序不完整或不符合相關規定的，每少1項程序或每有1項程序不符合規定扣10分，分值扣完為止。三是實施方案編制(30分)。實施方案完整且符合要求或按要求修改完善的，30分；實施方案不完整的，每少1項內容扣3分；未按項目管理部門(單位)的要求修改完善的，0分。上述3項得分相加求和即為該評估指標最終得分。

項目內容(C3)：反映和考核內容設置是否細化、量化可衡量。一是內容匹配性(20分)。項目內容與項目目標匹配的，30分；基本匹配的，15分；不匹配的，0分。內容細化(40分)。內容細化的，40分；比較細化的，20分；未細化的，0分。內容量化(40分)。內容量化的，40分；比較量化的，20分；未量化的，0分。上述3項得分相加求和即為該評估指標最終得分。如此類推，將其他指標的賦分標準一一確定。

2 項目評估分析

2.1 項目樣本選定

對于某一特定項目進行評估時，搜集資料越全面，評估結果就越客觀。然而，如果為了通過評估掌握某一類項目的實施情況，需要盡量提高評估項目樣本所占比例，以反映某類項目的總體情況。2008—2017年，深圳市水務發展專項資金科技項目合計138個，總投資25297萬元。其中以2013年為分界，2008—2012年中的科技項目合計37個，總投資3605萬元，主要來源為水務發展專項資金中的能力建設投入；2013—2017年，整體的水務科技項目有了較大層次的提高，項目數達到101個，其中水務科技創新項目57個，總投資6955萬元。考慮到資料的可獲取性和參考價值，本次研究選取2013—2017年的全部水務科技創新項目57個，以及2008—2012年的部分水務科技項目10個，共計67個作為評估項目樣本。

通過對已經掌握的項目相關資料的梳理分析，對項目任務進行了分類。評估項目包含水安全項目12個、水環境項目19個、水資源項目5個、水生態項目10個、水管理項目10個、水利工程項目11個，涵蓋了水務科技項目的各類任務，各類任務評估項目數占評估項目總數的比例與各類任務項目占項目總數的比例基本一致，評估結果在一定程度上反映了各類任務項目的總體狀況，如圖1所示。

圖1 各類任務評估項目比例與項目總體比例對比

2.2 項目評估總體分析

利用以建立好的評估體系，分別對待選取樣本共43個項目逐一打分評估，同時按照每個項目的實際打分情況結合項目撥款進度、項目內容完成質量、項目驗收效果、項目審計情況等，將評估樣本分為A、B、C、D、E、F六個等級，具體定義見表6。

表6 水務科技評估項目等級劃分標準

根據總體打分情況和項目的等級劃分情況，43個深圳市水務科技項目評估平均分數為64分，項目實施總體情況達到D級，不同評估等級的項目數為：A級12個，B級10個，C級4個，D級2個，E級13個，F級2個。項目評估不同等級所占比例如圖2所示。

圖2 項目評估不同等級所占比例

圖2表明，分析樣本中評估等級A級和B級分別僅占28%和23%，E級所占比例最高，達到30%，甚至出現了個別F級項目，即立項后被擱置或終止的項目，占項目評估總數的5%。由此可見，由于管理制度不健全、項目主管部門人員流動、項目承擔單位責任不到位、成果達標率偏低、推廣應用率低等原因，2008—2017年深圳市水務科技項目總體實施情況不佳，產出效果不高。

3 結語

采用層次分析法對科技項目實施效益的評價，利用得分分值體現了不同科技項目在同一評估指標體系下的質量好壞相對程度，具有直觀性和公平性，通過對二級指標的逐一探討，可以針對項目實施過程中出現的問題和積累的經驗進行總結，有利于項目管理單位和項目承擔單位分別提出強化項目管理的對策措施和建議。這一方法對難以定量評價和考核的項目實施成效分析有較強的借鑒意義，但在采用該方法的過程中，應詳細分析劃分評價指標，并以實施情況加以對比驗證。