項目后評價精量化與客觀化應用研究
——以國網電力技改項目為例

郭亞楠 羅拓 郭興昕 魏超

(1.清華大學深圳國際研究生院，廣東 深圳 518055；2.國網江蘇省電力有限公司電力科學研究院，江蘇 南京 211100)

0 引言

隨著電力行業的迅速發展，國家對電力技改項目的投入力度逐年加大，電力技改項目的研究、管理和評價工作也愈加受到重視。構建精量化、客觀化的項目后評價指標體系，基于已建立的評價指標體系設計和開發一套項目后評價軟件系統，對電力技改項目進行科學量化、客觀專業的后評價，對于提高電力技改項目決策和管理水平具有重要的實踐意義[1]。

1 項目后評價中的問題與需求

2018年，國家電網有限公司(以下簡稱“國網”)發布《國家電網生產技術改造項目后評價報告深度規定》(以下簡稱《深度規定》)，提出了生產技改項目(以下簡稱“技改項目”)后評價的指標體系和評價要求[2]。《深度規定》的出臺為國網生產技改項目后評價提供了執行標準，是電力系統開展技改項目后評價的綱領性文件，需要在全行業中貫徹執行。然而，在按照《深度規定》要求對技改項目進行后評價的過程中發現一些需要進一步厘清和探討的問題。

1.1 導向性問題

《深度規定》是面向全行業技改項目普遍適用的標準文件，評價指標體系涵蓋技改項目全生命周期的各個方面，指標權重分布相對均衡。對于科研人員在項目后評價工作中重點關注的一些指標，相應的指標權重較低，個別指標影響力和適用度較低，都需要根據客觀實際做出必要調整，以重點突出、簡潔高效、易于操作作為項目后評價導向[3]。例如，針對科研人員普遍關注的“項目完成后的運行績效”的指標，應通過科學分析，提高其在整個后評價體系中的指標權重。

1.2 客觀化問題

國網對于技改項目的后評價規定雖然采取了定性與定量相結合的方法，但大多數情況下仍依靠定性評價作為支撐，這必然會帶來項目后評價結果中主觀因素影響較大的問題[4]。如何減少項目后評價中的主觀性影響，增強項目后評價的客觀性和科學性，關鍵在于篩選和建立一套適合電力技改項目的后評價指標體系，提高可量化、可計算指標的權重，降低含有主觀性評測因素指標的權重，提升電力技改項目后評價的科學性和客觀性[5]。

1.3 精量化問題

實現項目后評價的精量化，關鍵是指標體系中各項指標能夠數量化、公式化。各項指標以翔實的數據來源和科學的公式技術作為支撐，滿足統計分析原理的數字化、規范化要求，能夠實現項目全生命周期精量化評價，并具有可操作性[6]。

2 項目后評價指標體系的構建與設計

電力技改項目作為國網電力科研單位的項目主體，主要指電力科研單位利用電力行業相對成熟的技術，對現有實驗室、試驗系統或平臺進行升級改造的項目。因此，對于技改項目的后評價，應聚焦于項目投入運行后完成試驗、檢測任務、支持重大工程項目等方面的運營效益評價。

依據電力技改項目的特點及后評價的實際需求，將項目后評價工作以項目投入運行的時間作為時間節點，劃分為項目建設過程評價和項目運營績效評價。該項目后評價指標體系總分100分，項目建設階段占比25%；項目運行階段占比75%。該項目后評價指標體系評分標準主要適用于電力科研單位技術改造類項目的后評價工作。該評價體系將項目后評價分為項目建設過程和項目運營績效兩個階段進行綜合評價，總分100分，項目后評價總分90分以上為優秀，80分以上為良好，70分以上為合格，60分以上為基本合格，60分以下為不合格[2]。

依據以上原則與思路，采用邏輯框架法、層次分析法、對比法等項目后評價方法[4]，以“易獲取、可量化、應用廣、影響大”為標準對電力技改項目后評價指標按標量化和按需細化，構建出一套精量化與客觀化的電力技改項目后評價指標體系(以下簡稱“后評價指標體系”)，并編制項目后評價指標體系評分標準[1]。

后評價指標體系共分為三級指標：一級指標2項，分別是項目建設過程評價子體系和項目運營績效評價子體系。二級指標10項，其中項目建設過程評價子體系包含4項二級指標，分別是進度評價、合規評價、偏差評價和安全評價。其中，進度評價包含2項三級指標，分別是過程進度評價和總進度評價；偏差評價包含2項三級指標，分別是預決算偏差評價和設備資產偏差評價。項目運營績效評價子體系包含6項二級指標，分別是運行效能評價、運行指標評價、運營效益評價、發展支撐評價、運行成本評價和系統功能評價。其中，運行效能評價包含3項三級指標，分別是設備使用效率評價、設備試驗能力評價、設備完成任務重要性評價；運行質效評價包含3項三級指標，分別是運行故障評價、運行穩定性評價、安全防范評價評價；運營效益評價包含2項三級指標，分別是試驗能力同比增長評價、設備使用頻率同比增長效益評價；發展支撐評價包含4項三級指標，分別是重大項目支撐評價、電力行業標準支持評價、企業品牌效益評價、新技術應用評價；運行成本評價包含2項三級指標，分別是年度運行成本效益評價、運行成本同比增長率評價；系統功能評價包含3項三級指標，分別是系統用戶覆蓋范圍評價、系統共享性和可擴展性評價、系統易操作性與易安裝性評價。電力技改項目后評價指標體系結構如圖1所示。

圖1 電力技改項目后評價指標體系結構圖

3 電力技改項目后評價客觀化、精量化應用實現路徑與方式

為充分體現項目后評價的精量化和客觀化，指標體系的打分方式采用條件判斷法和計算公式推導法。這兩種定量分析方法的運用，大大提升了項目后評價指標體系中各項指標評分的科學性和準確性，降低了定性評價帶來主觀性和不確定性[7]。

各三級指標的研判和打分采用兩種定量化評價方式，分別是條件判斷評價方式和計算公式推導評價方式。

3.1 條件判斷評價方式

采用條件判斷評價方式打分是根據項目后評價指標體系各三級指標所設置的若干項條件和標準，判斷待評價項目符合該三級指標的其中一項條件，得到相應的得分。

3.1.1 在項目建設過程評價子體系中的應用

在項目建設過程評價子體系中，二級指標“進度評價”“合規評價”“偏差評價”“安全評價”均采用條件判斷評價方式進行打分。例如，二級指標“偏差評價”下的三級指標“設備資產偏差評價”采用條件判斷評價方式進行打分：通過對比《項目初步設計報告》中的主要設備材料清冊，《項目物資和服務驗收報告》中的物資驗收單信息、施工圖設備材料信息、驗收報告設備材料信息是否一致，評估項目建設過程中設備資產的偏差性。

評分標準如下：

(1)項目初步設計的設備資產值與可研批復的設備資產值一致，得1分；不一致，得0分。

(2)項目招標方案及中標結果的設備資產與初設批復的設備資產值一致，得1分；不一致，得0分。

(3)項目實施方案的設備資產值與初步批復的設備資產值一致，得1分；不一致，得0分。

(4)項目驗收結果的設備資產值與實施方案的設備資產值一致，得1分；不一致，得0分。

3.1.2 在項目運營績效評價子體系中的應用

在項目運營績效評價子體系中的二級指標“發展支撐評價”“系統功能評價”均采用條件判斷的評價方式進行打分。

(1)發展支撐評價。二級指標“發展支撐評價”下設置了4項三級指標，都是通過條件判斷的評價方式進行打分：項目發展支撐效益是對項目有關重大項目支撐、行業標準支持、科研獲獎效益、新技術應用效益等多方面的發展支撐效益評價。該二級指標模塊采用并列評分、總分限定的方式進行打分，即項目在一個方面獲得較高支撐效益即可得滿分，各項加和總分最高為10分。

(2)重大電力項目支撐效益評價。項目支撐國家重大專項項目，得10分；項目支撐國網重點工程及指南項目，得7分；項目支撐省網重點工程及指南項目，得5分。

(3)電力行業標準支持效益評價。項目支持了國際/國家標準編制工作，得10分；項目支持了國網標準編制工作，得7分；項目支持了省網標準編制工作，得5分；項目支持了機構標準編制工作，得3分；項目支撐了其他標準編制，得1分，項目未支撐標準編制，得0分。

(4)企業品牌支撐效益評價。項目相關新聞在國家級媒體發布，得5分；在省部級媒體發布，得3分；在地市級媒體發布，得2分；在其他媒體發布，得1分；未在媒體發布，得0分。

(5)新技術應用評價。項目應用了《公司年度重點科技成果和新技術目錄》等相關文件中的技術成果1項，得5分，最高得10分。

3.2 計算公式推導評價方式

采用計算公式推導評價方式是根據項目后評價指標所要求獲取的項目數據值(一般保留到小數點后兩位)代入指標計算公式，所得出的指標值再代入評分計算公式，最終得出相應指標的分數(一般保留到小數點后兩位)。

3.2.1 在項目建設工程子體系中的應用

在項目建設工程子體系中的二級指標“偏差評價”中的第二項三級指標“預決算偏差評價”采用了計算公式推導評價方式。通過查驗和統計待評價項目的總預算A和總決算B，利用計算公式(1)計算兩者之間的偏差率α，再將偏差率α代入評分計算公式(2)，得出分數x。

計算公式如下

α=(B-A)/A

(1)

評分公式如下

x=5，0≤α<10%

x=5-10α，10%<α<50%

(2)

x=0，α≥50%或α<0

3.2.2 在項目運營績效評價子體系中的應用

在項目運營績效評價子體系中的二級指標“運行效能評價”“運行質效評價”“運行效益評價”“運行成本評價”下，均采用了計算公式推導評價方式進行打分。

(1)運行效能評價。二級指標“運行效能評價”下設置了3項三級指標，均采用計算公式推導評價方式進行打分。

1)設備/系統使用效率評價。通過監測項目所在實驗室的設備/系統投運后一年內的使用時長(天數)Z，統計該設備/系統實施技改前一年內的運行時長(天數)X，利用式(3)計算設備/系統使用效率提升比率η，再將η代入評分計算公式(4)，得出分數a。

計算公式如下

η=|(Z-X)|/X

(3)

評分公式如下

Z>X，a=5，η≥10%

a=50η，0<η<10%

(4)

Z≤X，a=0

2)設備/系統實驗能力評價。通過查驗和統計設備/系統試驗/檢測/故障分析/日常運行報告數量，對比設備/系統完成檢測量或實驗任務數量C與項目可研階段設定的計劃完成任務量D，利用計算公式(5)計算偏差率β，再將β代入評分計算公式(6)，得出分數y。

計算公式如下

β=|(C-D)|/D

(5)

評分公式如下

C>D，y=5+10β，0<β<50%，y=10，β≥50%

C=D，y=5

(6)

C

y=0，β≥50%

3)設備/系統實驗重要性評價。通過查驗設備/系統試驗/檢測/故障分析/日常運行報告，統計和評價設備/系統完成檢測或實驗任務的級別和重要程度，查驗設備/系統試驗/檢測/故障分析/日常運行報告，統計完成國網下達數量、完成省網下達任務數量、完成電科院下達任務數量，計算完成任務總數。評價設備/系統完成實驗任務的重要性。

完成國網下達任務數占總完成任務數比例≥10%，得5分；完成省網任務數占總完成任務數比例≥20%，得3分；完成電科院任務數占總完成任務數比例≥50%，得2分。

(2)運營效益評價。二級指標“運營效益評價”下設置了2項三級指標，也采用計算公式推導評價方式進行打分。

1)年度完成任務同比增長率評價。通過對比本年度項目涉及的設備/系統完成檢測量或實驗任務數量C與上一年度檢測量或實驗任務數量G，利用計算公式(7)計算同比增長率ε，再將ε代入評分計算公式(8)，得出分數r。

計算公式如下

ε=(C-G)/G

(7)

評分公式如下

C≥G，r=5(ε≥50%)

r=10ω(0≤ε<50%)

(8)

C

2)年度使用頻次同比增長率評價。通過對比本年度項目涉及的設備/系統使用頻次L和上一年度使用頻次M，利用計算公式(9)計算同比增長率δ，再將δ代入評分計算公式(10)，得出分數k。

計算公式如下

δ=(L-M)/M

(9)

評分公式如下

L≥M，k=5(ε≥50%)

(10)

k=10ω(0≤ε<50%)

L

(3)運行成本評價。二級指標“運行成本評價”下設置了2項三級指標，也采用計算公式推導評價方式進行打分。

1)年度運行成本效益評價。通過統計項目年運行一年的運維費用總和I、項目資產原值J，利用公式(11)計算兩者之間的偏差率γ，再將γ代入評分計算公式(12)，得出分數s。

計算公式如下

γ=I/J

(11)

評分公式如下

s=5，γ≤5%

(12)

s=10-100γ，5%<γ<10%

s=0，γ≥10%

2)運行成本同比增長率評價(5分)。通過統計項目年度總運維費用I、項目實施技改前一年總運維費用K，利用公式(13)計算同比增長率ω，再將ω代入評分計算公式(14)，得出分數t。

計算公式如下

ω=(I-K)/K

(13)

評分公式如下

t=5，ω≤20%

(14)

t=6-10ω，20%<ω<50%

t=0，ω≥50%

3.3 小結

采用上述兩種定量化評價方式，項目后評價各級指標的評分更加科學、客觀，避免了定性評價帶來的主觀性和不準確性，充分滿足了項目后評價的精量化與客觀化要求。

4 電力技改項目后評價軟件系統開發與應用

4.1 電力技項目后評價軟件系統的設計開發

實現項目后評價自動化、智能化是未來的發展趨勢。為提高電力技改項目的評價效率和管理水平，切實考量和評價電力技改項目的投入產出效益，充分總結項目建設及運行過程中的經驗教訓，根據已建立的項目后評價指標體系，設計和開發一套項目后評價軟件系統，目標是實現對項目全生命周期文件和材料中的文字、圖像等信息進行自動化提取、識別、判斷和評價等功能；通過軟件開發和應用場景測試，實現項目實施過程合規性、項目成果效益性的全方位智能化評價，為電力科研單位的項目投資決策和戰略發展規劃提供有力支持。

基于電力技改項目后評價指標體系及評分標準，設計和開發了電力技改項目后評價軟件系統。該系統作為國網項目精益量化全景項目管理系統的子系統，與國網項目精益量化全景項目管理系統架構和數據庫相統一，基于“瀏覽器-服務器”模式建設，充分利用國網現有的網絡硬件和軟件支持環境，遵照統一的技術接口規范和標準。系統分為項目后評價、后評價結果查詢、后評價指標管理、管理員權限四大功能模塊，其系統整體架構如圖2所示。

圖2 電力技改項目后評價軟件系統整體架構圖

4.2 電力技改項目后評價軟件系統的實證應用

項目后評價軟件系統一般由科研人員和管理員操作和使用。科研人員在管理員授權后登錄項目后評價軟件系統，可以進入“項目后評價”“后評價結果查詢”和“后評價指標管理”三個功能模塊進行操作和使用。管理員可以新增和修改科研人員登錄和使用系統的權限。

科研人員進入“項目后評價”功能模塊，輸入項目名稱或項目編號等項目信息，搜索并調取待評價項目的基本信息。按照系統中有關各項評價指標的輸入數據信息要求，采用自動導入、直接上傳和手動輸入等多種方式，輸入項目建設過程和項目運行績效的對應評價數據信息，進行項目后評價分析和評分。項目后評價軟件系統自動分析和計算待評價項目的各級指標得分，并計算得出項目后評價總分。科研人員進入“后評價結果查詢”功能模塊，可以查閱已評價項目的結果詳情，并對多個已評價項目的結果進行比較分析；進入“后評價指標管理”功能模塊，可以查看項目后評價各級指標和評分規則，并且可以進行新增、修改、刪除等操作。

5 結語

目前，國網對電力技改項目的評價方法雖然采取了定性與定量相結合的方法，但多數情況下仍需要有定性評價作為支撐。建立精量化與客觀化項目后評價指標體系，對各級評價指標的評分標準進行定量化設置，盡量降低定性評價權重，有效克服了以定性評價為主的傳統項目后評價方法所帶來的主觀性和局限性，提升了電力技改項目后評價的科學性、客觀性和實操性。

此外，以精量化與客觀化項目后評價指標體系為基礎開發的項目后評價軟件系統，對電力科研單位技改項目進行實證分析和評價打分，可以更加科學地對項目的建設和運行結果進行評價，尤其是對于項目投運后的運行效能、運營質效、支撐效益、運行成本及系統功能等運營績效指標的評價更加細致、精準，評價結果可以更加真實地反映項目存在的問題，提出切實可行的改進意見，有助于提高項目全生命周期管理的效率和水平，為電力科研單位的項目投資決策和戰略發展規劃提供參考。