公安信息化建設項目績效評估方法研究

高建國

引言：為推進公安信息化建設實效，探索信息化效能評估切實可行的方法，并為今后信息化建設提供導向依據，論文分析了公安信息化績效評估的現狀，在研究相關理論基礎上，結合杭州公安科技管理工作的實踐與經驗，根據公安信息化項目的特點，提出了一種立體化的公安信息化績效評估模型。該模型融合了定性與定量的評估理論方法，并將模型應用到公安信息化績效評估中，建立了相應的評估指標體系。以期對公安信息化建設起到一定的促進作用。

進入二十一世紀，公安工作全面跨入信息化時代，全國上下興起了一股科技強警的浪潮。“金盾工程”建設的順利完成，有力地支撐了公安中心工作，為全面實現公安工作信息化奠定了堅實基礎。公安部、科技部相繼開展了科技強警示范城市建設，將公安科技工作水平推向了新的高度，向科技要警力、向科技要戰斗力已經成為一種共識。

由于信息化建設自身的復雜性和廣泛性，要建立合理而優秀的信息系統并非易事。因此，在建設信息系統的同時，需要加強對信息系統的評估，以提高公安信息化建設的效率。而且，國家也一直要求強化對信息化工程項目的系統運行效率和使用效果等情況進行后評價。建立一個適合杭州公安當前信息化應用環境的信息化項目績效考核體系的工作已刻不容緩。但目前我國各領域信息化項目評估基本停留在宏觀層面上，深入行業的信息化評估體系研究較少。

一、研究概述

（一）研究目的

為加強杭州市公安局信息化項目的應用管理，監控項目的運行狀況、運行效果和發展前景，提高項目建設的總體效益，完善項目成效與項目規劃的耦合度。力爭通過評估體系的搭建，進一步規范和引導項目申報工作的科學性和合理性，督促項目實施單位加強項目建設的自主管理和應用的普及及推廣。

（二）研究思路

在研究現有信息化評估方法的基礎上，設計一個多維度立體化層次評估體系。該體系能夠結合主觀和客觀因素，并從多個角度反映系統的績效情況。

具體方法是采用決策論中“層次結構分析”的思想，遵循定性分析→定量排序→評價的思路，建立如下設計流程，如圖1所示：

圖1 杭州公安信息化建設項目績效評估體系研究方法論

1、根據杭州公安信息化應用的過程、對象，搜集評價素材，提出評估服務的目標，并分析影響評估的因素。

2、分析杭州公安信息化應用所設計的內容和評估指標，提出評估應用的目標，并分析影響評估的因素。然后根據各指標之間的關系，確定評估層次結構體系，建立評價模型。

3、科學地確定各評價指標在系統中的相對重要性或權重，并運算求解，研究模型中某些難以精確定量的指標在具體應用過程中的量化問題，確定評估層次結構體系。

4、根據計算的結果進行排序，得出評價指標的重要性排序，與實際工作進行分析，找出差距，及時調整。

（三）研究原則

1、需求導向性

確定評估重點和相關細則時充分考慮項目的具體需求。

2、針對性

借鑒國內外公安信息化評估指標及其他行業信息化評估指標，針對杭州公安信息化應用的特點和發展情況，建立能適應杭州公安信息化應用水平的體系。

3、科學性

選擇科學的分析及評價方法，實現多維度、多層次客觀評價。

4、定量與定性相結合

雖然定量數據比定性數據更精確，可信度更高，但公安信息化應用評估中有些指標是無法直接統計的，需要用定性指標來判斷。因此，只有將定量方法和定性方法組合起來，才能對公安信息化應用績效進行客觀、科學、全面的評價。

5、可操作性

指標的選取應該具有實用性和可行性，一是指標要簡化，方法要便捷；二是必須考慮其指標值的測量和數據搜集工作的可行性，在確定指標時勁量可能使用客觀指標可行的統計指標。

二、評估體系構建

對目前杭州公安信息化應用情況進行深入了解和實地調研之后，基于評價指標構建的基本原則，依據信息化評價的相關理論基礎，以及專業知識和實際經驗，構建了杭州公安信息化應用評估體系的基本框架，并在此基礎之上選取了靈敏度高、代表性好、易獲取的指標組成總的評價指標。從而形成杭州公安信息化項目績效評估體系。具體如圖2所示：

圖2 杭州公安信息化項目績效評估體系

該評估體系包括評估主體、評估客體、評估思路、評估模型、評估流程和評估報告。首先確定評估主體和評估客體，然后在評估目標的指導下，形成科學合理的評估思路，并沿著評估思路構建評估模型。評估模型又包括評估方法、評估基準、評估指標、評估數據，遵循既定的評估流程，運用評估模型對評估的客體進行評估，最后得出評估結果，形成評估報告。整個評估過程不是“一次性”的項目，而是伴隨著信息化工作在全年動態展開的。在評估過程中充分運用“戴明環”質量管理意念，達到PDCA循環中的“監控和評估”目的，從而實現對信息化項目全生命周期的閉環管理和自我良性循環。同時，該評估體系自身也是個“小循環”，也需要根據評估工作經驗總結，進行持續改進。

（一）評估主體與客體

評估主體是指主要接受委托施予評估的組織、個人或聯合工作組。評估客體指的是評估的對象。其中評估主體即“誰評估”在整個公安信息化項目績效評估體系中尤為重要。其原因在于目前信息化績效評估在我國國情下是項較為敏感的工作，績效評估主體必須具備相應權力且能夠影響被評估者的行為向評估主體期望的方向調整，這對評估工作的順利開展和評估結果的應用及跟蹤改進起到很大的作用。杭州公安信息化項目績效評估體系評估主體與客體分別為：

1.評估主體

由市局科通局組織成立項目評估小組，或委托具有相應資質的評估機構對項目進行評估。

2.評估客體

本體系適用于投資額10萬元及以上并通過驗收后正式投入使用運行半年以上的信息系統項目（只針對信息系統建設）。

（二）評估模型

評估模型是整個評估體系的主體部分，而評估方法、評估基準、評估數據和評估指標則是評估模型最核心的四要素。

1.評估方法

在評估中，不同的評估方法將對評估結果產生不同的影響。目前國內外關于多指標綜合評估的方法很多，根據權重確定方法的不同，這些方法大致可分為兩類：一類是主觀賦權法，如層次分析法、德爾菲法、綜合評估法等，多是采用綜合咨詢評分的定性方法，這類方法因受到人為因素的影響，往往會夸大或降低了某些指標的作用，致使排序的結果不能完全真實地反映事物間的現實關系。另一類是客觀賦權法，即根據各指標間的相關關系或各項指標值的變異程度來確定權數，避免了人為因素帶來的偏差。如主成分分析法、因子分析法、DEA方法等。其他一些評估方法中權重確定基本上都離不開這兩種思路。

指標的權重是指該指標在本層指標中所占的相對重要程度。權重對評估結果會產生較大的影響，權重確立的合理性與專家的判斷水平直接相關。因此， 杭州公安信息化項目績效評估在進行權重判定時采用：合理配置的專家組成結構，包括杭州公安高、中、低層管理人員、技術人員、也有第三方專業機構專家等，分別能夠針對各自熟悉的領域對公安信息化項目績效進行客觀準確地判斷。這樣，指標的權重才能體現不同類型信息系統績效的特點，打分結果才是科學合理的。

2.評估基準

杭州公安信息化項目績效評估基準是準確衡量績效的尺度，基準的正確選擇對公安信息化項目績效評估結果具有較大影響，評估基準的制訂既是公安信息化項目績效評估體系建立的主要環節，也是公安信息化項目績效評估具體工作所面臨的一個重要工作步驟。

基準是正在進行的系統化的方法論，用于識別、度量、比較自身在某一時期內的工作過程或職能，或與一個或其他多個組織進行比較，以實現其內部的改善。基準是績效評估的參考點。通過與參考點的對照可以認清單位自身所處的位置，從而識別前進的方向與目標。根據基準的參考點劃分為內部基準和外部基準。

內部基準是指以某一時間段的績效情況作為參考點，反映出組織內部的績效隨時間變化的情況。內部基準的存在前提是必須以歷史數據的存在為依據，在進行過數據評估之后，單位可以選取自己的內部數據作為基準，進行縱向比較與衡量。包括計劃基準、經驗基準和歷史基準等。

外部基準是指該單位與外部組織的運營績效情況進行比較的參照物。一種是與同行業的整體最佳實踐者進行比較，以找出差距。另一種是只瞄準特殊的比照對象，進行比較，確定該單位目前所處的行業地位，了解當前該領域的最佳實踐情況，如何對照最佳實踐過程修正自身等。

要進行公安信息化項目績效評估，除要建立科學、合理、規范的指標體系外，必須要對公安信息化項目績效評估的基準進行總體規劃設計，研究指標與基準的對應關系，研究不同評估客體的基準選擇，通過各種渠道廣泛收集整理各種分類基準數據，在條件成熟時要研究建立績效評估基準數據庫。

基準并非是固定的和一成不變的，會隨著經濟的發展和客觀環境的變化不斷變化，因此，如何建立和維護更新基準庫也是一項非常重要的工作。一方面可以在實踐過程中根據實際情況對基準庫進行補充和修正；另一方面可以隨著相關行業管理要求的推出，不斷納入新的基準指標，使基準庫隨著應用的累積而逐漸成熟。

3.評估指標

評估指標設置

評估指標是評估模型的骨架。科學建立評估指標體系是決定評估工作成功與否的關鍵。如果評估指標選擇不當，或者缺少關鍵指標，則會影響評估結論的精度，甚至給被評單位以錯誤的導向信號。因此，公安信息化項目績效評估指標需要基于發達國家公安信息化項目績效評估實踐，遵循既定的基本原則，結合委托方具體需求，科學設計評估指標體系，并持續完善。

（1）業務需求的實現比例

評價項目建設任務完成情況，即建設應用功能和需求規劃功能的契合度。

項目評估由項目建設實施單位（或用戶單位）對照項目實施前的完整業務需求和項目建成后的功能實現情況進行自評，自評主體原則上由項目直接參與人員構成，人數在3-5人之間，每人根據項目應用功能的實際完成情況按百分比分別打分。

（2）用戶使用率

評價項目運行后的用戶使用情況，即實際用戶數和訪問量與規劃情況的對比。

項目立項前，申報單位須申報項目實施后的“用戶對象”和“潛在用戶數”。項目評價時由根據系統“實際用戶數”與潛在用戶數之商確定。

（3）解決具體問題的時效

評價項目運行在公安工作中產生了的實際效益。

項目評價由第三方根據項目實施單位（或用戶單位）在評價時上報的應用成效案例，綜合數量和質量兩方面的情況，邀請3-5名應用對象對綜合成效分別進行百分比評價。

（4）用戶綜合評價

評價用戶對項目的認可度。

項目評估由第三方從“潛在用戶群”中隨機選擇5-10名用戶，采用電話采訪的形式，由受訪用戶對項目認可度分別進行百分比評價。

（5）異常因素情況

評價項目能夠實施的外部環境。即是否存在著因需求研究不充分、技術架構不合理以及與上級精神不相符等因素導致項目無法繼續推進開發或無法部署應用的情況。

本項內容對項目評估結果具有一票否決權，即如存在上述情況，可認定項目評價結果為不合格。

指標權重設定

指標權重的確定辦法

使用調查表格，擬邀請20位專家對3個一級指標的相對重要性及其以下8個二級指標、n個三級指標的重要性進行判斷，調查結果收集回來后，首先采用層次分析法求出每個專家給3個一級指標的權重，再進行算術平均來確定3個一級指標的最后權重。具體操作步驟如下：

用層次分析法求解單個專家所賦的權重

（1）建立判斷矩陣

由20專家對3個一級指標的相對重要性進行兩兩比較，用判斷尺度進行判斷，以確定矩陣元素。判斷尺度的定義見下表

表1 判斷尺度定義表

判斷尺度 定義

1 Ci與Cj的影響相同

3 Ci比Cj影響稍強

5 Ci比Cj影響強

7 Ci比Cj影響明顯地強

9 Ci比Cj影響絕對地強

2，4，6，8 Ci與Cj的影響之比在上述兩相鄰等級之間

1，1/2…1/9 Ci與Cj的影響之比為上述aij的相反數

（2）填寫判斷表并統計結果

20位專家按上表的判斷尺度填寫判斷表，得到20份如下表所示的權值因子判斷表。

表2 權值因子判斷表

序號 評 價

指 標 評 價 指 標

指標⑴ 指標⑵ 指標⑶ … 指標（j） … 指標（n）

1 指標⑴ 1 a12 a13 … a1 j … a1n

2 指標⑵ a21 1 a23 … a2j … a2n

3 指標⑶ a31 a32 1 … a3j … a3n

… … … … … … … … …

I 指標（i） ai 1 ai 2 ai 3 … 1 … ai n

… … … … … … … 1 …

N 指標（n） an1 an2 an3 … an j … 1

將每位專家給出的判斷表按1-9標度建立正互反判斷矩陣如下，

由線性代數“根法”計算出判斷矩陣的特征向量，即

（3）確定評估權重集： ，其中 由公式2決定且有

（4）一致性檢驗

因為共有3個一級指標，所以必須進行一致性檢驗，且因為n=3，由下表可知，R.I.=0.58。

表3 R.I.表

N 2 3 4 5 6 7 8 9

R.I. 0.00 0.58 0.90 1.12 1.24 1.32 1.41 1.45

根據判斷矩陣的一致性檢驗方法，一致性指標為C.I.且C.I.越小，則說明一致性越大。由于一致偏離可由隨機因素引起，所以在檢驗判斷矩陣的一致性時，將C.I與平均隨機一致性指標R.I.進行比較，得出檢驗數C.R即：

由公式（4-4）、公式（4-5）可求出C.I.的值，代入公式（4-3）即可知其C.R.之值，本方案中20位專家給出的判斷矩陣，需要檢驗其C.R.以判斷矩陣的一致性，評估結果是否可靠。

確定各個指標的最終權重

應用層次分析法求出每位專家給3個一級指標所賦的權重后，將其結果代入下表進行綜合平均。

表4 專家打分法確定權重

表中bij表示第j位專家對第i項指標的權重賦值（已經通過層次分析法得出），ai為第i項指標的最后權重，且本方案中n=3，m=20。

經過計算，最終得出3個一級指標的權重集為：

A=（a1，a2，a3）

二級及以下級別指標及其權重的確定

（1）為了分析的方便，對二級指標的確定過程進行一般性描述，在下列分析過程中我們采用指標1、指標2、指標n的形式來代表某個一級指標下的n個二級指標，并假設專家數為m位，對m位專家打分的結果進行數學分析后即可確定某個一級指標下二級指標的最終個數（注：剔除重要性較低、專家意見不一致較嚴重的指標，一般可以用于二級指標及以下級別的具體指標項的抽取確定）。具體過程如下：

在確定二級指標時，使用如下調查表：

表5 調查結果M位專家的原始打分結果綜合表

指 標 專家打分結果

1 2 3 4 ┅ m-1 m

指標1 B11 b12 b13 b14 ┅ b1m-1 b1 m

指標2 B21 b22 b23 b24 ┅ b2 m -1 b2 m

指標3 B31 b32 b33 b34 ┅ b3 m -1 b3 m

指標4 B41 b42 b43 b44 ┅ b4 m -1 b4 m

┅ ┅ ┅ ┅ ┅ ┅ ┅ ┅

指標N-1 bN-11 bN-12 bN-13 b N-14 ┅ bN-1 m -1 bN-1 m

指標N bN1 bN2 bN3 bN4 ┅ bN m -1 bN m

表6 調查結果進行總體均值和總體方差統計分析表

指 標 總體均值 總體標準差 重要性排序

指標1 ?1 δ1 1

指標2 ?2 δ2 2

指標3 ?3 δ3 3

指標4 ?4 δ4 4

┅ ┅ ┅ ┅

指標N—1 ?N-1 δN-1 N-1

指標N ?N δN N

在處理過程中將均值位于最后幾位且總體標準差明顯高于其它幾個指標的指標在最后的統計分析過程中剔除，而選擇均值較高、總體標準差較低的指標作為最后確定的指標。因為均值高低說明了專家們認為它們的重要性大小，而總體標準差大小則表明專家們對它們重要與否的意見統一程度，是否存在較大的差異。在實際應用中，按上述方法可以剔除掉評估指標體系中的部分二級指標。

在確定二級指標后，進行第二次調查，請20位專家直接給確定后的二級指標的權重賦值，然后將打分結果代入表5處理后得出3類二級指標的權重集：

A1=（A11，A12）

A2=（A21，A22，A23，A24，A25）

A3=（A31）

三級指標的確定過程與以上過程相同，。

A11=（A111，A112，A113，A114）

A12=（A121，A122，A123，A124，……）

A31=（A311，A312，A313）

指標權重確定的專家選擇

在確定指標體系的構成及其權重的分配時采用專家打分法（德爾菲法）和層次分析法（AHP法），這兩種方法本質上仍然屬于主觀賦權法，存在著主觀賦權法所固有的缺點。

本辦法中擬選擇邀請20位專家，在實際的有針對性的具體指標權重確定過程中，可以在更高層次上選擇更權威、更有代表性、更多的專家來確定相關指標及其權重，從而使該指標體系更加趨于合理。

（三）評估數據

評估數據是評估結果產生的源泉，有了評估數據才使得評估變得有意義。數據分為定量數據和定性數據兩種，在應用評估模型時通常要對數據進行科學處理。

1.定性指標的處理

定性數據的處理通常采用調查問卷法及實地檢查等方法。為避免主觀判斷引起的失誤，增加定性指標的準確性，可以采用隸屬度賦值方法，將定性指標分成幾個檔次，分別對應相應分值。對于每一檔次的評分，制定評分依據。評分依據是進行客觀評估的約束條件，能夠在一定程度上克服單純主觀評估的缺陷，使得評估人員在評分時具有一定的參考標準。

2.定量指標的處理

定量指標的數據值按照指標釋義和各單位具體情況進行收集。由于各項定量指標的內容、量綱各不相同，直接綜合在一起十分困難。因此，需要將這些指標進行無量綱處理，將定量指標原值轉化為評估值。

（四）評估報告和結果運用

在杭州公安信息化項目績效評估工作完成后，應該形成評估報告。評估報告是由評估工作組完成全部評估工作后，對公安信息化項目績效狀況和業務目標實現情況等進行對比分析，客觀判斷形成的綜合結論的文本文件。

評估報告一般由正文和附錄兩部分組成。報告正文的主要內容包括基本情況描述、主要各項績效指標對比分析、評估結論、發展趨勢預測、評估依據和評估方法等。報告附錄包括有關評估工作的基礎文件和數據資料。評估報告要維護被評估單位的正當業務秘密。

評估結果應該反饋給決策部門和被評單位，作為公安信息化項目投資決策、管理改善和績效監管的參考依據。同時也可為其他相關單位提供信息咨詢和管理參考。

三、評估體系研究成果

經上述研究后，得出如下表所示績效評估辦法：

表7 杭州公安信息化建設項目績效評估辦法

一級

指標 二級

指標 評價內容 評價方法 評價標準 被評價單位需提供材料 評價獲取信息 分值

業務需求實現比例（20%） 需求設定情況 項目立項文件與項目合同關于需求設定的一致性 核對立項文件與項目合同關于需求描述是否一致，如存在不一致則需提供具體情況說明或者相應變更記錄 建設需求一致得滿分，如不一致則根據提供的需求變更文檔材料酌情打分 立項文件（項目建議書、可研報告、立項批復文件）、招投標文件、合同 10

目標完成率 目標完成率=目標實際完成的功能模塊數/預定完成的功能模塊數*100%。 目標實際完成的功能模塊數和預定完成的功能模塊數根據項目的驗收報告及合同的建設目標來確定 全部完成得滿分，完成率≥90%得8分，90%≥完成率≥80%得6分，80%≥完成率≥70%得4分，完成率≤70%不得分 項目合同、驗收報告 系統功能模塊實際建設數量 10

用戶使用率

（30%） 系統開戶比例 評價系統實際開戶情況 開戶率=開戶數/目標用戶數 開戶率≥90%得滿分，90%≥開戶率≥70%得3分，70%≥開戶率≥60%得1分，開戶率≤60%不得分 目標用戶數量 實際開戶數量 5

系統登陸率 評價系統用戶登陸情況 系統登陸率=實際登陸人數/賦予用戶權限的人數 登陸率≥90%得滿分，90%≥登陸率≥70%得3分，70%≥登陸率≥60%得1分，登陸率≤60%不得分 注冊用戶數量、登錄次數大于0的用戶數量 5

目標對象活躍率 評價系統活躍用戶的比例 活躍率=活躍用戶數（按登陸次數）/注冊用戶數 活躍率≥90%得滿分，90%≥活躍率≥70%得6分，70%≥活躍率≥60%得2分，活躍率≤60%不得分 注冊用戶數量、活躍用戶數量（活躍用戶按登陸次數統計劃分，由各信息系統業務特征定義） 10

系統登錄頻率 評價系統人均登陸頻率 登錄頻率=登錄次數/（單位時間*注冊用戶數） 具體登陸頻率根據使用單位實際工作要求進行評價 系統單位時間內登錄次數、注冊用戶數 5

功能使用率 評價系統功能的使用情況 功能使用率=已使用功能模塊數量/開發模塊數量 使用率≥90%得滿分，90%≥使用率≥70%得3分，70%≥使用率≥60%得1分，使用率≤60%不得分 開發功能模塊數量、已用功能模塊數量 5

解決具體問題的實效

（25%） 業務能力的影響 評價系統的上線運行，是否新增或提升了業務能力 申報單位根據前述三個方面編寫并上報系統應用成效報告（除文字描述外，要求提供實際數據和案例），評價組專家根據報告材料進行打分評價，最終取平均分 滿分為10分，專家評價分=評價總分/專家人數 系統應用成效報告 10

整體工作效率的影響 評價系統的上線運行，是否提高了整體工作效率 滿分為10分，專家評價分=評價總分/專家人數 10

行政成本的影響 評價系統的上線運行，是否減少了行政成本 滿分為5分，專家評價分=評價總分/專家人數 5

用戶綜合評價

（25%） 用戶認可度 了解用戶對系統的日常使用情況和體驗反饋 按照地區或警種，隨機抽取5-10名受訪用戶進行問卷調查。問卷調查滿分為100分（問卷調查詳見附件一） 根據調查問卷匯總，用戶評價分=（所有問卷調查得分總值/N）*25% （N為受訪用戶數） 問卷調查表 25

異常因素情況 影響項目異常情況 評價項目能夠實施的外部環境 評價是否存在因需求研究不充分、技術架構不合理以及上級精神不相符等因素導致項目無法繼續推進開發或無法部署應用的情況 評估發現前述任一情況即認定項目評價結果為不合格 調研訪談信息

評價結果分為優秀（86-100）、良好（71-85）、合格（60-70）和不合格（60以下）四個檔次。

該評估辦法經“杭州市公安局視頻資源綜合應用平臺項目”等項目實際評估測試，應用效果良好。為有效解決杭州公安信息化應用系統建設績效評估工作無法客觀、量化開展提供了有效的實踐探索。具有該領域推廣的應用價值。

參考文獻

[1]孟憲文.公安信息學[M].中國人民公安大學出版社，2006.

[2]郝曉玲，孫強.信息化績效評價：框架、實踐與案例分析[M].北京清華大學出版社，2005.

[3]張儉等.公安情報標準體系建設初探[J].中國人民公安大學學報（自然科學版），2009（1）.

[4]王靖亞，黃明，鞏榮.公安信息化信息安全指標體系研究[J].中國人民公安大學學報（自然科學版），2008（4）.

（作者單位：杭州市公安局）