基于大數據的省級政務信息資源共享平臺績效評估方法

李 君，鄭愛華，李光宇，劉偉偉，馬 坤

(1.山東省工業和信息化研究院，山東 濟南 250013；2.濟南大學 a.物理科學與技術學院，b.信息科學與工程學院，山東 濟南 250022；3.山東匯景市場研究咨詢有限公司，山東 濟南 250014)

大數據時代背景下，世界各國高度重視政務信息資源共享平臺建設。相關數據顯示[1-3]，近年來西方發達國家通過規劃和立法，加強政務信息資源共享平臺建設，推動電子政務的服務能力和水平，取得一定成效。2015年11月中共中央出臺了《關于制定國民經濟和社會發展第十三個五年規劃的建議》，首次明確指出要實施國家大數據戰略，積極推進數據資源共享，彰顯了國家對大數據下政務信息資源共享工作的重視，為各省、市、自治區加快推進政務信息共享工作提供了良好的條件與政策空間。

相關研究表明[4-6]，隨著我國有關政策的出臺，各省級政府積極推動省級政務信息資源共享平臺的建設并取得了一定成效，政務信息資源共享平臺建設已經成為大數據下服務型政府治理體系構建和治理能力現代化水平提升的重要內容。山東省充分利用大數據云平臺技術，通過云集成、網絡統一和數據融合三大舉措，克服了“信息孤島”和“數據煙囪”等網絡平臺弊端，構建起涵蓋政務服務、協同辦公、數據共享和開放等領域的“一體化大數據平臺”，促進數據共享和開放，為全省數據管理和開發利用提供全方位服務[7]。

在數據整合共享和開放應用實踐中，信息資源共享平臺建設還存在許多問題，比如數據開放共享程度不高，協同應用效率低，共享理念還亟待增強，平臺的建設缺少統一規劃、統一標準等。為此，各國政府正在尋求解決辦法。例如，英國開展以通用績效指標為標準來評估數字服務質量，通過對每項服務的成本、用戶滿意度、完成率、數字服務接受度等4項指標的測評，確保政府在線服務能夠滿足用戶需求，用戶能夠輕松完成線上操作，使越來越多的民眾了解并廣泛使用政府提供的數字服務，從而獲得成本效益[8]。

在大數據時代背景下，政務信息資源共享平臺的績效評估工作尤為重要，但目前針對政務信息資源共享平臺績效評估方法的研究多采用定性研究，采用定量研究的方法相對較少。通過建立政務信息資源共享平臺的績效評價指標體系，對政務信息資源共享平臺的建設與發展水平進行定量評估，不僅可以提高政務信息資源的協同整合與應用水平，而且還可以為政務信息資源共享平臺的可持續健康運行提供智力支撐。本文中構建了省級政務信息資源共享平臺的評估指標體系，引入和運用績效評估方法，為省級政務信息資源共享平臺績效評估研究提供新的視角，有利于各級政府持續推進數據共享、協同、共用，更好地服務于全省經濟文化建設，提高政府辦事效率，加快政府職能由管理型向服務型的轉變，不斷提升政務服務能力和水平。

1 績效評估方法

1.1 評估指標體系的構建

根據相關研究[9-10]，構建省級政務信息資源共享平臺績效評估指標體系，需要遵循系統性、科學性、可衡量性、可操作性等原則。在遵循原則的基礎上，通過對省級政務信息資源共享平臺核心功能分析，本文中構建了在現行條件下能夠對省級政務信息資源共享平臺的績效進行評估的相對合理的指標體系，該指標體系由4個一級指標和16個二級指標構成，各指標具體內容如表1所示。

表1 省級政務信息資源共享平臺績效評估指標體系

1.1.1 平臺質量

平臺質量是衡量平臺整體性能的主要指標，包括平臺穩定性、可擴展性和融合性。平臺穩定性針對整個平臺網站結構、內容完整性、操作便捷性以及運行的流暢程度進行評價；平臺可擴展性用來反映平臺能否隨著新一代信息技術的提高順利進行升級、擴容和提升；平臺融合性主要是對平臺與省內各級政府職能部門業務系統、社會企事業單位應用系統連接的兼容性進行評價。

1.1.2 平臺功能

平臺功能包括數據交換、數據整合、數據存儲和數據管理4個二級指標。數據交換用來衡量平臺上各部門(單位)政務信息資源實時數據交換共享和數據開放水平。數據整合是對平臺開放或共享交換的數據進行專題整合后應用及業務協同水平的衡量。數據存儲是對平臺數據分類存儲的合理性的衡量。例如：是否建立人口、法人單位、電子證照、信用等基礎數據庫；根據業務分工及用途建立主題庫、專題庫、通用辦公庫等進行分類存儲。數據管理用于衡量數據資源目錄建設、數據共享交換及有效管理應用水平。

1.1.3 運維管理

運維管理是平臺長期可持續發展的重要因素，包括基礎設施、資金保障、組織機構、人員素質和安全保障5個二級指標。基礎設施是評價平臺的硬件設施配置及分配利用情況；資金保障用于衡量平臺建設資金來源是否充足、支配是否合理、運維資金是否充足等狀況；組織機構用來評價平臺人員配置的合理性、科學性、適用性；人員素質是衡量相關人員工作技術能力、協調組織能力及業務學習能力；安全保障是衡量平臺安全管理體系建設合理性及平臺的安全等級保護水平。

1.1.4 運行績效

運行績效包括平臺訪問量、政務協調效率、互動反饋、用戶滿意度4個二級指標。平臺訪問量是對平臺推廣使用程度、平臺知名度和平臺服務能力的反映；政務協同效率主要是對平臺政務信息整合與共享后，政府、企業、公眾之間協同辦公水平的衡量；互動反饋是針對平臺對公眾關切問題反饋速度及反饋滿意度進行測評；用戶滿意度是對平臺為用戶辦事效率及辦事能力水平滿意度進行測評。

1.2 模型建立

1.2.1 設置指標權重

層次分析法(AHP)是對決策相關元素進行定性和定量分析的決策方法之一。本文中使用層次分析法，將信息資源共享平臺進行分級，通過采用同一層級內的各指標兩兩比較的方法構造矩陣，建立數學模型，求出每個指標的相對重要性，計算每個評價指標在本層級的權重。以此類推，最終計算出每個指標在模型中的總權重。使用層次分析法計算綜合評價數值，是一種加權求和的計算法則，即

(1)

式中：S為綜合指標數值；Wi為各項指標組合的權重值；n為一級指標個數；Pi(v)為測評人對第i個一級指標第v個二級指標給出的分值。

利用AHP方法確定每個指標在評價體系中所占權重，建立多維層次模型，構造判斷矩陣進行兩兩比較，通過計算得到每個指標的權重，即特征向量和最大特征值，然后進行一致性檢驗。

1.2.2 構建層次結構模型

采用 Saaty的九級標度法對重要性程度進行賦值[11]，構建進行兩兩比較的判斷矩陣A=(aij)N×N,aij表示ai與aj相對于上一層指標的重要性比例標度，ai、aj分別為對行、列指標重要程度的賦值，N為A的階數。

1.2.3 計算評價指標的權重值

層次結構模型構造后，使用方根計算方法求出各級指標的特征根和特征向量，即得到指標的權重值[12]。

1)將矩陣A的每行元素相乘，得到行元素的乘積，

(2)

2)將所得乘積開N次方，即

(3)

(4)

4)計算判斷矩陣A的最大特征根，

(5)

(6)

1.2.4 一致性檢驗

通過計算獲得評價指標權重后，為確保其科學性、有效性，需要對判斷矩陣A進行一致性檢驗。

1)求A的一致性指標ACI，

(7)

式中N′為一致性指標個數。

2)通過1—12階矩陣的平均隨機一致性指標取值表(如表2所示)，查找同階數的隨機一致性指標ARI[13]。

表2 隨機一致性指標ARI的取值

3)求A的隨機一致性比例ACR,

(8)

4)判斷一致性。當ACR<0.1時，認為判斷矩陣的一致性可以接受；當ACR≥0.1時，則需要繼續調整判斷矩陣，使之具有滿意的一致性。1、2階矩陣總是一致的，此時ACR=0。

1.3 模糊綜合評估

在構建省級政務信息資源共享平臺的績效評估指標體系時，使用層次分析法計算獲得每個指標的權重后，需要找到合適的方法對信息資源共享平臺進行評估。省級政務信息資源共享平臺的績效評估涉及多個指標且需要加以綜合，考慮到其績效評估的多目標性和復雜性，本文中選擇模糊綜合評價法對其進行績效評估。

1)建立模糊評估因素集和評估等級集。依據省級政務信息資源共享平臺績效評估指標體系，將各個因素進行層次劃分。

標層的因素集為

A=(A1,A2,A3,A4)。

準則層的因素集為

A1=(B1,B2,B3)，

A2=(B4,B5,B6,B7)，

A3=(B8,B9,B10,B11,B12)，

A4=(B13,B14,B15,B16)。

將評價結果V劃分為5個等級，建立評價結果等級矩陣V=(V1,V2,V3,V4,V5)，其中V1、V2、V3、V4、V5分別代表不合格、合格、一般、良好、優秀，相對應的分數分別為50、60、70、80、90，即V=(50,60,70,80,90)。

2)構建模糊關系矩陣。通過專家打分法對每個評估指標進行合理打分，并按照等級比例建立隸屬關系矩陣。根據具體評估的結果建立省級政務信息資源共享平臺模糊評估矩陣，依據獲得的模糊評估矩陣，構建共享平臺績效評估模型，用于衡量省級政務信息資源共享平臺的運行績效水平，建立模糊關系矩陣[14],即

i=1,2,…,m;j=1,2,…,n，

(9)

式中γij為被評估對象能被評為Vj的隸屬度，即第i個指標在第j個評語Vj上的頻率分布。

3)綜合分析評估。利用構建確立的矩陣Wi(i=1,2,…,n)和Ri(i=1,2,…,n)，進行復合運算Ai=WiRi，通過對Ai歸一化處理，算出模糊綜合評估向量A1、A2、A3、A4。

依據計算得到的省級政務信息資源共享平臺指標集的相關結果，構建模糊評估矩陣R=(A1,A2,A3,A4)T，然后算出評估向量B=WR=(a1,a2,a3,a4,a5)，并按照最大隸屬度原則，取aj=max{a1,a2,a3,a4,a5}，得到最終綜合評價結果為aj。

4)計算評估結果。按照制定的評估等級集，運用公式E=BM，計算得到省級政務信息資源共享平臺評估各級指標的最終得分，其中E為各級評估指標得分，M=VT。

2 共享平臺評估

利用以上評估方法，以山東省政務信息資源共享平臺為例進行共享平臺績效評估驗證。

2.1 計算結果

根據已構建的省級政務信息資源共享平臺績效評估指標體系，通過專家依據指標對照山東省政務信息資源共享平臺打分，最后利用層次分析法軟件Yaahp10.3進行計算，得到以下評價結果。

平臺判斷矩陣為

平臺質量判斷矩陣為

平臺功能判斷矩陣為

運維管理判斷矩陣為

運行績效判斷矩陣為

針對上述所有的判斷矩陣，分別進行一致性檢驗，得出如下結果。

平臺一致性比例0.026 6<0.1；對總目標的權重為1.000 0；最大特征值為4.071 0。

平臺質量一致性比例0.051 6<0.1；對總目標的權重為0.292 6；最大特征值為3.053 6。

平臺功能一致性比例0.045 4<0.1；對總目標權重為0.415 5；最大特征值為4.121 3。

運維管理一致性比例0.043 5<0.1；對總目標的權重為0.184 9；最大特征值為5.194 7。

運行績效一致性比例0.026 6<0.1；對總目標的權重為0.107 0；最大特征值為4.071 0。

2.2 確定模糊關系矩陣

邀請山東省政務信息化建設領域內15位專業人員，針對當前山東省政務信息資源共享平臺建設狀況，根據評估等級對各項指標進行評級，然后統計每項指標在每項評語下的專家贊同率，作為每項指標對評語集的隸屬度。

表3為山東省政務信息資源共享平臺績效評估專家打分統計表(表中給出部分字段打分值)。依據專家打分計算B1—B16對應等級的關系隸屬度，求得平臺質量A1、平臺功能A2、運維管理A3、運行績效A4的模糊關系矩陣為

表3 山東省政務信息資源共享平臺績效評估專家打分統計表

2.3 確定模糊綜合評估向量

根據上述計算，得到B1—B3對A1的權重為WA1，B4—B7對A2的權重為WA2，B8—B12對A3的權重為WA3，B13—B16對A4的權重為WA4。A1—A4對總目標的權重為WA，它們的值如下：

WA1=(0.310 8,0.493 4,0.195 8)，

WA2=(0.390 5,0.276 1,0.138 1,0.195 3)，

WA3=(0.244 7,0.106 5,0.140 5,0.185 4,0.322 9)，

WA4=(0.190 6,0.418 2,0.120 5,0.270 7)，

WA= (0.292 6,0.415 5,0.184 9,0.170 7)。

分別求出平臺質量、平臺功能、運維管理、運行績效的模糊評估向量，結果如下：

BA1=WA1RA1=(0,0,0.066 7,0.560 8,0.372 5)，

BA2=WA2RA2=(0,0,0.150 2,0.355 6,0.494 3)，

BA3=WA3RA3=(0,0,0.057 5,0.443 6,0.498 9)，

BA4=WA4RA4=(0,0,0.141 4,0.573 9,0.284 7)。

在此基礎上得出總目標的模糊關系矩陣，

計算得到山東省政務信息資源共享平臺評估等級矩陣BA，

BA=WARA=(0,0,0.107 7,0.455 3,0.437 1)。

根據計算結果可知，山東省政務信息資源共享平臺績效評價隸屬于“不合格、合格、一般、良好、優秀”的程度分別為{0,0,0.107 7,0.455 3,0.437 1}，根據最大隸屬度原則，隸屬于“良好”的程度最高。其中平臺質量評價隸屬于“良好”的程度最高為0.560 8，平臺功能評價隸屬于“優秀”的程度最高為0.494 3，運維管理評價隸屬于“優秀”的程度最高為0.498 9，運行績效評價隸屬于“良好”的程度最高為0.573 9。

2.4 評估結果

將上述各等級轉化為V=(50,60,70,80,90)對應的分數，則政務信息資源共享平臺績效總得分為

0.473 1×90+0.455 3×80+0.107 7×70=83.302；

其中，平臺質量得分為

0.372 5×90+0.560 8×80+0.066 7×70=83.058；

平臺功能得分為

0.494 3×90+0.355 6×80+0.150 2×70=83.449；

運維管理得分為

0.498 9×90+0.443 6×80+0.057 5×70=84.414；

運行績效得分為

0.284 7×90+0.573 9×80+0.141 4×70=81.433。

采用本文中建立的績效評估指標體系和評估方法，對山東省政務信息資源共享平臺進行了績效評估，獲得各指標的具體分值。從結果來看，目前山東省政務信息資源共享平臺績效評估綜合得分83.302，發展情況良好。從各級指標比較來看，各一級指標得分良好，但仍存在進一步提升和發展的空間。

2.5 評估分析建議

基于大數據的政務信息資源共享平臺績效評估方法和對山東省政務信息資源共享平臺的評估結果，提出如下建議：1)完善、建立監督考核及績效評估機制是提高省政務信息資源共享平臺建設水平的有效途徑；2)建設效能監督考核數據庫，幫助省政府發現電子政務建設和管理中的問題，及時糾正和調整，不偏離政府改革目標，有助于提高省級政務信息資源共享平臺建設的效率和質量，加強各參與主體間的互動交流，打造滿意政府、誠信政府；3)將績效考核評估納入人事管理范疇，建立專家考核、公眾考核、部門考核、日常督導與定期考核相結合的監督考核機制，確保平臺建設科學、有效；4)幫助政務公開管理者不斷完善績效考核系統，對各部門行政權力和政務服務事項在線運行情況進行綜合評估、分析和預測，不斷推動轉變政務職能，促進電子政務服務能力水平，提高政府公信力。

3 結語

本文中通過對基于大數據的政務信息資源共享平臺績效評估方法的分析和研究，構建了信息資源共享平臺績效評估的指標體系。以山東省政務信息資源共享平臺為例，通過市場調查和專家打分獲得評估數據，對提出的指標評價體系和評估方法進行了系統分析和求證，驗證了數據模型的建立和模糊綜合評估方法的有效性，為基于大數據下政務信息共享平臺績效評估的方法提供了依據，為推進政務信息共享平臺建設提供了借鑒。由于該領域的研究還存在例證的有限性，評價指標體系的復雜性、不確定性等問題，因此共享平臺績效評估方法還需要不斷總結完善，有待進一步研究探索和實踐。