基于D&M模型的IT系統(tǒng)效能評估審計評價模型

王穎 張珂 趙蔚 戎偉 夏軍 李旭

[摘要]本文基于中國移動北京公司內(nèi)部信息系統(tǒng)審計成果，從審計角度探索IT系統(tǒng)效能評估模型，在拓寬審計成果實踐應用的同時，為促進企業(yè)信息化管理能力的提升提供參考。

[關鍵詞]內(nèi)部審計 ? ?IT系統(tǒng) ? ?效能評估 ? ?模型

一、IT系統(tǒng)需求開發(fā)及使用效能審計內(nèi)容

中國移動北京公司（以下簡稱北京移動）2020年開展了IT系統(tǒng)需求開發(fā)及使用效能審計調查項目，根據(jù)北京移動IT系統(tǒng)管理特點，審計從系統(tǒng)建設項目全生命周期角度開展，對項目立項、需求管理、開發(fā)測試、系統(tǒng)運行維護、費用結算、系統(tǒng)應用等環(huán)節(jié)重點把控，查找問題風險點。

審計發(fā)現(xiàn)，在項目立項階段，對IT系統(tǒng)進行宏觀規(guī)劃時，前期目標考慮不充分，導致后期IT系統(tǒng)功能需求頻繁變更，造成系統(tǒng)開發(fā)投入資金的浪費。因此，在項目立項前期應對IT系統(tǒng)功能建設的必要性、建設內(nèi)容、建設規(guī)模、建設方案、進度安排、風險分析、配套等相關內(nèi)容進行充分的可行性研究，從公司發(fā)展戰(zhàn)略、長遠目標、業(yè)務時限需求等方面進行評估和決策。

在需求管理方面，存在項目最終交付成果與立項內(nèi)容不一致情況，經(jīng)審查是由于IT系統(tǒng)建設過程中存在未經(jīng)審批的項目變更導致。需求隨意變更，可能導致項目實際執(zhí)行偏離立項目標，存在影響項目投資效益風險。在項目任務書下達后，如果涉及項目建設內(nèi)容、建設規(guī)模、投資及進度等的變更，應及時提出變更申請并經(jīng)相應層級審批。

在開發(fā)測試階段，未充分考慮系統(tǒng)程序架構、安全等問題，且測試不夠全面、完整，造成系統(tǒng)由于存在功能缺陷或安全漏洞等問題而下線，影響正常生產(chǎn)并造成投資損失。在系統(tǒng)立項及建設過程中，應充分考慮系統(tǒng)安全相關規(guī)定、指標，確保符合系統(tǒng)安全規(guī)定。

在系統(tǒng)運行維護階段，存在系統(tǒng)功能模塊上線、下線未及時發(fā)布通知，系統(tǒng)賬號管理粗放，功能模塊零使用率等問題，從應用維護角度反映出系統(tǒng)的使用情況。

在費用結算環(huán)節(jié)，工作量評估不合理、不嚴謹，導致需求工作量評估過高，對需求排期造成浪費，結算過多的人天工作量給公司帶來一定的經(jīng)濟損失。應建立工作量評估模型，合理評估需求工作量，提升系統(tǒng)投資效益。

本次審計還通過線上調查問卷的形式，對系統(tǒng)的使用效果、使用頻率、用戶滿意度等方面進行調研，多渠道收集信息資料，為搭建系統(tǒng)效能評估模型提供充分依據(jù)。

二、IT系統(tǒng)效能評估模型探索

北京移動結合層次分析法將決策問題分為目標層、準則層和方案層，同時參考D&M模型中的信息質量、系統(tǒng)質量、服務質量、使用意愿、用戶滿意、凈收益等因素，分析IT系統(tǒng)需求開發(fā)及使用效能審計項目成果及其對公司的影響程度，對系統(tǒng)效能評估模型進行探索，最終確定IT系統(tǒng)效能評估模型。

IT系統(tǒng)效能評估模型分為5個維度，分別為目標評價維度、能力評價維度、效益評價維度、影響評價維度、持續(xù)性評價維度。每個維度由不同的指標共同進行評估，并根據(jù)企業(yè)實際情況設定指標評分依據(jù)及指標權重。

（一）系統(tǒng)效能評估模型架構

1.目標評價維度。包括制定合理性、戰(zhàn)略一致性和實施時效性指標，共同評估IT系統(tǒng)建設項目的目標完成情況。制定合理性主要評估目標制定及項目立項的合理性。戰(zhàn)略一致性主要評估IT系統(tǒng)建設項目立項是否符合公司發(fā)展前景或集團要求。實施時效性主要評估IT系統(tǒng)建設項目竣工完成的及時性。

2.能力評價維度。包括系統(tǒng)功能能力、系統(tǒng)運行能力和系統(tǒng)安全能力指標。系統(tǒng)功能能力主要評估IT系統(tǒng)建設項目竣工后，系統(tǒng)實際功能點完成度能否覆蓋全部立項需求。系統(tǒng)運行能力主要評估系統(tǒng)在運行過程中的性能能否滿足運行要求。通過系統(tǒng)性能評估、缺陷記錄等查看是否對項目中功能點提出了缺陷修復需求，同時結合系統(tǒng)定期運行情況通報數(shù)據(jù)及日常運維需求進行綜合判定。系統(tǒng)安全能力主要評估系統(tǒng)運行過程中的安全能力能否滿足公司要求。結合網(wǎng)絡與信息安全管理部門系統(tǒng)安全等級評判以及系統(tǒng)漏洞掃描記錄，對系統(tǒng)的安全能力進行評判。

3.效益評價維度。包括系統(tǒng)開發(fā)效益和系統(tǒng)運維效益評估指標，共同評估IT系統(tǒng)建設過程及建設后為企業(yè)帶來的效益。系統(tǒng)開發(fā)效益主要評估開發(fā)成本的合理性，查看人天價格是否合理、功能點人天工作量評估是否合理、評估開發(fā)過程中成本花費是否合理。系統(tǒng)運維效益主要評估項目功能點開發(fā)后帶來的收益或提升的工作效率。

4.影響評價維度。包括內(nèi)部流程影響和用戶滿意度影響指標。內(nèi)部流程影響主要評估系統(tǒng)建設或優(yōu)化后對公司內(nèi)部業(yè)務流程的影響。向系統(tǒng)使用部門發(fā)放調查問卷，問卷中設定項目功能點開發(fā)前及開發(fā)后的流程影響評分，收集反饋并進行統(tǒng)計評判。用戶滿意度影響主要評估系統(tǒng)用戶對系統(tǒng)的滿意度情況，調查問卷中設定客戶滿意度等級，收集用戶人員的反饋并進行統(tǒng)計評判。

5.持續(xù)性評價維度。包括系統(tǒng)點擊率與賬號活躍度兩個指標。系統(tǒng)點擊率主要評估系統(tǒng)功能的使用情況。定期統(tǒng)計系統(tǒng)使用率，查看系統(tǒng)功能點上線后的使用情況（點擊率），結合該項目下所有功能點的點擊率進行線性評分。賬號活躍度主要評估系統(tǒng)賬號的活躍程度。

（二）模型評分依據(jù)及指標權重

為使系統(tǒng)效能評估結果更準確、更貼合公司管理現(xiàn)狀，北京移動通過對系統(tǒng)進行全量數(shù)據(jù)分析，對抽樣數(shù)據(jù)進行重點審核，采用數(shù)據(jù)分析及概率統(tǒng)計的方法，確定本系統(tǒng)效能評估模型的評分依據(jù)及指標權重（見表1）。

三、系統(tǒng)效能評估實例展示

北京移動以某項目管理系統(tǒng)及2017年擴容項目二階段工程為例，通過資料審閱、問卷調查、數(shù)據(jù)收集與分析，參照系統(tǒng)效能評估模型，對該系統(tǒng)進行系統(tǒng)效能評估，評估得分結果見表2和圖1。

從某項目管理系統(tǒng)評估結果可以看出，該系統(tǒng)整體得分偏低，短板主要集中在效益評價維度和持續(xù)性評價維度方面。

為驗證該模型的評估效果，北京移動還抽取了除該系統(tǒng)之外的8個系統(tǒng)進行評估，評估結果見表3。

通過對9個系統(tǒng)效能評估結果進行分析對比，系統(tǒng)效能評估平均分為70.23分，其中5個系統(tǒng)評分超過平均分，4個系統(tǒng)低于平均分，根據(jù)系統(tǒng)評估結果的分布情況來看，該模型評估效果具備可參考價值。

四、結束語

北京移動以拓寬審計成果實踐應用范圍、提高審計成果轉化率為目標，本著審計價值利用最大化的原則，運用信息系統(tǒng)審計項目成果對IT系統(tǒng)效能評估模型進行探索。通過系統(tǒng)不同維度的得分結果，清晰得出系統(tǒng)建設項目存在的短板并分析原因，為后續(xù)系統(tǒng)建設項目投資立項及決策提供參考。不同企業(yè)可根據(jù)自身實際情況，調整模型指標打分依據(jù)及權重，為企業(yè)系統(tǒng)信息化評估提供思路，以審計之力助企業(yè)健康發(fā)展，最大限度發(fā)揮內(nèi)部審計價值。

（作者單位：中國移動通信集團北京有限公司，郵政

編碼：100007，電子郵箱：wang_ying2@bj.chinamobile.com）