企業業務域數據質量管控問題及解決措施

張幫君

（廣東元韜企業管理咨詢有限公司 廣東省廣州市 510000）

1 前言

根據美國德克薩斯大學針對數據有效性的一項研究表明，企業通過提升對自身數據的使用率和數據質量，能夠顯著提高企業的經營表現。以電力行業為例，根據研究提供的數據，如果企業數據使用率提升10%，電力行業中企業人均產出將能夠提升18%左右；根據德州研究提供的數據，如果企業數據質量提升10%，電力行業凈資產收益率提升幅度為218%[1]。

同時，隨著國家推進互聯網+，大數據，云計算、人工智能等新技術在各領域的應用，加強數據質量管理成為企業普遍共識。為適應新形勢下業務發展需要，為更好解決業務數據完整性、及時性、準確性的問題，各行業從管理、技術等方面，不斷改進創新數據質量管理方法，以實現數據質量全面提升。

2 數據質量管控普遍問題

雖然各行業的數據質量管控實踐側重點不同，但總體上數據質量管控分為三個層面：機制層面、管理對象層面和技術平臺層面[2-4]，三個層面普遍性問題如下：

2.1 機制層面

目前較多企業仍以業務系統、業務條線建立縱向數據管控機制為主，相比而言在跨業務、跨部門、跨系統的橫向協同方面較為薄弱。

2.2 管理對象層面

仍強調數據標準建設和指標管理，而在數據管理體系的中層和基層缺乏可操作的數據質量方法和稽核標準，需要更準確定義數據、更規范錄入數據。

2.3 技術平臺層面

將主數據管理、數據標準管理、數據質量監控、元數據管理、數據服務管理等幾部分功能統一形成數據資產管理平臺并作定制化開發，一站式數據管理用戶體驗更好。但身份數據解析、數據標準化、數據匹配、數據語義等主數據，相關數據質量技術應用不佳。

3 數據質量精益化管理方法

為適應新形勢下業務發展需要，更好地解決了業務域數據完整性、及時性、準確性的問題，以6σ 質量管理方法論為指導，構建數據質量精益化管控體系（如圖1 所示），通過“制度管人、流程管事、技術提效”，不斷改進創新數據質量管理方法，實現業務數據質量全面提升[5-8]。

如圖1 所示，具體實施步驟如下：

3.1 定義業務需求和方法

包括確定數據質量提升組織體系，組織結構；確定數據核查工作目標、工作范圍、工作計劃、工作方法、數據核查規則。

3.2 分析信息環境

收集、匯總、分析有關形式和信息環境，設計數據質量評估的方案，對現有核查要求及相關信息進行資料收集，包括核查規則、數據編碼、歷史數據范圍等。

3.3 評估數據質量

以按照數據核查規則對從現有系統中業務數據進行數據質量核查，按照業務數據報送、統計等要求對數據質量進行評估，生成數據質量核查報告。

圖1：數據質量精益化管控要素

3.4 評估業務影響

使用各種技術評估劣質數據對業務產生的影響，評估內容包括現有數據質量問題對當前業務系統運行的影響、現有數據質量問題對企業業務運作的影響。

3.5 確定根本原因

確定影響數據質量的真實原因，包括業務原因，數據原因等，并區分這些原因的影響的數據質量的級別。

3.6 制定改善措施

從數據標準、質量管理流程、考核評價、信息技術等維度制定數據質量精益化管控舉措，全面落實數據問題整改、錯誤預防及監管責任，最大限度控制由管理上的缺陷造成的數據質量問題。

3.7 持續監督優化

分階段分步驟落實管控策略，對數據質量管控全過程實施指導、應用、監督和評價，維護已改善的效果。

4 實踐案例

針對某電網企業生產域設備資產數據質量問題，首先對公司設備資產數據管理進行調研，明確現狀問題、流程改進方向及管理優化建議等；再根據現狀建設數據質量精益化管控機制，包括研究制定數據標準、數據校驗規則庫、數據稽核流程、監控指標、工作質量評價等40 多項管理和技術措施[9-15]（如表1 所示）；最后通過數據技術、系統集成技術將管理方法以自動比對校驗、可視化監測及在線評價發布等功能的形式進行技術固化實現。應用該方法，將數據及時率由45%提高到85%，數據錯誤回退修改次數減少超80%。

根據問題及舉措分析，按照數據質量精益化管理方法，分步驟分階段開展數據質量精益化管控實施，具體做法如下：

4.1 開展數據評級，確定實施路徑

針對設備資產數據項，擬從應用價值、實施難度兩個維度制定評級標準，其中應用價值高低主要從業務影響和出現頻率兩方面判斷，實施難度主要從數據規模和措施實施難度進行判斷，制定具體評級維度劃分標標準，組織業務人員根據評級標準對數據項進行優先級排序，明確首要、短期、中長期實施目標，確定實施路徑，為開展數據剖析作準備。

4.2 開展數據剖析，明確數據問題

表1：數據質量管控舉措庫（部分示例）

對首要實施目標的數據，針對列、表、跨表的數據應用統計、文本挖掘、自然語言算法及等數據挖掘算法，結合KNIME、Openrefine 等工具，進行數據剖析，識別數據異常，對識別出的數據異常，匹配數據問題，建立數據問題異常映射關系庫。識別數據異常和評估數據質量，明確數據具體問題。

4.3 匹配提升措施，形成任務清單

明確數據項具體問題后，通過匹配對應的提升措施（如表1 所示），形成數據治理任務清單，明確措施實施難度、風險、責任人及完成時間。

4.4 實施數據清理，持續跟蹤反饋

分子公司根據任務清單，應用人工及智能技術開展數據清理工作，其中人工清理按照“數據準備—現場核對—數據清洗—數據上傳—自檢完善”，系統批量清理采用統計、機器學習等智能算法，結合數據質量管理系統開展數據中心、接口與業務系統的數據自動比對清理。

同時，建立跨部門的數據缺陷管理機制，明確分子公司業務部門與技術部門界面，制定數據缺陷管理流程及過程監控表單。

4.5 發布成效評價，總結提升經驗

公司設立問題整改完成率和數據治理完成比例等作為數據質量管理成效指標，按季度進行檢查及評價發布，并將結果納入績效考核，按季度檢查分子公司工作成效，以數據項治理完成情況和問題整改情況作為成效評價量化指標，通報各公司數據治理整體進度情況，并根據各分子公司實施情況，總結提升經驗，優化措施庫，同時啟動下一期治理策劃。

5 結論

針對企業業務域數據質量管控，本文借鑒6sigma質量管理方法，構建數據質量精益化管控體系，通過對數據的“診斷評估-機制建設—過程監督—成效評價”，將業務管理優化與數據質量管理相融合，為業務部門根據自身需求主導數據質量管控提供實踐借鑒。