淺談數據治理在數據質量管理中的作用

續瑾成

（中國石油大港油田公司 信息中心，天津 300000）

淺談數據治理在數據質量管理中的作用

續瑾成

（中國石油大港油田公司 信息中心，天津 300000）

當今社會，很多大型公司和機構擁有大量但分散在所有運營系統中的客戶、產品和供應商相關的信息。沒有合適的監督，數據的質量將不斷下降。數據質量管理是一門學科，包含度量、改進和驗證組織數據質量和完整性的方法。數據質量包括數據標準化、匹配、壽命和持續的質量監控。數據治理組織需要建立策略來識別高價值數據屬性，建立機制來不斷提高數據質量。

大數據；數據質量管理；數據治理

1　建立數據質量策略

各個應用系統、業務部門都擁有對其運作至關重要的數據，因此，了解數據是非常重要的。建立數據質量策略與數據治理流程中“了解數據”的步驟緊密連接。首先，在數據治理組織識別了業務驅動的數據治理關鍵績效指標后，就很容易確定具有最高價值的數據屬性。其次，數據治理組織還需要制定可接受的數據質量水平策略。最后，數據治理組織需要制定處理數據質量問題的策略和規程。

2　建立數據治理組織架構

健全的數據治理組織是全面開展數據治理工作的基礎，數據治理組織應包括管理人員、業務人員和技術人員，缺一不可。數據治理組織可以設置三種角色，數據治理委員會、數據治理業務組、數據治理技術組。

數據治理委員會：由組織領導、信息技術部門負責人和業務部門負責人組成，委員會負責制定相關制度、目標、規范、流程、標準等，溝通協調，保障數據治理工作的全面順利推進。

數據治理業務組：由業務部門的業務專家、系統管理員組成，負責業務系統參數、基礎數據維護，保證系統正常使用；另外還要負責審核、檢查、整改業務數據，保障數據質量在數據產生源頭的高度和精度。

數據治理技術組：由信息技術部門的專業IT技術人員組成，包括系統開發人員、數據治理人員、數據庫管理員。系統開發人員負責系統數據錄入功能符合數據校驗標準和數據治理標準；數據治理人員負責開發數據質量檢測規則、監控數據質量、批量修改數據等工作；數據庫管理員負責系統數據的備份、恢復、審核等工作。

3　設置數據質量基準

數據必須具有合適的質量，才能解決業務的需要?？赏ㄟ^多種方式評估數據集的質量。①效性。數據值具有可接受的格式。例如，員工編號為6位文字數字字符。②唯一性。數據字段中沒有重復的值。③完備性。數據字段中沒有空值。例如，郵政編碼應該始終填入到地址表中。④一致性。數據屬性與可能基于該屬性本身或多個屬性制定的業務規則一致。⑤及時性。數據屬性表示沒有過時的信息。例如，沒有客戶合同擁有已過期的有效期。⑥準確性。數據屬性是準確的。⑦符合業務規則。數據屬性或數據屬性組合遵守指定的業務規則。

4　建立主數據中心以實現對主數據的管理

要滿足收入增長、成本減少和風險管理等基本戰略目標，數據治理組織需要控制業務部門中的數據。這些信息中最有價值的部分（關于客戶、產品、材料、供應商和賬戶的關鍵業務數據）常常稱為主數據。

主數據十分重要，分散在整個企業的業務流程、系統和應用程序中。數據治理組織現在已認識到了主數據的戰略價值，在大部分企業和組織中，多個應用系統、不同部門間需要共享數據的現象非常普遍，建立主數據中心不僅能避免各應用系統相互共享數據形成網狀結構，同時能夠保證對外提供準確、一致的數據。這其中，凡是需要交換、共享的數據都納入到主數據范圍，形成一致的、完整的、準確的核心業務數據，統一由主數據中心完成對外提供數據的任務。建立主數據中心不僅僅是技術工作，除開發、維護外還需要制定開發規范、管理規范、管理流程，共同規范主數據的使用。

5　實現數據質量管理和數據治理的良好結合

數據質量管理應當是與整個公司組織的數據治理體系有機結合在一起的，數據標準為數據質量管理提供質量檢查規則來源，而數據是否符合標準，是一個典型的數據質量問題，通過部署數據質量管理系統，可以對數據標準的落地實施提供監控和檢驗手段。

元數據管理系統可以作為數據質量管理的一個輸入，輔助數據質量檢查腳本的自動生成；而數據質量管理系統中存儲的檢核規則等信息又是一項元數據，應當被元數據管理系統采集。

數據安全管理中定義的數據所有者，是構建數據質量治理閉環流程，確定數據整改權責的重要依據。

6　數據質量管理流程的關鍵要素

數據質量管理流程應當涵蓋從“數據產生”到“數據集成”再到“數據使用”在內的全過程，為了進行有效的數據質量管理，數據質量管理的不同功能點應當分布在流程的恰當環節，基于基礎數據平臺類系統構建數據質量管理系統，并將源系統、相關應用以及相關信息技術和業務用戶都納入到數據質量的發現-修正-跟蹤-評估的閉環流程當中，是實施數據質量管理的最佳選擇。

同時，數據質量管理成敗的一個關鍵點在于合理有效的組織架構和流程，而不是管理系統自身，因此應當更重視數據質量管理配套的組織架構和流程建設。

因此，在構建數據質量管理體系時，需考慮以下5個關鍵因素：①跨部門以上領導的重視和牽頭；②專門負責解決數據質量問題的組織；③專門負責解決數據質量問題的流程；④專門負責解決數據質量問題的平臺；⑤專門負責偵測數據質量問題的工具。

10.3969/j.issn.1673 - 0194.2016.18.133

F830.49；TP311.13

A

1673-0194（2016）18-0192-01

2016-08-20