大數據治理

趙洪濤 南京中興新軟件有限責任公司 任成露 慧科訊業(北京)網絡科技有限公司南京分公司

在數據量高速膨脹的時期，隨著海量的、分散的數據整合到一起導致了大數據資源利用的復雜性和管理的高難度。同時，系統和業務區隔或行政分化等不同因素也在導致數據交互的斷層，而企業與外部業務交互所產生的“體外循環”數據與企業的核心數據體系并不能自然地融合。當這種數據的異構化所導致的應用沖突達到一定臨界點時，數據治理便成為了規范企業數據的必要步驟。

大數據治理是將大數據作為企業的重要數據資產進行應用和管理機制，能夠消除數據的不一致性，建立規范的數據應用標準，提高組織的數據質量，實現數據廣泛共享，并能夠將數據作為組織的寶貴資產應用于業務、管理、戰略決策中，發揮數據資產的商業價值。

大數據平臺建設過程中遇到了不少問題。隨處可見的數據不統一，難以提升和保證的數據質量，難以有效完成的數據模型梳理等各種基礎性數據問題，大大限制了大數據平臺發展，導致大數據應用不能在商業上高效的轉化為生產力。

大數據沒有標準化是傳統數據平臺開始就遇到的問題，在大數據平臺下更為明顯。沒有統一規劃和數據標準導致采集的數據難以集成和統一管理，沒有數據質量控制導致海量數據因為數據質量過低不能有效整合而難以被運用起來，沒有能有效管理大數據平臺的海量數據。

如何高效的利用已有的數據也是很大的挑戰，很多企業即便知道業務所需哪些數據，也不能安全高效的利用所需的數據，同時獲取數據需要很長的開發和積累過程，數據質量的不過關導致內部的業務的難以快速達到要求，解決數據質量的關鍵，在于在集成點檢查數據質量。同事，針對大數據量數據質量檢查，在保證實時性的前提下，也要保證不影響業務系統的正常運行，通過科學的技術手段找出數據問題并找到問題數據。

在大數據時代，企業雖然擁有海量大數據，數據之間的關聯關系還比較弱，大數據平臺沒有把數據和原有系統體系強關聯起來，進而就難以做到數據與需求之間快速轉換和實現，不能對數據進行高效的分析和挖掘，難以轉化大數據的深層價值，例如在油氣領域，生產井中的測量儀和海上平臺的傳感器監測產生的實時數據等快速發現石油，降低生產成本，提高鉆井安全性，增大產量等起到重要作用。

大數據治理的出發點在于基于數據平臺快速發現問題、感知潛在風險、建立數據之間連接、解決實際業務問題以及基于數據的預測。然而目前國內的大數據應用普遍側重是數據收集，在基于大數據的深度分析、風險感知和科學預測方面還有較大提升空間。當然也不能在業務尚未明晰具體的前提下盲目追求大數據，大數據而要以客觀的實際應用場景為出發點，不能只匯集數據而不分析挖掘或者片面追求數據大而全造成大量的無效數據，都不利于大數據平臺發揮其對業務提升的促進作用。需要通過技術手段在各種復雜的數據中識別出錯誤、虛假信息，提高效率。此外，在大數據廣泛伴隨著創新業務、社會服務，企業發展等方面的同時，也應清醒認識到：大數據對社會發展的同事，以及社會發展對于大數據發展的回應、規范和約束，盡可能的做到趨利避害，讓大數據更加方便大眾。

大數據是海量數據的匯聚，沒有數據，大數據就猶如無源之水。大數據背景下攻擊者會通過人工智能、機器學習等新型技術對攻擊工具進行升級，提高攻擊的精確度和攻擊的隱蔽性。大數據安全保護技術手段亟待加強，大數據平臺更要構建更可靠、更高效的安全技術保障體系。大數據治理以大數據平臺的元數據為基礎，實現基于平臺貫穿從數據設計、采集、存儲、轉換、使用等環節的數據生命周期管理，以及大數據從采集端到數據中心，再到應用端全過程的數據流管理，做到以使用者為中心，通過大數據治理，為使用者提供了、更靈活、更精確，便捷的獲得大數據服務的能力。

大數據安全管理包括大數據平臺內容安全和數據進行權限劃分和敏感度等級劃分的。從系統功能上包括數據權限的管理和敏感數據分級、系統敏感性分級，制定數據安全策略，安全管理審計，數據安全核查，敏感數據權限管理，敏感數據數據流向管理及相關權限審批流程，運用安全技術上進行數據特殊處理和多重保護。同時，加快建立數據質量管理制度和規范。高度重視數據質量和安全。

在大數據時代我們需要積極擁抱大數據，迎接大數據時代的新挑戰，搶抓大數據發展的新機遇，利用大數據治理技術來挖掘數據的潛在價值，從而實現并形成強有力的企業競爭優勢，同時面對大數據治理的安全挑戰，從設計就足夠重視，采取相應安全措施，科學規劃將會讓大數據技術產生明顯的價值以及帶來巨大的社會和經濟效益。