大數(shù)據(jù)時代企業(yè)的主數(shù)據(jù)管理

◎謝定芬

大數(shù)據(jù)時代企業(yè)的主數(shù)據(jù)管理

◎謝定芬

本文討論主數(shù)據(jù)管理系統(tǒng)在大數(shù)據(jù)時代的意義與作用，以及主數(shù)據(jù)管理系統(tǒng)如何在企業(yè)中通過數(shù)據(jù)整合以及數(shù)據(jù)清理從而幫助后臺技術(shù)人員向高層管理人員及前端業(yè)務(wù)人員提供數(shù)據(jù)支持。本文同時將探討主數(shù)據(jù)管理系統(tǒng)的循環(huán)過程，并展望了將主數(shù)據(jù)管理系統(tǒng)建立在云端以及移動平臺的可能性。

如今，數(shù)據(jù)已經(jīng)滲透到每個行業(yè)和業(yè)務(wù)職能領(lǐng)域，成為重要的生產(chǎn)因素。當(dāng)今的信息化時代主要是由數(shù)據(jù)主導(dǎo)的，因此企業(yè)若想做大做強(qiáng)必須首先掌握核心的業(yè)務(wù)數(shù)據(jù)，這有利于企業(yè)通過分析這些核心數(shù)據(jù)從而獲得最大限度的價值，并借用數(shù)據(jù)來對企業(yè)的品牌管理進(jìn)行優(yōu)化改造，拓寬市場渠道增加市場份額，最終實現(xiàn)企業(yè)核心競爭力的提升，然而這一切的主要手段被稱作主數(shù)據(jù)管理（Master Date Management，簡稱MDM）。

主數(shù)據(jù)管理概述

所謂主數(shù)據(jù)管理，主要是指用以確保企業(yè)的業(yè)務(wù)數(shù)據(jù)特定的范圍內(nèi)保持一致、完整、互相關(guān)聯(lián)以及精準(zhǔn)的一組規(guī)程、技術(shù)和解決方案。簡而言之，主數(shù)據(jù)管理的主要作用在于使企業(yè)從零零散散的業(yè)務(wù)系統(tǒng)中提取到所需要的核心數(shù)據(jù)或最需要共享的數(shù)據(jù)（主數(shù)據(jù)），并把這些數(shù)據(jù)集中起來，進(jìn)行統(tǒng)一的篩選、整合和提煉，最終形成具有權(quán)威的主數(shù)據(jù)，再以服務(wù)的方式將這些完整統(tǒng)一、準(zhǔn)確無誤的主數(shù)據(jù)面向企業(yè)當(dāng)中需要使用這些數(shù)據(jù)的系統(tǒng)或應(yīng)用進(jìn)行分發(fā)。主數(shù)據(jù)管理主要用于強(qiáng)化企業(yè)各業(yè)務(wù)系統(tǒng)的共性數(shù)據(jù)當(dāng)中的實體和模型的管理，可以有效避免出現(xiàn)大的業(yè)務(wù)概念不一致的現(xiàn)象，同時可以有效的降低應(yīng)用孤島、數(shù)據(jù)孤島出現(xiàn)的幾率，因此可以作為企業(yè)的數(shù)據(jù)標(biāo)準(zhǔn)。

主數(shù)據(jù)管理在企業(yè)發(fā)展中的重要性

現(xiàn)今，企業(yè)已經(jīng)逐步認(rèn)識到了核心數(shù)據(jù)具有重要的資源價值。作為一種具有稀缺性和差異性的核心數(shù)據(jù)資源，主數(shù)據(jù)管理將逐漸成為企業(yè)的重大競爭優(yōu)勢之一。主數(shù)據(jù)管理對企業(yè)而言主要有以下幾個方面的價值：

和大數(shù)據(jù)相輔相成。這兩者的都是以數(shù)據(jù)為核心的，僅僅在關(guān)注點(diǎn)上各不相同。大數(shù)據(jù)主要的關(guān)注點(diǎn)在于數(shù)據(jù)的體量和類型，主數(shù)據(jù)主要的關(guān)注點(diǎn)在于數(shù)據(jù)的組織結(jié)構(gòu)。現(xiàn)代化的企業(yè)為適應(yīng)市場的需求，必須將主數(shù)據(jù)作為核心，以此作為線索將各類大數(shù)據(jù)進(jìn)行有效的串聯(lián)，通過主數(shù)據(jù)獲取企業(yè)的預(yù)期效益和價值。具有良好結(jié)構(gòu)的主數(shù)據(jù)可以在很大規(guī)模上幫助相關(guān)數(shù)據(jù)分析師在建模之前節(jié)省清理、組織數(shù)據(jù)的時間。由于大數(shù)據(jù)系統(tǒng)下的數(shù)據(jù)多具有無組織、雜亂、缺乏實際應(yīng)用意義，主數(shù)據(jù)分析師可以根據(jù)本企業(yè)或本行業(yè)內(nèi)部情況，通過配套的主數(shù)據(jù)管理系統(tǒng)對這類數(shù)據(jù)定義賦值，從而向數(shù)據(jù)用戶提供全方位的商業(yè)定義。

業(yè)務(wù)價值廣泛。通過主數(shù)據(jù)管理，企業(yè)可以為主數(shù)據(jù)建立完整統(tǒng)一的訪問端口，以及完整統(tǒng)一的、內(nèi)容豐富的、純凈無雜質(zhì)的數(shù)據(jù)中心。其業(yè)務(wù)價值不僅在于可以為企業(yè)的每個業(yè)務(wù)部門提供有效的共享信息平臺，還可以為企業(yè)的業(yè)務(wù)流程以及經(jīng)營決策提供切實可靠的數(shù)據(jù)載體。通常來說，在數(shù)據(jù)孤島的情形下，各部門各自擁有一套數(shù)據(jù)系統(tǒng)，且這些數(shù)據(jù)系統(tǒng)中的數(shù)據(jù)大多具有非統(tǒng)一以及無序的特性，比如某產(chǎn)品在財務(wù)部門的數(shù)據(jù)系統(tǒng)中編號為89002-FA，但是在銷售部門的數(shù)據(jù)系統(tǒng)中編號為89002-SA。高層管理人員在對此產(chǎn)品進(jìn)行季度分析時，將會看到財務(wù)和銷售兩個部門提供的兩個不同產(chǎn)品編號，從而被誤導(dǎo)而做出可能導(dǎo)致錯誤的決定。然而，一個優(yōu)良的主數(shù)據(jù)管理系統(tǒng)可以對各部門的數(shù)據(jù)系統(tǒng)進(jìn)行審計并整合，對重復(fù)、多余的數(shù)據(jù)進(jìn)行合并處理和統(tǒng)一編號，然后依據(jù)各部門人員的職能分配在統(tǒng)一的主數(shù)據(jù)倉庫中調(diào)取和觀測數(shù)據(jù)的權(quán)限，從而為各個部門提供統(tǒng)完整的數(shù)據(jù)共享平臺。

增強(qiáng)IT建設(shè)靈活性。主數(shù)據(jù)管理可以增強(qiáng)IT結(jié)構(gòu)的靈活性，構(gòu)建覆蓋整個企業(yè)范圍內(nèi)的數(shù)據(jù)管理基礎(chǔ)和相應(yīng)規(guī)范，并且更靈活地適應(yīng)企業(yè)業(yè)務(wù)需求的變化，同時，降低接口成本、數(shù)據(jù)清洗和維護(hù)成本等，使企業(yè)有效降低成本。

主數(shù)據(jù)管理的基本方法

盡管目前的許多企業(yè)越來越重視主數(shù)據(jù)的實際價值，但對于如何發(fā)揮主數(shù)據(jù)的作用還并不十分了解。為確保企業(yè)實施的項目能夠按部就班的進(jìn)行，企業(yè)可以從規(guī)劃方法論出發(fā)，從不同的階段開展工作。比如information MDM產(chǎn)品解決方案，將主數(shù)據(jù)的生命周期劃分為九個階段：一是訪問，對主數(shù)據(jù)的來源和現(xiàn)狀進(jìn)行探索，實現(xiàn)不同數(shù)據(jù)源和應(yīng)用程序的數(shù)據(jù)集成方案，這是主數(shù)據(jù)獲取的入口。二是發(fā)現(xiàn)，探索數(shù)據(jù)內(nèi)容以及內(nèi)在結(jié)構(gòu)，并從中發(fā)覺到異常情況，對數(shù)據(jù)的優(yōu)勢和劣勢進(jìn)行精確的分析，對于其中出現(xiàn)的數(shù)據(jù)錯誤和問題要明確的指出。三是建模，建立正確、靈活的MDM業(yè)務(wù)及數(shù)據(jù)模型，其目標(biāo)在于有效面對企業(yè)隨時可能發(fā)生的變化以及困難，項目的順利完成離不開正確的數(shù)據(jù)模型。四是清洗，對于整個系統(tǒng)數(shù)據(jù)出現(xiàn)兩種或兩種以上的定義或者使用方法時，我們需要對錯誤以及矛盾進(jìn)行解決，建立信息正確以及結(jié)構(gòu)完整的主數(shù)據(jù)。五是識別，迅速對數(shù)據(jù)進(jìn)行配對，刪除重復(fù)數(shù)據(jù)并最大限度的防止出現(xiàn)重復(fù)。六是解決，對數(shù)據(jù)中重復(fù)的部分進(jìn)行整合，確保數(shù)據(jù)的唯一性和真實性。七是關(guān)聯(lián)，要對企業(yè)內(nèi)外部的合作伙伴系統(tǒng)或第三方軟件，乃至于外部產(chǎn)品的廣泛數(shù)據(jù)做出有效關(guān)聯(lián)。八是治理，對主數(shù)據(jù)進(jìn)行創(chuàng)建、使用、管理和監(jiān)控，確保對數(shù)據(jù)問題進(jìn)行跟蹤，同時保證長期滿足數(shù)據(jù)質(zhì)量預(yù)期。九是交付，通過服務(wù)的方式，將具有統(tǒng)一性、完整性和準(zhǔn)確的主數(shù)據(jù)分別發(fā)放給企業(yè)當(dāng)中一定范圍內(nèi)的業(yè)務(wù)系統(tǒng)以及其他系統(tǒng)，以滿足各類系統(tǒng)的需要。

云計算、社交計算、移動計算被并稱為大數(shù)據(jù)的三大驅(qū)動。從當(dāng)前形勢來看，部分主流MDM軟件可以對云中數(shù)據(jù)、社交數(shù)據(jù)、移動數(shù)據(jù)等不同類型的數(shù)據(jù)進(jìn)行有效的管理。由此可見，未來必將支持不同的移動終端接入，采用云中部署、混合部署等新模式的主數(shù)據(jù)管理多域部署情況將更加普遍。

未來，MDM平臺將逐步實現(xiàn)與大數(shù)據(jù)的無縫集成，為大數(shù)據(jù)提供一系列全面、先進(jìn)、成熟的數(shù)據(jù)管理解決方案，為企業(yè)用戶迎接“集成化的大數(shù)據(jù)時代”做好了準(zhǔn)備。新形勢下的大數(shù)據(jù)時代，大數(shù)據(jù)目前所存在的最重要的問題不在于龐大的數(shù)量，而是在于高質(zhì)量。大數(shù)據(jù)背景下的企業(yè)數(shù)據(jù)治理和提升數(shù)據(jù)質(zhì)量的工具將由主數(shù)據(jù)管理解決方案擔(dān)負(fù)，不但保證了核心數(shù)據(jù)的真實可靠和較高的質(zhì)量，還可以使企業(yè)精準(zhǔn)的發(fā)掘到業(yè)務(wù)數(shù)據(jù)中所隱含的各種價值，真正把大數(shù)據(jù)轉(zhuǎn)化為大機(jī)遇。

（作者系中國建材集團(tuán)合肥水泥研究設(shè)計院工程設(shè)計公司土建室主任，高級工程師、國家一級注冊結(jié)構(gòu)師，MBA畢業(yè)）