Data Vault 2.0在企業(yè)數(shù)字檔案室建設(shè)中的應(yīng)用淺析

張寅

一、對企業(yè)數(shù)字檔案館的理解

隨著企業(yè)信息化水平的不斷提高，在企業(yè)內(nèi)、外部圍繞各業(yè)務(wù)逐步建立了許多信息系統(tǒng)，并形成了大量有價值的數(shù)字資源。為了更好地管理、保護(hù)這些企業(yè)的無形資產(chǎn)，發(fā)揮其巨大信息與經(jīng)濟(jì)價值，企業(yè)數(shù)字檔案館建設(shè)概念應(yīng)運而生。

國家檔案局在《企業(yè)數(shù)字檔案館（室）建設(shè)指南》中明確提出企業(yè)數(shù)字檔案館（室）是指“企業(yè)運用現(xiàn)代信息技術(shù)固化檔案工作業(yè)務(wù)流程，對本企業(yè)或與其具有資產(chǎn)隸屬關(guān)系企業(yè)的電子檔案或其他數(shù)字資源進(jìn)行收集、整理、保存，并通過網(wǎng)絡(luò)提供檔案信息服務(wù)和共享利用的集成管理系統(tǒng)平臺”。從定義中不難看出，企業(yè)數(shù)字檔案館管理的對象主要是“數(shù)字資源”，包含了企業(yè)內(nèi)、外部在業(yè)務(wù)活動中形成的結(jié)構(gòu)化數(shù)據(jù)（例如關(guān)系型數(shù)據(jù)庫）與非結(jié)構(gòu)化數(shù)據(jù)（例如word、圖片、音視頻等）。企業(yè)數(shù)字檔案館的最終目標(biāo)是希望通過標(biāo)準(zhǔn)化、集中統(tǒng)一的管理手段，確保企業(yè)的數(shù)字資源能夠在長期保存過程中始終提供準(zhǔn)確、完整、可用、安全的信息服務(wù)。

二、Data Vault 2.0

（一）數(shù)據(jù)倉庫與Data Vault 2.0。數(shù)據(jù)倉庫是企業(yè)信息處理的一個基礎(chǔ)，它被定義為面向主題的、集成的、隨時間變化的、一個支持決策管理的數(shù)據(jù)集合。數(shù)據(jù)倉庫技術(shù)的相關(guān)理念與企業(yè)檔案工作有許許多多的共性，兩者都要求在企業(yè)級層面對信息進(jìn)行管理，筆者認(rèn)為如果把企業(yè)數(shù)字檔案館理解為一個概念框架，那數(shù)據(jù)倉庫則是實現(xiàn)該框架的重要技術(shù)手段之一。Data Vault 2.0（以下簡稱DV2）是一個商業(yè)智能系統(tǒng)，所謂Data Vault其真實的名稱應(yīng)為“公共基礎(chǔ)性倉庫架構(gòu)”，該系統(tǒng)包含了與數(shù)據(jù)倉庫設(shè)計、實施和管理的相關(guān)業(yè)務(wù)。在Data Vault 1.0時期其高度關(guān)注數(shù)據(jù)建模的部分，2.0版本在原有架構(gòu)基礎(chǔ)上進(jìn)行了廣泛擴(kuò)展，增加了許多在數(shù)據(jù)倉庫和商業(yè)智能方面成功的必要組件，具體包括：1.DV2建模：對模型性能和可擴(kuò)展性的更改。2.DV2方法：遵循Scrum和敏捷最佳實踐。3.DV2架構(gòu)：包括NoSQL系統(tǒng)和大數(shù)據(jù)系統(tǒng)。4.DV2實現(xiàn)：基于模式、自動化生成CMMI級別5。這些組件在企業(yè)數(shù)據(jù)倉庫項目的總體中起著關(guān)鍵作用，本文主要針對DV2架構(gòu)與建模進(jìn)行介紹。

（二）Data Vault 2.0架構(gòu)。DV2架構(gòu)基于三層數(shù)據(jù)倉庫架構(gòu)，三個層次一般理解為暫存區(qū)（或集結(jié)區(qū)）、數(shù)據(jù)倉庫和信息市場（或數(shù)據(jù)集市），“圖1”展示了DV2總體架構(gòu)的概覽。其主要特點包括以下幾點：1.暫存區(qū)中不存儲歷史信息，同時不支持?jǐn)?shù)據(jù)修改，但當(dāng)數(shù)據(jù)倉庫可以支持近實時處理時，對暫存區(qū)的需求和依賴度會下降，實時數(shù)據(jù)可直接傳輸至數(shù)據(jù)倉庫層;2.數(shù)據(jù)倉庫層遵循Data Vault建模技術(shù)。3.架構(gòu)支持一個或多個依賴數(shù)據(jù)倉庫的信息集市，而元市場（Meta Mart）是一個非常重要的組成，負(fù)責(zé)收集整個數(shù)據(jù)倉庫的元數(shù)據(jù)信息。

4.架構(gòu)分離了軟硬業(yè)務(wù)規(guī)則，使企業(yè)數(shù)據(jù)倉庫成為一個面向原始事實的記錄系統(tǒng)（Raw Data Vault），并隨時間推移不斷裝載原始事實。5.包含一個可選的“指標(biāo)庫”（Metrics Vault），即用于捕獲和記錄運行的相關(guān)信息。6.包含一個可選的“業(yè)務(wù)庫”（Business Vault），即按照業(yè)務(wù)規(guī)則或需求將原始數(shù)據(jù)變換為業(yè)務(wù)所需或理解的數(shù)據(jù)。7.包含一個可選的“操作庫”（Operational Vault），即某些業(yè)務(wù)系統(tǒng)可直接將數(shù)據(jù)存儲到數(shù)據(jù)倉庫中，例如主數(shù)據(jù)管理、元數(shù)據(jù)管理、實時采集等。8.自助BI（Business Intelligent），允許業(yè)務(wù)人員在不涉及信息技術(shù)的情況下，可自由執(zhí)行自定義的數(shù)據(jù)分析任務(wù)，并允許將它們回寫至數(shù)據(jù)倉庫層。9.架構(gòu)可與大數(shù)據(jù)處理hadoop或Nosql無縫對接，主要用于海量數(shù)據(jù)存儲與執(zhí)行數(shù)據(jù)挖掘。

（三）Data Vault 2.0模型。DV2模型是一個面向細(xì)節(jié)的、可追溯的并且唯一鏈接的規(guī)范化表集。從建模風(fēng)格上看，它采用了一種由第三范式與維度建模方法混合而成的方式，以二者的獨特組合來滿足需求。DV2在建模過程中采用了中心輻射型圖形模式，這意味著除了由基礎(chǔ)設(shè)施造成的限制之外，其可以表示的數(shù)據(jù)規(guī)模不存在已知的固有限制。在DV2模型中有三個基本實體，各個實體均已散列碼為主鍵（PK）：1.中心表（Hub）：唯一業(yè)務(wù)鍵列表，存儲各業(yè)務(wù)對象的業(yè)務(wù)鍵及相關(guān)元數(shù)據(jù)，標(biāo)準(zhǔn)的結(jié)構(gòu)包括散列鍵、業(yè)務(wù)鍵、加載日期、記錄來源等屬性。2.鏈接表（Link）：記錄中心表鍵與鍵之間唯一關(guān)系的列表，表示業(yè)務(wù)對象間的關(guān)系或聯(lián)系，標(biāo)準(zhǔn)的結(jié)構(gòu)包括散列鍵、加載日期、記錄來源等屬性。3.衛(wèi)星表（SateLite）：歷史的描述性數(shù)據(jù)，存儲業(yè)務(wù)對象、關(guān)聯(lián)性等具體屬性信息，并通過主鍵外聯(lián)中心表或鏈接表，標(biāo)準(zhǔn)的結(jié)構(gòu)包括散列鍵、加載日期、記錄來源、父散列鍵、失效時間、散列校驗值及業(yè)務(wù)屬性等。

三、應(yīng)用前景分析

（一）在資源整合方面的應(yīng)用。企業(yè)數(shù)字資源大多由前端業(yè)務(wù)系統(tǒng)產(chǎn)生，這些系統(tǒng)在設(shè)計、建設(shè)時往往只考慮自身縱向的業(yè)務(wù)邏輯與功能需求，缺少了在企業(yè)層面統(tǒng)一的數(shù)據(jù)規(guī)劃與語義標(biāo)準(zhǔn)，例如不同的系統(tǒng)描述同一個員工的唯一標(biāo)識（ID）可能不同，異構(gòu)的數(shù)據(jù)源給數(shù)字檔案館在數(shù)字資源整合帶來很大困難。在DV2中，由于使用散列鍵作為中心表的主鍵，使用“same-as”衛(wèi)星表可很方便地整合對同一業(yè)務(wù)對象的不同標(biāo)識，而不需再為改變源系統(tǒng)中的業(yè)務(wù)鍵而發(fā)愁。同時面對整合過程中出現(xiàn)數(shù)據(jù)類型與粒度的不匹配情況，中心表可以按照數(shù)據(jù)來源與變更的頻率，通過散列鍵外聯(lián)多個衛(wèi)星表，從而確保異構(gòu)數(shù)據(jù)源能夠迅速整合及數(shù)據(jù)原始性。此外，散列主鍵還可以無縫對接Hadoop或Nosql，從而進(jìn)一步實現(xiàn)文檔、圖片、視頻等非結(jié)構(gòu)化數(shù)字資源的整合與海量存儲。

（二）在資源真實性鑒定方面的應(yīng)用。企業(yè)數(shù)字檔案館其中一個重要目標(biāo)是要做到維護(hù)歷史數(shù)據(jù)的真實性，這種真實性體現(xiàn)在兩個方面：一是技術(shù)真實性，即數(shù)字資源在長期保存過程中沒有被誤改或篡改。二是來源真實性，即數(shù)字資源記錄了真實的業(yè)務(wù)活動。如何確保數(shù)字資源的真實性與可追溯性也是在集成管理和長期保存中亟待解決的難題。在DV2架構(gòu)中要求建立一個面向原始事實的記錄系統(tǒng)（Raw Data Vault），存儲在數(shù)據(jù)倉庫層的數(shù)據(jù)可以擁有不同的版本與失效時間，但不可修改。在中心表、鏈接表、衛(wèi)星表均記錄了數(shù)據(jù)的來源與加載時間，衛(wèi)星表中還通過保存各屬性的散列運算值提供校驗。可以說DV2架構(gòu)可追隨、可審計性為數(shù)字資源的真實性鑒定提供了有力保障。

（三）在數(shù)字資源利用分析方面的應(yīng)用。現(xiàn)階段企業(yè)檔案管理部門針對數(shù)字檔案館建設(shè)主要圍繞著館藏檔案數(shù)字化和檔案全文數(shù)據(jù)建設(shè)以及服務(wù)利用信息化、網(wǎng)絡(luò)化。這種服務(wù)比較原始、單一，更多的被動等待式的利用。數(shù)據(jù)時代背景下沒有經(jīng)過分析、挖掘，難以體現(xiàn)數(shù)字資源自身及集中管理的價值。而在DV2架構(gòu)中由中心表、鏈接表和衛(wèi)星表組成的中心輻射型模型可以非常簡便地轉(zhuǎn)化為維度模型，并在靈活的軟規(guī)則變換中（即不影響原始數(shù)據(jù)的前提下）迅速地構(gòu)建多種信息市場（或數(shù)據(jù)集市），實現(xiàn)數(shù)字資源的復(fù)用和分析挖掘，同時因架構(gòu)良好的擴(kuò)展性，大大降低了因企業(yè)內(nèi)部需求變化或多部門觀察角度不同，導(dǎo)致信息市場重建的風(fēng)險。

【參考文獻(xiàn)】

[1]付華，王雁賓，姜延溪，蔡盈芳等.企業(yè)數(shù)字檔案館（室）建設(shè)指南[Z].國家檔案局：國家檔案局經(jīng)濟(jì)科技檔案業(yè)務(wù)指導(dǎo)司，2017.

[2]Dan，Linstedt，Michael，Olschimke.Building a Scalable Data Warehouse with Data Vault 2.0[M].USA：Morgan Kaufmann，2016.

[3]（美）W，H，Inmon，Dan，Linstedt著，唐富年譯.數(shù)據(jù)架構(gòu)：大數(shù)據(jù)、數(shù)據(jù)倉庫以及Data Vault[M].北京：人民郵電出版社，2017.