作戰(zhàn)實(shí)驗(yàn)數(shù)據(jù)倉(cāng)庫(kù)E-IT-T-L 設(shè)計(jì)研究

代冬升 王躍利

(1.軍事科學(xué)院 聯(lián)合作戰(zhàn)研究實(shí)驗(yàn)中心，北京100091;2.軍械工程學(xué)院，河北 石家莊050000)

1 引言

由于作戰(zhàn)實(shí)驗(yàn)的階段性發(fā)展和分布性特點(diǎn)，導(dǎo)致大量分布、異構(gòu)、自治作戰(zhàn)實(shí)驗(yàn)數(shù)據(jù)源的出現(xiàn)［1，2］，這些數(shù)量巨大、內(nèi)容豐富的數(shù)據(jù)資源難以有效集成整合，無(wú)法為作戰(zhàn)實(shí)驗(yàn)提供及時(shí)、有效的數(shù)據(jù)支持，因此，必須采取有效方式將眾多作戰(zhàn)實(shí)驗(yàn)“信息孤島”集成整合為一個(gè)有機(jī)整體。數(shù)據(jù)倉(cāng)庫(kù)是一個(gè)面向主題、集成、非易失、隨時(shí)間變化、用來(lái)支持管理人員決策的數(shù)據(jù)集合，它為作戰(zhàn)實(shí)驗(yàn)數(shù)據(jù)集成提供了技術(shù)途徑。本文針對(duì)數(shù)據(jù)倉(cāng)庫(kù)構(gòu)建過(guò)程中的ETL 方法開(kāi)展研究，以提高多源異構(gòu)作戰(zhàn)實(shí)驗(yàn)數(shù)據(jù)抽取、轉(zhuǎn)換和加載的質(zhì)量和效率［3］。

2 作戰(zhàn)實(shí)驗(yàn)數(shù)據(jù)倉(cāng)庫(kù)E-IT-T-L 的提出

ETL 主要是指數(shù)據(jù)的抽取(Extracting)、轉(zhuǎn)換(Transforming)和加載(Loading)的過(guò)程，是將數(shù)據(jù)從業(yè)務(wù)信息系統(tǒng)轉(zhuǎn)入數(shù)據(jù)倉(cāng)庫(kù)的一系列操作的集合。ETL 基本過(guò)程如圖1 所示，首先將數(shù)據(jù)源中的數(shù)據(jù)抽取到數(shù)據(jù)集中，然后對(duì)數(shù)據(jù)集中的數(shù)據(jù)進(jìn)行轉(zhuǎn)換處理并轉(zhuǎn)入數(shù)據(jù)緩沖區(qū)，最后將數(shù)據(jù)從數(shù)據(jù)緩沖區(qū)加載到數(shù)據(jù)倉(cāng)庫(kù)中。ETL 是確保數(shù)據(jù)規(guī)范性、完整性、一致性，提高數(shù)據(jù)倉(cāng)庫(kù)數(shù)據(jù)質(zhì)量的關(guān)鍵環(huán)節(jié)，也是數(shù)據(jù)倉(cāng)庫(kù)建設(shè)過(guò)程中最為費(fèi)時(shí)費(fèi)力的部分。

本文在研究分析與實(shí)踐應(yīng)用的基礎(chǔ)上，提出了一種改進(jìn)的ETL 方法:E - IT - T - L(Extracting，Integrality Test，Transforming ＆ Loading)，在ETL 過(guò)程中增加了完整性驗(yàn)證工作。傳統(tǒng)ETL 方法的絕大部分工作和壓力集中在數(shù)據(jù)轉(zhuǎn)換過(guò)程，效率受到很大影響。在ETL 過(guò)程中引入數(shù)據(jù)完整性檢測(cè)，目的是及早發(fā)現(xiàn)業(yè)務(wù)數(shù)據(jù)中存在的問(wèn)題，盡量靠近根源處解決數(shù)據(jù)質(zhì)量隱患，提高數(shù)據(jù)轉(zhuǎn)換、清洗速度，進(jìn)一步提高數(shù)據(jù)質(zhì)量。

數(shù)據(jù)完整性是指在數(shù)據(jù)庫(kù)中存儲(chǔ)的數(shù)據(jù)的一致性、正確性和合理性，體現(xiàn)了數(shù)據(jù)對(duì)客觀世界描述的完整程度。目前，作戰(zhàn)實(shí)驗(yàn)相關(guān)信息系統(tǒng)基本上都采用關(guān)系型數(shù)據(jù)庫(kù)進(jìn)行數(shù)據(jù)組織和管理，數(shù)據(jù)之間的邏輯關(guān)系、約束關(guān)系較為復(fù)雜，而且數(shù)據(jù)中存在數(shù)據(jù)重復(fù)、數(shù)據(jù)不全、邏輯關(guān)聯(lián)的數(shù)據(jù)項(xiàng)值不一致、數(shù)據(jù)輸入錯(cuò)誤等現(xiàn)象。一方面，這種情況對(duì)數(shù)據(jù)質(zhì)量造成了嚴(yán)重影響，數(shù)據(jù)的可用性、可信性大大降低;另一方面，數(shù)據(jù)質(zhì)量問(wèn)題給作戰(zhàn)實(shí)驗(yàn)數(shù)據(jù)倉(cāng)庫(kù)ETL 工作帶來(lái)了巨大挑戰(zhàn)，增加了工作難度，同時(shí)也為在此基礎(chǔ)上的數(shù)據(jù)挖掘分析埋下了隱患。

作戰(zhàn)實(shí)驗(yàn)數(shù)據(jù)倉(cāng)庫(kù)E-IT-T-L 設(shè)計(jì)，力求通過(guò)對(duì)業(yè)務(wù)信息系統(tǒng)數(shù)據(jù)完整性進(jìn)行檢測(cè)，進(jìn)一步理清業(yè)務(wù)數(shù)據(jù)之間的邏輯關(guān)系，準(zhǔn)確定位單個(gè)業(yè)務(wù)信息系統(tǒng)級(jí)別的數(shù)據(jù)在一致性、正確性和有效性方面存在的問(wèn)題，為數(shù)據(jù)修正完善提供依據(jù)，有效節(jié)省數(shù)據(jù)倉(cāng)庫(kù)ETL 中的數(shù)據(jù)轉(zhuǎn)換過(guò)程的時(shí)間和精力，進(jìn)一步強(qiáng)化和提高數(shù)據(jù)質(zhì)量。

3 作戰(zhàn)實(shí)驗(yàn)數(shù)據(jù)倉(cāng)庫(kù)E - IT - T - L 框架設(shè)計(jì)

3.1 數(shù)據(jù)倉(cāng)庫(kù)E-IT-T-L 結(jié)構(gòu)框架

作戰(zhàn)實(shí)驗(yàn)數(shù)據(jù)倉(cāng)庫(kù)E -IT -T -L 結(jié)構(gòu)框架主要包括數(shù)據(jù)源、E-IT-T-L 和數(shù)據(jù)倉(cāng)庫(kù)三個(gè)層次，如圖2 所示，通過(guò)對(duì)數(shù)據(jù)處理工作的多次分解來(lái)降低整體工作的復(fù)雜程度。

表1 E-IT-T-L 基本操作

數(shù)據(jù)源層包括面向事務(wù)性操作的業(yè)務(wù)數(shù)據(jù)和支撐業(yè)務(wù)活動(dòng)的基礎(chǔ)數(shù)據(jù)兩類，業(yè)務(wù)數(shù)據(jù)包括武器裝備數(shù)據(jù)、體制編制數(shù)據(jù)、作戰(zhàn)目標(biāo)數(shù)據(jù)和仿真模擬數(shù)據(jù)等，基礎(chǔ)數(shù)據(jù)包括各種標(biāo)準(zhǔn)代碼、數(shù)據(jù)元素標(biāo)準(zhǔn)和業(yè)務(wù)標(biāo)準(zhǔn)等。

E-IT-T-L 層是整體框架的核心，主要包括數(shù)據(jù)抽取、數(shù)據(jù)完整性檢測(cè)、數(shù)據(jù)轉(zhuǎn)換、數(shù)據(jù)加載四個(gè)數(shù)據(jù)操作步驟。首先，通過(guò)數(shù)據(jù)抽取實(shí)現(xiàn)與數(shù)據(jù)源建立連接，并從數(shù)據(jù)源抽取數(shù)據(jù)到原樣庫(kù)中，原樣庫(kù)包含了與數(shù)據(jù)源完全一致的數(shù)據(jù)環(huán)境和數(shù)據(jù)記錄;其次，通過(guò)數(shù)據(jù)完整性檢測(cè)對(duì)原樣庫(kù)中的數(shù)據(jù)進(jìn)行完整性檢測(cè)，未通過(guò)檢測(cè)的數(shù)據(jù)需要進(jìn)行修正、補(bǔ)充或清除，檢測(cè)通過(guò)后再進(jìn)行數(shù)據(jù)轉(zhuǎn)換、規(guī)范化、清洗等處理進(jìn)入用戶事務(wù)庫(kù)，再由用戶事務(wù)庫(kù)提取業(yè)務(wù)實(shí)體信息進(jìn)入業(yè)務(wù)實(shí)體庫(kù)，標(biāo)準(zhǔn)代碼庫(kù)用于存儲(chǔ)統(tǒng)一的分類代碼和標(biāo)識(shí)代碼，維度定義庫(kù)用于存儲(chǔ)全局統(tǒng)一的維度數(shù)據(jù);第三，根據(jù)數(shù)據(jù)倉(cāng)庫(kù)的數(shù)據(jù)結(jié)構(gòu)，以業(yè)務(wù)實(shí)體為數(shù)據(jù)組織核心，將業(yè)務(wù)實(shí)體庫(kù)中的數(shù)據(jù)加載到數(shù)據(jù)倉(cāng)庫(kù)中。在E -IT -T-L 層，需要使用數(shù)據(jù)源元數(shù)據(jù)、數(shù)據(jù)映射元數(shù)據(jù)、數(shù)據(jù)加載元數(shù)據(jù)和數(shù)據(jù)倉(cāng)庫(kù)元數(shù)據(jù)等進(jìn)行配合，確保相關(guān)操作順利完成。

數(shù)據(jù)倉(cāng)庫(kù)層按業(yè)務(wù)主題進(jìn)行數(shù)據(jù)存儲(chǔ)與管理，每個(gè)主題下包括多個(gè)事實(shí)表和維度表，為上層的OLAP 多維數(shù)據(jù)分析和數(shù)據(jù)挖掘提供數(shù)據(jù)支撐。

3.2 數(shù)據(jù)倉(cāng)庫(kù)E-IT-T-L 基本操作

E-IT -T -L 需要經(jīng)過(guò)多種數(shù)據(jù)變換操作才能完成將多源異構(gòu)數(shù)據(jù)轉(zhuǎn)變?yōu)榉弦蟮臄?shù)據(jù)，并存儲(chǔ)到數(shù)據(jù)倉(cāng)庫(kù)中。本文結(jié)合實(shí)際需要對(duì)E -IT-T -L 過(guò)程涉及的基本操作進(jìn)行了分析與設(shè)計(jì)，見(jiàn)表1。在實(shí)際E-IT-T-L 操作時(shí)，需要有選擇地進(jìn)行使用。

4 作戰(zhàn)實(shí)驗(yàn)數(shù)據(jù)倉(cāng)庫(kù)E - IT - T - L 詳細(xì)設(shè)計(jì)

4.1 數(shù)據(jù)抽取

作戰(zhàn)實(shí)驗(yàn)數(shù)據(jù)抽取是從各類數(shù)據(jù)源抽取數(shù)據(jù)集合，并存儲(chǔ)到原樣庫(kù)的過(guò)程。如果數(shù)據(jù)源相關(guān)文檔保留完整、數(shù)據(jù)結(jié)構(gòu)清晰、數(shù)據(jù)定義規(guī)范，數(shù)據(jù)抽取過(guò)程就會(huì)相對(duì)簡(jiǎn)單。但如果是歷史遺留系統(tǒng)，其數(shù)據(jù)定義不規(guī)范、數(shù)據(jù)值不一致等問(wèn)題較為突出，就需要在抽取過(guò)程中明確數(shù)據(jù)定義，并對(duì)數(shù)據(jù)進(jìn)行有條件的篩選。

作戰(zhàn)實(shí)驗(yàn)數(shù)據(jù)抽取的模式包括靜態(tài)抽取和增量抽取，如圖3 所示。靜態(tài)抽取通過(guò)無(wú)一遺漏掃描作戰(zhàn)實(shí)驗(yàn)數(shù)據(jù)源中全部業(yè)務(wù)數(shù)據(jù)的方式進(jìn)行數(shù)據(jù)抽取，是業(yè)務(wù)數(shù)據(jù)的全量抽取。靜態(tài)抽取比較消耗時(shí)間，適用于數(shù)據(jù)庫(kù)初始化階段一次性抽取業(yè)務(wù)信息系統(tǒng)中的所有數(shù)據(jù)。增量抽取通過(guò)定期從作戰(zhàn)實(shí)驗(yàn)數(shù)據(jù)源中抽取上次抽取以后發(fā)生改動(dòng)的業(yè)務(wù)數(shù)據(jù)的方式進(jìn)行數(shù)據(jù)抽取，適用于定期更新作戰(zhàn)實(shí)驗(yàn)數(shù)據(jù)倉(cāng)庫(kù)中的數(shù)據(jù)。按照抽取主體的不同，增量抽取可分為主動(dòng)增量抽取和被動(dòng)增量抽取。

4.2 數(shù)據(jù)完整性檢測(cè)

4.2.1 數(shù)據(jù)完整性檢測(cè)主要內(nèi)容

作戰(zhàn)實(shí)驗(yàn)數(shù)據(jù)完整性檢測(cè)主要是依據(jù)數(shù)據(jù)庫(kù)第三范式、用戶自定義約束和業(yè)務(wù)原則，進(jìn)行數(shù)據(jù)完整性檢測(cè)。經(jīng)過(guò)分析研究認(rèn)為，主要包括候選鍵完整性、主從關(guān)系完整性、引用關(guān)系完整性、計(jì)算關(guān)系完整性、約束關(guān)系完整性、枚舉值域完整性的檢測(cè)，具體描述如下:

(1)候選鍵完整性檢測(cè)。候選鍵是可以唯一確定關(guān)系數(shù)據(jù)表中的一行數(shù)據(jù)但沒(méi)有被選擇作為主鍵的屬性集合。候選鍵完整性檢測(cè)即是檢測(cè)關(guān)系數(shù)據(jù)表中的候選鍵是否滿足唯一性，即不為空和不可重復(fù)。

(2)主從關(guān)系完整性檢測(cè)。主從關(guān)系完整性檢測(cè)是指對(duì)存在主從關(guān)系的關(guān)系數(shù)據(jù)表間的主從關(guān)系進(jìn)行檢測(cè)，檢查從表外鍵的值與主表主鍵(或候選鍵)的值是否保持一致。

(3)引用關(guān)系完整性檢測(cè)。引用關(guān)系完整性檢測(cè)是針對(duì)關(guān)系數(shù)據(jù)表中存在引用關(guān)系的數(shù)據(jù)項(xiàng)進(jìn)行檢測(cè)，檢查引用后的數(shù)值是否與原值保持一致。

(4)計(jì)算關(guān)系完整性檢測(cè)。計(jì)算關(guān)系完整性檢測(cè)是依據(jù)數(shù)據(jù)表數(shù)據(jù)項(xiàng)間存在的計(jì)算關(guān)系對(duì)其數(shù)據(jù)值進(jìn)行檢測(cè)，檢測(cè)數(shù)據(jù)值是否滿足對(duì)應(yīng)的計(jì)算關(guān)系。

(5)約束關(guān)系完整性檢測(cè)。約束關(guān)系完整性檢測(cè)是指對(duì)關(guān)系數(shù)據(jù)表數(shù)據(jù)項(xiàng)間存在的約束關(guān)系進(jìn)行檢測(cè)，檢查其數(shù)值是否符合對(duì)應(yīng)的約束關(guān)系。

(6)枚舉值域完整性檢測(cè)。枚舉值域完整性檢測(cè)是指對(duì)關(guān)系數(shù)據(jù)表中取值為枚舉值的數(shù)據(jù)項(xiàng)進(jìn)行檢測(cè)，檢查其數(shù)據(jù)值是否超出枚舉值域范圍。

4.2.2 數(shù)據(jù)完整性檢測(cè)過(guò)程

數(shù)據(jù)完整性檢測(cè)的過(guò)程如圖4 所示。首先，要建立支持上述六種完整性檢測(cè)的規(guī)則和枚舉值域字典表，然后將原樣庫(kù)中的數(shù)據(jù)提取到鏡像庫(kù)中，并根據(jù)建立的規(guī)則進(jìn)行數(shù)據(jù)完整性檢測(cè)，對(duì)發(fā)現(xiàn)的問(wèn)題記錄存儲(chǔ)到問(wèn)題記錄庫(kù)中等待進(jìn)一步處理，并將相關(guān)信息寫到日志中。

根據(jù)網(wǎng)絡(luò)具體情況，數(shù)據(jù)完整性檢測(cè)可分為在線檢測(cè)和離線檢測(cè):在線檢測(cè)可實(shí)時(shí)進(jìn)行檢測(cè)并預(yù)警;離線檢測(cè)可對(duì)數(shù)據(jù)庫(kù)批量數(shù)據(jù)進(jìn)行檢測(cè)，并對(duì)錯(cuò)誤數(shù)據(jù)進(jìn)行分析和提示。

4.3 數(shù)據(jù)轉(zhuǎn)換

4.3.1 數(shù)據(jù)轉(zhuǎn)換主要內(nèi)容

數(shù)據(jù)轉(zhuǎn)換涉及一系列復(fù)雜的數(shù)據(jù)操作來(lái)確保數(shù)據(jù)質(zhì)量，是決定作戰(zhàn)實(shí)驗(yàn)數(shù)據(jù)倉(cāng)庫(kù)建設(shè)成敗的關(guān)鍵，下面分別對(duì)其涉及的合并、拆分、連接、過(guò)濾、清除、變換、統(tǒng)一代碼和計(jì)算等操作進(jìn)行說(shuō)明。

(1)合并。該操作是將在數(shù)據(jù)源中分散存儲(chǔ)的數(shù)據(jù)合并到一起，例如，有的系統(tǒng)將作戰(zhàn)目標(biāo)地理坐標(biāo)分為經(jīng)度(X)和緯度(Y)兩個(gè)字段，合并操作就是將這兩個(gè)字段的值合并到一起，統(tǒng)一為“地理坐標(biāo)”(X，Y)字段的值。

(2)拆分。該操作與合并相反，是將在數(shù)據(jù)源中存儲(chǔ)在一起的數(shù)據(jù)分離開(kāi)來(lái)。

(3)連接。該操作主要是通過(guò)公共屬性建立數(shù)據(jù)間的連接關(guān)系，例如，通過(guò)“編制代碼”來(lái)關(guān)聯(lián)兵力部署庫(kù)中的兵力單元信息和體制編制庫(kù)中的體制編制基本信息。

(4)過(guò)濾。該操作是將數(shù)據(jù)中不滿足需要的數(shù)據(jù)過(guò)濾掉，例如，A 裝備已經(jīng)退出現(xiàn)役，不需要將A 裝備數(shù)據(jù)導(dǎo)入數(shù)據(jù)倉(cāng)庫(kù)中，則可通過(guò)該操作將A裝備數(shù)據(jù)過(guò)濾掉。

(5)清除。該操作是將數(shù)據(jù)中錯(cuò)誤的或無(wú)效的數(shù)據(jù)清除掉，假設(shè)某條記錄中A 型火炮一小時(shí)的射彈數(shù)為2000 發(fā)，射彈數(shù)明顯不合理，因此需要將該條記錄予以清除。

(6)變換。該操作通常包括數(shù)據(jù)類型變換、度量變換和格式變換等，例如，如果數(shù)據(jù)倉(cāng)庫(kù)存儲(chǔ)在Oracle 數(shù)據(jù)庫(kù)中，則需將SQL Server 中的int、bigint、tinyint 等類型統(tǒng)一變換為Oracle 數(shù)據(jù)庫(kù)中的number 類型。

(7)統(tǒng)一代碼。該操作是將對(duì)象標(biāo)識(shí)代碼進(jìn)行統(tǒng)一，例如，作戰(zhàn)目標(biāo)信息表中通過(guò)目標(biāo)代碼標(biāo)識(shí)每個(gè)作戰(zhàn)目標(biāo)，而該標(biāo)識(shí)代碼需要與我軍作戰(zhàn)部門的目標(biāo)代碼相一致。

(8)計(jì)算。該操作是通過(guò)對(duì)已有數(shù)據(jù)進(jìn)行計(jì)算來(lái)生成新的數(shù)據(jù)，例如，在裝備保障方案評(píng)估中，將裝備完好率作為一個(gè)評(píng)價(jià)指標(biāo)，其計(jì)算公式如下:

4.3.2 數(shù)據(jù)轉(zhuǎn)換過(guò)程

作戰(zhàn)實(shí)驗(yàn)數(shù)據(jù)轉(zhuǎn)換過(guò)程涉及大量的數(shù)據(jù)，過(guò)程中很大一部分工作是進(jìn)行數(shù)據(jù)驗(yàn)證，發(fā)現(xiàn)數(shù)據(jù)中存在的問(wèn)題，然后有針對(duì)性的進(jìn)行處理。因此，數(shù)據(jù)轉(zhuǎn)換首先建立數(shù)據(jù)檢測(cè)要求，明確哪些數(shù)據(jù)應(yīng)該被檢測(cè)出來(lái);然后，設(shè)置轉(zhuǎn)換的規(guī)則，即對(duì)發(fā)現(xiàn)的問(wèn)題數(shù)據(jù)采取什么措施進(jìn)行處理;最后，將生成的“干凈”數(shù)據(jù)進(jìn)行存儲(chǔ)管理。

不同的應(yīng)用背景有不同的數(shù)據(jù)轉(zhuǎn)換需求，針對(duì)作戰(zhàn)實(shí)驗(yàn)數(shù)據(jù)的特點(diǎn)以及存在的問(wèn)題，其數(shù)據(jù)轉(zhuǎn)換主要完成合并、拆分、連接、變換、統(tǒng)一代碼等轉(zhuǎn)換操作，最終生成統(tǒng)一的模型、語(yǔ)義和一致的數(shù)據(jù)。作戰(zhàn)實(shí)驗(yàn)數(shù)據(jù)轉(zhuǎn)換規(guī)則保存在融合庫(kù)中由E -IT-T - L 軟件調(diào)用。系統(tǒng)首先取出指定的轉(zhuǎn)換規(guī)則，再由規(guī)則解析模塊進(jìn)行解析并加入到轉(zhuǎn)換隊(duì)列，抽取的數(shù)據(jù)經(jīng)過(guò)隊(duì)列中的每一個(gè)規(guī)則進(jìn)行清洗轉(zhuǎn)換，最后輸出干凈的數(shù)據(jù)集。

4.4 數(shù)據(jù)加載

4.4.1 數(shù)據(jù)加載主要內(nèi)容

數(shù)據(jù)經(jīng)過(guò)轉(zhuǎn)換處理變?yōu)楦蓛魯?shù)據(jù)后，即可將其加載到數(shù)據(jù)倉(cāng)庫(kù)中。數(shù)據(jù)加載過(guò)程涉及維度表和事實(shí)表的數(shù)據(jù)加載更新。數(shù)據(jù)的加載與數(shù)據(jù)抽取階段的模式直接相關(guān)，通常在第一次執(zhí)行時(shí)使用靜態(tài)加載，之后的加載使用增量加載。

在作戰(zhàn)實(shí)驗(yàn)數(shù)據(jù)加載過(guò)程中，首先需要加載維度表，以滿足維度表主鍵與事實(shí)表對(duì)應(yīng)外鍵之間的引用完整性約束關(guān)系。維度表加載完畢后，開(kāi)始事實(shí)表的加載。由于事實(shí)表加載的數(shù)據(jù)量通常比較大，每次加載過(guò)程中需要充分考慮容量負(fù)荷問(wèn)題，并使用并行加載來(lái)提高工作效率。需要注意的是，不論是否有新的操作型數(shù)據(jù)需要加載到事實(shí)表，每次維度表發(fā)生變化，都必須對(duì)事實(shí)表中相應(yīng)字段進(jìn)行更新，保證維度表主鍵與事實(shí)表外鍵之間的引用完整性關(guān)系。

4.4.2 數(shù)據(jù)加載過(guò)程

作戰(zhàn)實(shí)驗(yàn)數(shù)據(jù)融合庫(kù)與數(shù)據(jù)倉(cāng)庫(kù)都存儲(chǔ)在Oracle 數(shù)據(jù)庫(kù)中，通過(guò)存儲(chǔ)過(guò)程把數(shù)據(jù)從融合庫(kù)提取出來(lái)并加載到數(shù)據(jù)倉(cāng)庫(kù)能夠?qū)崿F(xiàn)簡(jiǎn)單部署、快速加載。將數(shù)據(jù)融合庫(kù)中的數(shù)據(jù)加載到數(shù)據(jù)倉(cāng)庫(kù)中，需要建立融合庫(kù)數(shù)據(jù)表與數(shù)據(jù)倉(cāng)庫(kù)目標(biāo)表間的映射關(guān)系，明確數(shù)據(jù)抽取方式和抽取規(guī)則，并通過(guò)相應(yīng)的存儲(chǔ)過(guò)程來(lái)實(shí)現(xiàn)。

5 結(jié)束語(yǔ)

本文在對(duì)傳統(tǒng)數(shù)據(jù)倉(cāng)庫(kù)ETL 分析的基礎(chǔ)上，針對(duì)作戰(zhàn)實(shí)驗(yàn)數(shù)據(jù)的特點(diǎn)和數(shù)據(jù)倉(cāng)庫(kù)建設(shè)需求，提出了作戰(zhàn)實(shí)驗(yàn)數(shù)據(jù)倉(cāng)庫(kù)E-IT-T-L 框架，并對(duì)數(shù)據(jù)的抽取、完整性檢測(cè)、轉(zhuǎn)換、加載過(guò)程進(jìn)行詳細(xì)設(shè)計(jì)。通過(guò)引入數(shù)據(jù)完整性檢測(cè)，能夠及早地發(fā)現(xiàn)業(yè)務(wù)信息系統(tǒng)數(shù)據(jù)中存在的質(zhì)量問(wèn)題，并就候選鍵的唯一性、數(shù)據(jù)的一致性、數(shù)據(jù)值的有效性等進(jìn)行及時(shí)處理，減輕后續(xù)數(shù)據(jù)轉(zhuǎn)換的工作壓力，有效提高數(shù)據(jù)質(zhì)量。該E-IT-T -L 方法在作戰(zhàn)實(shí)驗(yàn)數(shù)據(jù)倉(cāng)庫(kù)構(gòu)建研究過(guò)程中進(jìn)行了應(yīng)用，取得了良好效果。

［1］ 王躍利，丁峰，周璐.作戰(zhàn)實(shí)驗(yàn)信息支持系統(tǒng)工程實(shí)踐與思考［J］.軍事運(yùn)籌與系統(tǒng)工程，2008，22(3):12 -16.

［2］ 戰(zhàn)曉蘇.作戰(zhàn)實(shí)驗(yàn)工程的基本概念與體系構(gòu)成研究［J］.軍事運(yùn)籌與系統(tǒng)工程，2012，26(2):12 -15.

［3］ WILLIAM H INMON. 數(shù)據(jù)倉(cāng)庫(kù)［M］. 第四版. 范明，孟小峰，譯.北京:機(jī)械工業(yè)出版社，2006.

［4］ MATTEO GOLFARELLI，STEFANO RIZZI. 數(shù)據(jù)倉(cāng)庫(kù)設(shè)計(jì):現(xiàn)代原理與方法［M］. 戰(zhàn)曉蘇，吳云浩，皮人杰，譯. 北京:清華大學(xué)出版社，2010.

［5］ 宋杰.面向多類型數(shù)據(jù)源的數(shù)據(jù)倉(cāng)庫(kù)構(gòu)建及ETL 關(guān)鍵技術(shù)的研究［D］.沈陽(yáng):東北大學(xué)，2008.

［6］ 宋旭東.企業(yè)集團(tuán)數(shù)據(jù)倉(cāng)庫(kù)系統(tǒng)關(guān)鍵技術(shù)研究［D］. 大連:大連理工大學(xué)，2010.

［7］ 孫劍.海洋環(huán)境數(shù)據(jù)倉(cāng)庫(kù)與數(shù)據(jù)挖掘應(yīng)用研究［D］. 青島:中國(guó)海洋大學(xué)，2011.

［8］ 朱傳華. 三峽庫(kù)區(qū)地質(zhì)災(zāi)害數(shù)據(jù)倉(cāng)庫(kù)與數(shù)據(jù)挖掘應(yīng)用研究［D］.北京:中國(guó)地質(zhì)大學(xué)，2010.

［9］ 吳東明，王麗娟.數(shù)據(jù)完整性約束的實(shí)現(xiàn)［J］.四川兵工學(xué)報(bào)，2008(6):125 -127.

［10］ 王虹.數(shù)據(jù)庫(kù)系統(tǒng)中的數(shù)據(jù)完整性［J］.數(shù)據(jù)庫(kù)與信息管理，2011(7):3770 -3771.