數實融合結合數倉中心探索研究

王貴賓

（中國煙草總公司江蘇省公司，江蘇 南京 210018）

1 研究背景

隨著卷煙工商零銷業務的快速發展，企業數據成幾何倍增長，數據量龐大、復雜、各類數據間標準不一致，往往會出現數據難以管理的現象。以新數基數據中臺能力，以大數據工具智能數據建模服務，將無序、雜亂、繁瑣、龐大且難以管理的數據，進行結構化有序的管理。使存在于企業中的數據產生更多的價值，將數據價值最大化。以新數基底座支撐數倉規劃設計、制定并沉淀企業數據標準、維度建模、數據指標定義，通過使用Data-Works 數據建模，將建模設計產出的維度表、明細表和匯總表物化到計算引擎中并進一步應用[1]。

2 數倉設計

數據倉庫是所有數據的集合，包括日志信息、數據庫數據、文本數據、外部數據等都集成在數據倉庫中。數據分層、數據域、業務過程三大要素，共同確定數據建模的邏輯數倉架構。

以AnalyticDB 云原生數據倉庫、MaxCompute大數據計算服務、DataWorks 數據管理平臺構成的組合方案[2]，構建企業級數倉中心。在創建數倉中心時，以數據分層、業務分類、數據域、業務過程和建模空間進行數倉規劃設計。圖1 為業務數據分析應用平臺示意圖。

圖1 業務數據分析應用平臺示意圖

2.1 數據分層

數據分層保障了數據在進入數據倉庫之前都經過清洗和過濾，使原始數據不再雜亂無章，優化了查詢過程，有效地提高了數據獲取、統計和分析的效率。同時，數據分層實現了各種不同維度數據的關聯，使多維分析更加方便，為從多角度、多層次地數據分析和決策制定提供便捷。

結合業務場景、數據場景綜合考慮設計數倉的數據分層，以DataWorks 的數據分層功能進行創建[3]。創建數據引入層（Operational Data Store，ODS）、明細數據層（Data Warehouse Detail，DWD）、匯總數據層（Data Warehouse Summary，DWS）、聚合數據層（Data Warehouse Management，DWM） 及應用數據層（Application Data Service，ADS） 5 層，各個分層如下。

1） ODS。ODS 用于接收并處理需要存儲至數據倉庫系統的原始業務數據，其數據表的結構與原始數據所在的業務系統數據庫中的表結構一致，是數據倉庫的數據準備區和存儲備份區。ODS 對原始數據的操作步驟如下。一是將原始的結構化數據增量或全量同步至數據倉庫中。二是將原始的非結構化數據（例如，日志信息、離線數據、文本數據）進行結構化處理，并存儲至MaxCompute。三是根據實際業務需求，記錄原始數據的歷史變化或對原始數據進行簡單的清洗。四是ODS 的數據表，命名必須以ods 開頭，并且生命周期為366 d。

2） DWD。DWD 通過具體業務活動事件構建數據模型。跟進業務操作的特點，構建最細粒度的明細數據表。結合業務數據使用特點，將明細數據表的重要維度屬性字段適當冗余，作為大寬表化處理。同時，也可以減少明細數據表及維度表的關聯，提高明細表的易用性。

3） DWS。DWS 通過分析的主題對象構建數據模型。基于上層的應用和產品的指標需求，構建公共粒度的匯總指標事實表。例如，從ODS 層中對用戶的行為做一個初步的歸類匯總，抽象出來一些通用的維度，假設維度為時間、客戶、組織機構、商品，并根據這些維度統計出相關數據，比如統計區縣分公司每個時間段銷售的商品數。則在DWS可以進一步添加一層輕度的匯總，創建組織日匯總表、組織周匯總表、組織月匯總表、組織年匯總表，可以讓計算更加的高效。例如在此基礎上計算日、周、月、年會節省很多時間。

4） DWM。DWM 存放根據業務需求統計的計算指標數據和維度數據。如訂足客戶數、退貨次數、電子結算次數、電子結算成功次數、電子結算不成功次數等。

5） ADS。ADS 用于存放數據產品個性化的統計指標數據，輸出各種報表。例如，要統計江蘇省各公司在2023年1月1 日至當天，需求量、銷量、銷售額、單箱銷售額（元）、庫存數量、訂單滿足率、不含稅銷售額、稅額、成本金額、財務成本金額、毛利、財務毛利、毛利率、財務毛利率、單箱毛利（元）、財務單箱毛利（元）、占總量比，同時顯示上期、環比、同期、同比的數據。

2.2 數據域

數據域是一個較高層次的數據歸類標準，是對企業業務過程進行抽象、提煉、組合的集合，是業務人員在使用數據時第一個分組入口，可以幫助業務人員快速地從海量的數據中快速定位到自己需要查詢的業務數據。

數據域面向業務分析，一個數據域對應一個宏觀分析領域，比營銷域、專賣域、物流域、人力資源域、財務域、質檢域等。同時也可以按照用戶中心、客戶中心、商品中心、交易中心、支付中心、消息中心、案件中心、證件中心等區劃。

2.3 業務過程

業務過程是數據域中所執行的業務活動，是數據建模所需要分析的邏輯主體。例如，交易中心域中加入購物車、下單、支付等業務過程。進行業務效果分析時，業務過程有非常典型的應用，例如常用漏斗分析，即將零售戶購進卷煙的業務活動分解為瀏覽卷煙商品、加入購物車、下訂單、付款結算、物流銜接、訂單分揀、確認收貨等業務過程，統計查詢每個業務過程的“訂單銷量”，可以針對“訂單銷量”這一指標做漏斗分析。

3 數據標準

通過規范約束字段標準、字典代碼、度量單位、命名詞典，來保障后續建模與應用過程中數據處理的一致性，從源頭上保障數據的標準化生產，節約后續數據應用和處理的成本。數據標準包含字段標準、字典代碼、度量單位、命名詞典。

DataWorks 在建模前規劃制定數據標準，或在建模使用過程中根據業務情況沉淀企業業務的數據標準[4]。通過規范約束字段標準、字段代碼、度量單位、命名詞典，來保障后續建模與應用過程中數據處理的一致性。

3.1 字段標準

字段標準又稱為數據字典，是對含義相同但字段名稱不同的數據進行統一規范管理的數據準則，字段標準可定義字段的取值范圍、度量單位等內容，可理解為全局字段管理。可將多個表中含義相同但字段名不同的字段數據類型進行定義保證數據類型長度一致，并對該字段制定相關的取值范圍、度量單位、字典代碼等內容。后期字段標準發生變化時，可快速定位和變更關聯的表，極大程度提升構建效率、應用效率、準確性和后期治理效果。

3.2 字典代碼

字典代碼是數據標準的取值范圍，在字典代碼中可設置某一數據標準可選擇的數據的內容以及范圍。例如性別數據標準的字典代碼內容應該為男性或女性。

字典代碼與枚舉維度比較相似，但是在數據治理的作用要強于枚舉維度，標準代碼可以與數據質量打通，某個字段被設定為標準代碼以后，該字段的取之范圍必須在標準代碼以內，如取值范圍不在標準代碼以內，需要馬上治理。

4 維度建模

遵循Kimball 維度建模理論，使用DataWorks的維度建模功能進行數據倉庫模型設計，根據業務情況設計并創建維度表、明細表、匯總表、應用表，并且將模型快速發布到相應的研發引擎[5]。同時，還可以使用逆向建模，將已有物理表逆向生成模型。

4.1 維度表

結合業務的數據域規劃，提取出各業務數據域中進行數據分析時可能存在的維度，并將維度及其屬性通過維度表的方式存儲下來。

例如，在進行批量銷售數據分析時，可用的維度及其屬性有：訂單維度（屬性包括訂單標識、銷售類型、訂單編號、訂貨日期、業務日期、銷售組織、客戶標識、客戶編碼、營銷線路標識、營銷部門標識、營銷分公司標識、客戶經理標識、制單人、制單時間、修改人、修改時間、審核人、審核時間等）、客戶維度（客戶標識、客戶編碼、客戶名稱、客戶電話、客戶卷煙檔位等）、商品維度（包括商品標識、商品編碼、商品名稱、品質類型、計量單位標識） 等，可以將這些維度和屬性創建為訂單維度表、客戶維度表、商品維度表等，將維度屬性記錄作為維度表的字段。

4.2 明細表

結合業務過程的規劃，梳理分析各業務過程中可能產生的實際數據，將這些實際數據字段通過事實表的方式存儲下來。

例如下訂單這一業務過程中，可以創建下訂單這一事實表，用于記錄下單過程可能產生實際數據字段，例如訂單ID、品質類型、計量單位、要貨數量、訂單數量、定量數量、含稅單價、含稅金額、稅率、稅額等。可將這些事實表部署到數倉中，通過DataWorks 將真實的數據按照明細表的定義方式進行匯總存儲。

4.3 匯總表

結合業務數據分析和數倉分層，將一些明細的事實數據和維度數據先進行匯總分析，創建匯總表，在數據分析時直接查詢匯總表中的數據，無需再取用明細表和維度表中的數據。

5 結論

通過建立一個包含所有相關數據源的數倉中心，然后利用數據挖掘和探索性分析方法，找出與業務目標相關的有效路徑。同時，還需建立自動化的數據處理和分析系統，以便及時獲取和處理所需數據，并提供實時的數據分析和報告功能。應建立一個可持續發展的數據管理和維護體系，以確保數據的質量、完整性和安全性，并不斷推進數據分析與應用的迭代升級。營銷業務應用系統，可以查詢所在地各公司需求量、銷量、銷售額、單箱銷售額（元）、庫存、訂單滿足率、不含稅銷售額、毛利、毛利率、單箱毛利（元） 等，同時可以選擇卷煙，查詢不同卷煙屬性。