針對企業經營分析的數據模型優化研究

馮秀榮 劉 海

（1.之江實驗室交叉創新研究院 浙江杭州 311121；2.天樞數鏈（浙江）科技有限公司 浙江杭州 310012）

引言

如今，數據已是除土地、勞動力、資本、技術外的第五大生產要素，無論傳統企業還是互聯網企業，都紛紛希望借助大數據技術，讓數據為企業發展做出更科學決策。企業經營分析是利用會計核算、統計核算、業務以及其他方面提供的數據信息，采用一定分析方法，依靠計算機技術，分析企業經營活動的過程及其結果，從而加強對企業運行情況的把握，監控運行過程的問題，發現商業機會以及提煉經營管理知識，以便充分挖掘人力、物力、財力潛力，合理安排生產經營活動，提高經濟效益的一門經營管理科學和活動。企業經營分析系統是以企業內部各業務系統的數據以及外部可獲取的符合企業需求的各類數據為基礎數據源，構建統一的企業級數據中臺，利用OLAP（On-Line Analytical Processing）、ETL（Extract-Transform-Load）及數據挖掘技術，幫助企業的管理決策層了解企業經營的現狀，發現企業發展的優勢和劣勢，助力預測未來趨勢；幫助企業細分市場和客戶，指導營銷、客服部門開展有針對性的營銷和高效的客戶關系管理；對決策的執行情況和結果進行客觀準確的評估。企業經營分析系統不僅是對企業經營分析活動的信息化支撐，更重要的是對企業經營管理活動的信息化支撐，是企業經營管理信息化的具體實現。企業經營分析系統實現了一個從數據到信息再到知識的轉化過程，是一項較為完整的從技術到管理的活動。企業經營分析系統根據使用對象的不同，構建不同的數據模型。一般而言，面向業務運營人員的數據模型，數據顆粒度比較細，需要針對某個具體問題進行深入多維度數據分析或者數據挖掘，形成專題分析報告，以便了解新產品發展情況或產品優化效果，助力產品用戶規模、用戶體驗或產品營收達到預期。面向管理決策層的數據模型，數據顆粒度相對較粗，基本以日為最小統計周期（個別情況會涉及以小時為統計周期）的匯總性指標，數據指標多且多為綜合性衍生指標。本文提出的數據模型優化方法主要針對面向管理決策層用戶的數據模型。

企業經營分析相關內容

（一）企業經營分析指標體系

企業經營分析指標體系是指由若干個反映企業經營發展總體數量特征相對獨立又相互聯系的統計指標所組成的有機整體。本文以一般互聯網企業為例，如圖1所示，企業經營分析主要從業務域、財務域、管理域、研發域及市場域五大領域構建企業經營分析指標體系。其中業務域包含企業各個業務線條一系列反映業務發展的相關指標，比如新增用戶數、累計用戶數、用戶活躍率、用戶留存率等。財務域主要圍繞財務三大報表（資產負債表、利潤表和現金流量表）以及公司管理決策層的關注重點開展指標體系設計，主要包含收入類、成本費用類、績效類、現金流量、資產負責、資本開支等方面的指標。管理域主要從員工管理、項目管理、知識產權管理及服務管理等方面展開。研發域主要從研發質量和系統能力兩方面展開分析。市場域主要從業務的市場規模、行業發展等方面開展分析?？缬虻木C合性分析指標也很重要，比如人均產值、人均人工成本、ARPU等。

（二）互聯網企業經營分析特點

互聯網企業的經營分析有以下特點：企業經營分析指標易變性。在企業經營分析中，經營分析內容往往圍繞企業年度戰略開展，但隨著業務的快速發展及市場的瞬息萬變，企業戰略往往會隨之調整。因此，經營分析內容也將隨著戰略的變化而調整。企業經營分析指標多樣性。企業經營分析涉及企業經營的方方面面，包括業務域、財務域、管理域、研發域及市場域等多個主題，每個主題下面還分N個子主題。企業經營分析指標數量多。因企業經營分析涉及的領域很多，每個領域都有自己的子分析指標體系，企業經營分析往往還會涉及跨主題綜合性分析指標。企業經營分析指標其涉及的分析指標也非常多，從幾十個到幾百個不等。企業經營分析指標多維性。與業務系統記錄數據和簡單查詢數據不同，企業經營分析需要將企業各類數據通過OLAP技術進行統一建模，通過復雜計算和邏輯處理，形成滿足各類分析需求的多維指標體系。

基于OLAP的關系數據模型

（一）OLAP技術

關系型數據庫有兩種數據處理模式，分別是聯機事務處理OLTP（On-Line Transaction Processing）和聯機分析處理OLAP（On-Line Analytical Processing）。OLTP是傳統的關系型數據庫的主要應用，主要是基本的、日常的事務處理，用于業務，例如銀行交易。OLAP是數據倉庫的主要應用，支持復雜的分析操作，側重決策支持，并且提供直觀易懂的查詢結果，主要用于分析。聯機分析處理的概念最早由關系數據庫之父E.F.Codd于1993年提出。Codd認為，聯機事務處理已不能滿足終端用戶對數據庫查詢分析的要求，SQL對大容量數據庫的簡單查詢也不能滿足用戶分析的需求。用戶的決策分析需要對關系數據庫進行大量的計算才能得到結果，而查詢的結果并不能滿足管理決策者提出的需求。因此，Codd提出了多維數據庫和多維分析的概念，即OLAP。聯機分析處理的主要特點是直接仿照用戶的多角度思考模式，預先為用戶組建多維的數據模型。例如對銷售數據的分析，時間周期是一個維度，產品類別、分銷渠道、地理分布、客戶群類也分別是一個維度。一旦多維數據模型建立完成，用戶可以快速地從各個分析角度獲取數據，也能動態地在各個角度之間切換或者進行多角度綜合分析，具有極大的分析靈活性。

（二）數據建模方法

數據倉庫建模方法主要有范式建模、多維建模。范式建模由Bill Inom提出的數倉理論，將事物抽象為“實體”（Entity）“屬性”“關系”（Relationship）來表示數據關聯和事物描述，也叫ER實體關系模型。ER實體關系模型是數據庫設計的理論基礎，當前幾乎所有的OLTP系統設計都采用ER模型建模的方式，且該建模方法需要滿足3NF。多維建模法由數據倉庫大師Ralph Kimball提出，它是數據倉庫工程領域最流行的建模方法。多維建模以分析決策的需求出發構建模型，構建的數據模型為分析需求服務，因此它重點解決用戶如何更快速完成分析需求，同時還有較好的大規模復雜查詢的響應性能。多維建模是面向分析的，為了提高查詢性能可以增加數據冗余，反規范化的設計技術。

無論范式建模，還是多維建模，都是關系型數據庫建模范疇。關系型數據庫使用一系列二維表來表達數據以及數據之間的聯系。關系型數據庫的優點有：容易理解，二維表的結構非常貼近現實世界；使用方便，通用的SQL語句使得操作關系型數據庫非常方便；易于維護，數據庫的ACID（Atomicity、Consistency、Isolation、Durability）屬性，大大降低了數據冗余和數據不一致的概率。關系型數據庫不足之處是數據需要預先定義結構，也就是說關系型數據庫必須定義好字段和表結構之后，才能夠添加數據，例如定義表的主鍵、索引、外鍵等。表結構可以在定義之后更新，但是如果有比較大的結構變更，就會變得復雜。在過往的企業經營分析系統中，基于原有的數據建模方法，一旦有新增指標，要么重構數據模型，要么建立更多數據模型，這會導致因數據模型過多，使得使用和維護數據模型變得很復雜，從而增加使用錯誤的數據解決問題的風險。本文針對關系型數據庫建模方法的局限性，提出一種度量維度化的數據模型，解決因業務頻繁變化指標頻繁變更導致數據模型過多帶來的管理和使用困擾。

度量維度化的數據模型

傳統的經營分析系統在構建數據模型時，主要根據業務需求建立各類數據模型。如果有新業務需求，數據開發工程師會先判斷原有模型是否能滿足新需求的要求。如果能滿足，則直接采用原有數據模型進行需求開發。如果原有數據模型不能滿足新業務需求，則要么重構原有數據模型，要么新建一個數據模型。一般工程師會采用新建新數據模型的方式來解決新需求，因為重構數據模型會涉及歷史數據遷移問題而變得更加復雜。長此以往，數據模型會越來越多，多則幾百個甚至更多，如圖2所示。數據模型一旦過多，管理和使用數據模型會變得很困難。工程師在處理業務需求時，面對如此多的數據模型，而且很多數據模型具有很大的相似性但又有區別，都不知道應該采用哪個數據模型合適。老工程師一直跟進數據模型，對數據模型比較熟悉，如果有新業務需求，他們就大概知道用哪個模型。新工程師剛接手工作，由于經驗不足，即使有說明文檔也難以操作，也很容易根據自己的理解給出錯誤的數據解決方案。因此，為解決數據模型過多，導致使用和管理數據模型困難等問題，本文引入度量維度化數據模型，如圖3所示。

一個數據模型中包含維度（Dimension）和度量（Measure）。維度就是觀察數據的角度，即從哪個角度去分析問題。維度一般是一個離散的值，比如時間維度上每一個獨立的日期或地域，因此統計時，可以把維度相同記錄的聚合在一起，應用聚合函數做累加、均值、最大值、最小值等聚合計算。度量即分析指標，是被聚合的統計值，也是聚合運算的結果，它一般是連續的值。

度量維度化是指將數據模型中的所有度量根據一定的邏輯規則映射到一個新維度中，稱之為指標維度，記為an+1，存放所有度量名稱，如圖3所示。度量區域形成一個新的也是唯一的度量，用來存放指標維度對應的值，記為value。一般來說，報表層面的分析維度基本比較穩定，易變的是分析指標。度量維度化后，如果有類似分析維度的新業務需求，無需新建數據模型，只需要在原有的數據模型上追加新需求的數據內容即可。因為新數據需求的新增度量指標直接存放在指標維度里，所以新增業務分析指標可以在同一模型下無限擴展。

度量維度化數據模型實證分析

度量維度化數據模型在某互聯網企業經營分析系統中進行了較好的實踐。

（一）度量維度化數據模型應用

本文引入某企業具體數據模型的簡化案例，如表1所示。由于數據模型及數據的保密性要求，本文引入的實踐案例進行了脫敏處理，數據模型及其數據均為實驗數據，不是企業真實內容。數據開發工程師根據數據主題來構建各類數據模型，比如營收數據模型、用戶模型、市場模型等。如果需求想獲取某個業務各省營業收入、營業成本等內容，工程師只要從營收模型進行需求開發即可。如果領導既想獲取營收相關數據，又要獲取該業務在各省的用戶發展情況時，按主題開發的數據模型不能解決同時滿足營收和用戶的數據需求，這時需要重新構建一個既包含用戶又包含營收的數據模型。如此以往，數據模型會越來越多。而引入度量維度化模型后，如表2所示，將營業收入、營業成本、活躍用戶數、新增用戶數、離網用戶數、市場份額等各類分析指標均存放在indicators維度中，分析指標對應的值則存放在indicators_value中。這樣，如果以后有分析維度基本一致的新需求時，就不需要再新建模型，可以無限制在原有模型上追加新需求。

表1 數據模型簡化實例

表2 度量維度化數據模型簡化實例

實際上企業經營分析的指標非常多，有些多達幾百個。為了更好地運用度量維度化數據模型，本文引入一張指標字典表，如圖3中的表TableMetadata。表TableMetadata存放數據模型中或者企業經營分析系統中所有分析指標。表TableMetadata包含10個字段，分別為自增序列、指標類型、指標名稱、指標解釋（或處理邏輯）、指標統計維度、指標數據來源、指標狀態、備注、指標建立時間、指標更新時間等。數據開發工程師或數據分析人員能夠快速了解數據模型中各分析指標的含義、統計邏輯、數據來源、指標狀態、指標創建時間及指標更新時間等信息，便于準確理解指標的情況，運用數據模型正確解決各類數據需求。分析字典表簡化實例如表3所示。

表3 指標字典簡化實例

值得注意的是，數據模型中盡量存放基礎指標，通過若干個基礎指標綜合運算而得到的指標不建議存放在數據模型中，但綜合指標的相關解釋和定義可以存放在指標字典表中，以便了解綜合指標是怎么來的，想表達什么業務問題。比如家庭寬帶綜合ARPU=當年家庭寬帶業務收入/月份數/平均家庭寬帶客戶數，其中，平均家庭寬帶客戶數=（期初值+期末值）/2。從公式可以看出，家庭寬帶綜合ARPU涉及到的基礎指標有財務域的當年家庭寬帶業務收入和業務域的家庭寬帶客戶數等指標，屬于跨域綜合性分析指標。又比如人均產值=當年運營收入/平均考核人數*（12/月份個數），其中，平均考核人數=∑每月考核人數/月份個數。這里，人均產值既涉及財務域的分析指標也涉及管理域的分析指標，屬于跨域綜合性分析指標。這類指標可以在開發經營分析報表時，直接利用前端報表開發工具通過調用基礎指標利用公式函數計算而得。

（二）度量維度化數據模型實踐效果論證

在企業經營分析系統中，ODS層是從業務系統同步過來最基礎的原始數據，一般不做特殊處理，度量維度化模型一般不應用在此層。DW層根據業務基本屬性進行了一定點匯聚，形成各類事實表和維度表，度量維度化模型基本也不應用在此層。ST層是面向經營分析需求的報表層，之前所述的各類面向管理決策層的數據需求均從ST層輸出，因此，度量維度化模型應用在此層最合適不過。部署度量維度化數據模型后，企業經營分析系統該企業經營分析系統中ST層的數據模型數量減少了三分之二，如圖4所示。一旦有類似分析維度的新需求，如果原有模型內容不能滿足，只需要在原有數據模型中直接追加相應的新增分析指標即可，無需再新建數據模型。

數據歷史承接性良好。度量維度化數據模型不僅是數據模型數量的變化，在歷史數據的變遷上有良好的承接性。比如之前某個業務指標叫a，但是由于業務內容的變化，現在該業務指標變為b，他們之間數據是具有歷史繼承性的，在做長時間趨勢分析時需求將兩個指標的數據連接起來才更具有分析價值。如果是傳統的數據建模，他們應該是會分布在不同的數據模型中，而且兩者之間的關系無從得到較好的體現。但是部署到度量維度化模型中后，兩者之間的關系可以用指標字典來維系，而且兩者同時存放在同一數據模型中，數據調用更簡便。

降低出錯率，提升工作效率，提升用戶體驗。數據模型大幅減少，數據模型更加聚焦后，數據開發工程師能快速定位需求對應的數據模型。經實踐證明，數據需求開發效率大幅提升，數據結構錯誤率大幅減少，不僅提升了開發工程師的使用體驗，更提升了管理決策層對數據使用的用戶體驗。

度量維度化數據模型對傳統企業數據化轉型的借鑒意義

在5G、云計算、物聯網盛行的時代，石油、天然氣、汽車、基礎設施和制藥等較為傳統的企業也積極加入數字化轉型的浪潮中。盡管度量維度化數據模型誕生于互聯網企業，但其建模思想在助力傳統企業轉型上也有很好的借鑒價值。傳統企業與互聯網企業相比，指標相對穩定。但根據最近二十年實踐經驗發現，傳統企業也需要緊隨時代潮流，進行變革和創新，醞釀出更多有市場競爭力的產品。新產品、新模式、新業態意味著評估標準也需要突破傳統模式。度量維度化數據模型可以把各類業務、各種產品、不同指標融合到模型中，適應不同評估模式，指標的獲取根據需要靈活運算、自由切換。

傳統企業構建基于度量維度化數據模型企業經營分析系統，架構示意圖如圖5所示，主要分為三層架構。

最底層為企業各個業務系統，主要負責生產企業業務數據。傳統企業應提高業務線信息化程度，建立穩定的業務系統，扎實業務底層基礎。

中間層是數據平臺。數據平臺將孤立的各業務數據，通過關鍵值（keyword）關聯在一起，存儲到離線數據平臺中。數據平臺另一個主要的功能就是將數據根據不同的顆粒度進行分層，以便適應不同層級的業務需求。一般將業務數據分層四個層級，分別為業務操作數據層ODS（Operational Data Store）、數據維度層DIM（Dimension Data Layer）、數據明細層DWD（Data Warehouse Detail）以及數據匯總層DWS（Data Warehouse Service）。

頂層圍繞企業戰略，將核心指標從粗到細逐層展開，形成以企業當前戰略為核心的指標層次結構，利用度量維度化數據模型構建企業經營分析系統。盡管企業的戰略會隨市場行情調整，但是度量維度化模型提供了各類基礎指標，根據不同的戰略需要，可進行指標間自由組合運算，適應各種戰略需求。

實際上，構建以數據平臺為基礎的企業經營分析系統是一件投資大、周期長、見效慢的事情，互聯網企業天生具備數字化基礎，搭建企業經營分析系統相對比較容易實施，但想要成功部署到傳統企業，會面臨諸多利益相關者的阻力。如何嘗試用數據分析的過程去優化管理決策，讓管理層逐漸看到數據價值，通過數據分析助力企業生產經營是一個較大的考驗。

結論

在快速成長的互聯網企業中，由于業務尚未完全定型，或者新業務層出不窮，業務分析指標也隨著業務的發展而不斷變化。也許數據模型剛建好，業務需求已經發生很大變化，數據模型已經不能完全適應新的業務需求。傳統的數據建模方式，面對不斷變化的業務需求，往往通過構建更多點數據模型來滿足。而改良后的度量維度化數據模型具備較好的抗燥性，只要分析維度基本一致，無論需求怎么變化，新增分析指標均可直接追加到原有數據模型中，無需重構數據模型。因此，改良后的數據模型特別適用于基本分析維度不變，分析指標頻繁變化的情況，這將大大減少數據模型數量，便于數據模型的使用、維護和管理，減少運維成本、溝通成本，減少數據出錯率，提升工作效率，從而快速響應業務需求，助力企業經營發展。