基于TSV-SSM的元數據管理平臺的設計和應用

劉豐源 王 凌

(上海計算機軟件技術開發中心 上海 201112)

0 引 言

隨著信息技術的快速發展和數據量激增使得數據環境龐雜、企業數據的表關系復雜、表結構變更頻繁、系統變更造成的影響難以確定，以及錯誤數據難以追根溯源。在當前背景下基于元數據進行數據標簽化管理、展現以及交互是企業提升數據利用率的必經之路。

現有關于元數據管理的研究以及平臺技術的設計主要集中在元模型的建立及應用上，開發難度大且維護成本高，尤其是可視化開發脫離實際需求，導致可用性低，對非技術人員來說不夠直觀。

本文提出元數據應用層面可視化思想的改進方法[1]，采用最直觀的關系型數據庫構建元數據體系[2]，并在應用分析階段的數據地圖繪制上進行友好化處理，提出三層階梯視圖的元數據可視化思想，基于該思想實現影響分析和血統分析，從實際需求出發改進元數據展示的組織方式，使數據的可理解性大大增加。

1 元數據管理原理分析

1.1 元數據及其管理分類

傳統數據字典包含模式對象信息，如表和索引等，而元數據的概念起源于它，因此沿襲了其部分內容，旨在描述數據。源數據庫中多存儲業務數據，以數值為重，而元數據庫存儲特征數據，即環境信息和描述信息[3]。元數據及其管理可以有效地整合歸納包含商業規則、數據轉移等在內的信息，為數據的高效導航和定位開辟新途徑。

依據使用用途的不同，可以將元數據的管理分為對技術和業務元數據的管理[4]。技術元數據針對開發人員的日常使用，包括一切技術相關信息[5]。業務元數據來源于業務人員的日常應用，從業務角度定義描述數據，提供通用易懂的語義，不同行業有所不同。

1.2 元數據管理流程

目前元數據管理的通用流程可歸納為：1) 確定元數據來源，即哪些系統需劃歸到元數據管理體系中[6];2) 為成功鏈接的底層元數據庫設置參數和制定采集任務;3) 參照CWM標準進行建模并存儲；4) 關于構建的元數據庫的變更進行運維；5) 應用層面上，可以實現數據的追根溯源、宏觀縱覽和數據流管控。在經過以上五步操作后可以基本實現對元數據的采集、管理和查看功能。

1.3 TSV

TSV在本文為Three Step View的縮寫，即三層階梯視圖。企業對于數據的應用來源于三個層面，分別是領導、業務人員以及開發人員層面。與此對應，元數據展示效果應同樣分為三個層次，即系統級元數據、單系統內數據庫級元數據以及單庫內表級元數據[7]。TSV應用思想來源于企業各階層用戶不同的應用需求，領導層宏觀掌控企業內部各大系統之間的數據流走向和系統數據交互關系，可視化效果需直觀明確；業務人員作為數據生產者和消費者，關心的是數據流走向和數據應用情況[8]；開發人員是數據管理者，最關心數據的細節如數據類型和長度、鍵和約束等。因此TSV基于企業實際應用中產生的需求而誕生。

2 主要技術原理

基于當前主流技術和框架，本平臺的主要實現技術如下：

1) SSM框架：SSM是Spring+SpringMVC+Mybatis的縮寫，是當前Web開發中常用的基礎框架之一。第一部分是Spring，輔助開發人員集合各個層次，進行事務的托管和持久化工作。SpringMVC續寫了Spring，將C、V、M分隔開，即隔離控制器、視圖與業務三大模塊[8]。Mybatis的存在避免了設置參數，跳過JDBC代碼實現，僅通過配置文件的映射實現數據庫的更新。

2) Extjs:Extjs是當前比較流行且效果豐富的Ajax框架，用于客戶端Web應用程序界面的開發，適用于現在多數主流開發語言。Extjs有著良好的互動界面和和異常處理機制，且對于跨瀏覽器處理有著極大的優勢，因此在平臺開發的實現上成為首選前端開發框架。

3) Neo4j圖數據庫:Neo4j基于屬性，支持Java、Python、Ruby、PHP、Scala等編程語言，提供包含Cypher在內的多種查詢語言，支持傳統關系型數據庫的ACID。Neo4j的實現基于節點，通過關系鏈接多個節點構成網絡，可對傳統關系型數據庫中鍵值對處理。Neo4j在創建時就存儲關系，避免動態的復雜查詢消耗大量內存，便于遍歷和擴展，可實現高效查詢。基于TSV思想可以用于實現元數據關系網建立和展示，提升關系查詢和展示效率。

4) Cytoscape.js:Cytoscape.js 是基于JavaScript的用于繼承到網站或 Web 應用中，實現交互的可視化圖形的 圖形庫，支持有向圖、無向圖、混合圖、循環、多圖、復合圖(一種超圖)等。通過Cytoscape.js，本工具可以通過拖拉、展開節點查看金融企業核心業務系統彼此之間的數據間的依賴關系以及數據流動，實現對數據走向和聯系的梳理功能。

3 元數據管理平臺設計與實現

3.1 功能流程設計

平臺功能流程的設計需符合關于元數據全生命周期的應用需求[10]。基于多數企業數據分散的現狀，需跨多源數據采集并簡化存儲體系，采用元數據樹結構搭建瀏覽體系，采用三層階梯視圖對元數據分層次挖掘和展現。整體功能流程設計如圖1所示。

圖1 功能流程設計圖

此平臺系統功能統分為七大類，具體如下：

3.1.1 元數據導入配置

(1) 懸掛點配置：采集任務開始之前需配置相應的懸掛點，構建元數據瀏覽樹。

(2) 數據源配置：配置包括數據源類型、鏈接信息、賬戶信息等，并進行鏈接測試，鏈接成功后方可開始進行采集任務。

3.1.2 元數據采集

元數據的采集為管理的前提，完備的采集指定數據源可以最大限度的完善元數據體系，避免元數據丟失導致數據地圖的不完整。采集任務按照金融行業企業實際業務中不同的數據要求，分為一次性采集和定期采集，從系統實現角度分為手動采集和自動采集。

(1) 手動采集：基于已配置成功的數據源和懸掛點，對指定數據庫進行單次采集，采集任務成功與否可以通過左側元數據瀏覽樹結構查看采集詳情。

(2) 自動采集：需額外配置采集時間和采集周期，配置單次采集任務的執行時間最大值，避免由于采集任務執行時間過長導致數據及時性受損。

3.1.3 元數據瀏覽

(1) 元數據樹：配置好的懸掛點顯示在左側元數據樹狀結構中，以直觀的結果供用戶瀏覽。基于三層階梯視圖思想，元數據樹應具有三層以上結構，首層為系統，第二層為各系統所對應數據庫，第三層為各庫下屬表。

(2) 庫級元數據：展示對應庫的所有所屬表名及創建時間。

(3) 表級元數據：在表名列單中挑選所需表進行雙擊，查看該表詳細信息，包括以下幾部分：字段、約束、索引、鍵、視圖等，以隱藏下拉菜單的形式顯示。展開下拉菜單可以查看對應元數據信息。

(4) 字段級元數據：字段級元數據包括：字段名、字段類型、字段描述、所屬表、所屬庫。其中前三項為特征描述，后兩項為定位描述，方便對字段在分析中進行定位。

(5) 其他元數據：包括約束、索引、鍵、視圖等細粒度元數據。

3.1.4 采集任務管理

對手動采集任務和自動采集任務的日志進行記錄，形成任務列表。可以查看詳細日志，以方便對執行過程中的錯誤進行修改。可對任務列表綜合查詢或刪除。

3.1.5 元數據分析

(1) 數據地圖：基于三層階梯視圖，首層為系統級元數據地圖，即通過企業業務人員將系統間關系設定，系統讀取系統名稱、系統說明、系統間關系，形成系統級數據地圖。第二級為數據庫級地圖，雙擊單個系統可以下鉆，查看該系統內數據庫間關系。第三級為表級數據地圖，雙擊某個數據庫下鉆，可以查看該數據庫內所有表及其之間的主外鍵之間的關系。

(2) 影響度分析：影響分析功能可對選定字段進行主外鍵關系分析，檢索相關的表和字段，依據三層階梯視圖進行ER圖展示，并可列表顯示當前存在的所有與選定字段同名的字段及其所屬表和庫，供使用者篩選。

(3) 應用影響分析：通過應用影響分析，可以檢索各應用程序源代碼，將與對應元數據相關的源代碼定位并列表提示。

(4) 血統分析：對于不符合約束的字段，獲取規則元數據中相關規則，提取規則中相關字段和表，列表和分析圖的形式展示。

3.1.6 元數據檢索

通過設置篩選范圍、鍵入關鍵詞實現在指定范圍內對指定元數據進行模糊查詢。

3.1.7 元數據維護

對元數據的變更進行維護，包括元數據樹節點的維護、元數據采集數據源的維護、元數據采集任務維護、各級別元數據內容的維護等。

3.2 架構設計

元數據管理系統的技術架構主要針對需要哪些信息納入元數據管理，依據哪些系統中的信息搭建成元數據庫的架構。系統架構設計如圖2所示。

圖2 系統架構圖

技術架構的信息來源應包括5方面，分別為數據源層、數據采集層、數據存儲和管理層、應用服務層和門戶管理與用戶層。其中數據源層提供源系統信息，從業務系統、外部數據、手工補錄三個來源中獲得系統信息、技術數據結構信息和業務數據結構信息，統一納入元數據庫中管理；數據采集層指ETL的過程中將DW映射關系、ETL程序信息、數據轉換規則、數據清洗規則作為元數據采集，納入元數據庫中管理；數據存儲和管理層將DW物理模型、數據字典、程序庫、物理庫目錄進行采集，作為元數據納入元數據庫中管理；應用服務層將企業OLAP系統、WEB服務器和內用服務器基本信息，如KPI關鍵業務指標、數據分析模型、應用系統的數據庫目錄等作為元數據納入管理體系；門戶管理與用戶層是將安全認證的角色權限信息、訪問控制數據信息和指導用戶安全訪問的幫助文檔，都應納入元數據管理系統進行管理。

3.3 平臺效果展示

圖3 元數據瀏覽樹

圖4 庫級元數據展示頁

圖5 表級元數據展示頁

4 應用案例及分析

上海計算機軟件技術開發中心與國內某大型證券股份有限公司在2017年開展數據治理合作項目，該公司提供包括元數據在內的多項治理內容。前期通過調研明確了元數據管理的范圍為5大核心系統，項目目標是梳理元數據實體及其關系，完整采集并統一管理。在項目中利用本平臺實現元數據管理的瀏覽體系的搭建，形成完整的元數據樹結構。通過整理現有數據庫數據形成4 000余張Excel表單作為元數據主要來源，統一導入元數據管理系統中構成元數據庫，并利用三層階梯視圖法梳理數據模型和關系，制定定期采集任務，實現利用系統進行影響和血緣分析，實現元數據的應用和價值挖掘，最終建立元數據創建和維護、整合、存儲、分發、查詢、報告和分析機制。

5 結 語

數據治理已成為企業升級數據管理的必經之路，基于TSV-SSM的元數據管理平臺建設對數據治理工作的開展具有重要意義，將有效提高數據體系梳理和數據影響挖掘能力，提高數據導航和定向的效率。本文通過對管理原理和技術難點的分析，開發了基于TSV-SSM的元數據管理工具，成功實現了平臺運行的

穩定性、高效性、可靠性、高擴展性以及高安全性。利用“去數值留特征”的方式，使得非IT人員也可以輕松的讀懂數據，從三級層面開創了三層階梯視圖思想，創造了便捷的檢索、應用、瀏覽數據的條件，提高了數據應用效率。對各領域的數據治理中元數據管理系統的建設提供了借鑒。在將來有望與圖數據庫技術更加深入的結合，優化可視化效果，從而在多領域有更加廣泛的應用。

參考文獻

[1] 范琳琳. 可視化數據挖掘研究[D].長春工業大學,2007.

[2] 張勇,蔡璐,李月明. 非物質文化遺產數字資源元數據標準應用的研究和思考[J]. 圖書館,2016,42(2):38-42.

[3] 周月敏,吳炳方,黃慧萍. 水土保持監測系統信息平臺元數據的實現[J]. 水土保持學報,2006,19(1):172-176.

[4] 謝福成,王備戰,史亮,等. 基于銀行數據倉庫的元數據管理系統[J]. 計算機工程,2009,34(9):79-81.

[5] 葛暉. 面向交通物流大數據處理的元數據管理系統[D].上海交通大學,2015.

[6] 陳進. 關于數據倉庫元數據管理系統的研究與建立[D].中國海洋大學,2011.

[7] 雷林輝. 基于分布式數據庫的地籍元數據組織與訪問技術研究[D].中山大學,2007.

[8] 樊友洪,鄧韌,李生林. 一種基于泳道數據流圖的數據需求分析方法[J]. 中國科技縱橫,2015(2):24-24,26.

[9] 周燕玲. Spring MVC框架開發WEB應用程序的探索與研究[J]. 科技廣場,2016,28(6):25-28.

[10] 王鐵,寧汝新,孫桓五. 基于參數化功能元的全生命周期設計[J]. 機械工程與自動化,2004,32(4):10-12.