大數據資產管理系統的設計與實現

諶迅

摘要：伴隨著大數據時代的到來，存儲在云端的數百萬的數據想要成為真正的具有價值的資產，就需要一個有效的管理系統對其進行管理，針對云端數據量大、結構復雜等方面的特點，設計并實現一個能夠將數據從采集到處理再到清理最后直到產品化的整個生命周期進行管理的系統，并將這些雜亂無章的數據資產化。該系統使用kafka總結結構，將數據的資產化過程分為采集、清洗、產出等多個階段，并配套的設計了多個豐富系統功能的子系統，能夠大大的提高數據資產的使用率。本文介紹了系統的設計和實現過程，詳細描述了對系統起到支撐作用的多個子系統，本系統易擴展，可兼容，研究具有一定的現實意義。

關鍵詞：大數據；遠程監控；資產化；運維系統

中圖分類號：TP311.5

文獻標識碼：A

DOI：10.3969/j.issn.1003-6970.2016.02.013

引言

伴隨著大數據時代的到來，存數在云端的數據數以萬計。而這些成百上千的數據，在套上了大數據的背景之后，其價值被重新定位，可以說，在正確的管理下，數據就是無形的最有價值的資產。然而，數據本身并不具有資產屬性，它需要一個有效的管理系統完成自動化的采集、處理、清晰、產品化等一系列流程才能具有價值。

就目前而言，無論是IT、金融或者其他部門，都無時不刻的產生著大量的數據，然而隨著數據的增多，以及人員交接等問題，數據資源無法被使用，重復使用等問題大大增加了資源的管理成本，給管理部門造成了很多問題。針對這些問題，我們需要設計一個資產管理系統，眾多的資源管理系統一樣，本系統以計算機作為操作平臺，采用B/S結構和分布是數據庫對資源的整個生命周期（產生、采集、整理、盤點、報廢進行全方位監管）。通過數據的資產目錄建立，對數據質量的治理，使得數據能夠被管理者應用，并設計實現了數據資產的后期運營，可以支持企業數據資產的分發、開放、交易等數據嫁接的實現，從而促進數據資產的價值實現。

1 系統架構設計

漸進的方式向資產運營目標過渡。系統大致分為數據目錄管理模塊，用來解決有哪些數據的問題，以及數據資產運營模塊，用來方便后期運維，用戶根據特定的資產稽核規則，這個數據資產管理系統的核心設計思路是從大數據資產治理人手，兼顧數據應用，以對系統中的資源進行監控，評測，保證數據在運行期的質量，方便生產部門將數據進一步加工成產品。系統大體的體系架構設計如圖l：

（l）元數據庫：用了存放系統中原始數據的數據庫，各種類型的數據通過目錄管理模塊，形成統一的格式，存入元數據庫中，此時的數據僅僅是數據，不具有資產屬性，也不能變成產品，只有經過后續的加工才能成為產品，相當于一個原始數據的存儲模塊，只是規定了統一的接口。

（2）數據目錄管理：系統的第一個子模塊，建立并維護一個數據資產目錄，目的就是將紛繁復雜的數據資源整合起來，在商定好統一的接口之后，發送給源數據庫。

（3）數據資產質態庫：元數據庫中的數據進過接口匯集、產品加載等一系列流程（采集、校驗、清洗、脫敏）處理，進入數據質態庫，這里的數據可以稱之為數據資產了，它具有統一的格式，形成相應的視圖，并且需要對其屬性進行長期監控

（4）數據質量稽核：由于該系統每天都要上報大量的數據，所以要對質態庫中的數據質量進行分析，也就是數據資產的后期維護功能，他決定著系統能不能在第一時間發現并解決數據、設備故障的問題，是保證系統正常運行的關鍵。

系統的工作流程大致如下：數據資產目錄模塊負責整理云端的數據，并將其存入系統的元數據庫，然而元數據庫的數據作為原始數據，并不具有資產屬性，經過處理和相應的盤點進入數據資產狀態庫，在通過對這些資產狀態進行分析成為大數據資產，從而可以被相應的部門使用。

2 系統實現

如上一章中所提到的，系統由兩個數據庫和兩個子系統實現，這兩個子系統分別是目錄子系統和稽核子系統，其中目錄子系統負責解決系統由什么資源的問題，稽核子系統解決這些資源是否正常的問題，以下為詳細介紹：

2.1 數據資產目錄子系統

如前文所提到的該子系統維持了一個整理數據資產的方式，集中解決的是整理系統由哪些資源的問題：

所以在此模塊的設計涉及到數據的存儲模式：例如DPI類的數據、ODS類的數據如何定義成統一的格式，規定一個統一的接口，定義各個層級的功能和規范，還需要定義各資產的硬件存儲環境，統一字段屬性，并且最終形成資產目錄視圖。圖2為資產目錄子系統的總體設計思路：

（l）目錄架構：此處定義了數據的分類以及數據所屬的層次，下圖3為目錄架構表：

此表針對不同的數據類型，采用不同的目錄結構。

（2）存儲環境：此處定義各類數據在什么環境下存儲。

（3）資產信息：此處規定目錄中的數據資產需要統一的提取哪些字段，例如名稱、每種類型數據資產的數據量、用途等。

（4）資產屬性：規定個資源信息的格式，例如資源名稱的格式是怎么樣的應該包含數據的產生時間+產生方式+產生單位等一系列統一的口徑。

在定義好數據的接口規范以后元數據庫的不同類型的數據（ODS類、DPI類）經過接口層形成固定格式的數據，經過生產、加工成為有效的資源類數據，系統采用hbase與mysql作為存儲方式，主要統計的是各種資產的記錄條數、量值等信息，并且有一系列有字段屬性。資產目錄的展示如圖4：

系統可以根據不同的數據，進行數據稽核，檢查數據是否有問題。此處的任務ID都是隨機生成，稽核類型指的是稽核點，是檢查數據的位置，即哪些數據是有問題的。

最終系統還可以根據目錄生成資產關系視圖：

他簡單的表達了哪些數據是屬于哪個中心的，從屬于哪些任務一目了然。

2.2 數據質量稽核子系統

該子系統負責對數據資產質量庫的數據進行監控、統計維護以及質量評估，作為監控系統是否正常工作的子系統，在監控中起著非常重要的作用。簡單來說，此部分的工作首先就是要對告警規則進行配置，之后對各個類型的數據資產進行監控并打分，因此，這個子系統分為三個模塊：數據質量監控模塊、告警稽核模塊、數據打分模塊.

數據質量監控模塊：這里要對第一章提到的數據的整個生命周期進行監控，對于源數據庫中的數據，要對他的及時性、完整性、重復率進行監控；對于質態數據庫中的數據，要對其一致性、完整性、邏輯性進行監控。

告警稽核模塊：首先，有網管人員配置告警規則，系統采樣數據指標，判斷數據是否存在故障，如有故障，下發告警以及解決方案。

數據打分模塊：通過判斷數據的一致性、數據的邏輯性、數據的重復率、文件的完整性、文件的及時性等指標根據打分規則對各部門數據進行打分。

子系統的業務工作流程如下圖：

系統首先讀取管理員的稽核規則，然后系統提取數據稽核點的數值得到結果，根據這個結果，自動生成數據質量表，可以對數據質量進行打分，當然，打分規則也是可以配置的；同時系統可以根據事先配置好的告警規則判定時候需要告警，并發送警告。

以下是部分效果展示：

如上圖所示，各種不同的稽核規則，對應不同的資產類型，多長時間稽核一次，用什么類型的方法稽核，在此處都可以配置，這樣，無疑增加了檢測的靈活性。這個就是告警規則的配置頁面，此圖之后還可以選擇稽核點，稽核方式等問題。

這個是打分結果表通過此窗口，便可以查看各個數據資產的是否有問題，此處還可以選擇相應的稽核規則。前文已經所說，此處的稽核規則也算是事先被配置好了的，選擇適合稽核規則，只有這樣，數據的質量才有保障。

3 結論

本文給出了一個數據資產管理系統的設計方案并按此思路完成了實現以及后期的測試，通過系統的開發以及后期的實踐，系統可以對大量的數據進行稽核檢測，并把這大量的數據通過此系統收集起來，作為各個設備是否運行良好的檢測標準，具有很好的現實意義。此外，系統的使用方式靈活，可以很好的對其所監控的所有設備進行很好的管理，一旦某個設備出現了故障，第一時間就可以發出警報。