制造型企業數據資產管理平臺的設計與實現

蘇 萍,王 凱,江涌濤

(江蘇自動化研究所,江蘇 連云港 222006)

0 引言

近年來,大多數制造企業都已先后完成項目管理(Project Managment,PM)系統、企業資源管理(Enterprise Resource Planning,ERP)系統、產品全壽命周期產品數據管理(Product Data Management,PDM)系統、制造執行系統(Manufacturing Execution System,MES)等信息系統建設,打造了貫穿立項、策劃、設計、制造等環節的計劃管理體系,實現采購、生產、計劃、成本、質量等要素業務流程規范化、信息透明化和管理精益化,為制造生產任務的高質量交付提供先進的技術支撐[1]。隨著信息系統的推廣使用,企業已經積累了大量的業務數據,如何對這些數據資產進行充分利用已經成為目前信息化建設發展面臨的重要問題,具體表現為以下幾個方面:(1)數據分散在不同業務系統中,數據存在冗余、不一致等問題,難以滿足數據資產分析利用需求;(2)來自外部和內部數據集成需求越來越多,目前點對點的集成方式存在重復工作現象,耗費大量人力;(3)缺乏運營管控的可視化手段,無法及時全面地進行管控分析,導致決策難。

因此,亟需構建數據資產管理平臺,通過與現有業務系統集成,制定統一數據標準,打造與未來業務發展緊密融合的數據資產目錄,實現數據資產集中管控和數據資源高度共享,同時構建符合業務管控需求的指標模型庫,滿足越來越多的外部系統集成需求和各項業務數據報表及管理運營數據可視化分析需求[2-3]。

1 總體架構設計

1.1 技術架構

數據資產管理平臺建設采用“資源層+服務層+應用層”的3層架構設計體制,基于微服務思想,結合制造型企業的信息化建設現狀,集成已有功能,進行標準化、規范化和定制化的設計。鑒于本單位業務數據量不多且都為關系型數據,因此平臺存儲采用關系庫即可,后續有需求再擴展至當前主流的關系庫與大數據庫的混合架構。平臺采用的技術路線為基于微服務架構,后端使用Java語言,前端使用VUE語言,使用關系型數據庫進行系統相關數據存儲,技術架構如圖1所示。

圖1 數據資產管理平臺技術架構

1.1.1 資源層

資源層主要為數據資產管理平臺提供軟硬件資源支撐,包括存儲資源、計算資源、網絡資源等。本平臺可基于基礎資源部署應用,且能滿足國產自主可控要求,其中,存儲資源采用國產化達夢數據庫,承載全部數據資產的存儲;計算資源采用中標麒麟國產服務器,主要用于平臺本身的計算、查詢、分析及應用。

1.1.2 服務層

服務層依托于微服務框架SpringCloud,按照統一規劃的技術體制和標準規范,根據數據資產管理平臺的計算存儲需求以及平臺通用組件定制共性支撐類微服務,并根據業務需求定制業務管理類微服務,實現集數據采集、數據管理、數據服務為一體的數據資產管理平臺建設。

共性支撐類微服務提供平臺通用組件服務和數據計算與存儲組件服務,為上層應用開發提供通用業務組件支持。在平臺基礎組件中,提供鑒權、權限、組織機構、角色、日志、運維、工作流等平臺管理功能;在通用功能組件中,提供元數據、任務調度、血緣分析、標簽、搜索等業務功能。業務管理類微服務為應用層功能提供可直接調用的服務,按業務類型分為數據集成管理微服務、數據資產管理微服務、數據共享管理微服務。

1.1.3 應用層

應用層在服務層構建的基礎之上,通過服務的定制,基于通用功能,建設實現集數據集成管理、數據資產管理、數據共享管理、系統管理為一體的數據資產管理平臺。實現PM、ERP、PDM等各類數據源的數據匯聚,形成數據資產地圖,并為上層智能應用提供統一的數據交換共享接口。

1.2 數據架構

數據架構自下而上可分為數據源、數據存儲與管理、數據應用3層以及一個數據標準體系,其數據架構如圖2所示。

圖2 數據資產管理平臺數據架構

在數據標準的規范指導下,以各類數據源為基礎,構建數據資產管理平臺的數據體系。

首先,運用ETL技術抽取數據源層的企業經營所需的流程數據,即從PM、ERP、PDM等系統中抽取合同信息、項目信息、財務信息、生產信息、質量信息等結構化業務數據,也支持抽取XML、EXCEL等非結構化數據,存儲在數據存儲層的ODS中[4]。其次,按照業務主題進行整合、計算,得到合同、項目、財務、生產、質量等主題域模型,為上層數據集市提供整合后的、高質量的數據。最后,結合資產目錄創建粒度、統計分析結果以及明確的上層需求建立數據集市,定期對DW進行加工、匯總、更新,為各類數據分析場景提供數據支撐。

2 平臺功能實現

數據資產管理平臺采用B/S架構開發系統,主要功能包括數據集成管理、數據資產管理、數據共享管理、系統管理等。

2.1 數據集成管理

數據集成管理功能負責各業務系統中抽取合同、項目、計劃、生產、采購、質量、財務、人力等業務數據,經過簡單的清洗、轉換后存儲到數據倉庫。對于一些無系統承載的業務數據,也支持通過Excel、XML等文件格式進行定時導入。對于一些實時性要求較高的數據,可通過適配改造源業務系統,以接口服務的形式將相關數據發送給資產管理平臺。數據采集功能主要包括數據源管理、元數據管理、數據采集與調度管理等。

2.2 數據資產管理

數據資產管理即參照前期數據資產梳理結果,按照合同、項目、生產、采購、財務、質量、人力等業務域將其相關的業務模型和數據進行集中管理,建立清晰合理的數據資產目錄,提供數據檢索、查閱、數據血緣分析等功能,同時支持可視化的模型構建,輔助業務人員快速實現數據資源的整合利用。數據資產管理主要包括數據目錄管理、數據建模管理、血緣分析等功能。

2.3 數據共享管理

數據共享管理可實現數據應用的自助、高效、復用特性,更好地支撐數據消費,確保數據消費者更便捷、更安全地獲取數據。該功能支持可視化、零代碼快速生成API服務,且支持服務調度、預警統計等數據應用的全生命周期管理。數據共享管理主要包括服務概覽、服務管理和服務日志3個子模塊。

2.4 系統管理

系統管理功能包括菜單管理、角色管理、用戶管理、日志管理4個子模塊,實現用戶角色管理、登錄鑒權、菜單配置、審批流配置、日志監測、基礎數據管理等功能。系統管理功能模塊主要為平臺提供菜單管理、組織管理、角色管理、用戶管理、日志管理等平臺基礎功能,從而實現系統的統一管理,包括用戶登錄、功能權限、資源權限等。

3 結語

本文在技術層面實現了數據采集、數據管理、數據共享和可視化分析的全流程信息貫通,通過項目實施實現了數據資產集中管控和對外服務能力,實現業務數據的綜合展示,提升決策支撐能力。

本文的研究成果彌補了制造行業在數據資產管理和可視化看板展示方面的不足,同時也為全面推動企業的數字化轉型升級奠定基礎,進而實現大數據分析算法在科研管理各個領域的應用,推動智能化決策模式落地應用。