段海夢, 王 冰, 焦慧星
(中國電建集團西北勘測設計研究院有限公司, 西安 710065)
第四次工業革命以來,信息技術飛速發展,互聯網應用充分普及,信息化、數字化、智能化正在深刻促進工程行業產業變革。十三五期間,OA辦公、人力資源管理、財務管理、項目管理、檔案管理等基礎業務信息系統已初步覆蓋工程企業內部管理的方方面面[1],為企業實現數字化轉型奠定基礎。十四五期間,數據將作為企業資產的重要組成部分[2],幫助企業應對數字經濟時代的到來[3]。企業需要借助云計算、大數據、物聯網、人工智能、區塊鏈等新一代信息技術實現對數據資源的全面開發和利用,使數據發揮潛在價值和聚合效應,完成數據到資源再到資產的轉變。
本文結合所依托的勘測設計、施工建造類企業特征,重點面向工程企業經營管理領域,對企業業績資源進行全面整合與應用。業績資源作為企業綜合競爭力的體現,在行業間同質化競爭程度越來越激烈的情況下[4],對企業拓展市場、成功競標等具有重要意義。業績資源通常包括工程業績、人員業績、資質、獲獎等各類資料,內容繁多,構成復雜,來源廣泛,且分散于不同的業務系統和業務人員手中,面臨數據質量參差不齊、孤島化嚴重、使用效率低等問題,極大的阻礙了數據應用價值和潛在效益的發揮。通過構建企業級業績共享平臺,對分散于各業務系統和業務人員手中的數據資源進行系統化、標準化、集成化、共享化的管理和應用,能夠幫助企業分析和明確市場定位[5],提高項目投標效率和中標概率[6],同時應用于管理輔助決策等。
國內工程行業數據管理與應用研究中,吳沂梅[7]提出了一種基于Excel表格進行監理企業業績管理的設計方法,該方法相對簡單原始,無法對大規模數據進行實時和共享式的管理與利用。黃曉輝[8]基于企業數據中心和數據挖掘技術開展了投標報價及相關輔助決策系統的研究,該方法對企業基礎信息化及數據管理水平要求較高,在信息化發展和管理水平有限的企業難以實施。劉致彤等[9]利用Kettle ETL工具開發了面向集團級的統一數據資源調配和交互服務,該方法主要對工程管理領域的合同、項目等數據進行梳理和建模,服務于項目管理。
對不同企業而言,需根據自身信息化發展水平與管理需求,建立相關核心數據庫進而提供有價值的應用服務。本文基于數據倉庫技術對工程企業豐富的業績資源進行分層建模與管理利用,建立了一個企業級業績共享平臺。數據倉庫[10]是一種為管理決策提供異構數據集成與重組服務的技術,能夠為復雜數據的處理、存儲、分析提供支撐,具有面向主題、集成穩定等特點。不同于基礎業務信息系統面向管理和事務處理的操作型數據庫,數據倉庫技術主要研究和解決如何從多源異構數據中獲取目標信息。該技術能夠對全業務環節、全生命周期的各類數據進行整合,為企業提供全面數據服務與應用,已經在銀行[11]、電力[12]等行業管理中得到廣泛實踐和應用。
工程企業業績共享平臺旨在建立統一的數據資源管理服務對企業經營管理相關的工程、人員、獲獎、資質、市場等各類業績數據進行全面、準確、安全的管控與應用,通過數據加工與聚合,滿足經營管理工作的一站式資料檢索和使用需求。平臺應重點解決數據孤島化問題(數據分散、缺乏關聯、多來源數據沖突),通過集成與共享,充分發揮數據潛在價值和聚合效應。平臺的核心功能包括數據采集與聚合,數據質量與安全控制,信息檢索與應用服務。
(1) 數據采集與聚合
全面梳理企業核心業績資源分布情況,建立主題數據體系和數據倉庫模型。對分散于各相關業務系統及業務人員手中的數據資料進行統一采集、清洗、整理、聚合,實施系統化、標準化的管理與存儲。實現從單一數據到關聯主題數據的轉變。
(2) 質量與安全控制
構建數據分析檢測機制,完成對缺失、低質量、沖突數據的補充采集與報錯糾正;通過權限控制、日志監控、備份等措施保證數據不被更改、泄露、丟失。確保數據完整性、一致性、準確性、安全性。
(3) 信息檢索與應用服務
利用大數據檢索及分析機制,為用戶提供搜索引擎式資料檢索服務;同時提供統計分析與輔助決策等功能,滿足不同層級企業人員的數據使用需求,最大限度提高工作效率。
平臺采用B/S架構,依托開源框架進行開發。整體分為3層,如圖1所示。
最底層為數據層,該層完成對數據的采集、加工、處理、存儲,生成統一和標準化的主題關聯數據集,提供面向應用的具體數據。采用ODS-DW-DM三層數據倉庫模式[13]建立統一數據服務。結構化與非結構化數據分別存儲于SqlServer數據庫和ftp統一文件管理器中。中間層為后臺服務層,提供信息檢索、數據檢測、文件加密、權限管理、安全認證、定時備份等應用服務和運維服務。基于Spring Boot框架開發并部署于Linux CentOS服務器。
最上層為前臺應用表現層,提供全域檢索、企業中心、業績庫、數據采集、系統維護等五大板塊50余項功能頁面,用戶通過瀏覽器端登錄訪問和使用相關功能。使用Layui框架開發。
平臺底層采用ODS-DW-DM三層數據倉庫模式實現業務管理、數據整合共享、系統應用三分離。根據業務領域信息化水平能力,ODS(Operation Data Storage)原始操作型數據層以業務系統自動化采集、業務人員人工采集兩種形式獲取原始業績數據,并以全量或增量兩種模式進行數據更新。隨后按照所制定的企業主題數據體系,將數據轉化、加工后進入DW(Data Warehouse)主題數據倉庫層,形成標準化集成主題數據。最后面向搜索、統計分析等具體應用功能,對數據進行復雜計算和加工,形成DM(Data Market)數據集市層。
建立數據倉庫的關鍵是進行主題數據體系及關聯業務系統梳理。主題數據體系聚焦實體對象完整特征及關聯關系,打破單一業務系統數據局限性,提供聚合化、關聯式的數據服務。通過對企業業績相關全管理鏈數據分布情況的統計和分析,得到圖2所示的包含工程、人員、獲獎、資質、相關方、其他等六大主題在內的關聯數據模型。
以工程主題為例,主要包括工程基本信息、合同信息(子主題)、招投標文件、項目信息(子主題)、履約文件、工程特性值、獲獎信息、參建人員等基礎元數據。數據來源包括:檔案系統、項目管理系統、經營合同系統等。人員、獲獎、資質、相關方等主題類似,均由多來源數據構成完整主題對象。主題間通過共有特征進行關聯穿透。
平臺主要功能包括全域檢索、企業中心、業績庫、數據采集、系統維護等五大板塊。
3.1.1全域檢索
基于全文檢索技術實現對海量數據的一站式檢索服務,用戶輸入任意關鍵詞返回分類業績資料詳情,最大限度提高工作效率,降低平臺使用門檻及學習成本。圖3展示了用戶輸入檢索詞“抽水蓄能 浙江”后返回的分類業績信息。雙擊搜索結果條目即可進入主題數據詳情。
3.1.2企業中心
利用大數據統計分析技術對平臺收錄數據整體情況、常用經營指標(如新簽合同地域分布、業務板塊分布)等進行分析和展示,應用于企業管理輔助決策等。圖4為平臺高頻檢索詞匯云圖。
3.1.3業績庫
提供對工程、人員、獲獎、資質、相關方、其他六大主題業績數據的分類應用功能,可實現數據的分類、分級授權使用。相比全域檢索的模糊式查詢,用戶可在特定類別業績臺賬下設定常用過濾條件,實現更有針對性的資料查找與分析。圖5展示了由檔案系統、經營合同系統、項目管理系統、報評獎系統等多個來源的數據集成加工后構成的一個完整工程業績詳情。以工程為根節點,向下可穿透查看相關的合同子主題和項目子主題,由項目子主題的參建人員可關聯到相關人員主題,實現主題間的便捷化、穿透式、關聯性推薦查詢。
3.1.4數據采集
受限于企業不同業務環節信息化管理水平不一致的現狀,對信息化覆蓋程度高的業務領域采用自動化采集的模式從相關業務系統獲取數據;對信息化水平有限的領域,采用人工采集的形式完成對數據的補充和完善。如工程主題下的工程特性值和履約文件采集,由多名授權專業工程人員進行資料搜集與實名制錄入,經相關管理人員審核后更新發布。同時平臺通過自動檢測缺失數據和用戶在線反饋錯誤數據兩種機制標記低質量數據,根據數據來源由原業務系統或授權人員進行維護,達到數據動態治理與質量提升的目標。
3.1.5系統維護
提供日志監控(含數據監控、用戶行為監控)、權限分配(多層級授權管理)、基礎數據配置等常用運維功能。保證系統安全與數據安全。
平臺自2020年10月上線運行以來,已在16家生產經營機構投入使用,所收錄主題數據量及相關功能板塊訪問量統計如表1所示。

表1 平臺運行指標表
在數據治理方面,平臺集成關聯業務系統11個,加工整合主題數據54 015個,底層存儲數據10萬余條,補充采集與報錯糾正837條數據,對人員證件管理、中標結果管理、合同信息錄入等多個管理環節進行漏洞修補和反向監督,有效促進企業數據質量和整體信息化水平提升。
在使用覆蓋面及有效性方面,平臺上線400余天,授權用戶368人,累計訪問45 165人次。日均訪問量大于100人次,高峰期單日訪問量超500人次,累計檢索詞匯26 089個。在水利樞紐、水環境治理、智慧城市、城鄉建設等不同業務領域、千余個經營項目中投入使用,幫助企業挖掘潛在市場,極大地提高了工作效率與知識利用水平。平臺上線后企業中標率得到一定提升,為企業帶來新的經濟收益。
(1) 本文以工程企業業績共享平臺建設為例,提出了一種基于數據倉庫技術全面整合企業各環節業績數據,構建多主題、多層次、互聯化的數據服務體系的方法。有效地解決了數據資源分散化、質量參差不齊、使用效率低等問題。能夠為企業各級管理者提供一站式、綜合化、高質量、高效率的數據應用服務。
(2) 平臺的建成對推動企業數據資產管理、數據資源利用、管理提升、數字化轉型等具有重要意義。通過對數據的統一化、標準化管理及智能化監控,能夠有效監督和反向促進相關管理環節的治理能力,提高企業基礎信息化水平。
(3) 平臺已被廣泛應用于企業市場定位分析、項目投標和管理輔助決策中,為企業贏得了新的市場收益。下一步將繼續借助數據挖掘、機器學習等先進技術,開發競標價格分析、智慧編標等功能,進一步提高企業核心數字化競爭力。