摘要:數據治理在卷煙生產中扮演著重要的角色,它有助于挖掘潛在風險和機遇,提高生產效率,促進科學決策,以及促進卷煙生產工作高質量發展。如何對各種數據進行有效組織和管理是實施卷煙數據管理的重要措施,也是提升數據質量的關鍵步驟。本文分析了煙草企業數據治理的意義以及所面臨的數據質量問題,并以湖北中煙工業有限責任公司武漢卷煙廠生產過程的數據資源建立數據模型,結合BI(Business Intelligence)工具對數據進行可視化與質量驗證。通過實踐驗證,本文所提方法能有效提高企業數據資產管理和利用效率。
關鍵詞:煙草;數據治理;數據質量;數據模型
一、引言
數據管理最早可追溯到1973年諾蘭信息化成熟度模型中的描述,諾蘭所述成熟度模型六階段反映了企業計算機應用發展的一般規律性[1]。2009年,國際數據管理協會發布的數據管理體系中提出數據管理的含義為規劃、控制和提供數據資產,發揮數據資產價值。
數據治理作為數據資產管理的一部分,涉及一系列權力行使和控制活動。其任務是引導其他數據管理職能的執行,通過確立適當的準則、政策、流程和操作規范,確保數據和信息得以正確而有效地管理。良好的數據治理策略與措施可以實現對數據全生命周期的組織與管理,打破數據孤島,提升數據質量,挖掘數據潛在價值,以數據為基礎進行決策支持與問題解決,推動煙草產業向數字經濟新生態不斷邁進,驅動行業高質量發展[2]。通過數據治理工作并提升數據通用性,能夠充分融合并進一步挖掘數據資產的競爭潛力,為煙草行業創新發展注入新的動力[3]。
當前,煙草行業的生產模式已實現高度自動化,數據資源豐富。然而,不同的數據采集工具導致了大量互不兼容、互不相通的數據孤島存在。數據標準存在差異,部分數據存在數值缺失問題,數據粒度各異,并且數據質量也存在嚴重的波動,這些問題給數據的高效使用帶來了困難。
基于以上問題,本文首先對當前煙草企業在數據治理中面臨的質量問題進行了詳細闡述。隨后,結合湖北中煙工業有限責任公司武漢卷煙廠的實際生產案例,提出了數據模型的設計實踐,并基于BI工具對數據進行可視化與質量驗證。本文所提出的數據模型設計、BI數據可視化與質量驗證的方法為煙草行業數據標準統一建設提供了思路,能夠促進數據孤島破除,推動煙草行業數據互聯互通,提升企業數據治理能力與效率,發揮數據價值。
二、煙草企業在數據治理中面臨的質量問題
(一)缺乏統一的軟件建設規范
煙草行業的信息化建設已取得了較大進展,煙草生產企業成功建設了眾多高效智能且易于操作的業務系統。然而,同一煙草生產企業目前使用的系統由多個不同的供應商分別建造,因軟件設計開發時間、開發人員能力、開發語言、數據標準、技術棧、系統架構、接口規范等多方面的差異導致系統之間互聯互通、業務協同、綜合分析等方面面臨著巨大挑戰。這種差異在不同煙草生產企業之間更為明顯,導致數據質量不穩定。各系統資源實際運行情況難以獲取,碎片化的系統極大提升了系統異常定位與解決的難度,進而可能導致生產進度延誤,甚至系統運行中斷。
因此,建設統一的數據底座模型與規范,優化信息管理制度,保障數據高質量取用成為煙草行業信息化發展的重點之一。
(二)缺乏統一的煙草生產數據模型建設
統一的煙草數據模型建設對企業信息化至關重要,是保障數據質量的關鍵步驟。該模型作為數據規范的核心確定了數據的標準結構和交互規范,通過概念、邏輯和物理模型設計,將業務需求轉化為數據庫表的具體要求,從而引導數據中臺的構建,促進統一的軟件規范建設。這一模型要求數據具備完整性、準確性、正確性、一致性、唯一性和及時性,有效提升煙草行業的數據質量,同時也促進數據的綜合利用與價值釋放[4]。
當前缺乏統一的煙草生產數據模型設計,導致軟件建設碎片化,數據孤島林立。企業信息化沒有很好地實現煙草信息“一張圖”的構想,跨部門數據價值沒有被充分釋放,數據分析不能準確定位實質痛點,流于表面。
因此,統一的數據模型可助力消除多部門系統在數據處理中的混亂和誤解,提高數據可信度,促進數據在不同部門和系統之間有效共享和流通,提高業務流程協同效率,特別是在生產、銷售、物流等領域的數據共享方面。最重要的是,統一的數據模型為數據分析和決策提供了堅實基礎,使企業能夠更輕松地進行數據分析,發現趨勢和機會,做出明智的戰略決策,增強企業競爭力。
三、煙草企業數據質量提升和治理實踐
根據湖北中煙工業有限責任公司武漢卷煙廠的實際情況,本文針對第一章節所述痛點,依托國際數據管理協會數據管理體系理論對卷煙廠的數據資源建立數據化資產的基本標準,通過數據模型的建立和BI工具數據可視化和質量驗證,為數據智能分析與數據價值的挖掘提供堅實基礎。
(一)數據標準和數據模型設計
數據標準化是指通過研究、制定和推廣一套共同的數據分類、分級、記錄格式、轉換方法以及編碼等技術標準,來確保數據在不同系統和應用之間的一致性和可互操作性的過程,可有效保證數據質量的穩定。從管理對象上看,數據標準主要包括3個方面的標準:數據模型標準、主數據和參照數據標準、指標數據標準。數據標準編制指根據企業業務進行管控數據項劃分,確定數據項的名稱、編碼、類型、長度、業務含義、數據來源、質量規則、安全級別和閾值范圍等[5]。
數據模型設計則是數據標準建設的重要內容之一。本文在卷煙廠的實踐工作中,將設計過程轉換為概念模型設計、邏輯模型設計和物理模型設計三個步驟,以實際生產中材料消耗異常原因分析場景和生產未完成執行原因分析場景為例,闡述模型設計的具體內容。
1.概念模型設計
概念模型設計是對用戶需求進行分析與總結后抽象出的概念描述[6]。
針對場景一:材料消耗異常原因分析場景,本文首先對需求進行分析,即從機臺、機型、牌號、班次多個維度,通過對生產過程總消耗數據的整合,對指標消耗異常進行多維度分析,并查明異常具體原因,抽象形成針對場景一的概念模型圖。
針對場景二:生產未完成執行原因分析場景,本文首先對需求進行分析,即通過最新生產計劃量與實際生產量進行差額對比,在此基礎上對未完成產量的原因進行分析。針對生產中可能造成生產執行未完成的原因做出分析與匯總,完成場景二概念模型設計。
2.邏輯模型設計
邏輯模型是將概念模型具體化的過程,它將在概念設計階段創建的基本實體關系圖轉化為適用于關系數據模型的具體數據模型,以確保數據結構的一致性和合理性[7]。
在邏輯模型設計階段,針對場景一,分別對班組明細表、班時明細表、機臺明細表、牌號明細表、質量獎勵記錄表、剔除數據表、輔料耗用記錄表、車間質量異常記錄表、員工信息表、設備維修記錄表、設備停機數據表和生產工單信息表進行設計,規定各自所包含的字段信息及主鍵信息。
針對場景二,分別對班組明細表、班時明細表、機臺明細表、牌號明細表、員工信息表、設備維修記錄表、設備停機數據表、生產入庫信息表、生產計劃記錄表、生產工單信息表進行設計,規定各自所包含的字段信息及主鍵信息。
3.物理模型設計
物理模型通過特定的規則和方法,將邏輯模型中定義的實體、屬性、屬性約束、關系等元素轉化為數據庫軟件可以理解的表關系圖 [8]。在該階段基于已完成的邏輯模型設計,對各字段給出唯一的代碼編碼,并對其數據類型和非空進行規范。
通過上文概念模型設計-邏輯模型設計-物理模型設計與實現的過程,對系統中最根本的數據進行規定,在此基礎上形成統一的數據標準與規范。數據標準的確定有利于軟件數據交互標準的制訂,推動數據采集和數據共享交互邏輯的完善。
(二)數據質量管理
數據質量管理旨在監測和維護數據在其整個生命周期中的質量,以識別、度量、監控、預警并改進各種可能出現的數據質量問題。其核心功能包括管理數據質量指標、維護數據質量規則、執行數據質量評估任務以及生成數據質量評估報告等。
本文在數據湖數據質量檢測工具基礎上,通過BI工具對重點關注數據進行可視化分析與驗證。
針對場景一,將MES(Manufacturing Execution System)系統內的《成型生產臺賬明細》《卷接生產臺賬明細》《包裝生產臺賬明細》分別關聯出剔除值、維修次數、停機次數、質量異常次數、質量獎勵次數;再分對關聯出的字段進行下鉆聯查數據明細,與數據湖中數據進行對比檢校。
通過三個維度對材料消耗原因進行分析:(1)成型材料消耗分析:分析維度包含日期、班別、機臺;數據內容包含生產量、損耗量、成型紙耗用、絲束耗用、剔除值、維修次數、停機次數、質量異常次數、質量獎勵次數。(2)卷接材料消耗分析:分析維度包含日期、班別、機臺、牌號;數據內容包含生產量、回扣量、凈產量、廢煙量、卷紙耗用、嘴棒耗用、剔除值、維修次數、停機次數、質量異常次數、質量獎勵次數。(3)包裝材料消耗分析:分析維度包含日期、班別、機臺、牌號;數據內容包含生產量、廢煙量、盒片耗用、條盒耗用、剔除值、維修次數、停機次數、質量異常次數、質量獎勵次數。
針對場景二,在限定機產牌號的前提條件下,通過MES系統內牌號的最新生產計劃量與WMS(Warehouse Management System)系統內實際入庫量進行差額對比;同時將設備計劃運行時間進行計算;再關聯數采系統內剔除明顯異常條件后的設備停機最大值、維修次數、維修用時字段;再分別對關聯出的字段進行下鉆聯查數據明細。分析維度包含日期、牌號;數據內容包含計劃產量、實際生產量、差額(計劃產量-實際產量)、差額率(剩余產量)、完成計劃所需時間(計劃設備運行時間)、卷接機停機時間(最大值)、包裝機停機時間(最大值)、維修次數、維修用時(維修合計用時)。
通過BI工具可視化與分析,模型設計后系統中數據與MES、WMS系統中數據保持了高度一致性。相比于缺乏數據標準和數據模型指導的碎片化系統建設,數據的一致性和可互操作性得到有效提升,數據孤島問題好轉,打造以數據為基礎的精準決策。
四、結束語
本文主要討論了通過數據模型設計與實現和BI可視化數據質量管理系統的建設,極大地減少了潛在的數據孤島數量,有效提升了數據質量,為生產決策提供了準確、可信的有力支持。
數據治理是一項持續不斷的任務,需要建立堅實的管理機制以推動其不斷前進。為確保數據的高質量,各職能管理部門需要積極參與和協同合作,逐漸推動不同層次和領域的數據共享,持續完善質量反饋和監督機制,構建健全的數據質量提升體系,以確保數據質量管理保持良性循環。通過數據的支持來推動數據治理,提升數據質量,為煙草生產和銷售提供有力的數據支持,為管理層提供更加精確的決策支持,推動煙草行業朝著高質量的方向不斷發展。
參考文獻
[1] 劉云, 潘峰, 徐宇. 面向煙草企業的數據治理與管控研究[J]. 中國管理信息化, 2020, 23(24): 99-100.
[2] 巫莉莉, 張波. 高校數據治理中提升數據質量的方法研究[J]. 重慶理工大學學報:自然科學, 2019, 33(8): 149-156.
[3] 張立冬, 潘偉, 劉敏, 等. 煙草企業數據治理方法研究與實踐[J]. 智能制造, 2021, 28(4): 50.
[4] 宋金玉,陳連勇,陳剛.數據質量測量框架研究及領域測量框架構建[J]. 計算機科學, 2023.
[5] 魏文娟, 劉朝陽. 基于大數據視角的企業管理信息化系統建設研究[J]. 中國管理信息化, 2023, 14(26): 79-81.
[6] 孫晶瓊, 周耀林. 保護管理視角下我國檔案文獻遺產目錄數據庫概念模型設計[J]. 中國檔案研究, 2018 (2): 3-21.
[7] 鄧兵, 韓笑冬, 宮江雷, 等. 一種應用邏輯模型的通用星務軟件架構設計[J]. 航天器工程, 2020, 29(1): 54-60.
[8] 王云峰,寧曉希.刑偵數據倉庫模型設計與數據挖掘技術應用[J].軟件工程師, 2014(6):3.