制造業中智能數據中臺的設計與實現

文 嘯

（博世汽車部件（長沙）有限公司，湖南 長沙 410000）

1 引言

數字化、智能化是當前全球發展的最強驅動力之一，數字化、智能化的建設不僅決定了企業自身戰略水平，也是影響數字經濟、數字社會發展的關鍵變量[1]。智能數據中臺的建設以數據為基礎，實現各個業務系統的數據融合打破數據壁壘，對海量的生產實時數據進行采集，對供應鏈系統數據、銷售數據進行融合，從而建立實時、離線的分層級數據倉庫；以實際的業務應用場景為落腳點；利用云計算的可擴展性、彈性和低成本等優點，為智能數據中臺的數據處理和存儲提供強有力的支撐；將自研機器學習、深度學習算法模型為核心，實現邊緣計算，云端存儲及數據挖掘，對產線用戶端進行數據服務，從而打造最與企業自身需求相契合的智能數據中臺，幫助企業實現轉型的同時，達到提質降本的最終目的。

2 研究與方法

2.1 企業數據應用的問題分析

在工業4.0提出以來，各個傳統制造業企業數字化轉型迅猛發展，在飛速發展的背后業難以避免地產生了一些問題和新的數據需求。

1）制造業數據現狀。制造業是一個數據密集型行業，數據化程度高，生產過程中會產生大量的數據，包括生產線上的傳感器數據、機器人數據、質量檢測數據和生產計劃數據等。從數據類型來看，非結構化數據占比逐步上升，其中產線上傳感設備采集的實時信號數據、震動數據，具有高頻、嚴重依賴采集時間、檢測點多、數據量大并且穩定性高的特點。如果沒有一個數據管理平臺，這些數據將難以被有效地利用，從而影響制造企業的運營和管理。

2）數據源現狀。傳統制造業的業務數據往往分散在不同的系統和部門，數據格式和標準不統一，數據之間缺乏有效的共享和交流，難以實現數據的集成和統一管理。數據中臺可以通過標準化的數據采集手段將企業內部和外部的數據匯聚到一個平臺上，進行集中管理和統一數據標準，從而打通數據孤島，為企業提供更加全面和準確的數據。

3）數據分析現狀。由于上述制造業數據現狀，制造業數據呈多樣性和復雜性，數據分析往往需要借助多種技術和工具，比如機器學習、人工智能和大數據分析等，并且要全方位收集數據。數據中臺可以將不同來源的數據進行統一存儲和管理，為企業提供統一的數據分析接口，降低數據分析的復雜度和成本，提高數據分析的效率和準確性。

4）數據服務現狀。現階段制造企業中數據服務分散在各個業務系統中，數據交互錯綜復雜，并且缺乏統一的數據服務標準。數據中臺可以將企業內部的數據與外部的數據進行整合，開放數據接口，為企業提供更多的業務合作和商業機會，加速業務創新，提高企業競爭力。

汽車零部件制造企業作為典型的傳統流程型企業[2]，在實際生產、運營過程中實際面臨上述問題。建設智能數據中臺，幫助工廠對生產制造數據、運營數據、物流數據和客戶數據進行統一收集，再提供海量實時數據分析服務及統一標準化的數據服務，幫助企業在生產、運營、管理和銷售環節提供數字化的決策支持；實現數據流、物流、原材料流和服務流的高度集成，來解決數據孤島問題、提高數據質量、加速數據分析和支持業務創新等，從而提高企業的運營效率和管理水平，增強企業的核心競爭力。

2.2 智能數據中臺的構建與技術

智能數據中臺是一種數據集成、數據挖掘、人工智能和數據應用的平臺，其主要特點包括強大的數據整合能力、數據智能分析和數據智能應用[3]。在企業中，智能數據中臺可以幫助整合各類數據源，包括結構化數據、非結構化數據和實時數據等。同時，利用大數據分析技術和人工智能技術，智能數據中臺可以對數據進行精準分析和挖掘，以發現數據中隱藏的規律和價值。最后，將分析結果轉化為智能應用，以幫助企業實現業務增長、提高效率等目標。其中適合汽車零部件制造企業的數據中臺整體的數據架構圖，如圖1所示。

圖1 汽車零部件制造企業的數據中臺整體的數據架構圖

在汽車零部件企業的智能數據中臺的架構中，具有數據收集、數據倉庫建設、數據計算及數據應用與服務[4]。圖1中右側為實現具體過程需要依托的技術或者組件，但在傳統的制造業企業往往是缺乏大量IT技術人員與運維人員。根據企業實際情況，綜合分析利弊，對智能數據中臺基礎組件建設提出了三種技術方案，進行詳細對比，分析優劣，見表1。

表1 企業中數據中臺建設常見方案對比

從表1中三個方案來看，方案3利用云端PaaS服務作為建設智能數據中臺的基礎，從成本、可行性和運維的角度綜合分析為最佳解決方案[5]。

（1）數據集成 汽車零部件企業數據集成方案的設計和實施，是構建智能數據中臺的重要組成部分。在整個生產過程中，會涉及到多個部門和環節，每個環節都會產生大量的數據，這些數據來源復雜、數據結構各異、存儲方式各不一致，所以導致了難以進行有效的整合和管理。因此，需要一種高效、可靠的數據集成方案，來實現數據的整合和共享，提高數據的價值和利用率。數據集成數據流向圖如圖2所示。

圖2 數據集成數據流向圖

在汽車零部件制造企業中數據包括：MES、SAP、物流系統和質量系統等數據。根據實時性將數據分成兩類：實時數據和非實時數據。實時數據如生產制造的過程數據、MES設備上的傳感器數據，通過推送Kafka集群的不同Topic的方式，實現實時數據的采集，再將實時數據上傳至云端。非實時數據如SAP、物流系統、質量系統和銷售系統中的數據，主要通過ETL工具或定制化開發的同步程序，將數據同步到對應的離線數據存儲服務器中，處理后再將這部分數據同步至云上數據工廠進行數據加工[6]。此外，還有少部分外部數據，如天氣、氣溫等數據，通過爬蟲程序每日定時獲取，存儲于云端。

（2）數據倉庫建設 在數據集成至云端后，要完成智能數據中臺建設中重要的一步，數據倉庫建設，數據倉庫可以對不同來源的數據進行轉換，包括數據格式的轉換、數據類型的轉換、數據清洗和數據合并等。下面闡述在傳統汽車零部件制造企業中數據倉庫建設的具體方法，主要分為4個數據層級[7]。

1）數據貼源層。數據源層是指從企業各個部門、各個系統中獲取數據的層級。數據源可以是企業內部的ERP系統、CRM系統、MES、SAP系統、產線設備上傳感器采集的實時信號數據，也可以是企業外部的供應商、客戶、天氣和溫度數據等。在這一層級的數據格式保留與原始數據一致，不做任何的加工。

2）數據抽取、轉換和加載層（ETL層）。ETL層是指將數據從數據貼源層將原始中抽取出來，并對數據進行清洗、轉換和整合等處理，最終將處理后的數據加載到數據倉庫中的過程。ETL層是數據倉庫的核心層級，負責確保數據的質量和一致性。在數據轉換、整合的過程中過與業務部門和數據分析師進行詳細的需求分析，明確數據倉庫的目標、功能和使用場景。

3）數據存儲層。數據存儲層是指存儲處理后的數據層級，通常采用星型模型、雪花模型等方式進行建模。數據存儲層是數據倉庫的主體，存儲了歷史和當前的數據，并依托云端資源支持復雜數據的分析和查詢，并實現快速響應。

4）數據應用層。數據應用層是指存放直接提供用戶使用的數據表，與存儲層相比屬于較為輕量化的數據層級。這里的用戶包括系統用戶和數據查看用戶，為數據查看用戶提供報表、儀表盤和圖表等直觀的數據展示，幫助其做一些決策支持，可以根據用戶需求進行定制。為系統用戶通常提供標準化的API接口服務，供系統獲取實時或批量數據，供自身系統使用。

通過數據倉庫的建設，幫助企業統一數據視圖，幫助企業內部共享數據、協同工作，提高業務流程效率和決策質量，提高數據質量和數據一致性，這有助于企業減少數據錯誤和冗余，提高數據準確性和可靠性；提供統一的、標準化的數據服務，同樣提高工作效率；最后，形成核心數據資產，通過數據挖掘與分析幫助企業制定更合理和有效的業務決策。

（3）數據挖掘 在智能數據中臺中，數據挖掘是重要的組成部分，是指從大量數據中提取有價值的信息和知識，以支持企業的決策和業務發展。具體而言，數據挖掘通常包括幾個階段[8]：

1）數據清洗與預處理。數據將被預處理以確保其質量和可用性。數據清洗包括數據去重、數據填充、數據轉換和數據集成等，以確保數據的一致性和準確性。在數據預處理中，數據特征將被選擇和提取，以便于后續的數據挖掘分析。

2）數據挖掘算法選擇。根據不同的業務需求和數據特征，選擇適合的數據挖掘算法，如分類、聚類和關聯規則挖掘等。其中分類算法用于將數據劃分為不同的類別，聚類算法用于將相似的數據分組，關聯規則挖掘則用于發現數據中的關聯關系。

3）數據模型訓練和評估。根據所選的算法和數據集，訓練模型并對其進行評估，以確定模型的性能和精度。在訓練過程中，數據集將被分為訓練集和測試集，以驗證模型的準確性和泛化能力。

4）數據模型應用。將訓練好的模型應用到實際數據中，以獲得預測結果、關聯規則或聚類結果等。這些結果可以用于支持企業的決策和業務發展。

在智能數據中臺，上述機器學習模型訓練好部署在云PaaS服務中，如圖3所示，云端數據模型結果通過標準化的API服務返回到用戶端、產線端進行調用。在新的數據模型驅動下，產線、用戶端產生新的數據，新的數據又采集到數據中臺中，數據模型再根據新的數據對模型就行調優與適配，整個過程，實現算法端的自動優化與調整。

圖3 數據模型數據流示意圖

利用云端部署算法模型除上述優點之外，還有云端硬件資源優化[9]，云上合理分配CPU、GPU及內存等計算和存儲資源；通過云端PaaS服務，合理分配相關資源，進行并行計算、分拆計算，提高計算效率；此外，在云端部署機器學習算法還能實現對算法系統的監控，第一時間發現和解決性能瓶頸，優化系統性能和有效提高效率。

2.3 智能數據中臺的應用

汽車零部件制造企業屬于數據密集型的制造業行業，本文提出的智能數據中臺可以幫助制造業企業更好地管理和分析生產和供應鏈數據，提高生產效率和產品質量等。其中的智能數據中臺的應用場景很多、很廣，下面結合實際案例對智能數據中臺的應用進行詳細介紹。

1）預測性維護。智能數據中臺可以對設備數據進行監控和分析，從而實現預測性維護和設備管理。在汽車零部件制造企業，生產制造過程中有很多易耗品，如刀具、皮帶及砂輪等[10]。智能數據中臺通過收集和分析設備數據，可以實現對這些高價值易耗品的壽命分析、故障預測，從而及時進行維護，避免設備停機和生產損失。以某一高價值刀具為例，詳細闡述分析過程。

智能數據中臺預測性維護分析示意圖如圖4所示，首先在高價值刀具產線上安裝三軸振動傳感器，以高頻采集產品加工過程中X，Y，Z三個方向實時的振動信號。自動化信號實時采集后傳輸至云端，在云端進行的步驟：①特征提取程序對原始信號的異常值檢測與移除；②提取出可代表產品生產狀態的時域、頻域和時頻域，實現原始數據的降維，輸入后續的機器學習模型進行分類；③模型基于特征，輸出對當前設備狀態處于不同狀態的概率；④若系統判斷設備故障，維修人員會根據狀態概率的排序，按建議的維修順序，對設備零部件進行故障排查。

圖4 智能數據中臺預測性維護分析示意圖

高頻時序信號處理，使得故障預測可行的關鍵在于找出能夠代表當前工況，與其他工況有明顯區分度的指標。本方案中使用高頻的采集頻率，使得高頻段的特征提取成為可能。但高采樣頻率帶來的大數據量，對數據傳輸、存儲、特征提取和模型建立都是一種挑戰，因此基于云端搭建的數據中臺是實現本案例的關鍵所在。

在實際操作中，可能出現很多問題，本案例中就有傳感器不穩定導致產生很多異常噪聲點，在圖4中，首先通過非參數異常值檢測及孤立森林的算法，對異常噪點進行移除后再利用線性插值法對刪除的異常噪聲點進行補全。以時域上描述波形的統計量（如均值、偏度和峰度等）結合處理過的原始信號經快速傅里葉變換后，在不同頻段的能量分布作為當前工況的表征。不同工況條件下振動曲線的特征向量被用于訓練隨機森林分類器，模型在單產品數據上的分類準確率達到99%。為進一步提高分類準確率，本案例中還針對大數據量傳輸過程中不可避免地出現的隨機數據缺失情況采用了動態時間規整算法，衡量波形在時域上的相似程度，作為隨機森林分類器的補充判斷。

除了上述案例之外，近年來在碳中和的大背景下，對工廠能源消耗進行預測可以在滿足生產的前提下實現能源消耗的最小化。智能數據中臺能源預測示意圖如圖5所示。

圖5 智能數據中臺能源預測示意圖

傳統汽車零部件制造企業，生產過程中許多加工工藝需要手動配置相關的工藝參數，目前多數工藝參數調整的方式為工藝工程師結合經驗對其認為的對當前失效模式影響最大的參數組合進行一一組合嘗試，當產品質量測試結果達標后，以該參數結果作為最優組合持續使用，直至下一次參數需要調整的場景出現。這一過程要求工藝工程師的全程參與，對工程師的專業知識要求高，可復制性較低。通過參數自調整功能，設備自動找到當前工況下的最優參數，產線員工無需等待工藝專家的幫助，可節約調參時間，保證產品品質。

首先，根據歷史數據及工藝專家的經驗，建立產品品質測試結果與工藝參數、實時工況之間的關聯模型。然后，MES將產品品質測試結果與工況數據通過Kafka傳遞至智能數據中臺，通過對產品品質測試結果和工況的實時監控，結合時序分析方法，提取變化趨勢。最后，將關聯模型部署在智能數據中臺，根據測試結果、工況數據實時判斷是否需要調整參數及如何調整參數，將結果回傳至制造執行系統。PLC通過調用MES的接口信號，實現對工藝參數的調整[11]，具體過程如圖6所示。

圖6 智能數據中臺工藝參數自調整示意圖

傳統的制造過程中，工程師通常會手動調整焊接溫度，以保持其在預設范圍內。然而，在實際生產過程中，焊接溫度會受到多種因素的影響，如氣候變化、不同材料的熱傳導性、電子元件的尺寸和位置等，這些因素會導致焊接溫度波動并超出預設范圍。為了解決這個問題，我們可以采用基于機器學習的工藝參數自調整方法。具體而言，在生產過程中實時監測焊接溫度，并將其與預設范圍進行比較。然后，將監測到的焊接溫度和相關的生產參數（如電子元件的尺寸和位置、環境溫度等）作為輸入，利用機器學習算法建立一個模型，預測下一步需要調整的焊接溫度幅度，并自動調整焊接設備的功率，以使焊接溫度保持在預設范圍內。

在具體算法嘗試中，主要有兩種方法：

1）傳統尋找最優參數組合的方法為固定其他參數，調整一個參數，通過對比調整前后產品品質的變化，確定調整方向。這種方法的缺陷在于，當參數種類多，可取值多時，所需要進行嘗試的組合量非常大，難以找到具有全局最優解。

2）遺傳算法通過賦予表現較好的參數組合更高的權重，使得模型每次建議的參數都為向最優解的一種可能逼近。這一尋找最優解的過程，可被視為工藝專家實際調參的過程一種模擬，其優勢在于整個過程可以控制設備自動進行，無需人為干預。

結合生產實際運用中，綜合來看遺傳算法是較為適合工藝參數自適應的算法。

在數字化、智能化浪潮的驅動下，除上述場景之外，還有數字孿生、備件庫存優化和客戶畫像等應用場景。總之，智能數據中臺肩負著數據采集、融合、加工和挖掘，最終提供數據服務的責任。

3 結束語

智能數據中臺是企業數字化轉型的關鍵基礎設施之一，它是實現數據共享、數據交換、數據治理和數據價值挖掘的重要手段。總體來說，在智能數據中臺的建設中，需要充分考慮企業業務的特點和發展需求，制定科學的戰略規劃和實施方案，提高數據的質量和可用性，建立高效的數據管理和治理機制，構建完善的數據生態系統。

同時，智能數據中臺的建設還需要根據企業自身具體情況擇優依托現代技術手段，包括大數據、人工智能和云計算等，加速數據處理和價值挖掘的速度和效率。此外，智能數據中臺還需要關注數據安全和隱私保護等方面，確保數據在收集、存儲、處理和應用的整個生命周期中得到充分保障和合規性。

總之，智能數據中臺的建設是一個系統工程，需要全面考慮多方面因素，充分發揮數據的作用，促進企業數字化轉型和創新發展。未來，隨著數據技術的不斷發展和應用場景的不斷拓展，智能數據中臺將成為企業數字化轉型的重要推手，為企業提供更智能、更高效和更有競爭力的數據服務。