工業大數據架構分析

王妙瓊 馬鵬瑋 魏 凱 姜春宇

中國信息通信研究院 北京 100191

引言

工業大數據是指在工業領域中，圍繞整個工業生產全生命周期所產生的各類數據以及相關技術和應用的總稱。其中工業數據包括產品研發過程中的設計資料；產品生產過程中的監控與管理數據；產品銷售與服務過程的經營和維護數據等。從業務領域來看，可以分為企業信息化數據、工業物聯網數據和外部跨界數據。

工業領域的數據應用具備典型的大數據5V特征：數據量大；種類來源多樣化；數據價值密度較低；數據增長速度快；數據具有真實性。工業大數據的價值逐漸被發現和重視，越來越多的工業企業開始利用數據來提升產品生產效率以及服務質量等，但工業數據的分析應用尚處于起步階段，存在數據來源分散、數據結構多樣、數據質量參差不齊等情況，難以高效挖掘數據的價值。

工業大數據系統的部署應用，其核心目標是全方位采集工業產品各個環節的數據，并將這些數據匯聚起來進行深度分析，利用數據分析結果重新指導工業產品全生命周期各個環節的控制與管理決策[1]。通過效果監測的反饋閉環，實現工業產品全生命周期決策控制持續不斷的優化。如果將工業互聯網的網絡比做神經系統，那工業大數據的匯聚與分析即為工業互聯網的大腦，是工業互聯網的智能中樞。

建設工業級的大數據系統，往往需要解決多個層面的問題，業務層面需要對各個環節的數據進行梳理和分析，形成完善的數據體系，來描述完整的工業生產流程；技術層面則需要建立統一的系統來匯集和處理工業全流程的數據，其中需要根據具體的業務場景選擇合適的技術架構，考慮到工業級系統龐大的規模和復雜的屬性，更是需要在建設的初期就做好完善的架構規劃。

1 工業大數據規劃建設的關鍵問題

現階段工業大數據的建設仍處于發展極不均衡的狀態，部分先進大型工業企業已經利用大數據技術形成成熟的解決方案，整合各環節數據資源，為生產和服務提供精準的數據支撐，但仍有部分工業企業尚未實現信息化或信息化程度不高，需要從最底層的設備開始更新與改造，以適應新的數字化生產流程，規范各環節數據資料，從而結合大數據技術進一步地優化生產過程和服務質量[2]。在發展工業大數據的各階段下主要出現了以下三個問題。

1)設備老舊導致數據采集困難。在許多制造行業中，仍然使用傳統的生產設備，并且因為各類原因對生產線設備進行更新換代較為困難，造成一些關鍵的生產數據無法采集，不能全面監控生產線的生產情況。這種情況下，需要在設備上加裝外置傳感器，并對傳感器采集到的生產數據進行實時地匯集監控，來全面感知生產情況。

2)數據跨平臺跨部門整合耗時。在工業領域進行業務分析時，由于工業系統龐大且復雜，往往需要整合多個數據源的信息，這些數據種類繁多、數據量大、數據質量參差不齊，有時甚至需要跨部門溝通，走繁瑣的審批流程，在經過了一系列關卡收集并整理好數據后，由于耗費時間太長，一些具有時效性的數據就會產生價值流失。需要建設持續的、自動化的、全量的數據采集機制，來保證數據的價值被有效地利用。

3)初期缺乏規劃導致應用豎井。在開展大數據應用的初期，由于大部分是業務驅動，各項目單獨建設大數據系統，缺乏統一規劃，容易造成應用豎井，數據重復采集、基礎信息不一致，從而不可避免地出現資源浪費、數據關聯性差，無法高效地利用數據價值；所以需要企業有全面的大數據系統建設規劃，對數據進行統一采集和管理，為后續各種場景的分析應用提供良好的數據環境。

在工業級大數據系統的建設初期，需要對系統的技術架構進行合理規劃，根據實際應用場景下的需求選擇技術組件實現應用的搭建，考慮的問題主要總結為以下五點：①如何采集來自多種數據源的異構數據；②如何按照不同的數據留存需求進行高效存儲；③如何按照業務需求選擇數據計算引擎和處理工具；④如何保障系統的安全和穩定運行；⑤工業大數據技術架構分析。

1.1 工業大數據系統技術架構介紹

本文中描述的工業大數據架構體系，參考了2016年工業互聯網產業聯盟[1]發布的《工業互聯網體系架構(1.0)》中對工業互聯網數據體系架構的描述[3]，見圖1。工業互聯網產業聯盟(Alliance of Industrial Internet，AII)是在工業和信息化部指導下，于2016年2月1日由國內外工業互聯網產業相關的企、事業單位、社團組織、高等院校、科研院所等自愿結成的跨行業、開放性、非營利性的社會組織。

其架構可以總結為數據采集與交換、數據集成與處理、數據建模與分析和數據驅動下的決策與控制應用四個層次[4]，對應到具體的技術架構實現見圖2。

圖2 工業大數據功能架構

采集交換層：主要完成數據從傳感器、SCADA、MES、ERP等內部系統，以及企業外部數據源獲取數據的功能，并實現在不同系統之間數據的交互。這一層涉及到采集工具、數據預處理工具、以及數據交換工具的選型建設。

集成處理層：從功能上，這一層主要是將物理系統實體進行抽象和虛擬化，建立產品、產線、供應鏈等各種主題數據庫，建立合理的數據模型，將清洗轉換后的數據與虛擬制造中的產品、設備、產線等實體相互關聯起來。從技術上，實現原始數據的抽取轉換和存儲管理，提供計算引擎服務，完成海量數據的交互查詢、批量計算、流式計算等任務，并對上層建模工具提供數據訪問和計算接口。這一層主要涉及數據的抽取轉換加載、數據的存儲與管理、數據計算與查詢，以及數據服務接口的提供。

建模分析層：功能上主要是在虛擬化的實體之上構建仿真測試、流程分析、運營分析等分析模型，用于在原始數據中提取特定的模式和知識，為各類決策的產生提供支持。從技術上，主要提供數據報表、可視化、知識庫、機器學習、統計分析和規則引擎等數據分析工具。

決策控制層：基于數據分析結果，生成描述、診斷、預測、決策、控制等不同應用，形成優化決策建議或產生直接控制指令，從而對工業系統施加影響，實現個性化定制、智能化生產、協同化組織和服務化制造等創新模式，最終構成從數據采集到設備、生產現場及企業運營管理優化的閉環。

1.2 工業大數據系統技術架構實現

工業大數據系統技術架構的實現涉及底層技術組件的選型，本文中將這些技術組件分為三類：采集、存儲及計算，四層技術架構的功能實現可以由這三種技術組合得到[5]。如圖3所示。

圖3 技術架構層與技術組件對應關系

圖3中對采集、存儲、計算的描述是指廣義上的這類技術及解決方案的總和，如采集指的是實現數據采集、交換、集成、處理過程當中涉及到的所有采集相關的技術和解決方案；存儲和計算也是指實現系統架構中的對應功能時涉及到的所有技術和解決方案。

1.2.1 數據采集

隨著工業制造中各層的精細化與制程的高密度化，工業制造所產生的數據必然形成好幾個等級的增長。面對如此龐大與多樣的數據整合問題，企業必須有整體統一的數據匯聚與應用策略，設計通用可靠的數據采集機制，來滿足各方面的數據采集需求。數據采集的完整性、準確性，決定了數據應用是否能真實可靠地發揮作用。因此，在建設數據采集系統時，建議著重考慮以下五個要求：1)數據接口通用性。由于新技術更新換代較頻繁，需要進行版本管理，并定期更新接口，建議用統一的數據交換格式來適應接口頻繁更新的情況，使接口能夠快速調整。2)支持廣泛的數據源。采集技術需支持盡可能多的數據源端。3)支持橫向擴展。當設備增加時，所造成的性能瓶頸須能通過橫向擴展的方式解決。4)保證數據不遺失。采集過程中須確保數據準確地、不遺失地送達處理層與儲存層。5)避免增加基礎建設復雜度。在不斷擴充設備的情況下，采集技術不應增加基礎建設擴展時的負擔。

從工業數據的來源進行分類，主要包括管理系統、生產系統、外部數據三大方面的數據來源。從數據采集的全面性上看，不僅要涵蓋基礎的結構化交易數據，還將逐步包括半結構化的用戶行為數據，網狀的社交關系數據，文本或音視頻類型的用戶意見和反饋數據，設備和傳感器采集的周期性數據，以及未來越來越多有潛在意義的各類數據[6]。表1整理出了一些工業大數據系統中常見的數據源及其數據特性，供參考。

管理系統數據采集：這里討論的管理系統的數據包括了工業產品的設計資料、價值鏈管理數據及生產過程中的資源管理數據。

表1 常見工業數據源分類

1)設計資料：設計資料大多來源于傳統工業設計和制造類軟件，如：CAD、CAM、CAE、CAPP、PDM等。這類數據主要是各類產品模型以及相關的圖紙或電子文檔，大多數為非結構化數據。這些設計類數據的采集對時效性要求不高，只需定期批量導入大數據系統。

2)價值鏈管理數據：價值鏈數據主要指企業生產活動中上下游的信息流數據，主要來源于供應鏈管理系統(SCM)、客戶關系管理系統(CRM)等。這類數據主要包含供應鏈信息和客戶信息，通常是規范的結構化數據，采集時對時效性要求不高，只需按業務分析要求的更新周期定期批量導入大數據系統。

3)資源管理數據：資源管理數據的來源主要是生產環節的各類管理系統，包括企業資源計劃(OA/ERP)、生產過程執行系統(MES)、產品生命周期管理(PLM)、環境管理系統(EMS)、倉庫管理系統(WMS)、能源管理系統等。這類數據主要描述了生產過程中的訂單數據、排程數據、生產數據等，大多數為標準的結構化數據，采集時對時效性要求不高，只需按業務分析要求的更新周期定期批量導入大數據系統。

生產系統數據采集：這里討論的生產系統數據主要來自工業控制系統、生產監控系統、各類傳感器以及其他外部裝置。

1)工業控制系統數據：工業控制系統數據的來源主要包括分布式控制系統(DCS)，以及可編程邏輯控制器(PLC)這類系統。通常DCS與PLC共同組成本地化的控制系統，主要關注控制消息管理、設備診斷、數據傳遞方式、工廠結構，以及設備邏輯控制和報警管理等數據的收集。此類數據通常為結構化數據，且數據的應用通常對時效性要求較高，需要數據能及時地上報到上層的處理系統中。

2)生產監控數據：生產監控數據主要來源于以SCADA為代表的監視控制系統。SCADA系統的設計用來收集現場信息，將這些信息傳輸到計算機系統，并且用圖像或文本的形式顯示這些信息。這類數據也是規范的結構化數據，但相對DCS和PLC系統來說，SCADA系統可以提供實時的數據，同時也能提供歷史數據；因此在考慮數據的采集策略時，需要根據上報數據的類型來選擇是實時采集或是批量導入。

3)各類傳感器：在生產車間的很多生產設備并不能提供生產數據的采集和上傳，因此需要通過外接一套額外的傳感器來完成生產數據的采集。外掛式傳感器主要用在無生產數據采集的設備或者數據采集不全面的設備上、以及工廠環境數據的采集。同時外掛式傳感器根據使用現場的需求，可以采用接觸式的傳感設備和非接觸式的傳感設備。此類數據的單條數據量通常都非常小，但是通信總接入數非常高，即數據傳輸并發度高，同時對傳輸的實時性要求較高。

4)其他外部裝置：其他外部裝置產生的數據以視頻攝像頭為例，數據主要來源于對產品的質量監控照片、視頻，或者是工廠內的監控視頻等。此類數據的特點是數據量大，傳輸的持續時間長，需要有高帶寬、低時延的通信網絡才能滿足數據的上傳需求。對于其他不同于視頻數據的外部裝置數據，需要針對數據的特性進行采集機制的選擇。

外部系統數據采集：外部系統數據主要來源于評價企業環境績效的環境法規、預測產品市場的宏觀社會經濟數據等，此類數據主要用于評估產品的后續生產趨勢、產品改進等方面，與管理系統的數據采集類似，可以通過標準的RJ45接口進行數據的傳輸。通常本類數據相對靜止，變化較小，因此數據的上傳頻次較低。

綜合上述多類數據源的采集場景和要求，系統的集成導入應同時具備實時接入(如工業控制系統、生產監控數據、各類傳感器)和批量導入(如管理系統、外部數據)的能力，同時能根據需要提供可定制化的IoT接入平臺。具體建設要求如下。

1)對于需要實時監控、實時反向控制類數據，可通過實時消息管道發送，支持實時接入，如工業控制系統數據、生產監控系統數據等。建議可采用如Kafka、Fluentd或是Flume等技術，這類技術使用分布式架構，具備數據至少傳輸一次的機制，并為不同生成頻率的數據提供緩沖層，避免重要數據的丟失。

2)對于非實時處理的數據，可采取定時批量地從外部系統離線導入，必須要支持海量多源異構數據的導入，如資源管理數據、價值鏈數據、設計資料等。建議可采用Sqoop等數據交換技術，實現Hadoop與傳統數據庫(MySQL、Oracle、Postgres等)間大批量數據的雙向傳遞。

3)當系統中有大量設備需要并發接入且要多協議接入時，如各類傳感器件，可部署專業IoT接入網關，IoT接入平臺需同時具備支持TCP、UDP、MQTT、CoAP、LWM2M等多種通信協議。在面對各類傳感器的數據采集時，可以結合RFID、條碼掃描器、生產和監測設備、PDA、人機交互、智能終端等手段采集制造領域多源、異構數據信息，并通過互聯網或現場總線等技術實現源數據的實時準確傳輸。有線接入主要以PLC、以太網為主。無線接入技術種類眾多，包括條形碼、PDA、RFID 、Zigbee、Wi-Fi、藍牙、Z-wave等短距離通信技術和長距無線通信技術。其中，長距離無線技術又分為兩類，包括工作于未授權頻譜的LoRa、SigFox等技術和工作于授權頻譜下傳統的2/3/4G蜂窩技術及其3GPP支持的LTE演進技術，如LTE-eMTC、NB-IOT等。

1.2.2 數據存儲

工業大數據系統接入的數據源數量大類型多，需要能支持TB到PB級多種類型數據的存儲，包括關系表、網頁、文本、JSON、XML、圖像等數據庫，應具備盡可能多樣化的存儲方式來適應各類存儲分析場景，總結如表2。

表2 各類存儲對應適用場景

在不同的工業數據應用場景中，數據存儲的介質選擇十分重要，下面列舉一些經典的使用場景來介紹如何選擇存儲技術[7]。

1)實時監控數據展示：通常情況下實時采集的監控數據在進行輕度的清洗和匯總后會結合Web UI技術實時展現生產線的最新動態。這類及時性互動性高的數據一般使用內存數據進行存儲，如Redis、Ignite等技術，可以快速響應實時的查詢需求。

2)產線異常的分析與預測：使用機器學習技術對產線數據進行深入挖掘分析運行規律，可以有效地對產線的異常進行分析和預測，進而改善制程、減少損失、降低成本及人為誤判的可能性。這類用于分析的歷史數據一般選擇使用HDFS、Cassandra等分布式儲存，適用于海量數據的探索和挖掘分析。同時，對于這類與時間順序強相關的分析場景，數據的存儲可以選擇InfluxDB這類時序數據庫，可以極大提高時間相關數據的處理能力，在一定程度上節省存儲空間并極大地提高查詢效率。

3)商業智能：如果需要整合多種數據來制作商業策略性報表，適合使用結構化儲存，比如傳統的關系型數據庫，MySQL、Oracle等。如果需要考慮性能和及時性，可以考慮分類存儲至NoSQL數據庫，如Cassandra、HBase與Redis等。

1.2.3 數據計算

大數據系統通常需要能夠支持多種任務，包括處理結構化表的SQL引擎、計算關系的圖處理引擎和進行數據挖掘的機器學習引擎，其中面向SQL的分析主要有交互式查詢、報表、復雜查詢、多維分析等(如表3)。

表3 各類計算引擎對應適用場景

1)實時計算引擎，包括Storm、Spark Streaming、Flink等業界通用架構，適用于基于窗口或消息的實時數據處理，結果響應的時延要求在毫秒級。

2)離線計算引擎，包括MapReduce、Spark、Hive，適用于批數據分析和定時分析等。

3)圖計算引擎，適用于事件及人之間的關聯關系分析。

4)數據綜合分析OLAP，如MPP數據庫，適用于綜合報表分析。

5)業務交互查詢OLTP，如MySQL、SQLServer、Oracle、PostgreSQL等，適用于交互式查詢分析。

6)分布式數據庫中間件，可解決數據庫容量、性能瓶頸和分布式擴展問題，提供分庫分表、讀寫分離、彈性擴容等能力，適用于海量數據的高并發訪問場景，有效提升數據庫讀寫性能。

7)數據挖掘能力，為了能夠匹配工業大數據決策與控制應用的5大場景，特別是診斷類、預測類、決策類應用閉環的要求，系統應該具備完善的機器學習、深度學習、圖計算等平臺級能力。機器學習能力如基于開源Spark框架推出的算法庫MLlib、 GraphX等；深度學習有TensorFlow、Caffe、MXNet等平臺；圖計算能力，業界相對比較流行的開源產品有Titan，另外還有很多優秀的商業產品可供選擇[8-9]。

總體來說，大數據平臺的計算組件需要能支持批量和實時兩大類任務，同時具備精細化的任務和資源調度的能力。

2 典型工業場景應用實例

本章節將結合某大型工業企業生產場景中新產品導入(New Product Introduce，NPI)環節的案例，具體解釋說明其中所使用的技術架構[5]。

新產品制造在NPI階段需在有限的時間內在每個步驟都達到客戶的規格要求，因此，在每一個階段工程單位與測試單位都需要完整的生產信息與關鍵物料信息的整合，協助FA(Failure Analysis)工程師與RD工程師合作，進行問題分析與解決方案設計。

由于每一個階段都是分秒必爭，并且還要能快速反應問題，求新求變，對于必須在限定時間內分析所有的問題且找出原因(當天的問題當天解決)將是一個高度困難的挑戰與目標。為了能加快FA工程師分析的速度以及有更多的時間做進階數據分析，快速收集所有生產信息，甚至往前追溯上游供應鏈關鍵信息都是非常必要的，但卻又相當耗費時間。

依據過去的經驗，工程師通常會花費80%的時間做數據收集與整合，卻只用20%的時間做數據分析與問題診斷；因此需要合理的規劃大數據系統的架構建設，形成一套完善的解決方案來扭轉這個局面，讓工程師只需要投入20%的時間做數據收集，能夠留下80%的時間做深入的數據分析與解析。

NPI階段數據分析需要解決兩個業務痛點。1)數據復雜且收集整合耗時：分析數據一般會橫跨多個孤島系統、且涉及不同部門，工程師需要與不同部門進行溝通，并且切換不同系統以取得數據，再加上數據格式不統一、數據質量無法保證，很多數據需要手工進行清洗整理，這樣僅一個問題的數據收集就可能花費好幾個小時。2)涉及信息太多：數據包含產品各階段的生產數據(產品測試數據、產線組裝數據、進料檢驗數據、關鍵物料數據、供貨商數據等)，各類數據量都很大(例如工站的監測項就有上千個，甚至上萬個)；手動整理數據容易發生錯誤，且不易察覺；再加上各類分析軟件有處理數據量的上限，使用分析軟件進行實時數據增加、刪除會很耗費精力。

方案中整體架構的實現以基礎數據為基底，通過SMC(Spark，Mesos，Cassandra)三套開源大數據產品將關聯性數據進行整合，再由數據集成框架DIF(Data Integration Framework)架構進行數據處理并提供多維度整合數據至數據服務接口DSP(Data Service Provider) API、分析工作流等服務，系統應用層利用多維度數據進行通用性分析、FA分析及查詢服務。如圖4所示，并分述如下。

圖4 方案整體架構

采集交換層：數據的采集需考慮應業務需求有效且完整的獲取各類系統的數據。鑒于采集的數據來源有內部系統、外部系統及非系統化的本地文件等，所以需要各系統之間進行數據交換，分別利用系統接口、網絡爬蟲轉換文件格式儲存及電子郵件方式等交換取得各數據。

集成處理層：此層級運行包含SMC、DIF及KM。該層主要考慮為各系統數據的關聯整合，因此著重于數據清洗、數據理解及數據的關聯，為分析層提供有效的模型處理能力。SMC提供基礎的計算和存儲資源；DIF主要支撐數據整合、數據處理運算、及信息呈現；KM主要接收各類型文檔進行分類儲存、解析文本，并利用Elasticsearch(一套支持全文檢索的開源項目)建立索引庫以及支持全文檢索服務。

建模分析層：數據分析層包含三個項目，分別為DSP API、分析工作流、KM API。在分析層構建API主要是為特定業務需求構建分析工作流提供分析模型的支撐。

決策控制層：該層實現用戶在單一平臺內快速獲取數據的需求，并快速開展業務分析。此外，知識庫的構建可以滿足工程師之間的技術傳承及新人訓練，幫助工程師自主學習成長，并減少溝通教學時間，可以讓工程師的時間得到最有效的利用。

合理設計大數據系統的架構實現使得數據分析的效率大大提升，能夠更好地支撐新產品制造NPI環節的各種分析需求，使每個步驟都能快速達到客戶要求。主要解決的問題可總結為以下幾點：1)時間短，數據整合收集所需時間大幅減少，由以前耗時2～4小時，提升至數分鐘以內。2)數據廣，整個NPI周期大約會生產5萬個產品，而NPI產線大約150個相關產品測試數據完整收集，涵蓋400多個關鍵物料及平均2000個測試項目，特定工站更高達4萬個測試項目，每日原始數據吞吐量可達22萬筆。3)效率快，工程師將原來數據收集的時間專注用來解決問題，并可利用剩余時間進一步分析預見問題。扭轉過去80/20的時間分配法則，讓工程師只用20%時間收集數據整理數據，而用80%時間專注在問題解決上。4)傳承快，前輩工程師將個人的經驗累積于平臺上，新人工程師可隨時學習到前人的知識。

3 結束語

工業大數據平臺已經成為數據時代工業企業的基礎架構，支撐著上層大數據業務的建設與發展，促進了頂層愿景和戰略的順利實施。而當前工業大數據平臺架構仍處于發展初期，尚未形成穩定、成熟的建設方案和建設路徑，故需要梳理工業大數據平臺架構方式及內容，明確其選型方案及建設路徑，規劃采集交換、集成處理、建模分析、決策需求等多環節技術體系，從而促進工業大數據應用的快速平穩落地，使工業領域的數據能發揮更大的價值，加速整個產業的變革。

[1] 彭俊松.工業4.0驅動下的制造業數字化轉型[M].北京:機械工業出版社,2017

[2] 王建民.探索走出符合國情的工業大數據自主之路——工業大數據的范疇、關鍵問題與實踐[J].中國設備工程,2015(9):36-37

[3] 工業互聯網產業聯盟.工業互聯網體系架構(版本1.0)[R].2017

[4] 工業互聯網產業聯盟.中國工業大數據技術與應用白皮書[R].2017

[5] 工業互聯網產業聯盟.工業大數據技術架構白皮書[R].2018

[6] 鄭樹泉,宗宇偉,董文生,等.工業大數據:架構與應用[M].上海:上海科學技術出版社,2017

[7] 數據中心聯盟.大數據平臺選型與建設指南白皮書(1.0版)[R].2017

[8] Lee J,Kao H A,Yang S.Service Innovation and Smart Analytics for Industry 4.0 and Big Data Environment [J].Procedia Cirp,2014,16:3-8

[9] Wang S,Wan J,Zhang D,et al.Towards smart factory for industry 4.0: a self-organized multi-agent system with big data based feedback and coordination [J].Computer Networks,2016,101:158-168