基于工業(yè)互聯(lián)網(wǎng)背景的大數(shù)據(jù)平臺建設(shè)研究

許基偉　馬欣

摘? 要：隨著信息技術(shù)和工業(yè)技術(shù)的迅猛發(fā)展，新型工業(yè)化道路應(yīng)運(yùn)而生，而工業(yè)大數(shù)據(jù)的平臺建設(shè)對加快新型工業(yè)化道路具有十分重要的意義，本文通過對工業(yè)和互聯(lián)網(wǎng)大數(shù)據(jù)進(jìn)行對比分析，結(jié)合工業(yè)互聯(lián)網(wǎng)與大數(shù)據(jù)的特點(diǎn)，闡述了二者之間的內(nèi)在聯(lián)系。基于此，提出了工業(yè)大數(shù)據(jù)平臺架構(gòu)以及相關(guān)的數(shù)據(jù)分級處理流程，最后指出了工業(yè)大數(shù)據(jù)平臺的應(yīng)用，包括資產(chǎn)管理、數(shù)據(jù)管理、數(shù)據(jù)分析和安全服務(wù)，為工業(yè)企業(yè)提供了平臺支持和數(shù)據(jù)服務(wù)。

關(guān)鍵詞：工業(yè)互聯(lián)網(wǎng);大數(shù)據(jù);平臺建設(shè)

中圖分類號：TP392? ? ?文獻(xiàn)標(biāo)識碼：A

Research on the Construction of Big Data Platform Based on Industrial Internet

XU Jiwei，MA Xin

（College of Civil Engineering，Nanjing Forestry University，Nanjing 210000，China）

Abstract：With the rapid development of information technology and industrial technology，a new road for industrialization has come into being and industrial big data platform construction is very important for speeding up the development to industrialization.Through comparative analysis of industry and big data on the Internet，the paper combines the characteristics of industrial Internet and big data to elaborate on the inner link between them.Accordingly，it puts forward the major industrial big data platform architecture and related data classification processing flow，and finally points out the application of industrial big data platform，including asset management，data management，data analysis and security services，which provides platform support and data service for industrial enterprises.

Keywords：industrial Internet;big data;platform construction

1? ?引言（Introduction）

隨著信息化和產(chǎn)業(yè)化進(jìn)程的加快，新型工業(yè)化道路應(yīng)運(yùn)而生，以運(yùn)用現(xiàn)代信息技術(shù)，用信息化帶動工業(yè)化。工業(yè)4.0和中國制造2025都以創(chuàng)新為共同發(fā)展理念，強(qiáng)調(diào)以信息技術(shù)為載體，加強(qiáng)創(chuàng)新驅(qū)動與智能化服務(wù)水平。因此強(qiáng)調(diào)建設(shè)工業(yè)化的網(wǎng)絡(luò)平臺，對數(shù)據(jù)進(jìn)行整理、分析、總結(jié)，工業(yè)企業(yè)應(yīng)當(dāng)發(fā)揮工業(yè)互聯(lián)網(wǎng)的作用，形成終端的服務(wù)信息系統(tǒng)。通過建設(shè)大數(shù)據(jù)的平臺，為傳統(tǒng)工業(yè)化的改造指明了方向，對新型工業(yè)化建設(shè)具有重要意義[1]。對工業(yè)互聯(lián)網(wǎng)信息進(jìn)行智能處理，實(shí)現(xiàn)數(shù)據(jù)同步、交換、集成、調(diào)用等功能，為工業(yè)企業(yè)提供數(shù)據(jù)平臺服務(wù)和決策支持[2]。

2? ?工業(yè)大數(shù)據(jù)分析與應(yīng)用（Analysis and application of industrial big data）

2.1? ?工業(yè)大數(shù)據(jù)分析

大數(shù)據(jù)特征體現(xiàn)在量、速度、多樣性、真實(shí)性四個(gè)方面，而工業(yè)大數(shù)據(jù)的特征在結(jié)合大數(shù)據(jù)的基礎(chǔ)上，附加了可見性和價(jià)值兩個(gè)特點(diǎn)。工業(yè)大數(shù)據(jù)歷經(jīng)了三個(gè)階段，如表1所示。工業(yè)大數(shù)據(jù)與互聯(lián)網(wǎng)大數(shù)據(jù)相比，最大的區(qū)別在于工業(yè)大數(shù)據(jù)具有很強(qiáng)的目的性，而互聯(lián)網(wǎng)大數(shù)據(jù)更多的是一種關(guān)聯(lián)的挖掘，是更加發(fā)散的一種分析，對數(shù)據(jù)的預(yù)測和解讀顯得尤為重要[3]，如表2所示。

2.2? ?工業(yè)大數(shù)據(jù)應(yīng)用

隨著信息技術(shù)的迅猛發(fā)展，工業(yè)企業(yè)也相繼進(jìn)入了互聯(lián)網(wǎng)工業(yè)的新的發(fā)展階段，工業(yè)大數(shù)據(jù)在此背景下創(chuàng)新和變革，其應(yīng)用范圍很寬泛。工業(yè)大數(shù)據(jù)通常應(yīng)用在制造、航空、軌道交通、船舶、石油、建筑等方面[4，5]，如表3所示。

3? ?工業(yè)互聯(lián)網(wǎng)與大數(shù)據(jù)（Industrial Internet and big data）

3.1? ?工業(yè)互聯(lián)網(wǎng)與大數(shù)據(jù)的聯(lián)系

工業(yè)企業(yè)發(fā)展的動力來自工業(yè)互聯(lián)網(wǎng)與大數(shù)據(jù)的融合，通過工業(yè)互聯(lián)網(wǎng)，將來自數(shù)據(jù)操控平臺中的信息匯總，依據(jù)相應(yīng)的產(chǎn)品技術(shù)要求，實(shí)現(xiàn)數(shù)據(jù)的解讀與分析，從而提煉出對企業(yè)有價(jià)值的信息。而大數(shù)據(jù)可以在跨學(xué)科技術(shù)融合的基礎(chǔ)上，進(jìn)行信息匯總與管理，提煉產(chǎn)品最具有價(jià)值的信息。通過互聯(lián)網(wǎng)與線下的其他傳播渠道，從而建立新投資目標(biāo)、發(fā)現(xiàn)新趨勢、提供解決復(fù)雜問題的新路徑。

3.2? ?工業(yè)互聯(lián)網(wǎng)與大數(shù)據(jù)的作用

工業(yè)互聯(lián)網(wǎng)是互聯(lián)網(wǎng)與智能制造的交叉點(diǎn)，在融合大數(shù)據(jù)的前提下，提升了產(chǎn)品的智能性，并充分拓展了行業(yè)的相關(guān)應(yīng)用。產(chǎn)品的智能化是把機(jī)器處理和導(dǎo)出系統(tǒng)滲透到產(chǎn)品的生產(chǎn)過程中，保證產(chǎn)品的感知、存儲等能力，實(shí)現(xiàn)產(chǎn)品的信息化定位、識別、復(fù)原。目前互聯(lián)網(wǎng)汽車、工程機(jī)械、智能家電等是產(chǎn)品智能化的熱點(diǎn)領(lǐng)域。同時(shí)，工業(yè)互聯(lián)網(wǎng)和大數(shù)據(jù)通過網(wǎng)絡(luò)連接到企業(yè)管理平臺。企業(yè)管理平臺可以利用無線網(wǎng)絡(luò)、視頻遠(yuǎn)程故障診斷等信息服務(wù)系統(tǒng)對設(shè)備運(yùn)行實(shí)現(xiàn)遠(yuǎn)程操控，及時(shí)播報(bào)預(yù)警[6]。

3.3? ?工業(yè)互聯(lián)網(wǎng)與大數(shù)據(jù)的特點(diǎn)

在工業(yè)互聯(lián)網(wǎng)時(shí)代，通過納入來自產(chǎn)業(yè)鏈上下游以及跨界的數(shù)據(jù)，實(shí)現(xiàn)工業(yè)從數(shù)據(jù)向大數(shù)據(jù)的轉(zhuǎn)變。工業(yè)互聯(lián)網(wǎng)與大數(shù)據(jù)主要呈現(xiàn)四個(gè)方面的特點(diǎn)，即：全要素、全過程、全方位、全融合。全要素是指為保證產(chǎn)品數(shù)據(jù)的完整性，其攜帶了產(chǎn)品全部的尺寸、工藝、制造、售后使用信息等;全過程是指為確保產(chǎn)品的最終質(zhì)量，在數(shù)據(jù)設(shè)計(jì)和使用時(shí)，必須要考慮跨越不同的設(shè)計(jì)、制造階段;全方位指具體到產(chǎn)品的生產(chǎn)線，從設(shè)計(jì)、制造、采購等，全方位地關(guān)注相關(guān)信息，確保產(chǎn)品的實(shí)用性。全融合指在信息技術(shù)支持的背景下，關(guān)注企業(yè)各業(yè)務(wù)的全面關(guān)聯(lián)及融合。

4? ?工業(yè)大數(shù)據(jù)平臺建設(shè)（Construction of industrial big data platform）

4.1? ?云平臺總體架構(gòu)

工業(yè)大數(shù)據(jù)云平臺通過尋找統(tǒng)一數(shù)據(jù)源、數(shù)據(jù)口徑和數(shù)據(jù)的出入口，來實(shí)現(xiàn)對各種專業(yè)的合理分析，并最終統(tǒng)一和完善企業(yè)信息模型。云平臺的總體架構(gòu)包括PaaS環(huán)境層、PaaS業(yè)務(wù)層、PaaS服務(wù)層。PaaS環(huán)境層為業(yè)務(wù)應(yīng)用提供支撐的軟件組件、各種中間件和數(shù)據(jù)庫等，以Hadoop為代表的大數(shù)據(jù)處理;PaaS業(yè)務(wù)層包含了應(yīng)用的后合程序、數(shù)據(jù)處理算法以及業(yè)務(wù)數(shù)據(jù)等實(shí)現(xiàn)業(yè)務(wù)能力的元素;PaaS服務(wù)層是指將業(yè)務(wù)層的業(yè)務(wù)、算法和數(shù)據(jù)以接口的形式提供給上層的前端應(yīng)用直接訪問?？傮w來說，云平臺總體架構(gòu)面向一般數(shù)據(jù)中心典型的應(yīng)用場景，提供對混合IT資源的統(tǒng)一接入，以構(gòu)筑云模式下基礎(chǔ)資源調(diào)度的最佳實(shí)踐，同時(shí)以PaaS能力為核心，將應(yīng)用系統(tǒng)的典型軟件組件以服務(wù)形態(tài)提供，為業(yè)務(wù)系統(tǒng)提供統(tǒng)一環(huán)境支持，并進(jìn)行統(tǒng)一管理和監(jiān)控，將大數(shù)據(jù)平臺作為典型服務(wù)組件整合到云平臺中進(jìn)行統(tǒng)一管理，以適應(yīng)未來應(yīng)用對大數(shù)據(jù)能力的普遍使用。為用戶更好地提供面向DevOps的統(tǒng)一云服務(wù)業(yè)務(wù)流程，以統(tǒng)一平臺提供傳統(tǒng)的laaS和PaaS能力，并貫穿開發(fā)、測試和生產(chǎn)的全過程[7]。

4.2? ?大數(shù)據(jù)平臺目標(biāo)架構(gòu)

大數(shù)據(jù)平臺目標(biāo)架構(gòu)包括五個(gè)層面：應(yīng)用層、能力層、數(shù)據(jù)層、獲取層、數(shù)據(jù)源，如圖1所示。其中Hadoop平臺是大數(shù)據(jù)平臺中的核心。通過建立分布式的文件管理系統(tǒng)，保證了大量數(shù)據(jù)安全存儲，建立了數(shù)據(jù)分析處理框架。Hadoop集群能迅速擴(kuò)展到頂級服務(wù)器，實(shí)現(xiàn)對大數(shù)據(jù)的批量處理。同時(shí)，Hadoop通過MapReduce可將任務(wù)分布并行運(yùn)行在一個(gè)集群服務(wù)器中，實(shí)現(xiàn)大規(guī)模并行計(jì)算，同時(shí)考慮到設(shè)備的不穩(wěn)定性，保證了計(jì)算的準(zhǔn)確性和高效性。而Hadoop云平臺以半結(jié)構(gòu)化數(shù)據(jù)和非結(jié)構(gòu)化數(shù)據(jù)為主，通過存儲海量數(shù)據(jù)，確保使用時(shí)的時(shí)效性與高效性。

4.3? ?大數(shù)據(jù)平臺中的數(shù)據(jù)分級存儲

數(shù)據(jù)分級存儲應(yīng)當(dāng)滿足一定的原則，即大數(shù)據(jù)平臺強(qiáng)調(diào)數(shù)據(jù)的生命周期性，隨著數(shù)據(jù)生命周期的變化逐步向通用性能存儲遷移，是分級存儲管理的主線。同時(shí)數(shù)據(jù)分級存儲在保證主線暢通的情況下，考慮到其他分級原則，確保數(shù)據(jù)遷移能夠覆蓋到各個(gè)層面。在滿足相關(guān)原則的基礎(chǔ)上，將核心模型改造，轉(zhuǎn)化為現(xiàn)有主數(shù)據(jù)倉庫的核心模型，減少了數(shù)據(jù)冗余。集成改造后，將主數(shù)據(jù)倉庫中的關(guān)鍵性數(shù)據(jù)轉(zhuǎn)移到一個(gè)低成本的分布式數(shù)據(jù)庫中，降低了主數(shù)據(jù)庫的存儲壓力。同時(shí)此存儲系統(tǒng)也支持?jǐn)?shù)據(jù)的深度分析。

4.4? ?大數(shù)據(jù)平臺中的數(shù)據(jù)處理流程

在滿足相關(guān)技術(shù)的基礎(chǔ)上，數(shù)據(jù)的采集工作通常包括結(jié)構(gòu)化和非結(jié)構(gòu)化的兩種數(shù)據(jù)采集，數(shù)據(jù)的具體處理過程分為七個(gè)環(huán)節(jié)：①源數(shù)據(jù)導(dǎo)入ETL，進(jìn)行數(shù)據(jù)的清洗、轉(zhuǎn)換和入庫;②基礎(chǔ)數(shù)據(jù)加載到主數(shù)據(jù)倉庫，規(guī)劃保存三年;③清洗、轉(zhuǎn)換后的ODS加載到分布式數(shù)據(jù)庫規(guī)劃保存兩個(gè)月，具體數(shù)據(jù)分析和匯總在分布數(shù)據(jù)庫中進(jìn)行，規(guī)劃保存兩年;④ODS數(shù)據(jù)和非結(jié)構(gòu)化數(shù)據(jù)，如爬到的網(wǎng)頁數(shù)據(jù)ftp到Hadoop平臺做長久保存;⑤非結(jié)化數(shù)據(jù)分析處理在Hadoop平臺完成，產(chǎn)生的結(jié)果加載到分布式數(shù)據(jù)庫;⑥生成KPI和高度匯總數(shù)振加載到主數(shù)據(jù)倉庫;⑦業(yè)務(wù)應(yīng)用通過數(shù)據(jù)訪問接口獲取所需求數(shù)據(jù)。

5? ?工業(yè)大數(shù)據(jù)平臺應(yīng)用（Application of industrial big data platform）

5.1? ?資產(chǎn)管理服務(wù)

資產(chǎn)管理服務(wù)的重點(diǎn)目標(biāo)是資產(chǎn)建模、連接資產(chǎn)和數(shù)據(jù)源，其服務(wù)范圍分為三個(gè)板塊：接口層支持資產(chǎn)分層、屬性分類和自定義建模對象，終端訪問對象建模層，通過轉(zhuǎn)換數(shù)據(jù)格式，以便于數(shù)據(jù)庫存儲和查詢;相關(guān)查詢引擎利用圖形表達(dá)式語言檢索數(shù)據(jù);圖形數(shù)據(jù)庫中包含資產(chǎn)服務(wù)數(shù)據(jù)存儲，并將原始數(shù)據(jù)描述成數(shù)據(jù)模型。資產(chǎn)管理服務(wù)中的資產(chǎn)模型是工業(yè)大數(shù)據(jù)平臺的關(guān)鍵，是連接平臺所有服務(wù)的中樞，能幫助應(yīng)用開發(fā)者更好的理解、分析和處理數(shù)據(jù)。

5.2? ?數(shù)據(jù)管理與服務(wù)

大數(shù)據(jù)平臺常用的數(shù)據(jù)管理與服務(wù)包括對各種類型數(shù)據(jù)進(jìn)行接入、處理和儲存。數(shù)據(jù)接入指支持多渠道、多類型的數(shù)據(jù)接入，包括實(shí)時(shí)數(shù)據(jù)接入和批量數(shù)據(jù)接入;數(shù)據(jù)處理包含對傳感器數(shù)據(jù)進(jìn)行標(biāo)簽處理、資產(chǎn)數(shù)據(jù)與ERP數(shù)據(jù)相結(jié)合等;數(shù)據(jù)儲存是根據(jù)不同的需求選擇相應(yīng)的存儲方式，類似時(shí)間序列存儲傳感器實(shí)時(shí)數(shù)據(jù)、BLOB數(shù)據(jù)庫存儲圖片式數(shù)據(jù)、關(guān)系型數(shù)據(jù)庫存儲其他數(shù)據(jù)等。

5.3? ?數(shù)據(jù)分析服務(wù)

數(shù)據(jù)分析服務(wù)通常指通過分析實(shí)時(shí)數(shù)據(jù)檢測設(shè)備狀態(tài)、預(yù)防設(shè)備故障、優(yōu)化生產(chǎn)過程等，并進(jìn)行迭代提升，在對歷史數(shù)據(jù)進(jìn)行整合和分析，包括異常檢測、事件流處理、分析運(yùn)行環(huán)境、分析界面、分析日志等服務(wù)項(xiàng)目，建立工業(yè)級的預(yù)測模型，以進(jìn)行更有效地生產(chǎn)和運(yùn)營。相較于數(shù)據(jù)自身的特點(diǎn)，數(shù)據(jù)分析服務(wù)在涉及技術(shù)層面的基礎(chǔ)上，更應(yīng)當(dāng)滿足企業(yè)與客戶的應(yīng)用需求，將極度專業(yè)化的技術(shù)描述，轉(zhuǎn)化為更容易的商業(yè)需求。

5.4? ?數(shù)據(jù)安全服務(wù)

數(shù)據(jù)安全服務(wù)的主要目標(biāo)為建立企業(yè)互聯(lián)網(wǎng)應(yīng)用，解決安全性問題，從而滿足企業(yè)互聯(lián)網(wǎng)端對端的安全需求。其服務(wù)范圍包括租戶管理、用戶賬戶和身份驗(yàn)證、訪問控制三個(gè)方面。租戶管理指為租戶提供特定服務(wù)實(shí)體及注冊表，完成租戶和服務(wù)實(shí)體間的完美映射，在確?？蛻魯?shù)據(jù)信息安全的基礎(chǔ)上，實(shí)現(xiàn)服務(wù)生命周期管理。用戶賬戶和身份驗(yàn)證是在傳統(tǒng)用戶信息驗(yàn)證方法的基礎(chǔ)上，增加多種驗(yàn)證方法完善身份驗(yàn)證系統(tǒng)。訪問控制是指建立資源訪問限制，增強(qiáng)用戶賬戶信息驗(yàn)證的權(quán)威性，同時(shí)不斷提升和優(yōu)化網(wǎng)絡(luò)訪問信息安全，實(shí)現(xiàn)復(fù)雜條件下的訪問控制。

6? ?結(jié)論（Conclusion）

隨著新型工業(yè)化道路的推進(jìn)，傳統(tǒng)的工業(yè)化道路已不能適應(yīng)當(dāng)前社會的發(fā)展需求，本文在結(jié)合信息化和產(chǎn)業(yè)化的手段，搭建了工業(yè)大數(shù)據(jù)平臺，并應(yīng)用于資產(chǎn)管理、數(shù)據(jù)管理、數(shù)據(jù)分析、數(shù)據(jù)安全服務(wù)等方面，未來工業(yè)發(fā)展的趨勢應(yīng)當(dāng)在構(gòu)建平臺的基礎(chǔ)上，實(shí)現(xiàn)產(chǎn)品智能化，確保產(chǎn)品生產(chǎn)的高效性。同時(shí)工業(yè)大數(shù)據(jù)平臺也為工業(yè)企業(yè)提供了商業(yè)支持和服務(wù)。

參考文獻(xiàn)（References）

[1] Du B，Huang R，Chen X，et al.Active CTDaaS：A Data Service Framework Based on Transparent IoD in City Traffic[J].IEEE Transactions on Computers，2016，65：1-10.

[2] Valerio Persico，Antonio Pescapé，Antonio Picariello，et al.

Benchmarking big data architectures for social networks data processing using public cloud platforms[J].Future Generation Computer Systems，2018，89：98-109.

[3] Jeon S，Hong B.Monte Carlo simulation-based traffic speed forecasting using historical big data[J].Future Generation Computer Systems，2016，65：182-195.

[4] 劉德賀，史玉峰.基于TLS技術(shù)的道路邊坡地表位移監(jiān)測研究[J].森林工程，2018，34（02）：95-99.

[5] 吳佳蔚，李希勝，曹璐琳，等.基于BIM技術(shù)的綠色建筑節(jié)地設(shè)計(jì)自動評價(jià)[J].建筑科學(xué)，2017，33（04）：123-128.

[6] 鄭加柱，高業(yè)何敏.自動推算室內(nèi)接入點(diǎn)坐標(biāo)算法[J].測繪通報(bào)，2018（02）：21-24;29.

[7] 魏洋，盧海鵬，劉小明，等.基于長標(biāo)距光纖光柵傳感器的連續(xù)梁橋監(jiān)測技術(shù)[J].鐵道科學(xué)與工程學(xué)報(bào)，2017，14（10）：2231-2238.

作者簡介：

許基偉（1996-），男，碩士生.研究領(lǐng)域：數(shù)據(jù)平臺.

馬? 欣（1977-），男，博士，副教授.研究領(lǐng)域：房地產(chǎn)經(jīng)濟(jì)與數(shù)據(jù)平臺搭建.