基于大數(shù)據(jù)的數(shù)據(jù)挖掘技術(shù)在工業(yè)信息化中的應(yīng)用分析

王韻滋 王爽

摘 要 在當(dāng)今全球大數(shù)據(jù)的環(huán)境下，將大數(shù)據(jù)的數(shù)據(jù)挖掘技術(shù)運(yùn)用在工業(yè)生產(chǎn)中，構(gòu)建從數(shù)據(jù)的感知與采集、數(shù)據(jù)的儲存與建模到數(shù)據(jù)的分析與決策的完整生產(chǎn)模型。能有效改善企業(yè)的生產(chǎn)安排、質(zhì)量監(jiān)督、故障排查和供應(yīng)鏈。提高其信息化、自動化水平，對于提高工業(yè)技術(shù)，促進(jìn)工業(yè)效率的提高具有重要作用。

關(guān)鍵詞 大數(shù)據(jù);數(shù)據(jù)挖掘技術(shù);工業(yè)信息化

引言

在當(dāng)今信息化技術(shù)飛速發(fā)展的時(shí)代，大數(shù)據(jù)技術(shù)運(yùn)用到生產(chǎn)生活的方方面面，在浩如煙海的信息中，想要快速定位抓住需要的信息存在一定困難，為解決這一問題，數(shù)據(jù)挖掘技術(shù)應(yīng)運(yùn)而生。數(shù)據(jù)挖掘技術(shù)能夠在海量數(shù)據(jù)中快速捕捉定位所需的信息資源，并將其運(yùn)用到生產(chǎn)和生活中。在信息時(shí)代，工業(yè)的發(fā)展需要精確的數(shù)據(jù)支撐，想要提高工業(yè)的信息化水平，充分運(yùn)用大數(shù)據(jù)提供的大量信息資源，就需要通過數(shù)據(jù)挖掘技術(shù)讓大數(shù)據(jù)為工業(yè)的所需提供相應(yīng)的資料，這樣在原有的實(shí)踐數(shù)據(jù)基礎(chǔ)上所做的研究就更加客觀，從而使大數(shù)據(jù)技術(shù)更好地支持工業(yè)產(chǎn)業(yè)的發(fā)展。

1工業(yè)領(lǐng)域中數(shù)據(jù)挖掘的內(nèi)涵與發(fā)展

數(shù)據(jù)挖掘技術(shù)是通過統(tǒng)計(jì)、數(shù)據(jù)分析、情報(bào)檢索、機(jī)器學(xué)習(xí)、可視化技術(shù)、模式識別、人工智能等技術(shù)手段，應(yīng)用算法，在大量數(shù)據(jù)中心搜索信息的技術(shù)過程。是工業(yè)領(lǐng)域中運(yùn)用大數(shù)據(jù)技術(shù)的重要環(huán)節(jié)。數(shù)據(jù)挖掘技術(shù)現(xiàn)在已經(jīng)在鋼鐵、化工、電力、無線通信等領(lǐng)域應(yīng)用并取得了較好的效果。在我國傳統(tǒng)工業(yè)發(fā)展緩慢、工業(yè)產(chǎn)業(yè)面臨轉(zhuǎn)型升級壓力的環(huán)境下，積極發(fā)展信息化的大數(shù)據(jù)技術(shù)是應(yīng)對當(dāng)下工業(yè)轉(zhuǎn)型、突破發(fā)展瓶頸的重要契機(jī)和有力技術(shù)支持。

我國傳統(tǒng)工業(yè)在改革開放后積極應(yīng)用電子信息技術(shù)，20世紀(jì)80年代后，數(shù)控機(jī)床、自動化設(shè)備、數(shù)字化企業(yè)等技術(shù)在工業(yè)企業(yè)內(nèi)大面積應(yīng)用。積累海量工業(yè)生產(chǎn)數(shù)據(jù)，但由于分析技術(shù)的限制，無法對數(shù)以百萬計(jì)的數(shù)據(jù)進(jìn)行有效甄別篩選和分析。直到21世紀(jì)，伴隨著高性能計(jì)算、數(shù)據(jù)庫、人工智能、機(jī)器學(xué)習(xí)等新技術(shù)的發(fā)展和應(yīng)用，形成了以數(shù)據(jù)挖掘?yàn)榇淼拇髷?shù)據(jù)技術(shù)，人類才能夠有效處理工業(yè)積累的大數(shù)據(jù)，并利用數(shù)據(jù)分析的結(jié)果，更好地為工業(yè)生產(chǎn)服務(wù)。工業(yè)大數(shù)據(jù)技術(shù)的發(fā)展和應(yīng)用，能夠?qū)I(yè)生產(chǎn)的全過程進(jìn)行監(jiān)控，通過收集工業(yè)生產(chǎn)數(shù)據(jù)，利用數(shù)據(jù)挖掘技術(shù)，做到及時(shí)發(fā)現(xiàn)問題、分析潛在風(fēng)險(xiǎn)并給出解決方案，從而提高工業(yè)的生產(chǎn)效率，保證工業(yè)的綠色可持續(xù)生產(chǎn)。這符合我國的經(jīng)濟(jì)發(fā)展方向，有利于加快工業(yè)化和現(xiàn)代化進(jìn)程[1]。

現(xiàn)階段較為成熟的工業(yè)大數(shù)據(jù)數(shù)據(jù)挖掘應(yīng)用有美國通用電氣公司的Predix平臺，該平臺將人，機(jī)，料，法，環(huán)的數(shù)據(jù)相互打通，從而轉(zhuǎn)變了原有的運(yùn)營模式，使得通用電氣公司對未來行業(yè)的發(fā)展更有預(yù)見性。國內(nèi)對于工業(yè)大數(shù)據(jù)數(shù)據(jù)挖掘探索較為成熟的有昆侖數(shù)據(jù)的機(jī)器大數(shù)據(jù)管理分析平臺和中國航天工業(yè)集團(tuán)的設(shè)備健康狀態(tài)管理平臺。總的來說，工業(yè)大數(shù)據(jù)數(shù)據(jù)挖掘在我國發(fā)展勢頭迅猛，但仍舊應(yīng)用范圍較小，整體尚不成熟。

2數(shù)據(jù)挖掘的一般框架

2.1 數(shù)據(jù)的感知與采集

這一過程分為數(shù)據(jù)獲取和接入治理兩個(gè)部分。

（1）數(shù)據(jù)獲取，由傳感器網(wǎng)絡(luò)技術(shù)、自動識別技術(shù)和數(shù)字化集成技術(shù)為主要技術(shù)支撐。由于傳感器技術(shù)的發(fā)展，現(xiàn)代工業(yè)企業(yè)的數(shù)控機(jī)床、加工機(jī)器人等設(shè)備中都配備傳感器，以監(jiān)控生產(chǎn)全過程，在這個(gè)過程中，傳感器收集大量關(guān)于產(chǎn)品和設(shè)備狀況的數(shù)據(jù)，極大降低數(shù)據(jù)的收集成本。自動識別技術(shù)，通過二維碼、光信號以及嵌入式等能縱向追蹤的技術(shù)獲取工業(yè)生產(chǎn)中工業(yè)產(chǎn)品和設(shè)備時(shí)間序列數(shù)據(jù)。數(shù)據(jù)化集成，一般采用制造企業(yè)生產(chǎn)過程執(zhí)行管理系統(tǒng)、企業(yè)資源計(jì)劃、產(chǎn)品數(shù)據(jù)管理將數(shù)據(jù)整合傳輸。

（2）接入治理，由數(shù)據(jù)獲取的原始數(shù)據(jù)噪音較大，數(shù)據(jù)源眾多，導(dǎo)致存在數(shù)據(jù)重復(fù)和數(shù)據(jù)異構(gòu)等狀況，必須通過異構(gòu)數(shù)據(jù)優(yōu)化，數(shù)據(jù)去重等治理手段對數(shù)據(jù)進(jìn)行處理以確保數(shù)據(jù)的準(zhǔn)確性。一般通過多源數(shù)據(jù)控制技術(shù)，利用矢量化和動態(tài)調(diào)節(jié)的手段，解決異構(gòu)數(shù)據(jù)的問題，對數(shù)據(jù)類型進(jìn)行統(tǒng)一。采用數(shù)據(jù)融合技術(shù)實(shí)現(xiàn)實(shí)時(shí)去重和降噪的目的[2]。

2.2 數(shù)據(jù)的儲存與建模

由于數(shù)據(jù)挖掘的對象是海量的數(shù)據(jù)，這對存儲和建模技術(shù)提出了更高的要求。

（1）儲存技術(shù)，較為主流的方式是采用分布式基礎(chǔ)構(gòu)架Hadoop，Hadoop由HDFS和MapReduce兩部分組成，HDFS負(fù)責(zé)儲存海量數(shù)據(jù)，HDFS具有三個(gè)優(yōu)勢。一是具有高容錯(cuò)性，能有效降低因數(shù)據(jù)錯(cuò)亂引發(fā)的系統(tǒng)崩潰;二是對硬件要求較低，可以在價(jià)格低廉的硬件設(shè)備上運(yùn)行，降低成本;三是數(shù)據(jù)吞吐量高，超大數(shù)據(jù)集的運(yùn)行。MapReduce負(fù)責(zé)對數(shù)據(jù)的計(jì)算，MapReduce是通過映射和歸納的方式保證所有映射值對中的每一個(gè)共享相同的鍵組，從而實(shí)現(xiàn)分布可靠的特點(diǎn)。

（2）建模技術(shù)主要以面向全局的制造數(shù)據(jù)本體建模技術(shù)為主。由于采集到的工業(yè)數(shù)據(jù)缺乏統(tǒng)一的定義，導(dǎo)致數(shù)據(jù)片段無序離散，通過分別對工業(yè)流程中各項(xiàng)要素建模，如設(shè)備建模、產(chǎn)線建模、產(chǎn)品建模等。最終運(yùn)用多級混合儲存技術(shù)進(jìn)行全局?jǐn)?shù)據(jù)儲存，保證工業(yè)數(shù)據(jù)以統(tǒng)一標(biāo)準(zhǔn)儲存在數(shù)據(jù)庫中。

2.3 數(shù)據(jù)的分析與決策

數(shù)據(jù)的分析和決策中，數(shù)據(jù)分析與決策的核心就是數(shù)據(jù)挖掘。數(shù)據(jù)挖掘技術(shù)能對大數(shù)據(jù)從不同維度根據(jù)需要，快速的提取信息。數(shù)據(jù)分析一般分為數(shù)據(jù)集選取、數(shù)據(jù)預(yù)處理、數(shù)據(jù)轉(zhuǎn)換、數(shù)據(jù)建模和結(jié)果分析，五個(gè)步驟。而其中數(shù)據(jù)建模主要方式是通過構(gòu)建分類模型、聚類模型、預(yù)測模型和關(guān)聯(lián)模型來實(shí)現(xiàn)發(fā)現(xiàn)知識、提取信息的目標(biāo)。

（1）分類模型。將收集的工業(yè)信息應(yīng)用機(jī)器學(xué)習(xí)技術(shù)，通過監(jiān)督學(xué)習(xí)或無監(jiān)督學(xué)習(xí)，使程序識別數(shù)據(jù)類別，在這個(gè)過程中可人工規(guī)定分類標(biāo)準(zhǔn)，也可以讓程序自主劃分分類標(biāo)準(zhǔn)，繼而對數(shù)據(jù)進(jìn)行分類，從而構(gòu)建分類模型。

（2）聚類模型。利用模型識別和對抗神經(jīng)網(wǎng)絡(luò)技術(shù)通過對各類別數(shù)據(jù)的比對，對各類數(shù)據(jù)的特征量進(jìn)行關(guān)聯(lián)度比較，找出數(shù)據(jù)間的相似性，將相似的數(shù)據(jù)集分成一個(gè)類，從而進(jìn)行聚類分析，構(gòu)建聚類模型

（3）預(yù)測模型。實(shí)現(xiàn)預(yù)測有較多的技術(shù)手段，如決策樹、貝葉斯分類，集成學(xué)習(xí)模型，馬爾科夫模型等。其原理都是通過對訓(xùn)練集集中數(shù)據(jù)的反復(fù)訓(xùn)練，在防止過度擬合的同時(shí)，找到擬合度最佳的參數(shù)模型，從而構(gòu)建預(yù)測模型。

（4）關(guān)聯(lián)模型。關(guān)聯(lián)模型的構(gòu)建一般通過關(guān)聯(lián)規(guī)則分析來實(shí)現(xiàn)，由于工業(yè)生產(chǎn)過程中各個(gè)生產(chǎn)環(huán)節(jié)環(huán)環(huán)相扣，通過對大量數(shù)據(jù)的對比，進(jìn)行關(guān)聯(lián)規(guī)則分析，能夠找到關(guān)鍵指標(biāo)，從而建立關(guān)聯(lián)模型[3]。

在四種模型的構(gòu)建中，通常會運(yùn)用不同類型的數(shù)據(jù)挖掘算法，如關(guān)聯(lián)關(guān)系挖掘算法、分類與聚類算法、回歸與預(yù)測算法和機(jī)器學(xué)習(xí)算法等。算法的選擇與模型的構(gòu)建主要根據(jù)數(shù)據(jù)挖掘的不同目標(biāo)而確定，通過對目標(biāo)的分析和描述，最終確定構(gòu)建模型的算法和模型的框架。

模型構(gòu)建完畢后對測試集數(shù)據(jù)進(jìn)行運(yùn)行并分析，利用可視化技術(shù)形成圖表，最終形成輔助決策的預(yù)測信息。

3數(shù)據(jù)挖掘技術(shù)在工業(yè)信息化中的運(yùn)用

數(shù)據(jù)挖掘技術(shù)在工業(yè)中的運(yùn)用體現(xiàn)在方方面面，如在工業(yè)產(chǎn)品生產(chǎn)制造、銷售、售后的每個(gè)環(huán)節(jié)都將運(yùn)用到大數(shù)據(jù)技術(shù)。數(shù)據(jù)挖掘技術(shù)在每一個(gè)環(huán)節(jié)都能用得到，并能提高效率，在實(shí)現(xiàn)工業(yè)自動化過程中很大一方面都需要依靠大數(shù)據(jù)的數(shù)據(jù)挖掘技術(shù)。建立工業(yè)信息數(shù)據(jù)庫，將有效的數(shù)據(jù)進(jìn)行輸入，然后再對數(shù)據(jù)進(jìn)行分析，提取有用的信息，提高工業(yè)的智能化程度。工業(yè)中將用到很多工業(yè)設(shè)備，及時(shí)對設(shè)備進(jìn)行診斷是很有必要的，能夠精準(zhǔn)地抓住設(shè)備所出現(xiàn)的問題，然后進(jìn)行修理，提高機(jī)器的運(yùn)行效率，減少人工操作，將大大地提高機(jī)器作業(yè)能力。在工業(yè)生產(chǎn)領(lǐng)域，數(shù)據(jù)挖掘技術(shù)一般應(yīng)用在生產(chǎn)安排、質(zhì)量監(jiān)督、故障排查和供應(yīng)鏈優(yōu)化四個(gè)方面[4]。

（1）生產(chǎn)安排。由于傳感器網(wǎng)絡(luò)和自動識別技術(shù)在整個(gè)生產(chǎn)過程中的應(yīng)用，通過對生產(chǎn)全過程的實(shí)時(shí)動態(tài)監(jiān)控可以實(shí)現(xiàn)對物料使用情況的實(shí)時(shí)監(jiān)控、對設(shè)備健康狀況的預(yù)先排查，還可以通過數(shù)據(jù)挖掘技術(shù)分析預(yù)測完工期、磨具壽命等變量，預(yù)先發(fā)現(xiàn)生產(chǎn)過程中可能出現(xiàn)的問題，能夠減少誤差，提高安全性，轉(zhuǎn)變被動應(yīng)對突發(fā)事件的運(yùn)行模式，保證生產(chǎn)線穩(wěn)定順利運(yùn)行，通過及時(shí)主動調(diào)整生產(chǎn)計(jì)劃，最終保證生產(chǎn)工作按時(shí)完成。

（2）質(zhì)量監(jiān)督。傳統(tǒng)質(zhì)量管理基于產(chǎn)品的質(zhì)量檢查和次品率，是一種節(jié)點(diǎn)管理手段，這一管理方式確實(shí)能有效保障產(chǎn)品質(zhì)量，但對于從整個(gè)生產(chǎn)過程的角度保證產(chǎn)品質(zhì)量以及對生產(chǎn)流程優(yōu)化改善的幫助并不明顯。基于數(shù)據(jù)挖掘技術(shù)的質(zhì)量監(jiān)督通過對生產(chǎn)過程各個(gè)環(huán)節(jié)重要參數(shù)的收集，形成時(shí)間序列數(shù)據(jù)，分析評估與次品相關(guān)的關(guān)鍵指標(biāo)，能夠直接在具體的生產(chǎn)環(huán)節(jié)及時(shí)發(fā)現(xiàn)導(dǎo)致次品產(chǎn)生的原因，及時(shí)進(jìn)行優(yōu)化改善，使生產(chǎn)企業(yè)在全面掌握產(chǎn)品質(zhì)量性能的基礎(chǔ)上形成質(zhì)量實(shí)時(shí)質(zhì)量診斷系統(tǒng)，智能定位質(zhì)量問題[5]。

（3）故障排查。傳統(tǒng)故障診斷是在設(shè)備發(fā)生故障后，停運(yùn)生產(chǎn)線，通過專家判斷故障類型，并進(jìn)行維修，這屬于典型的事后管理，處置與維護(hù)具有滯后性。基于數(shù)據(jù)挖掘技術(shù)的故障排查是通過設(shè)備上的傳感器，實(shí)時(shí)收集設(shè)備運(yùn)轉(zhuǎn)的關(guān)鍵數(shù)據(jù)，如負(fù)荷、震動、溫度、壓力、電流等。通過數(shù)據(jù)挖掘的數(shù)據(jù)分析，與生產(chǎn)數(shù)據(jù)、知識庫進(jìn)行比對，實(shí)現(xiàn)對設(shè)備故障的預(yù)測和診斷，并自動生成維護(hù)建議，從而實(shí)現(xiàn)對設(shè)備故障的事前管理，提高工作效率。

（4）供應(yīng)鏈優(yōu)化。由自動識別技術(shù)、物聯(lián)網(wǎng)以及傳感器技術(shù)構(gòu)建起完整的供應(yīng)鏈數(shù)據(jù)庫。利用該數(shù)據(jù)庫，通過回歸分析和聚類分析等數(shù)據(jù)挖掘手段，實(shí)時(shí)監(jiān)控全產(chǎn)業(yè)鏈供求變化，挖掘潛在供應(yīng)鏈風(fēng)險(xiǎn)。預(yù)測物料需求情況和供給情況，在維持低庫存的情況下防止避免物料供給不足，以實(shí)現(xiàn)庫存管理最優(yōu)化和物流成本最低化。

大數(shù)據(jù)的數(shù)據(jù)挖掘技術(shù)在工業(yè)中的運(yùn)用還體現(xiàn)在其他很多方面，數(shù)據(jù)化的發(fā)展很大程度上提高了工業(yè)的生產(chǎn)效率，提高我國的工業(yè)信息化、自動化水平，保證我國的工業(yè)健康、穩(wěn)定、高效地發(fā)展[6]。

4結(jié)束語

在大數(shù)據(jù)時(shí)代，數(shù)據(jù)挖掘技術(shù)對于工業(yè)信息化發(fā)展十分重要，面對傳統(tǒng)工業(yè)的轉(zhuǎn)型，為了能夠讓工業(yè)有序健康地發(fā)展，將數(shù)據(jù)挖掘、大數(shù)據(jù)分析等新型技術(shù)運(yùn)用到企業(yè)發(fā)展和生產(chǎn)中是促進(jìn)工業(yè)轉(zhuǎn)型升級的關(guān)鍵手段。提高工業(yè)的信息化水平和自動化能力，是符合當(dāng)今時(shí)代對工業(yè)發(fā)展的要求，更符合《中國制造2025》的國家戰(zhàn)略。工業(yè)是國家的支柱性產(chǎn)業(yè)，優(yōu)化生產(chǎn)流程，提高生產(chǎn)效率能有效提高我國的工業(yè)能力，從而進(jìn)一步提升我國綜合經(jīng)濟(jì)實(shí)力。面對全球的信息風(fēng)暴，能夠快速準(zhǔn)確地將有用的信息挖掘出來，將其運(yùn)用到工業(yè)生產(chǎn)中，促進(jìn)我國的經(jīng)濟(jì)發(fā)展，將不同的學(xué)科信息交叉相結(jié)合，信息互換和交流能夠更好地提高技術(shù)水平，在工業(yè)發(fā)展中唯有技術(shù)才是保障也是助力，能夠有效地提高工業(yè)信息化水平。

參考文獻(xiàn)

[1] 何沙，胡堯，王林元，等.基于大數(shù)據(jù)技術(shù)的應(yīng)急決策指揮體系構(gòu)建——以中國國際石油合作突發(fā)事件為例[J].科技管理研究，2017（3）：11-12.

[2] 龔健.數(shù)據(jù)挖掘技術(shù)在農(nóng)業(yè)信息服務(wù)中的應(yīng)用研究[D].合肥：安徽農(nóng)業(yè)大學(xué)，2018，16（3）：109.

[3] 姚璐.大數(shù)據(jù)時(shí)代下企業(yè)管理及應(yīng)用[J].科技創(chuàng)業(yè)月刊，2018（1）： 82-83.

[4] 于文.大數(shù)據(jù)時(shí)代背景下數(shù)據(jù)挖掘技術(shù)與企業(yè)信息化[J].通訊世界，2016，23（2）：62.

[5] 趙穎.面向生產(chǎn)管控的工業(yè)大數(shù)據(jù)研究及應(yīng)用[J].計(jì)算機(jī)科學(xué)，2019，46（6A）：45-46.

[6] 許寧.基于大數(shù)據(jù)的數(shù)據(jù)挖掘技術(shù)在工業(yè)信息化中的應(yīng)用探究 [J].現(xiàn)代工業(yè)經(jīng)濟(jì)和信息化，2017，154（22）：50-54.