面向工業4.0的多表架構與NoSQL大數據集成的數據存儲策略研究

文棒棒，曾獻輝

(1. 東華大學 信息科學與技術學院，上海 201620；2.數字化紡織服裝技術教育部工程研究中心，上海 201620)

?

面向工業4.0的多表架構與NoSQL大數據集成的數據存儲策略研究

文棒棒1,2，曾獻輝1,2

(1. 東華大學 信息科學與技術學院，上海 201620；2.數字化紡織服裝技術教育部工程研究中心，上海 201620)

工業4.0環境下，生產現場的監測數據除了需要實時顯示與分析外，還需要作為歷史記錄進行保存。面對海量的生產數據，現有的數據庫技術已經很難滿足該要求。提出了一種基于傳統數據庫多表架構與NoSQL大數據庫相結合的新型數據存儲方案。該方案基于傳統數據庫的多表架構實現實時數據的分布式存儲，同時將歷史數據遷移至NoSQL大數據庫，解決了工業4.0下的海量數據存儲問題。最后給出了某企業基于SQL Server和MongoDB的實際應用，驗證了本文方法的正確性和有效性。

多表結構；NoSQL大數據庫；數據遷移；MapReduce分析

引用格式：文棒棒，曾獻輝．面向工業4.0的多表架構與NoSQL大數據集成的數據存儲策略研究[J].微型機與應用，2016,35(18)：6-9.

0　引言

進入21世紀以來，隨著網絡信息技術、智能科學的蓬勃發展，信息化和智能化正逐步融合到工業生產中，向人們展示著工業4.0時代的到來[1]。在工業4.0 時代，企業在生產過程中累積的大量與生產監測相關的數據匯聚成數據的海洋，這些數據不僅種類繁多同時產生速度快、價值密度低。要充分利用這些數據，就需要企業不僅能夠實現這些數據的實時顯示與分析，同時又能夠對產生的歷史數據進行有效的存儲與分析。本文針對此問題，提出了一種基于傳統數據庫多表架構和大數據相結合的數據存儲策略，該方法解決了工業數據的實時存儲，同時可實現對海量歷史數據的有效保存與分析，以幫助企業充分利用這些數據。

1　工業數據存儲技術

工業4.0時代的到來，也意味著工業生產大數據時代的到來[2]。一般意義上講，大數據具有數據量大、數據種類多、商業價值高、處理速度高等特點。在此基礎上，工業生產中的數據還有兩大特點：一是準確率高，二是實時性強。工業生產中重要的應用場景是實時監測、實時預警、實時控制。一旦數據的采集、傳輸和應用等全處理流程耗時過長，就難以在生產過程中發揮其價值[3]。如圖1所示，在多個采集工作站進行數據采集時，每天產生的數據量都是非常大的，此時不僅要保證這些數據的實時性，同時還需要一種存儲技術能夠實現這些數據的歷史保存。傳統的數據庫存儲技術主要有兩種：一種是采用數據直接存放的方式，即單一表格存儲；另一種則是采用數據庫多表架構的方式，即多表存儲。

圖1　工業生產數據網絡拓撲圖

1.1數據庫單表直接存放形式存儲

傳統的數據庫存儲方法大多采用數據的直接存放形式，即單一表格形式。這種方法是將所有數據都直接存放在一個單表里，表中包括數據的所有字段和記錄。該方法的優點是設計簡單，使用非常方便，能夠較好地實現數據的存儲。但是由于只是單個表格，當單表數據量非常大時，數據庫的訪問速度會急劇下降，會使得系統變得相當不穩定，此時若繼續對數據進行查詢與插入，甚至可能出現死機等不能運作的情況。因此這種方法不適合大量數據的實時存儲。

1.2數據庫多表分布式存儲

不同于數據的直接存儲方式，分表，顧名思義，就是通過一系列的切分規則將數據分布到不同的表中，如按照自然時間來分，可分為按日生成表、按月生成表和按年生成表。分表不僅能夠更好地完成大量數據的分布式存儲，增大數據庫的存儲容量，而且減少了數據庫的負擔，提高了數據庫的效率，特別是提高了單個表的增刪改查效率，能夠實現數據的實時顯示與分析。但是，對于分表后存儲的歷史數據，在對其進行統計分析時往往需要遍歷所有的表格進行多表之間的聯合，查詢速度會相當慢，不便于實現歷史數據的有效分析。

1.3NoSQL大數據庫存儲

隨著工業生產數據的不斷增加，關系型數據庫在面對大量歷史數據的存儲和訪問等問題上逐漸暴露出一些不足之處。為了彌補這些不足，NoSQL數據庫應運而生。NoSQL[4](Not Only SQL)是對傳統關系型數據庫以外的非關系型數據庫的統稱。NoSQL數據庫憑借其不固定的鍵值對結構打破了傳統數據庫中表與表之間的關聯問題導致的性能瓶頸，大大減少了對歷史數據進行存儲、計算、查詢等操作在時間和空間上的開銷。但是，在實時數據的分析與顯示方面，NoSQL往往顯得力不從心，數據處理不夠快速，且不能直觀顯示處理后的結果。

2　多表架構與大數據集成的新的數據存儲策略

圖2　傳統數據庫多表與NoSQL結合的數據存儲流程

面對工業生產上的實時數據，不僅要求能夠對其進行實時顯示與分析，同時還要將其作為歷史數據進行保存。對此，現有的數據庫方法已經無法滿足。本文提出一種基于傳統數據庫多表架構與NoSQL大數據庫相結合的新型數據存儲方案，該方案利用傳統數據庫的多表方法實現數據的實時存儲，并實現對數據的實時操作與查詢顯示。此外，對于累積的歷史數據，則利用數據遷移技術遷移至NoSQL數據庫進行歷史保存，不僅解決了海量數據的存儲問題，而且可以利用大數據技術對歷史數據進行深層次的分析處理，以實現生產數據的最大化利用。圖2所示為傳統數據庫與NoSQL大數據庫相結合的數據存儲方案的處理流程。

2.1傳統多表架構實現實時存儲與訪問

利用傳統數據庫的多表架構可以實現數據的實時存儲與訪問，而多表的實現則主要利用存儲過程方法。存儲過程，即一組預先寫好的能實現某種功能的一段程序，將其保存在數據庫中，以后若要實現該功能則直接可調用該程序來完成[5]。因此，只要預先定義好存儲過程，當對數據進行存儲時則可直接進行調用，從而將數據實時地存儲在不同的表格里。而對于數據的訪問，同樣可以將相應的操作通過建立存儲過程來實現。利用多表架構一方面能夠保證數據的實時性存儲要求，另一方面將數據存儲在多個表里可以提高每個表的訪問速度，便于對表中的數據進行實時顯示與相應的增刪改查處理。

2.2大數據技術實現歷史記錄保存與分析

數據庫多表架構解決了數據的實時性問題。但是，對于如何將這些海量數據作為歷史記錄進行有效保存同時可以實現對其深層次的分析與利用，傳統的數據庫方法已經無法滿足要求。此時，大數據存儲技術的優勢則脫穎而出。NoSQL數據庫具有高水平擴展能力和低端硬件集群，可以很好地應對海量數據的存儲問題。利用數據遷移技術，即通過不同的接口函數訪問不同的數據庫，實現歷史數據從傳統數據庫向NoSQL大數據庫的遷移。而將數據存儲在NoSQL數據庫后，可利用大數據分析技術實現歷史記錄的分析處理。例如MapReduce[6-7]，它是一種并行編程模型，用于大規模數據集的并行運算，其特點是簡單易學，適用廣泛，能夠降低并行編程難度，程序員只需實現其中的map函數和reduce函數，而具體操作則交由MapReduce自身的框架來處理。

3　多表架構與NoSQL大數據存儲策略的實現與應用分析

為了驗證本文所提出方案的正確性和有效性，本文結合了某智能制造廠在生產過程中機器產生的大量數據來對其進行分析與應用。根據對智能制造廠生產現場的分析，得知其存在多個車間，且每個車間都有上千臺機器，每臺機器在工作時都會產生大量的數據。為了能夠充分利用這些數據，首要的任務就是要解決如何把這些數據實時地存儲下來。通過比較分析，最終采用傳統的SQL Server數據庫對實時數據進行存儲，而對于歷史數據的存儲與分析則采用NoSQL數據庫中的MongoDB數據庫。

3.1實時數據的存儲與分析

圖3　實時數據多表存儲的處理流程

在數據的實時存儲方面，采用SQL Server數據庫多表架構的存儲方法。該方法首先將預先定義好的存儲過程存儲在SQL Server數據庫中，在對數據進行存儲之前，先調用存儲過程檢測數據庫是否連接，若未連接，則要求連接；連接以后獲取當前時間檢測數據表是否存在，若不存在則調用其他存儲過程生成當前時間的數據表；當數據表存在后則可進行數據的實時性讀寫與插入。數據的整個存儲過程都是調用預先定義好的語句，通過存儲過程實現多表的按日生成，避免了傳統數據存儲時的繁瑣語句。同時若需要對數據進行實時查詢與顯示，同樣可通過定義好的SQL語句生成存儲過程實現對批量數據的增刪改查。圖3所示為利用存儲過程實現實時數據多表方式的存儲流程。

3.2歷史數據的遷移與存放

圖4　歷史數據的遷移與存放處理流程

對實時數據進行SQL Server多表存儲和實時分析后，利用數據遷移技術將數據遷移至NoSQL數據庫進行存儲和分析。MongoDB[8]數據庫是NoSQL數據庫的一種，其存儲結構為典型的key-value鍵值對型，而且它最大的特點是具有強大的查詢功能，支持通用輔助索引和復合索引，能夠進行多種快速查詢，同時還支持各種分析工具，可以很好地對數據進行統計分析。因此，可以通過傳統數據庫的ADO技術來訪問SQL Server數據庫，將SQL Server中的數據轉移到MongoDB數據庫中，實現海量歷史數據的存儲。如圖4所示，首先進行SQL Server的連接，其連接形式為：

string conStr = "server=(local); Initial Catalog = Textile; Integrated Security = true";

SqlConnection connection = new SqlConnection(conStr);

SqlCommand cmd = connection.CreateCommand();

connection.Open();

在連接數據庫后可自行設置SQL命令將數據庫中的數據轉移到MongoDB中，在此之前需要利用MongoDB Driver 進行MongoDB數據庫的連接，其實現方式為：

string connString = "mongodb://127.0.0.1:27017";

MongoServer server = MongoServer.Create(connString);

MongoDatabase mydb = server.GetDatabase("mydb");

MongoCollection test = mydb.GetCollection("test");

3.3基于MapReduce的大數據分析

MongoDB作為NoSQL大數據庫的一種，其除了可以實現海量歷史數據存儲以外，還提供了多種靈活和強大的數據聚合工具，其中就包括MapReduce。圖5所示為MapReduce在MongoDB數據庫中的操作流程。

圖5　MapReduce的處理流程圖

為了更清楚地了解MapReduce編程模型的強大之處，本文結合智能制造廠生產現場的監測數據，利用MapReduce，通過設備在10天內的開關機狀態計算出設備的生產效率值，從而幫助企業更加合理地調度生產資源實現資源的最大化利用。圖6所示為處理流程圖。

圖6　MapReduce計算設備生產效率處理流程圖

4　結論

本文針對在工業4.0環境下生產過程中產生的大量數據，提出一種基于傳統數據庫多表架構和NoSQL大數據結合的新型存儲策略，不僅完成了生產數據的實時存儲與實時訪問，而且利用數據轉移技術將歷史數據轉移至NoSQL大數據庫，解決了海量歷史數據的存儲問題，同時通過大數據分析技術實現對歷史數據的有效分析。最后通過某智能制造廠生產現場的監測數據，驗證了本文提出方法的正確性和有效性。

[1] 程曉蕾. 工業4.0架構下的工業大數據的需求、環境及服務化[J].赤峰學院學報, 2015,31(4):14-15.

[2] 沈雁, 戴瑜興, 湯睿. 基于嵌入式數據庫的分布式大壩監測數據匯聚器設計[J].電子技術應用, 2011,37(5):39-41.

[3] FAZIO M, CELESTI A, PULIAFITO A, et al. Big data storage in the cloud for smart environment monitoring[J]. Procedia Computer Science, 2015(5):500-506.

[4] 潘洪志. 高性能NoSQL存儲系統的研究與實現[D].長春: 吉林大學, 2014.

[5] 丌文娟. 對SQL Server存儲過程的研究與應用[J].廊坊師范學院學報, 2010,10(6):34-37.

[6] 謝桂蘭, 羅省賢. 基于Hadoop MapReduce模型的應用研究[J].微型機與應用, 2010，29(8):4-7.

[7] MAITREY S, JHA C K. MapReduce: simplified data analysis of big data[J]. Procedia Computer Science, 2015(7):563-571.

[8] 呂林. 基于MongoDB的應用平臺的研究與實現[D]. 北京:北京郵電大學, 2015.

Research on data storage strategy for Industry 4.0 using multi-table schema and NoSQL big data technique

Wen Bangbang1,2，Zeng Xianhui1,2

(1.College of Information Science and Technology, Donghua University, Shanghai 201620, China;2.Engineering Research Center of Digitized Textile &Apparel Technology, Ministry of Education, Shanghai 201620, China)

In Industry 4.0 environment, the monitoring data of production site needs to be real-timely displayed and analyzed, and also needs to be saved as a historical record. In the face of massive production data, the existing database technology is difficult to meet the requirements. This paper proposes a new data storage solution based on the combination of traditional database multi-table schema and NoSQL large database. It can not only implement the distributed storage of real-time data based on the traditional database multi-table schema, but also migrate the historical data to the NoSQL large database to solve the problem of massive data storage under Industry 4.0. Finally, through a practical application of an enterprise based on SQL Server and MongoDB, the validity and effectiveness of this method is verified.

multi-table schema; NoSQL large database; data migration; MapReduce analysis

TP392

ADOI： 10.19358/j.issn.1674- 7720.2016.18.001

2016-03-29)

文棒棒(1992-)，通信作者，男，碩士研究生，主要研究方向：數據庫應用技術、大數據分析。E-mail：1043967181@qq.com。

曾獻輝(1974-)，男，博士，副教授，主要研究方向:大數據挖掘、智能優化問題、決策與分析。