海量MES監控數據的高效存儲與處理

郝昕+馬超

摘 要：隨著云制造和工業大數據時代的來臨，傳統的MES監控系統正面臨著新的挑戰。海量的工業數據存儲需要更高的性能，日益增多的半結構化和非結構化數據則需要更加高效的存儲功能。為了解決這一問題，文章研究并實現了基于Hadoop技術存儲數據的MES監控系統，采用物聯網技術，通過傳感器網絡，監控網絡，RFID網絡來獲取MES監控系統有關設備，產品，人員的有關數據，數據存儲使用Hadoop技術，將數據存儲在遠端的分布式存儲數據庫中，減輕了本地數據庫的存儲壓力，提高了存儲能力和存儲速度。最后，文章以MES生產制造中的鉆攻機為測試用例，驗證了海量MES監控數據的高效存儲與處理。

關鍵詞：Hadoop；HDFS；HBASE；MES監控系統

中圖分類號：TP274 文獻標志碼：A 文章編號：2095-2945（2017）19-0031-02

引言

當今社會是云時代，隨著云計算的發展，越來越多的云應用開始融入到制造企業生產車間的日常業務，從原來僅僅使用本地化車間的制造資源與能力到現在逐漸開始使用云端的虛擬化制造資源與能力，從原來的本地數據存儲到現在的云存儲，云計算不知不覺中已經開始慢慢改變制造企業生產車間的業務過程，因此，作為管理生產車間業務過程的制造執行系統MES正面臨新的挑戰。

在當今的大數據時代下，MES監控系統也發生了變革，MES監控系統中越來越多的非結構化數據和半結構化數據也需要存儲到數據庫中，不斷挑戰著以前的關系型數據庫。但是隨著技術的增進，Hadoop的出現可以解決這個問題，Hadoop的設計目標是存儲海量數據，并為分布在網絡中的大量客戶端提供高效的數據訪問，并且Hadoop提供了HBASE4的機制，可以為MES監控系統中的非結構化數據，半結構化數據提供存儲。

1 海量多源異構的制造車間生產數據

在MES監控系統中，我們需要實時獲取這些信息：

1.1設備有關數據

1.1.1 設備運行的狀態參數

主要指在設備上安放傳感器和建立傳感器采集網絡，通過傳感器網絡來采集反映設備運行狀態的數據，例如設備的振動，溫度等指標，也就是傳統意義上的監控數據。同時也是MES監控系統中最主要的數據。

1.1.2 設備運行的工況數據

主要指設備的工作情況，如負載，轉速，運行模式等工作的設定信息，此類數據往往能從控制器內獲得，不同設備的工況數據衡量指標大不相同。

1.1.3 設備使用過程中的環境參數

指所有可能影響設備性能和運行狀態的環境信息，也就是設備的工作車間信息，如溫度，風速，濕度等信息。采集環境參數信息能夠幫助我們更好地理解設備運行所受環境影響的規律，幫助我們將由于設備狀態和環境變化引起的性能變化區分開來。

1.1.4 設備運行監控視頻

在車間內安裝攝像頭，以便攝錄車間內設備的工作情況。用于在設備出現故障時，及時查看設備工作情況視頻，以便觀察設備出現故障前的工作狀態，進行設備故障分析，更好的進行設備維修。

1.1.5 設備工作計劃

從MES生產調度系統中實時獲取整個車間的最新生產計劃，以便生產車間及時進行生產設備調整，更快的應對生產計劃改變。

1.2 產品有關數據

1.2.1 產品工藝圖

指產品的設計階段中，產品的工藝流程圖，其記載了產品所需工藝和工藝加工順序，工藝加工時間，以及產品工藝所需車間設備。

1.2.2 產品生產流程

指產品在實際生產階段中，產品的RFID標簽記錄的產品的生產流程圖，其流程圖記錄了產品的生產工藝，及工藝所負責加工的設備信息，由于MES車間環境變化巨大，MES生產調度系統實時根據車間環境調整生產計劃，故產品的實際生產流程和產品工藝圖是有一定區別變化的。

1.3 人員有關數據

1.3.1 人員實時位置

通過在車間內建立RFID收發網絡，生產人員佩戴RFID芯片，通過在不同的車間內建立不同的載波信號區域，人員進入到不同的載波區域，RFID芯片激活，將RFID所記錄的信息傳送到服務器，以達到人員的實時位置管理。

1.3.2 人員加工計劃

記錄了加工人員所負責的生產設備的加工計劃，包括人員所負責的工藝，所負責的設備，加工時段。

2 基于物聯網技術的數據實時獲取

2.1 傳感器采集網絡

由于MES監控系統需要對車間生產數據實時采集監控并且后續還要對數據進行分析，所以我們采用無線網絡技術結合傳感器組建成傳感器網絡，傳感器憑借低廉的成本，以及對溫度，光線，震動，聲音等信息源感知的敏感性和精確性，可作為車間生產加工設備的感知器官，利用傳感器可以從生產車間獲取所需的環境參數，設備參數與運行狀況等詳細信息，為MES監控系統提供基礎的原始信息。

2.2 監控網絡

在生產車間內放置攝像頭和視頻服務器，攝像頭所記錄的原始視頻信號傳到視頻服務器，經視頻服務器編碼后，以TCP/TP協議通過網絡傳輸管理中心，網絡傳輸管理中心負責所有前段設備的管理，控制，報警處理，錄像，錄像回放，用戶管理等工作，并且在網絡傳輸管理中心為這些服務搭建專門的服務器，MES監控系統需要實時查看車間情況時，通過向網絡傳輸管理中心發送請求，從數據存儲的服務器中調取數據，進行遠程查看。

2.3 RFID網絡

在生產過程中，我們可以在產品內嵌入RFID芯片，來記錄產品的實際生產流程，我們可以在人員上佩戴RFID芯片，用于實時獲取人員的位置。

我們在不同車間內安置不同的射頻信號發射器，將低頻的加密數據載波信號經發射天線發送到不同的車間，這樣佩戴RFID芯片的工作人員在經過不同的發射天線工作區域后RFID被激活，將加密的載有目標識別碼的信息經卡內高頻發射模塊發射出去，接收天線收到RFID卡發來的載波信號，經車間內讀寫設備提取出目標識別碼，并傳輸到網絡傳輸管理中心，MES監控系統與網絡傳輸管理中心進行信息交互，這樣在MES監控系統中可實現對人員定位的管理。

3 基于HADOOP的MES監控數據存儲

3.1 HBASE數據庫

傳統的MES監控系統數據庫都是采用關系型數據庫，采用二維的表結構，來存儲著一些結構化數據，例如在傳統的MES監控系統中，只需不斷采集設備工作狀態參數，設備環境參數等參數，并且將信息存儲到數據庫中就完成了MES監控系統的流程。

我們可以用HBASE中的列式存儲和稀疏多維映射表技術來對MES監控系統中海量、多源、異構的制造車間生產數據進行數據庫存儲。

HBASE中稀疏多維映射表的技術是指，表中的數據通過一個行關鍵字（row key），一個列關鍵字（column key），以及一個時間戳（time stamp）進行索引和查詢定位，通過時間戳允許數據有多個版本。

{row key，colunmn family ，column name，timestamp}->value

3.2 設備有關數據存儲

我們在本文中以軸流式水輪機制造工藝中“鉆攻銑坡口”的所屬設備：鉆攻機為例。

鉆攻機可以批量生產加工小型五金零件，可以鉆孔，攻絲，銑切。適合材料銅鋁件，鑄件，一般鋼件。

設備運行狀態：

對于鉆攻機設備數據中的設備運行狀態參數，我們可以通過在機器設備上的傳感器來采集狀態參數，如主軸轉速，主軸錐度，設備的X軸偏移量，Y軸偏移量，Z軸偏移量等設備狀態參數。

在以往的系統中，Hbase的多維映射表技術如下：

{設備編號，生產車間，設備運行參數種類，時間戳}->設備運行參數值

HBASE中表結構如表1。

但是對于工件制造加工過程中，主軸轉速和主軸錐度是實時變化的，反而對于X，Y，Z軸偏移量是很少變化的，并且在工件制造過程中操作次數較多的只是根據時間和設備型號來查詢主軸轉速，所以為了提供高效的查詢能力，我們改變HBASE的表結構，對HBASE中的行健進行冗余設計，將rowkey和timestamp結合起來存儲在HBASE中，從兩個屬性值查詢變為一個屬性值的查詢，提高了查詢效率。

4 結束語

本文在研究與實現基于Hadoop技術存儲的MES監控系統，綜合運用了Hadoop技術，物聯網，大數據等先進信息技術，設計并實現了包含傳感器采集網絡，視頻采集網絡，RFID網絡的實時數據采集手段，和基于HBASE技術的數據庫，通過這些模塊來實時采集設備的各項數據和產品有關數據和車間加工人員的實時位置，將采集到的數據通過建立稀疏多維映射表來存儲到分布式文件系統中，便于文件的快速存儲和系統的快速讀取，提高了系統處理數據的能力，最后，采用MES生產車間內的鉆攻機的有關生產數據，對MES監控系統處理海量數據進行了測試和驗證。

參考文獻：

[1]張華強.關系型數據庫與NoSQL數據庫[J].數據庫與信息管理，2011（20）：4802-4804.

[2]程瑩.基于Hadoop及關系型數據庫的海量數據分析研究[J].中國聯通研究院云計算專欄，2010（11）：47-50.

[3]劉國靜.基于SOA架構的企業應用研究[D].計算機應用技術：華東師范大學，2006.

[4]馬翠云.基于HBase的大規模數據存儲解決方案的設計和實現[D].通信與信息系統：山東大學，2015.

[5]蘇北并，周小波.基于RFID技術的煤礦安全追蹤系統[A].全國ISNBM學術交流會暨電腦開發與應用創刊20周年慶祝大會論文集：電腦開發與應用編輯部[C].2005：121-122.