基于智能制造系統的物聯網3D監控

劉昭斌, 劉文芝, 顧才東, 張玉成

(1. 蘇州市職業大學, 江蘇 蘇州 215104; 2.江蘇省現代企業信息化應用支撐軟件工程技術研發中心,江蘇 蘇州 215104; 3. 中國科學院 計算技術研究所無線通信技術研究中心, 北京 100080)

?

基于智能制造系統的物聯網3D監控

劉昭斌1,2, 劉文芝1,2, 顧才東1,2, 張玉成3

(1. 蘇州市職業大學, 江蘇 蘇州 215104; 2.江蘇省現代企業信息化應用支撐軟件工程技術研發中心,江蘇 蘇州 215104; 3. 中國科學院 計算技術研究所無線通信技術研究中心, 北京 100080)

針對柔性智能制造系統在生產過程中環境參數、操作行為、隨機事件對產品質量的影響的判斷數據不完善等問題，給出了一種有效的融合多種傳感器為一體的三維虛擬監控的設計方法,模擬仿真和實現柔性智能制造系統中復雜的制造和控制過程。該系統實現了從數據的采集、分析、處理、建模、通信,以及工件的庫存狀態顯示,構建了一個完整的物聯網3D監控體系。仿真實驗表明,與改造前相比,智能制造系統環境自適應、在線學習、系統運行狀態得到了明顯的提高。

智能制造; 物聯網; 3D; 監控; 環境感知

智能制造系統(intelligent manufacturing system,IMS)是一種由智能裝備、智能控制和智能信息共同組成的人機一體化制造系統,它集合了人工智能、柔性制造、虛擬制造、系統控制、網絡集成、信息處理等學科和技術的發展[1-3],能夠實現各種制造過程自動化、智能化、精益化、綠色化,是傳統產業轉型升級和戰略性新興產業發展需求[4]。適用于中小制造企業的分布式網絡化IMS基本構架,將是結合數控加工系統的可由系統管理、任務規劃、設計和生產者等組成的系統,以實現制造單元的柔性智能化與基于網絡的制造系統柔性智能化集成。從產品生命周期看,智能制造過程包括了用戶產品訂單、訂單產品任務規劃、產品設計并生成CAD/CAPP數據、加工單元獲取并完成加工任務、系統信息處理、客戶獲取訂單執行結果。因此,智能制造也對企業資源(人力、物流、資金等)管理提出了新的要求。

目前,蘇州市職業大學“智能制造與控制工程訓練中心”為適應我國智能制造技術發展,培養符合現代制造業所需的技術應用型人才,引進了一套柔性智能制造系統,實現了制造過程自動化、智能化和精益化,同時也能夠為專業人才培養提供企業生產和管理環境體驗及項目訓練。但是,生產過程中通過協調機制對操作行為的規劃、事件(如預報、評價、監控、診斷、決策、優化、制造資源變化、違規操作等)協調反應和實現行為可控的判斷數據不完善;同時,通過感知環境狀態學習動態系統的最優行為策略無支撐；其次,對系統的整體運行狀態沒有評估和預測。為解決這些問題,我們課題組參與了“基于蘇州市職業大學智能制造系統的物聯網控制”項目，利用先進物聯網技術來感知、監控和管理每個工位,同時利用移動互聯網來提供智能遠程監控服務,實現對其設備的遠程監測、升級和故障修復。企業管理人員可以通過基于Web的友好界面實現對企業人員、設備等的實時監控和管理。

1 系統模型

本設計基于智能終端的感知監測和分析架構,通過加載多傳感器獲取智能制造系統異常瞬間的數據和網絡數據,截獲異常信息并通過無線傳感網業務信道與遠程監測服務器建立點到點連接[5-6],實時上傳異常數據至控制服務器分析呈現,通過3D監控軟件系統自動分析異常原因。這樣,既不會影響用戶日常使用,還可以發現諸如“數據業務接入失敗”等用戶無法感知的異常事件。系統模型如圖1所示。

(1) 接口層。本模型利用各類傳感器已有的驅動層及操作系統層接口,通過在物聯網網絡層新增業務異常智能感知模塊,并通過該模塊的串口I/O 控制獲取操作系統接口和傳感測量信息接口上報的原始數據。通過測量信息接口上報給操作系統層,操作系統層利用Trace 輸出接口讀取底層上報的信息[7],通過操作系統接口上傳至應用層的業務感知異常監測模塊,監測模塊通過對數據實時解碼、自動判斷異常發生原因,按照數據分析要求對測量數據、信令數據進行格式處理,進而利用終端內置存儲空間(如Flash)進行暫存，并在業務空閑時發送數據給上傳和控制模塊。

(2) 集成服務。中央控制服務器數據存儲及解析提供基于Web方式的整體系統訪問入口,提供所有業務的Web訪問方式,并實現對現有系統的集成服務。集成和Web推送的模塊有:基于Web的客戶端Session管理模塊，基于Web客戶端的Session管理模塊實現對Web連接的持久化管理及映射;基于Web的異步服務器實時數據推送模塊，基于Web的異步服務器實時數據推送模塊借助JDK7的HTTP異步傳輸能力,并借助JavaScript的XMLHttpRequest對象完成對舊版本瀏覽器的實時推送;基于WebSocket的實時數據推送模塊，對于支持HTML5標準的瀏覽器,借助WebSocket技術,實現高效的數據實時推送;基于WebGL的3D建模及解析模塊，WebGL為OpenGL的Web集成版本,借助該技術,可以在Web上實現高效的3D建模渲染;基于Java com互聯技術的系統集成模塊，基于Java com組建技術完成對基于微軟技術的現有系統的集成;數據解析模塊完成與中央控制服務器數據存儲及解析支持,提供某些IE的專用系統的集成,借助Silverlight技術完成對微軟系統的集成[8];基于Adobe Air技術的Web集成調用模塊,借助Adobe Air技術實現對Web應用的桌面化需求。

圖1 基于智能制造系統的物聯網3D系統模型

(3) 云計算與虛擬化處理。該平臺提供數據控制中心功能,為各類多媒體業務提供運算及存儲平臺,開展視頻監控、物聯數據分發、模式識別等業務。云計算依靠的虛擬化技術,在一個給定的硬件平臺上宿主機創造一個模擬的計算機環境(虛擬機)并提供給客戶機,控制平面虛擬化與數據平面虛擬化[9]。結合集成服務、接入二層網絡結構,提供硬件資源管理模塊、虛擬機資源動態管理模塊、虛擬機管理模塊、系統負載監控模塊、數據集成調用模塊、物聯網數據存儲模塊等。

硬件資源管理模塊在服務器操作系統的基礎上完成集群管理功能。其主要功能包括:服務請求分發功能;Socket的進程并發管理功能;集群服務器增加、刪除功能。

虛擬機資源動態管理模塊根據虛擬機的負載情況動態地為虛擬機分配不同的計算資源,并向下與硬件資源管理模塊進行通信。其主要功能包括虛擬機負載監控、計算資源分配、硬件資源管理與通信接口。

虛擬機管理模塊維護虛擬機的基本信息,手動指定虛擬機資源管理策略。其功能包括虛擬機添加、虛擬機刪除、虛擬機共享設置、虛擬機類型管理、虛擬機基本資源分配策略管理。

系統負載監控模塊提供系統的負載監控,為動態資源分配提供參考。其功能包括系統CPU占用率分析、系統內存使用分析、文件系統使用信息分析、任務優先級管理。

數據集成調用模塊主要完成業務邏輯的數據庫操作,完成由用戶業務邏輯到數據庫操作之間的映射。

物聯網數據存儲模塊位于實際存儲數據的關系數據庫的上層,為不同的數據庫提供統一封裝接口,并為上層模塊提供訪問接口[10]。

2 系統設計與實現

2.1 硬件設計

硬件平臺分為傳感器節點、Sick節點和后臺服務器。傳感器節點以Telosb節點為主,配備多種傳感器和CC2420通信模塊。CC2420工作在2.4 GHz的頻道上,是一款完全符合IEEE 802.15.4協議規范的芯片。此外,CC2420是基于包的通信芯片,即它能自動判斷數據包的開始和結束,因此其傳輸和接收是以一個數據包為單位[11]。這樣能極大簡化上層鏈路層協議的開發,并提高處理效率。

傳感器節點用于感知數據和信息采集,并自組織多跳網傳輸數據給Sick節點,Sick節點用于匯聚區域數據、打包壓縮,并接入局域網、傳輸數據給服務器。后臺服務器用于數據計算、處理、存儲和管理。移動智能設備通過用戶接口查看、顯示和推送信息。

傳感器網絡硬件上由12個傳感器節點和2個Sick網關組成。網絡中硬件設備連接如圖2所示。12個傳感器節點和Sick上均有基于ZigBee的無線通信模塊,傳感器節點將感知數據和狀態數據以無線方式最終匯聚到Sick網關,Sick網關將數據封裝并以TCP/IP方式發送到遠程的服務器。同時來自服務器的命令數據包沿著相反的路線被發送到指定節點,完成控制功能[12]。

圖2 傳感網絡硬件連接

2.2 軟件設計

系統平臺的軟件設計包括傳感器軟件、移動終端軟件與服務器軟件設計3部分。傳感器軟件就是燒寫到芯片內部的軟件,移動終端軟件包括基于iOS的iPad和Android,供用戶進行移動監視和控制。服務器軟件用于大型數據計算、處理、存儲、診斷和推送。

(1) 傳感器軟件設計。傳感器網絡涉及的硬件模塊有數據采集無線傳感網節點(溫度、濕度、光照度、位置、速度、煙塵、紅外傳感器)、Sick等。這部分軟件設計包括硬件各個模塊驅動程序的設計、主程序的設計和中斷處理函數的設計。所用到的模塊的驅動都是基于TinyOs操作系統的驅動[13]。

(2) 服務器軟件設計。服務器是基于Linux系統平臺,并以數據庫MySql5.5為基礎,采用C/S通信模式,對傳感器網絡系統進行管理。服務器接受來自傳感網絡的狀態數據流,在CS站點上進行相應的功能數據展示,移動終端系統接受來自服務器的命令數據流,完成對智能制造系統傳感網絡相應的控制功能。詳細的軟件構架如圖3所示。

圖3 基于分布式的服務器軟件構架

對智能制造系統的3D監控服務器端的業務包括智能制造系統實時信息展示[14]、操作行為和事件的協調評估與策略、網絡狀態監控3部分。智能制造系統實時信息展示部分將在一個單獨界面繪制當前智能制造系統整體效果圖,涉及到的數據包括環境參數、產品運行狀態參數、產品庫存狀態參數、3D的可視化顯示等。操作行為和事件的協調評估與策略部分是服務器對傳感器網絡進行簡單配置、管理和評估的接口,包括查詢并修改傳感節點的工作模式、采集數據的周期,配置和推送移動端的地址和數據等。而評估與策略包括環境惡化或者違規操作時向管理員手機、智能制造控制服務器發送報警,以及監測系統故障向系統管理員報警兩部分。網絡狀態監控部分涉及到的數據包括各個節點之間物理相對位置、節點當前的通信半徑/發射功率、節點的工作狀態(休眠模式/高功率模式/低功率模式)、節點采集數據的周期(動態可調)、節點剩余電量等。圖4為智能制造系統的物聯網3D仿真界面，圖5為智能制造系統的同步現場。

圖4 智能制造系統的物聯網3D仿真界面

圖5 智能制造系統的同步現場

(3) 移動終端軟件設計。移動終端網絡的業務包括監測數據查詢展示、遠程感知服務。監測數據查詢展示部分負責實時視頻監控智能制造系統現場參數。涉及到的參數包括環境參數(溫濕度、光照度、二氧化碳濃度等)、產品運行狀態參數(位置、速度等)、產品庫存狀態參數(毛坯件、成品數量等)、現場監控等。遠程感知服務部分包括遠程開啟智能制造物聯網子系統、遠程開啟模擬工作、遠程開啟實際工作、遠程控制工況視角,以及自動復位工況視角等。圖6和圖7分別為截取的iPad的智能制造系統物聯網3D系統和Android終端顯示與控制界面。

圖6 基于iPad的智能制造系統物聯網3D系統

圖7 基于Android終端顯示與控制界面

驅動管理軟件的操作系統使用Windows系列和Linux/Unix系列操作系統。軟件的運行環境需要安裝JRE1.6及其以上版本,以及TinyOs編譯環境。開發工具上層使用的軟件開發平臺是Unity3D、Microsoft Visual Studio 2010、Expression Blend4,采用WPF技術。底層開發使用C和C++編寫,并使用多種編譯器進行測試,保證源代碼的可移植性。

3 結束語

本設計主要突出了底層感知和上層GIS顯示2個部分,底層感知部分詳細敘述了驅動層及操作系統層接口,通過在物聯網網絡層新增業務異常智能感知模塊,并通過該模塊的串口I/O 控制獲取操作系統接口和傳感測量信息接口上報原始數據。層次化模塊之間通過標準協議進行通信,模塊間耦合度低,重用性好,擴展性強。GIS顯示部分利用云計算的虛擬化技術,將大量的傳感節點、機械設備和系統資源池化,利用統一計算系統、統一存儲系統、統一網絡系統,分別構建計算池、存儲池、共享數據池,通過整合、虛擬化、移動推送實現智能制造系統的物聯網3D監控管理,提供基于移動端、瀏覽器等多種瀏覽方式實時地在三維場景中仿真顯示來自硬件感知層的數據，從而提高了設備實時在線跟蹤和調度便捷性,減少了運行成本。

References)

[1] Setoya H.History and review of the IMS (Intelligent Manufacturing System)[C]// 2011 International Conference on,Mechatronics and Automation (ICMA).2002:30-33.

[2] 朱劍英.智能制造的意義、技術與實現[J].機械制造與自動化,2013,42(3):1-6.

[3] Popescu M,Ungureanu-Anghel D,Filip I.Designing complex Petri nets using submodels with application in flexible manufacturing systems[C]// 2013 IEEE 8th International Symposium on,Applied Computational Intelligence and Informatics (SACI).2013:257-262.

[4] 物聯網“十二五”發展規劃[EB/OL].[2014-07-10].http://www.miit.gov.cn/n11293472/n11293832/n12771663/14473808.html.

[5] Marzencki M,Lin P, Cho T, et al. Remote health,activity,and asset monitoring with wireless sensor networks[C]//13th IEEE International Conference on.2011:98-101.

[6] 曾文瀟.基于無線傳感器網絡和互聯網的礦井井下通信系統研究與技術實現[D].北京:中國科學院大學,2013.

[7] 劉林峰,劉業,莊艷艷.高效能耗傳感器網絡的模型分析與路由算法設計[J].電子學報,2007,35(3):459-462.

[8] Alodib,Mohammed.Towards a Monitoring Framework for Cloud Services[C]// 2014 International Conference on,Computational Science and Computational Intelligence (CSCI).2014:146-151.

[9] Shuping Peng ,Nejabati R,Simeonidou D.Role of optical network virtualization in cloud computing[J].Optical Communications and Networking,2013,10:A162-A170.

[10] Lin Xingzhi.Design and realization of the logistic storage temperature control Unified Information System based on Internet of Things[C]// 2011 International Conference on,Business Management and Electronic Information (BMEI).2011:32-35.

[11] Ma Qiang.Link Scanner:Faulty link detection for wireless sensor networks[C]// 2013 Proceedings IEEE,INFOCOM.2013:2688-2696.

[12] Neuhaeuser J,D Angelo L.Collecting and distributing wearable sensor data:An embedded personal area network to local area network gateway server[C]//35th Annual International Conference of the IEEE,Engineering in Medicine and Biology Society (EMBC).2013:4650-4653.

[13] Kothari N,Millstein T,Govindan R.Deriving State Machines from TinyOS Programs Using Symbolic Execution[C] // IPSN ’08 International Conference on,Information Processing in Sensor Networks.2008:22-24.

[14] Kaul M,Bin Yang,Jensen C S.Building Accurate 3D Spatial Networks to Enable Next Generation Intelligent Transportation Systems[C]//IEEE 14th International Conference on,Mobile Data Management (MDM).2013:137-146.

3D monitoring for IOT based on intelligent manufacturing system

Liu Zhaobin1,2, Liu Wenzhi1,2, Gu Caidong1,2, Zhang Yucheng3

(1. Suzhou Vocational University,Suzhou 215104,China; 2. Jiangsu Province Support Software Engineering R&D Center for Modern Information Technology Application in Enterprise,Suzhou 215104,China; 3. Wireless Communication Technology Research Center,Institute of Computing Technology,Chinese Academy of Sciences,Beijing 100080,China)

There is a comprehensive pre-platform for the effects of flexible intelligent manufacturing system in the production process of environmental parameters,operating behavior,random events on product quality.This paper presents a design method of the effective fusion of multi-sensor integrated 3D virtual monitoring,it realizes the manufacturing and process control of flexible manufacturing system in the complex.The system has realized from the data acquisition,analysis,processing,modeling,communication,and inventory status to display the artifacts, and built a complete 3D monitoring system for IOT.Simulation results show that,compared with the former,the environment adaptive, online learning, and the running state of the intelligent manufacturing system have been significantly improved.

intelligent manufacturing; Internet of things(IOT); 3D; monitoring; environmental perception

2014- 07- 19 修改日期：2014- 08- 28

國家自然科學基金資助項目(61472211，61472268)；蘇州市科技計劃項目(SYG201257)；蘇州市科技計劃指導性項目(SGZ2013138)；蘇州市職業大學預研基金項目(2012SZDYY08)；蘇州市職業大學教學建設項目(SZDJG-12006)

劉昭斌(1965—)，男，山東威海，碩士，副教授，主要研究方向為情境感知計算、無線傳感器網絡協議.

E-mail：zbliusz@126.com

TP277

A

1002-4956(2015)2- 0089- 05