基于Hadoop云平臺的聯(lián)合收割機遠程監(jiān)控系統(tǒng)研究

李中顯，蔡宗慧

(1.河南信息工程學(xué)校，鄭州 450008；2.秦皇島職業(yè)技術(shù)學(xué)院，河北 秦皇島 066100)

基于Hadoop云平臺的聯(lián)合收割機遠程監(jiān)控系統(tǒng)研究

李中顯1，蔡宗慧2

(1.河南信息工程學(xué)校，鄭州 450008；2.秦皇島職業(yè)技術(shù)學(xué)院，河北 秦皇島 066100)

建立了云計算的海量數(shù)據(jù)處理數(shù)學(xué)模型和算法，并將Hadoop分布式計算方法引入到了數(shù)據(jù)庫處理系統(tǒng)中，實現(xiàn)了數(shù)據(jù)庫數(shù)據(jù)的自動分區(qū)和主從節(jié)點的設(shè)置，以及數(shù)據(jù)的分布式計算功能，得到了數(shù)據(jù)的處理速度、容量和傳輸速率等系統(tǒng)性能參數(shù)；結(jié)合農(nóng)業(yè)生產(chǎn)中聯(lián)合收割機應(yīng)用越來越廣泛，加之農(nóng)田小路比較狹窄，給農(nóng)田交通運輸帶來了的巨大壓力等問題，提出了一套能夠提供定位、監(jiān)控、導(dǎo)航、車況采集等綜合服務(wù)的聯(lián)合收割機遠程監(jiān)控系統(tǒng)。通過對系統(tǒng)的測試，證明云存儲平臺在聯(lián)合收割機監(jiān)控系統(tǒng)中具有良好的表現(xiàn)，并具有很好的擴展性，為現(xiàn)代化的農(nóng)業(yè)收割機監(jiān)控系統(tǒng)提供了優(yōu)越的條件。

聯(lián)合收割機；遠程監(jiān)控；Hadoop；云平臺

0 引言

隨著計算機互聯(lián)網(wǎng)通信計算的不斷發(fā)展，通信系統(tǒng)需要處理非常龐大的數(shù)據(jù)，對于海量數(shù)據(jù)的處理一般服務(wù)器會耗費大量的計算機資源，且很多傳統(tǒng)的計算平臺根本無法完成對海量數(shù)據(jù)庫的處理。另外，隨著農(nóng)業(yè)經(jīng)濟的快速增長，農(nóng)業(yè)機械化進程越來越快，農(nóng)業(yè)生產(chǎn)中聯(lián)合收割機應(yīng)用越來越廣泛，加之農(nóng)田小路比較狹窄，給農(nóng)田交通運輸帶來了的巨大壓力。如何實現(xiàn)聯(lián)合收割機的高效運營，緩解交通壓力受到廣大關(guān)注。本文采用云計算和云存儲技術(shù)，結(jié)合Hadoop的分布式計算功能，設(shè)計開發(fā)了一套能夠提供定位、監(jiān)控、導(dǎo)航、車況采集等綜合服務(wù)的聯(lián)合收割機遠程監(jiān)控系統(tǒng)。該系統(tǒng)結(jié)合主、從節(jié)點的自動分配實現(xiàn)了高數(shù)據(jù)容量和傳輸速度數(shù)據(jù)的處理，為現(xiàn)代化的農(nóng)業(yè)收割機監(jiān)控系統(tǒng)提供了優(yōu)越的條件。

1 數(shù)據(jù)庫海量數(shù)據(jù)處理與挖掘方法概述

互聯(lián)網(wǎng)的個性化演進過程中引發(fā)了數(shù)據(jù)的海量化，面對如此海量化的數(shù)據(jù)，傳統(tǒng)的單臺超級服務(wù)器也逐漸顯得力不從心，海量數(shù)據(jù)的處理逐漸成為一個棘手的問題。Apache 基金會所研發(fā)的開源 Hadoop 云平臺的開源特性為海量數(shù)據(jù)的處理方法帶來了無限可能，本文利用Hadoop數(shù)據(jù)處理平臺，結(jié)合分布式數(shù)據(jù)處理算法，建立了海量數(shù)據(jù)庫處理的聯(lián)合收割機遠程監(jiān)控系統(tǒng)數(shù)據(jù)處理平臺，如圖1所示。

圖1 Hadoop海量數(shù)據(jù)處理流程Fig.1 The processing process of Hadoop massive data

Hadoop云平臺對海量數(shù)據(jù)的數(shù)據(jù)處理過程主要包括分布式算法設(shè)計和主從節(jié)點的分配，利用這兩項技術(shù)可以成功地實現(xiàn)對海量數(shù)據(jù)庫數(shù)據(jù)的高速處理。

2 數(shù)據(jù)挖掘處理數(shù)學(xué)模型和算法設(shè)計

海量圖像處理屬于大型圖像數(shù)據(jù)處理，對處理其要求比較高，對存儲空間的要求也非常苛刻，如果采用一般的存儲空間，難以滿足圖像處理的容量需求。本文采用Hadoop分布式處理算法，將數(shù)據(jù)空間進行分區(qū)，實現(xiàn)海量數(shù)據(jù)的高速處理。首先將數(shù)據(jù)庫數(shù)據(jù)分割為[wi,wi+1]，則建立二維數(shù)據(jù)庫Hadoop的數(shù)據(jù)處理函數(shù)為

(1)

假設(shè)內(nèi)存的分配值為

(2)

則式(1)、式(2)可以寫成為

e(m,n)=αx

(3)

(4)

對于每個存儲節(jié)點有

(5)

假設(shè)廣義坐標(biāo)R為

(6)

則可以得到節(jié)點的分布式計算公式為

(7)

為了實現(xiàn)云計算和分布式計算，利用MatLab設(shè)置了主節(jié)點和從節(jié)點的分布式計算程序，具體如下：

functiondy=vdp100000(t,y)

dy=zeros(2,1);

dy(1)=y(2);

dy(2)=1000*(1-y(1)^2)*y(2)-y(1);

t0=0，tf=8000

t0=0，tf=8000

functiondy=rigid(t,y)

dy=zeros(3,1);

dy(1)=y(2)*y(3);

dy(2)=-y(1)*y(3);

dy(3)=-0．51*y(1)*y(2);

t0=0，tf=12

[T,Y]=ode45('rigid',[0 12],[0 1 1]);

plot(T,Y(:,1),'-',T,Y(:,2),'*',T,Y(:,3),'+')

……

3 聯(lián)合收割機遠程監(jiān)控系統(tǒng)整體設(shè)計

3.1 聯(lián)合收割機遠程監(jiān)控系統(tǒng)整體框架說明

聯(lián)合收割機遠程監(jiān)控系統(tǒng)主要包括監(jiān)控后臺管理平臺、通訊系統(tǒng)及車載終端，其框架如圖2所示。聯(lián)合收割機遠程監(jiān)控后臺管理平臺用來提供收割機信息管理、車輛所屬機構(gòu)和日常維護信息管理等；另外，該平臺還可以通過通信系統(tǒng)接收Hadoop云平臺的車輛位置和狀態(tài)數(shù)據(jù)信息，能夠提供監(jiān)管、定位和歷史路線查詢等服務(wù)。

通信系統(tǒng)是聯(lián)合收割機遠程監(jiān)控后臺管理平臺的信息中轉(zhuǎn)站，一方面可接收收割機上車載終端的定位和狀態(tài)信息，也可以將數(shù)據(jù)緩存在Hadoop云平臺數(shù)據(jù)，最后同步到監(jiān)控后臺管理平臺；另一方面，其將控制指令、通知及更新的廣告等信息發(fā)送到終端。

圖2 聯(lián)合收割機遠程監(jiān)控系統(tǒng)框架圖Fig.2 The framework of remote monitoring system of combine harvester

車載終端安放聯(lián)合收割機上，主要用來實時采集收割機位置和狀態(tài)信息，并通信系統(tǒng)上傳至云平臺和后臺管理平臺，同時接收后臺管理平臺的控制信息，將接收到的通知、廣告進行顯示，為駕駛員提供人性化服務(wù)。

3.2 聯(lián)合收割機遠程監(jiān)控系統(tǒng)整體結(jié)構(gòu)

3.2.1 系統(tǒng)物理結(jié)構(gòu)

聯(lián)合收割機遠程監(jiān)控系統(tǒng)物理架構(gòu)包括應(yīng)用終端、管理終端、無線通信、通信管理平臺和應(yīng)用服務(wù)器5部分，其物理結(jié)構(gòu)如圖3所示。

圖3 聯(lián)合收割機遠程監(jiān)控系統(tǒng)物理結(jié)構(gòu)Fig.3 The physical structure of combine harvester remote monitoring system

應(yīng)用終端一般是指安裝在聯(lián)合收割機上的車載終端；無線通訊主要采用運營商基站的通信信號；通訊管理平臺則用來管理數(shù)據(jù)信息的傳輸。應(yīng)用服務(wù)器包括平臺和數(shù)據(jù)庫兩部分，主要用來存儲聯(lián)合收割機視頻數(shù)據(jù)和車載終端傳輸回來的數(shù)據(jù)，管理者可以在管理終端對聯(lián)合收割機作業(yè)量、作業(yè)區(qū)域及行走軌跡進行監(jiān)管。

3.2.2 系統(tǒng)邏輯結(jié)構(gòu)

聯(lián)合收割機遠程監(jiān)控系統(tǒng)邏輯結(jié)構(gòu)從上到下依次可以分為終端層、應(yīng)用層、服務(wù)層、資源層和基礎(chǔ)層，如圖4所示。

圖4 聯(lián)合收割機遠程監(jiān)控系統(tǒng)邏輯結(jié)構(gòu)Fig.4 The logical structure of the remote monitoring

systemofcombineharvester

終端層指用戶訪問系統(tǒng)時的使用平臺；應(yīng)用層主要包括基礎(chǔ)檔案管理、組織機構(gòu)管理、權(quán)限管理、系統(tǒng)管理和車輛監(jiān)管等核心功能，直接為用戶提供服務(wù)；服務(wù)層主要為客戶提供系統(tǒng)的基礎(chǔ)服務(wù)功能；資源層主要包括應(yīng)用服務(wù)器中的管理數(shù)據(jù)；基礎(chǔ)層包括操作系統(tǒng)、網(wǎng)絡(luò)及數(shù)據(jù)庫軟件等內(nèi)容，主要功能是保證系統(tǒng)的正常運行。

3.3 聯(lián)合收割機遠程監(jiān)控平臺功能模塊設(shè)計

根據(jù)聯(lián)合收割機遠程監(jiān)控平臺的設(shè)計目標(biāo)與原則，系統(tǒng)監(jiān)控平臺設(shè)計主要包括基礎(chǔ)信息管理、組織機構(gòu)管理、系統(tǒng)權(quán)限管理、推送通知信息、車輛控制、車輛定位跟蹤、車輛歷史軌跡、圖像查看和報警功能等模塊，如圖5所示。

圖5 聯(lián)合收割機遠程監(jiān)控系統(tǒng)功能模塊圖Fig.5 The function module diagram of combined harvesterremote monitoring system

4 聯(lián)合收割機遠程監(jiān)控系統(tǒng)集群環(huán)境搭建及測試

4.1Hadoop集群環(huán)境的搭建與配置

為了讓Hadoop云平臺具有保存更多數(shù)據(jù)信息的能力，集群環(huán)境使用5臺服務(wù)器搭建集群。Hadoop云海量數(shù)據(jù)處理平臺主要架構(gòu)框架如圖6所示。

圖6 海量數(shù)據(jù)處理Hadoop云平臺框架圖Fig.6 The massive data processing of Hadoop cloud platform framework

Hadoop開源云計算平臺主要是由3項技術(shù)構(gòu)成，包括分布式平行計算框架MapReduce、分布式的數(shù)據(jù)庫系統(tǒng)Hbase和分布式的文檔系統(tǒng)HDFS。Hadoop主節(jié)點的設(shè)計如圖7所示。

圖7 Hadoop 主節(jié)點設(shè)計示意圖Fig.7 The schematic diagram of Hadoop master node design

主/從節(jié)點的設(shè)計是Hadoop實現(xiàn)分布式計算和數(shù)據(jù)存儲的主要計算模式，每個數(shù)據(jù)庫集群中同時擁有1個主節(jié)點和多個從節(jié)點。其中，主節(jié)點運行的守護程序主要包括NameNode、SecondaryNameNode和JobTracker。

在Hadoop海量數(shù)據(jù)云處理系統(tǒng)中具有很多的從節(jié)點，可以實現(xiàn)數(shù)據(jù)的分布式處理功能，在從節(jié)點上運行的守護進程是DataNode和TaskTracker，如圖8所示。

4.2 聯(lián)合收割機遠程監(jiān)控系統(tǒng)的測試與分析

為了驗證聯(lián)合收割機遠程監(jiān)控系統(tǒng)核心功能的性能狀況，對聯(lián)合收割機監(jiān)控的實時數(shù)據(jù)寫入到數(shù)據(jù)庫的性能、多輛聯(lián)合收割機進行實時監(jiān)控時獲取其數(shù)據(jù)的響應(yīng)時間及查詢聯(lián)合收割機的歷史軌跡信息的響應(yīng)速度進行測試。考慮聯(lián)合收割機監(jiān)控系統(tǒng)的實際運行狀況，本文采取的測試策略為：實時監(jiān)控聯(lián)合收割機的位置及狀態(tài)信息，數(shù)據(jù)訪問模型是既有寫入又有讀取，并且一般寫入量比讀取量大，讀取的特點是頻率快，但每次讀取的數(shù)據(jù)比較小，1臺收割機1條記錄。測試方法為：通過多線程循環(huán)模擬同時搜集600臺車的數(shù)據(jù)(寫庫)和同時獲取多臺農(nóng)業(yè)收割機最新位置信息(讀庫)，讀取的農(nóng)業(yè)收割機數(shù)目分別為200和600。以5min為1周期，寫入和讀取按照30s進行1次，統(tǒng)計收集600臺收割機信息的時間和讀取指定收割機信息的時間，測試結(jié)果如表1所示。

圖8 Hadoop 從節(jié)點設(shè)計示意圖Fig.8 The schematic diagram of Hadoop from node design表1 聯(lián)合收割機遠程監(jiān)控系統(tǒng)的測試結(jié)果Table 1 The test results of remote monitoring system of combine harvester

s

由表1可以看出：在收集農(nóng)業(yè)收割機信息的同時，讀取農(nóng)業(yè)收割機信息的平均耗時為190.9s，總體來說響應(yīng)時間很快。當(dāng)系統(tǒng)既有讀又有寫時，收集農(nóng)業(yè)收割機信息的耗時并沒有明顯變化，寫入性能一直表現(xiàn)良好，符合設(shè)計要求。這說明，該系統(tǒng)具有很好的擴展性，為現(xiàn)代農(nóng)業(yè)收割機監(jiān)控系統(tǒng)提供了優(yōu)越的條件。

5 結(jié)論

本文將云計算功能引入到了海量數(shù)據(jù)庫處理系統(tǒng)中，通過Hadoop的分布式計算功能，結(jié)合主從節(jié)點的自動分配方法，實現(xiàn)了數(shù)據(jù)的高速處理。結(jié)合農(nóng)業(yè)生產(chǎn)中聯(lián)合收割機應(yīng)用越來越廣泛，給農(nóng)田交通運輸帶來了的巨大壓力等問題，以聯(lián)合收割機監(jiān)控系統(tǒng)為研究對象，提出了一套能夠提供定位、監(jiān)控、導(dǎo)航、車況采集等綜合服務(wù)的基于Hadoop云存儲平臺的聯(lián)合收割機遠程監(jiān)控系統(tǒng)。測試結(jié)果表明：Hadoop云存儲平臺在聯(lián)合收割機監(jiān)控系統(tǒng)中具有良好的表現(xiàn)，并具有很好的擴展性，為現(xiàn)代化的農(nóng)業(yè)收割機監(jiān)控系統(tǒng)提供了優(yōu)越的條件。

[1] 陳進,吳培,徐凱,等.聯(lián)合收割機遠程監(jiān)測故障數(shù)據(jù)庫設(shè)計[J].信息技術(shù),2016(5):46-49.

[2] 張學(xué)亮,陳金勇,陳勇.基于Hadoop云計算平臺的海量文本處理研究[J].無線電通信技術(shù),2014(1):54- 57.

[3] 李新成,李民贊,王錫九,等.谷物聯(lián)合收割機遠程測產(chǎn)系統(tǒng)開發(fā)及降噪試驗[J].農(nóng)業(yè)工程學(xué)報,2014(2):1-8.

[4] 陳進,季園園,李耀明.基于PLC和觸摸屏的聯(lián)合收割機監(jiān)控系統(tǒng)設(shè)計[J].儀表技術(shù)與傳感器,2014(7): 78-81.

[5] 岳雨儉.基于Hadoop的分布式網(wǎng)絡(luò)爬蟲技術(shù)的設(shè)計與實現(xiàn)[J].電腦知識與技術(shù),2015(8):36-38.

[6] 劉碧貞,黃華,祝詩平,等.基于北斗/GPS的谷物收割機作業(yè)綜合管理系統(tǒng)[J].農(nóng)業(yè)工程學(xué)報,2015(10):204-210.

[7] 王靜,張倩,朱曉言,等.基于CAN總線的聯(lián)合收割機脫粒滾筒測控系統(tǒng)研究[J].農(nóng)機化研究,2012,34(1):71-75.

[8] 王琦.谷物聯(lián)合收割機測產(chǎn)系統(tǒng)智能監(jiān)視器研究[D].北京：中國農(nóng)業(yè)大學(xué),2005.

[9] 陳勇.基于Hadoop平臺的通信數(shù)據(jù)分布式查詢算法的設(shè)計與實現(xiàn)[D].北京：北京交通大學(xué),2009.

[10] 趙建波.聯(lián)合收割機負荷反饋智能控制系統(tǒng)的研究[D].鎮(zhèn)江：江蘇大學(xué),2009.

[11] 董進泉.基于灰色預(yù)測模糊控制的聯(lián)合收割機負荷反饋裝置的研制[D].鎮(zhèn)江：江蘇大學(xué),2010.

[12] 陳興振.基于Hadoop的數(shù)據(jù)作業(yè)管理平臺設(shè)計與實現(xiàn)[D].北京：中國科學(xué)院大學(xué),2015.

[13] 王留鋒.基于ARM的聯(lián)合收割機信息處理系統(tǒng)設(shè)計開發(fā)[D].哈爾濱：哈爾濱工業(yè)大學(xué),2013.

[14] 劉艷俊.云計算環(huán)境下GML空間數(shù)據(jù)查詢與空間分析研究[D].南昌：江西理工大學(xué),2012.

[15] 郭志恒.云計算環(huán)境下GML空間數(shù)據(jù)存儲索引機制研究[D].南昌：江西理工大學(xué),2012.

[16] 楊建丹.基于云平臺的分布式索引與檢索系統(tǒng)的設(shè)計與實現(xiàn)[D].沈陽：東北大學(xué),2011.

[17] 陳進,顧文龍,李耀明.聯(lián)合收獲機智能控制試驗臺設(shè)計與試驗[J].農(nóng)業(yè)機械學(xué)報,2011(S1):78-81.

[18] 高飛.聯(lián)合收割機主要工作部件監(jiān)測裝置研究[D].杭州：浙江大學(xué),2012.

[19] 張良將.基于Hadoop云平臺的海量數(shù)字圖像數(shù)據(jù)挖掘的研究[D]. 上海：上海交通大學(xué),2013.

[20] 王慧平.基于WebGIS的農(nóng)機遠程監(jiān)管服務(wù)系統(tǒng)的設(shè)計與實現(xiàn)[D].北京：首都師范大學(xué),2014.

[21] 趙燕.基于云計算的運輸車輛遠程實時監(jiān)測與管理系統(tǒng)的設(shè)計[D].太原：太原理工大學(xué),2014.

Research on Remote Monitoring and Control System of Combine

Harvester Based on Hadoop Cloud Platform

Li Zhongxian1, Cai Zonghui2

(1.Henan Information Engineering School, Zhengzhou 450008, China; 2.Qinhuangdao Institute of Technology, Qinhuangdao 066100, China)

It established a mathematical model of data processing and algorithm of cloud computing, and Hadoop. And the distributed computing method was introduced into the database processing system, which realized the automatic data partition database and master-slave node set, realizes the data distributed computing function. Then, it obtained processing speed, data transmission rate and capacity the system performance parameters. Secondly, it is more and more widely used combining harvester in agricultural production. In addition, the farmland path is narrow, which brings the huge pressure to the farmland transportation and so on. It put forward a set of positioning and monitoring, navigation, vehicle acquisition and other integrated services combine remote monitoring system.Finally, through the test of the system, the cloud storage platform has good performance in the combine monitoring system, and it has a good scalability, modernization The vehicle monitoring system provides superior conditions for agricultural harvester.

combine harvester; remote monitoring; Hadoop; cloud platform

2016-08-12

河南省教育廳重點項目(ZJA15134)

李中顯(1968-)，男，河南上蔡人，高級講師，碩士。

蔡宗慧(1985-)，女，河北秦皇島人，講師，碩士，(E-mail)hanyuzihen@126.com。

S225.3；S274.2

A

1003-188X(2017)12-0185-05