王英強(qiáng),陳綏陽(yáng),王振鐸
(西安思源學(xué)院電子信息工程分院,陜西西安710038)
我國(guó)自古以來(lái)就是農(nóng)業(yè)大國(guó),非常重視農(nóng)業(yè)的生產(chǎn)。隨著我國(guó)經(jīng)濟(jì)的發(fā)展,農(nóng)業(yè)經(jīng)濟(jì)狀況也發(fā)生了很大的變化,例如:農(nóng)業(yè)人口、經(jīng)濟(jì)狀況、產(chǎn)業(yè)結(jié)構(gòu)、農(nóng)作物種類(lèi)等等。為了保證農(nóng)業(yè)生產(chǎn)的穩(wěn)定,了解農(nóng)業(yè)生產(chǎn)的現(xiàn)狀,農(nóng)業(yè)數(shù)據(jù)統(tǒng)計(jì)工作特別是基層農(nóng)業(yè)數(shù)據(jù)統(tǒng)計(jì),成為國(guó)家統(tǒng)計(jì)部門(mén)的重要工作之一。與此同時(shí),云計(jì)算、大數(shù)據(jù)等信息技術(shù)成為當(dāng)前的熱門(mén)話題。大數(shù)據(jù)是結(jié)構(gòu)復(fù)雜、內(nèi)容多樣的海量數(shù)據(jù),具有規(guī)模大、種類(lèi)多、處理速度要求高、數(shù)據(jù)價(jià)值密度低等特[1],一般認(rèn)為有認(rèn)為大數(shù)據(jù)需要滿(mǎn)足3個(gè)特點(diǎn):規(guī)模性(volume),多樣性(variety)和高速性(velocity)。以國(guó)際數(shù)據(jù)公司IDC為代表的認(rèn)為大數(shù)據(jù)應(yīng)該還具有的是價(jià)值性(value)[2],而以IBM為代表的則認(rèn)為大數(shù)據(jù)還應(yīng)具有真實(shí)性(veracity)[3]。目前,農(nóng)業(yè)大數(shù)據(jù)成為大數(shù)據(jù)應(yīng)用的一個(gè)重要分支。
農(nóng)業(yè)大數(shù)據(jù)是指以大數(shù)據(jù)分析為基礎(chǔ),運(yùn)用大數(shù)據(jù)的理念、技術(shù)及方法來(lái)處理農(nóng)業(yè)生產(chǎn)銷(xiāo)售整個(gè)鏈條中所產(chǎn)生的大量的數(shù)據(jù),從中得到有用信息以指導(dǎo)農(nóng)業(yè)生產(chǎn)經(jīng)營(yíng)、農(nóng)產(chǎn)品流通和消費(fèi)的過(guò)程[4-5]。目前,我們國(guó)家也進(jìn)行了農(nóng)業(yè)大數(shù)據(jù)的相關(guān)研究。文獻(xiàn)[6]闡述了農(nóng)業(yè)大數(shù)據(jù)研究對(duì)于我們國(guó)家具有重要的戰(zhàn)略意義:為政府決策當(dāng)智囊,為企業(yè)管理做支撐,為學(xué)科發(fā)展建平臺(tái),為管理升級(jí)提供手段。文獻(xiàn)[7]結(jié)合農(nóng)業(yè)自身的特點(diǎn),分析了大數(shù)據(jù)在農(nóng)業(yè)上的需求、主要應(yīng)用領(lǐng)域及其在智慧農(nóng)業(yè)中的關(guān)鍵地位。文獻(xiàn)[8]分析設(shè)計(jì)了農(nóng)業(yè)大數(shù)據(jù)應(yīng)用體系架構(gòu),并設(shè)計(jì)了農(nóng)業(yè)大數(shù)據(jù)智能分析平臺(tái),分析了平臺(tái)的總體架構(gòu)、功能設(shè)計(jì)及技術(shù)實(shí)現(xiàn)。與此同時(shí),我們國(guó)家也開(kāi)始進(jìn)行農(nóng)業(yè)大數(shù)據(jù)的實(shí)踐,以山東農(nóng)業(yè)大學(xué)為首的部分高校已經(jīng)開(kāi)始進(jìn)行農(nóng)業(yè)大數(shù)據(jù)的研究和應(yīng)用。在河北省廊坊市,軟通動(dòng)力的團(tuán)隊(duì)在做著基于大數(shù)據(jù)的“智慧農(nóng)業(yè)”嘗試[9]。
但是,在農(nóng)業(yè)大數(shù)據(jù)的實(shí)施過(guò)程中,尤其在農(nóng)業(yè)統(tǒng)計(jì)數(shù)據(jù)的采集與獲取方面,仍然存在很多的問(wèn)題:
1)很多區(qū)域信息化程度不足。部分基層的統(tǒng)計(jì)部門(mén)在開(kāi)展農(nóng)業(yè)統(tǒng)計(jì)工作時(shí)仍然采用手工登記、手工匯總的方式來(lái)進(jìn)行,統(tǒng)計(jì)手段落后。尤其是在當(dāng)前信息化時(shí)代的大背景下,統(tǒng)計(jì)數(shù)據(jù)的數(shù)據(jù)量呈現(xiàn)幾何式的增長(zhǎng),落后的統(tǒng)計(jì)手段使統(tǒng)計(jì)結(jié)果的質(zhì)量難以得到保障[10-11]。
2)農(nóng)業(yè)大數(shù)據(jù)來(lái)源不足。目前農(nóng)業(yè)統(tǒng)計(jì)數(shù)據(jù)采集方式多為層層上報(bào),時(shí)效性差;并且數(shù)據(jù)采集多以任務(wù)方式下達(dá),積極主動(dòng)性不強(qiáng);統(tǒng)計(jì)結(jié)果分布在各類(lèi)農(nóng)業(yè)網(wǎng)站,并且為多種格式的數(shù)據(jù),未能收集和匯總;已有的采集渠道,相互獨(dú)立,未能得到充分利用等等[12-13]。
3)農(nóng)業(yè)統(tǒng)計(jì)數(shù)據(jù)種類(lèi)繁多,結(jié)構(gòu)復(fù)雜,導(dǎo)致數(shù)據(jù)難以分析利用。目前農(nóng)業(yè)統(tǒng)計(jì)數(shù)據(jù)的來(lái)源有:紙質(zhì)、Word文檔、電子表格、數(shù)據(jù)庫(kù)等;而數(shù)據(jù)類(lèi)型主要包括結(jié)構(gòu)化數(shù)據(jù)、半結(jié)構(gòu)化數(shù)據(jù)、非結(jié)構(gòu)化數(shù)據(jù)[14]。這些復(fù)雜的數(shù)據(jù)無(wú)法直接進(jìn)行統(tǒng)計(jì)分析。因此需要對(duì)不同數(shù)據(jù)來(lái)源的各種數(shù)據(jù)進(jìn)行處理,統(tǒng)一格式,建立數(shù)據(jù)轉(zhuǎn)換標(biāo)準(zhǔn);對(duì)異構(gòu)數(shù)據(jù)庫(kù)的匯集整理,通過(guò)對(duì)數(shù)據(jù)的抽取、轉(zhuǎn)換、關(guān)聯(lián)、標(biāo)識(shí)等過(guò)程,建立一個(gè)安全、可靠、穩(wěn)定、高效的數(shù)據(jù)中心,同時(shí),還需對(duì)價(jià)值不大,或不感興趣的數(shù)據(jù),以及故障數(shù)據(jù)、異常數(shù)據(jù)進(jìn)行剔除和清理[15]。
文中針對(duì)當(dāng)前農(nóng)業(yè)統(tǒng)計(jì)數(shù)據(jù)的采集、分析的現(xiàn)狀所存在的問(wèn)題,提出了農(nóng)業(yè)統(tǒng)計(jì)數(shù)據(jù)采集移動(dòng)平臺(tái)。本平臺(tái)將移動(dòng)互聯(lián)網(wǎng)絡(luò)與農(nóng)業(yè)統(tǒng)計(jì)數(shù)據(jù)采集相結(jié)合,利用移動(dòng)網(wǎng)絡(luò)通過(guò)智能手機(jī)APP進(jìn)行數(shù)據(jù)采集,并通過(guò)異構(gòu)數(shù)據(jù)處理中間件對(duì)其他來(lái)源的數(shù)據(jù)進(jìn)行處理,主要實(shí)現(xiàn)以下功能:
1)實(shí)現(xiàn)數(shù)據(jù)實(shí)時(shí)傳輸。基層統(tǒng)計(jì)人員通過(guò)網(wǎng)絡(luò)將數(shù)據(jù)進(jìn)行上報(bào),避免使用紙質(zhì)人工報(bào)送的方式,提高數(shù)據(jù)采集的效率。
2)提高數(shù)據(jù)的正確性。在基層統(tǒng)計(jì)人員上報(bào)數(shù)據(jù)時(shí),可以設(shè)定數(shù)據(jù)填報(bào)的范圍,進(jìn)行數(shù)據(jù)驗(yàn)證,從而避免填報(bào)一些不合理的數(shù)據(jù),提高了數(shù)據(jù)的正確性。
3)提高數(shù)據(jù)統(tǒng)計(jì)的效率。通過(guò)信息化的方式,可以根據(jù)統(tǒng)計(jì)方式自動(dòng)進(jìn)行統(tǒng)計(jì)計(jì)算,可以大大的提高統(tǒng)計(jì)的效率。
本平臺(tái)具有以下創(chuàng)新:
1)易用性。本設(shè)計(jì)本平臺(tái)時(shí),充分利用4G移動(dòng)網(wǎng)絡(luò),采用移動(dòng)手機(jī)軟件進(jìn)行農(nóng)業(yè)統(tǒng)計(jì)數(shù)據(jù)的采集,可以讓工作人員隨時(shí)隨地的進(jìn)行數(shù)據(jù)的填報(bào),提高數(shù)據(jù)采集效率。
2)可靠性。對(duì)于一個(gè)平臺(tái),數(shù)據(jù)的安全是至關(guān)重要的。在本平臺(tái)中,具備完善的權(quán)限管理和數(shù)據(jù)備份機(jī)制,從數(shù)據(jù)庫(kù)層面保證了數(shù)據(jù)的安全性。在用戶(hù)使用系統(tǒng)時(shí),要對(duì)用戶(hù)進(jìn)行嚴(yán)格認(rèn)證,避免非法用戶(hù)登錄。
3)靈活性。在本平臺(tái)中,采用異構(gòu)數(shù)據(jù)處理中間件,對(duì)不同結(jié)構(gòu)的數(shù)據(jù)進(jìn)行提取、轉(zhuǎn)換、清理、標(biāo)識(shí)、關(guān)聯(lián)等處理,形成格式統(tǒng)一的數(shù)據(jù),解決農(nóng)業(yè)統(tǒng)計(jì)數(shù)據(jù)來(lái)源分散,數(shù)據(jù)結(jié)構(gòu)不統(tǒng)一的問(wèn)題,為后期的分析提供基礎(chǔ)
在本節(jié)中,主要介紹平臺(tái)結(jié)構(gòu)、系統(tǒng)設(shè)計(jì)、移動(dòng)客戶(hù)端APP設(shè)計(jì)、后臺(tái)數(shù)據(jù)管理系統(tǒng)以及用戶(hù)的權(quán)限設(shè)計(jì)。
通過(guò)分析,本平臺(tái)主要由3部分組成:
1)數(shù)據(jù)庫(kù)服務(wù)器、Web Service服務(wù)器。
2)移動(dòng)客戶(hù)端應(yīng)用程序。
3)后臺(tái)數(shù)據(jù)管理系統(tǒng)。
基層工作人員通過(guò)使用移動(dòng)終端的數(shù)據(jù)采集APP進(jìn)行數(shù)據(jù)的采集、上報(bào);在數(shù)據(jù)上報(bào)時(shí),移動(dòng)終端通過(guò)調(diào)用Web Service公布的數(shù)據(jù)庫(kù)接口,將數(shù)據(jù)存入到數(shù)據(jù)服務(wù)器中;管理人員可以通過(guò)后臺(tái)數(shù)據(jù)管理系統(tǒng)對(duì)上報(bào)的數(shù)據(jù)進(jìn)行審核、基礎(chǔ)數(shù)據(jù)進(jìn)行維護(hù)。本平臺(tái)的每一個(gè)組成部分是有機(jī)地結(jié)合在一起,協(xié)同進(jìn)行工作。本平臺(tái)的網(wǎng)絡(luò)結(jié)構(gòu)設(shè)計(jì)如圖1所示。

圖1 平臺(tái)網(wǎng)絡(luò)結(jié)構(gòu)圖
為了滿(mǎn)足基層農(nóng)業(yè)統(tǒng)計(jì)數(shù)據(jù)的采集上報(bào)的需求,提高系統(tǒng)平臺(tái)的數(shù)據(jù)處理效率,遵循軟件開(kāi)發(fā)的先進(jìn)性、易用性、可靠性、靈活性、擴(kuò)充性的原則[16-17],本平臺(tái)的系統(tǒng)結(jié)構(gòu)圖如圖2所示。

圖2 系統(tǒng)結(jié)構(gòu)圖
下面對(duì)各個(gè)組成部分在系統(tǒng)中的作用進(jìn)行說(shuō)明:
1)數(shù)據(jù)庫(kù)服務(wù)器、Web Service服務(wù)器:數(shù)據(jù)庫(kù)服務(wù)器主要用于存儲(chǔ)上報(bào)的農(nóng)業(yè)統(tǒng)計(jì)數(shù)據(jù),并且按照年份對(duì)數(shù)據(jù)進(jìn)行區(qū)分。Web Service服務(wù)器:公布了訪問(wèn)數(shù)據(jù)庫(kù)的各種接口方法,即移動(dòng)客戶(hù)端APP通過(guò)調(diào)用數(shù)據(jù)庫(kù)訪問(wèn)接口,主要用于移動(dòng)客戶(hù)端APP與數(shù)據(jù)庫(kù)服務(wù)器之間的數(shù)據(jù)交換,實(shí)現(xiàn)對(duì)數(shù)據(jù)的上報(bào)、修改、瀏覽等功能。
2)移動(dòng)客戶(hù)端APP:主要實(shí)現(xiàn)數(shù)據(jù)的采集填報(bào),包括數(shù)據(jù)采集填報(bào)、歷史上報(bào)數(shù)據(jù)查看、數(shù)據(jù)傳輸、審核、消息提醒、個(gè)性化報(bào)表設(shè)置等主要模塊。
3)后臺(tái)基礎(chǔ)數(shù)據(jù)管理系統(tǒng):主要對(duì)本平臺(tái)的基礎(chǔ)數(shù)據(jù)、后臺(tái)業(yè)務(wù)進(jìn)行管理,包括:數(shù)據(jù)審核、組織機(jī)構(gòu)管理、農(nóng)作物信息、報(bào)表管理、用戶(hù)管理、權(quán)限管理等主要模塊。
在平臺(tái)中,數(shù)據(jù)庫(kù)負(fù)責(zé)農(nóng)業(yè)統(tǒng)計(jì)數(shù)據(jù)的存儲(chǔ)、管理,隨著時(shí)間的推移,最終形成歷史數(shù)據(jù)庫(kù),并且為了方便以后數(shù)據(jù)的統(tǒng)計(jì)分析,對(duì)數(shù)據(jù)按照年限、季度進(jìn)行標(biāo)記。本平臺(tái)的數(shù)據(jù)庫(kù)主要包含以下幾張表:用戶(hù)表(User)、農(nóng)產(chǎn)品表(ProductInfo)、用戶(hù)農(nóng)產(chǎn)品表(UserProduct)、農(nóng)產(chǎn)品統(tǒng)計(jì)數(shù)據(jù)采集表(Product-Data)、農(nóng)業(yè)統(tǒng)計(jì)數(shù)據(jù)采集年份季度表(UploadDate-Node)、信息表(Message)、區(qū)域表(AreaInfo)。本平臺(tái)的數(shù)據(jù)庫(kù)結(jié)構(gòu)如圖3所示。

圖3 數(shù)據(jù)庫(kù)結(jié)構(gòu)圖
WebService服務(wù)主要完成數(shù)據(jù)庫(kù)服務(wù)器與移動(dòng)客戶(hù)端APP之間的數(shù)據(jù)交換與通訊,即數(shù)據(jù)的上報(bào)、修改、瀏覽等功能。在WebService中,公布了移動(dòng)客戶(hù)端APP訪問(wèn)數(shù)據(jù)庫(kù)的各種接口方法。移動(dòng)客戶(hù)端APP通過(guò)調(diào)用WebSerivice的數(shù)據(jù)庫(kù)訪問(wèn)接口,對(duì)數(shù)據(jù)庫(kù)中的數(shù)據(jù)進(jìn)行增加、修改、刪除、查詢(xún)等。為了保證WebSerivice架構(gòu)服務(wù)器能夠順利的訪問(wèn)到數(shù)據(jù)庫(kù)服務(wù)器,需要WebSerivice服務(wù)器與數(shù)據(jù)庫(kù)服務(wù)器在同一個(gè)局域網(wǎng)絡(luò)中。
本平臺(tái)的WebService服務(wù)主要實(shí)現(xiàn)了用戶(hù)信息查詢(xún)(QueryUserInfo)、查詢(xún)農(nóng)產(chǎn)品統(tǒng)計(jì)數(shù)據(jù)(QueryProductData)、插入修改(OperaProductData)等數(shù)據(jù)庫(kù)訪問(wèn)接口,如表1所示。

表1 WebService數(shù)據(jù)庫(kù)訪問(wèn)接口
在通過(guò)對(duì)業(yè)務(wù)進(jìn)行詳細(xì)的需求分析之后,移動(dòng)客戶(hù)端APP主要實(shí)現(xiàn)4個(gè)功能模塊:數(shù)據(jù)采集上報(bào)、歷史查看、消息提醒、個(gè)性化報(bào)表設(shè)置。下面對(duì)每個(gè)模塊的主要功能進(jìn)行說(shuō)明:
1)數(shù)據(jù)填報(bào):本模塊實(shí)現(xiàn)農(nóng)業(yè)統(tǒng)計(jì)數(shù)據(jù)的上報(bào)、查看、修改。
2)歷史查看:本模塊主要實(shí)現(xiàn)用戶(hù)查看其上報(bào)的統(tǒng)計(jì)數(shù)據(jù),并允許根據(jù)上級(jí)的審核意見(jiàn)對(duì)上報(bào)的數(shù)據(jù)進(jìn)行修改。
4)提醒功能:本模塊實(shí)現(xiàn)調(diào)查進(jìn)度、時(shí)間安排、數(shù)據(jù)反饋的提醒推送功能,從而提醒工作人員及時(shí)對(duì)數(shù)據(jù)進(jìn)行上報(bào)、修改。
5)個(gè)性化報(bào)表設(shè)置:在本模塊中,用戶(hù)根據(jù)農(nóng)作物種植實(shí)際情況,對(duì)統(tǒng)計(jì)項(xiàng)目進(jìn)行選擇加載,去除自己區(qū)域內(nèi)不需要填寫(xiě)的調(diào)查項(xiàng)目,形成個(gè)性化表格。
為了支持移動(dòng)端應(yīng)用程序的使用,需要對(duì)平臺(tái)的基礎(chǔ)數(shù)據(jù)進(jìn)行管理,例如:組織機(jī)構(gòu)、農(nóng)作物、用戶(hù)、報(bào)表等進(jìn)行管理。后臺(tái)數(shù)據(jù)管理系統(tǒng)主要包含的模塊有:數(shù)據(jù)審核、數(shù)據(jù)匯總、組織機(jī)構(gòu)管理、農(nóng)作物管理、報(bào)表管理、用戶(hù)管理等。下面對(duì)每個(gè)模塊的主要功能進(jìn)行說(shuō)明:
1)數(shù)據(jù)審核:本模塊主要實(shí)現(xiàn)上級(jí)管理人員對(duì)基層工作人員、下一級(jí)的工作人員上報(bào)的數(shù)據(jù)進(jìn)行審核。
2)數(shù)據(jù)匯總:在本模塊中,根據(jù)下級(jí)所填報(bào)的數(shù)據(jù),自動(dòng)形成匯總報(bào)表,并且將匯總數(shù)據(jù)自動(dòng)與去年同期數(shù)據(jù)對(duì)比,當(dāng)數(shù)據(jù)波動(dòng)超過(guò)10%時(shí),進(jìn)行提示。
3)組織管理:本模塊主要對(duì)本平臺(tái)的各級(jí)組織進(jìn)行管理,例如:市區(qū)、村鎮(zhèn)、街道等進(jìn)行管理。
4)農(nóng)作物管理:本模塊主要針對(duì)在本區(qū)域中所播種的農(nóng)作物品種進(jìn)行管理。
5)報(bào)表管理:本模塊主要對(duì)填報(bào)的統(tǒng)計(jì)報(bào)表進(jìn)行管理。
6)用戶(hù)管理:本模塊主要對(duì)系統(tǒng)的用戶(hù)進(jìn)行增加、修改、刪除等管理。
本平臺(tái)的使用用戶(hù)數(shù)量眾多,為了保證平臺(tái)運(yùn)行的穩(wěn)定,以及數(shù)據(jù)的正確、完整及安全,對(duì)本系統(tǒng)的用戶(hù)進(jìn)行了劃分,主要分為:基層工作人員、上級(jí)管理人員、系統(tǒng)管理員。在本平臺(tái)中,他們各自的作用如下:
1)基層工作人員。這一部分用戶(hù)是系統(tǒng)的主要使用人員具有數(shù)量多、所在的地域范圍廣、受教育程度層次不齊等特點(diǎn)。他們主要使用本平臺(tái)的移動(dòng)終端應(yīng)用程序進(jìn)行數(shù)據(jù)的采集、上報(bào)。
2)上級(jí)管理人員。上級(jí)管理人員可以有多個(gè)層級(jí),例如:鄉(xiāng)鎮(zhèn)級(jí)、區(qū)級(jí)管理員等。這一部分用戶(hù)主要是對(duì)區(qū)域內(nèi)上報(bào)的數(shù)據(jù)進(jìn)行審核,檢查數(shù)據(jù)是否規(guī)范、合理、正確,并對(duì)數(shù)據(jù)進(jìn)行統(tǒng)計(jì),形成本區(qū)域的農(nóng)業(yè)數(shù)據(jù)統(tǒng)計(jì)結(jié)果。
3)系統(tǒng)管理員。作為本平臺(tái)的系統(tǒng)管理員擁有整個(gè)系統(tǒng)最高的權(quán)限,主要負(fù)責(zé)系統(tǒng)的安全、維護(hù)等工作,例如:用戶(hù)管理、權(quán)限管理等。
本平臺(tái)的用戶(hù)權(quán)限框架圖如圖4所示。

圖4 系統(tǒng)權(quán)限框架圖
本系統(tǒng)的實(shí)現(xiàn)主要采用以下技術(shù):數(shù)據(jù)庫(kù)服務(wù)器采用 SQL Server2012,WebService采用 Visual Studio 2015,移動(dòng)終端APP采用Eclipse進(jìn)行開(kāi)發(fā)。在本文中給出,以移動(dòng)終端APP的數(shù)據(jù)采集上報(bào)為例,給出其實(shí)現(xiàn)過(guò)程。
其主要的實(shí)現(xiàn)代碼如下:


數(shù)據(jù)采集界面如圖5所示。

圖5 數(shù)據(jù)采集界面
文中針對(duì)農(nóng)業(yè)數(shù)據(jù)采集存在的效率低、錯(cuò)誤率高、采集困難、來(lái)源不足、種類(lèi)繁多等問(wèn)題進(jìn)行分析,提出了基于移動(dòng)終端的農(nóng)業(yè)統(tǒng)計(jì)數(shù)據(jù)采集移動(dòng)平臺(tái)的解決方案,以實(shí)時(shí)采集、定時(shí)提醒、定制式統(tǒng)計(jì)報(bào)表等策略,有效解決了這些問(wèn)題。平臺(tái)運(yùn)行穩(wěn)定,功能完善,實(shí)現(xiàn)了農(nóng)業(yè)統(tǒng)計(jì)數(shù)據(jù)采集的信息化管理,有效提高了數(shù)據(jù)采集及統(tǒng)計(jì)分析的工作效率。