大數據實驗平臺及資源建設的思考與探索

李　輝, 張　標, 高萬林

(1. 中國農業大學 信息與電氣工程學院, 北京　100083； 2. 中國農業大學 工學院, 北京　100083)

?

大數據實驗平臺及資源建設的思考與探索

李輝1, 張標2, 高萬林1

(1. 中國農業大學 信息與電氣工程學院, 北京100083； 2. 中國農業大學 工學院, 北京100083)

針對當前我國農業大數據人才需求與匱乏,明確了農業大數據本科實驗教學建設的4個目標,同時從師資資源、學生意愿與校企聯合3個方面論證了實驗教學的可行性,提出了包含6部分內容的建設方案。該方案能夠為我國其他農林院校的大數據本科教學提供很好的建設思路與經驗。

農業大數據； 本科教學； 資源建設； 實驗平臺

1　開展農業大數據教學的形勢分析

大數據對于農業來說,既是機遇,也是挑戰,只有搶占大數據這一新時代信息化技術制高點,找準大數據技術在農業領域的發力點,才能充分發揮大數據優勢[1]。農業大數據是指以大數據分析為基礎,運用大數據的理念、技術及方法來處理農業生產銷售整個鏈條中所產生的大量的數據,從中得到有用信息以指導農業生產經營、農產品流通和消費的過程[2]。農業數據應用作為農業大數據產業的落地點,呈現分析挖掘的數據價值,還原大數據結論反映的行業問題,即將農業大數據應用在糧食安全、土土地整理、病蟲害防治、動植物育種、農業結構調整、農產品價格、農副產品消費等領域,解決農業生產過程遇到的諸多問題[3-4]。

農業數據是非常復雜的,具體表現在數據源分布廣、可控度低、受干擾大、類型多樣、結構復雜和獲取困難等,由此導致了我國農業大數據應用面臨著諸多挑戰和問題[5]。首先,大數據研究普遍存在著“只有數據、沒有利用”的問題,導致搜集數據、存儲數據付出的成本被浪費[6]。其次,數據類型單一,只有結構化數據,半結構化和非結構化數據缺失導致數據的不完整[7]。同時,缺乏農業現代化與信息化的深度融合,區域視角缺乏全國視角。最后,技術平臺只是采用業界流行的Hadoop和MapReduce等開源軟件簡單堆砌,很難保證未來的適應性。

目前專門從事數據科學與應用研究的人才緊缺,大數據人才的招募、培養、使用是農業大數據研究面臨的最大挑戰[8]。大數據產業的發展對大數據人才提出了新的需求,國內各高校在積極進行大數據學術研究的同時,也開始考慮將大數據相關課程納入培養體系,以滿足社會對大數據人才的需求[9-10]。在我國,除了以山東農業大學為首的農業大數據產業技術創新戰略聯盟之外[11],我們還看到了江蘇省大數據分析技術重點實驗室(http//bdat.muist.edu.cn/index.asp)和中國科學院大學大數據分析實驗室(http//ceit.ucas.ac.cn/index.php?id=263)等陸續成立。

我校作為中國農業院校的一員,在大數據大潮來臨之際集中全力建立農業大數據實驗室已經是時不我待,同時借助我校在農業領域雄厚的積累以及聯合業界優秀的企業共同建立農業大數據實驗室,并將農業大數據的實驗教學盡快納入本科生的培養體系之中,才能確保我校可以在農業大數據領域“后來者居上”,打造出國家級的大數據重點實驗室和在農業大數據領域的領先地位。

在人才培養中,結合農業行業的相關應用特點的實驗教學是關鍵環節,為滿足農業行業的人才技能要求,需要在本科的相關學科教學中,強化基于真實農業行業相關數據的實驗教學環節。首先,立足信息與電氣工程專業,面向全校本科生大數據教學,分驗證性、設計性、創新拔高3個層次設置實驗,確保學校各個專業的學生可以通過此課程大致了解大數據發展的新趨勢、新動向及其對于現代農業的影響和意義。其次,信息技術的發展為豐富教學手段提供了可能,通過開放共享的慕課和大數據實驗室的資源,與其他農業兄弟院校積極開展農業大數據的教學、科研等工作,全面提高整個農業院校的科技現代化教育水平[12]。

2　農業大數據本科實驗教學建設目標

按照“厚基礎、寬口徑、重實訓實踐、重交叉融合”等要求,科學設立大數據人才培養方案,培養既熟悉數據分析又具備相關業務知識的復合型人才[13]。開設面向本科的農業大數據的實驗教學,能夠讓學生了解大數據分析的技術原理和實現方式,以及掌握大數據對于農業相關專業所能帶來的幫助甚至變革,為此需要達成以下4個建設目標：

目標1:建設業界領先的大數據實驗室,結合學校在農業領域的豐厚積累和寶貴資源,以“大數據技術及應用概論”公共課讓各專業本科生都可以受益,成為其他農林院校大數據實驗室建設的樣本,進而成為國家級農業大數據重點實驗室。

目標2:建設融合“農業行業經驗+業界最新技術+豐富實驗教學實踐+業界實際案例”四位一體的新一代農業大數據實驗教學平臺。此平臺應隨著大數據技術的發展和農業實際案例的不斷發展持續迭代更新,保證其教學內容與時俱進,最大限度避免傳統教學知識陳舊的現象出現,為農業現代化、信息化與國際先進技術接軌和同步，奠定良好的基礎。

目標3:應用先進的“互聯網+教育”的線上線下相結合的教學模式,迅速擴大農業大數據實驗課程的覆蓋范圍,其中的重點就是要在上述的農業大數據實驗教學平臺基礎之上建立相應的“大數據技術及應用概論”精品課程,包含導學課程、慕課課程、翻轉課堂、實際案例教學材料、教師案例實驗用書、學生案例實驗用書、測試題目、FAQ答疑等相關教學工具及教學輔助材料。

目標4:由應試教育向以學生就業和社會實際需求為前提的方向轉變,針對農業經濟、農業氣象、生物信息、食品營養、食品安全、食品風險監測、動物疫情等專業的實際案例，編寫大數據的行業應用范例教學材料,可以考慮分期實施,并根據需要進行適當的擴充和進一步優化。

3　農業大數據本科實驗教學的可行性分析

為了達成面向本科生的大數據實驗課程目標,我們采用的是業界先進的平臺和貼近農業實際的相關案例分析,充分考慮技術和專業的融合,從而保證課程的可行性和有效性。考慮到我校學生除了信電學院學生，其他學院的學生均是非計算機相關專業學生,因此課程的設計充分考慮其廣泛適用性,特將此課程細分為農業大數據技術應用型和農業大數據技術開發設計型兩類課程。

我校有著豐富的各種資源及經驗,在課程建設與改革中對全國農林院校的發展具有重要作用與影響。首先，師資隊伍是保證教學質量、實現專業可持續發展的關鍵，由農業大數據本科實驗教學的可行性分析框架(見圖1)可以看出,我校在師資資源方面有充分的保障,其次是學生對于之前開設的相關大數據課程較為感興趣,樂于擁抱大數據技術,關鍵是校企聯合保證了農業大數據實驗室的先進性和適用性,真正能夠解決實際問題,因此在我校進行農業大數據本科實驗教學完全可行。

4　農業大數據本科實驗教學建設方案

基于農業大數據本科實驗教學的建設目標和可行性分析,提出了建設方案(見圖2)。實驗教學建設方案主要包括農業大數據源數據、農業大數據實驗室軟硬件平臺、農業大數據實驗室教學資源開發、大數據實驗平臺設計方案和大數據實驗案例教學開發6個方面的內容。

圖1　農業大數據本科實驗教學的可行性分析框架

圖2　農業大數據本科實驗教學建設方案

4.1農業大數據源數據包

數據是大數據分析的基礎,主要包含農業經濟、農業氣象、生物信息等數據來源。數據來源多種多樣,數據類型除了來自各個應用系統的傳統意義上的結構化數據、半結構化數據之外,更多的是非結構化數據來源,這些是農業大數據平臺的原材料,我們將這些數據統一稱為裸數據(rawdata)。

4.2農業大數據實驗室硬件平臺

大數據分析必須要硬件平臺做支撐,農業大數據實驗室硬件平臺包括服務器、存儲設備、客戶機、網絡、投影儀和大屏幕等硬件,這些是農業大數據軟件平臺的硬件基礎。

4.3農業大數據實驗室軟件平臺

農業大數據實驗室軟件平臺主要包括數據準備、數據處理、數據建模與展現等軟件平臺。

(1) 數據準備。與商業智能類似,如果數據需要通過大數據平臺進行處理,數據的前期準備工作就變得十分重要,數據的抽取、清洗、轉換和加載就相當于對于原材料進行粗加工,以便為大數據處理的大餐做好充分的前期準備。此階段主要采用的工具是ETL(extract,transformandload)。

(2) 數據處理。此階段是大數據的核心功能,通過ETL工具準備好的數據首先存儲到分布式文件系統之中(例如:Hadoop的文件系統HDFS或相應生態系統的類似文件系統),然后用一系列商業智能分析工具(主要針對結構化)和SPARK之類的內存分析工具(主要針對非結構化數據)對數據進行分析和處理,從而達到數據挖掘和價值發現的目的,到了這一步,才實現了數據變為有意義的信息的一步。

(3) 數據建模與展現。經過數據處理中的對于數據的精加工處理之后,數據的價值就可以通過進一步的建模工具、報表工具、數據可視化等工具從不同的維度進行深度的數據挖掘、決策支持等工作,將大數據針對某一個行業或者某一個應用場景進行定制化的二次開發,從而最終得到對于用戶真正有價值的知識,這一步是信息變為知識的關鍵一步。

4.4農業大數據實驗教學資源開發

樹立實踐育人理念,多渠道開發實踐教學資源。農業大數據實驗教學資源開發主要是教學案例開發,包含農業相關專業的數據、模型開發、數據可視化及說明等內容。農業大數據實驗教學資源開發主要包括大數據應用實驗課程、大數據設計開發實驗課程。農業大數據實驗課程慕課開發,將部分知識講解通過慕課制作為線上課程,供學生預習使用。農業大數據實驗教材開發,針對兩門課程的實驗教師用書和學生用書的編寫。

根據大數據的架構描述,結合我校即將開展的面向本科生的大數據實驗教學課程,需要進行相應6點教學準備:

(1) 搭建本科大數據實驗平臺；

(2) 設計農業相關專業和學科的大數據案例教學用例；

(3) 編寫本科大數據實驗教材；

為解決我國水資源短缺的問題，需對當地的可用水源進行挖掘，升級改造現有管道，改變原有管道狹窄的情況，增加供水量。同時，興建、維修人畜飲水工程，對天然降水、溝道水進行凈化處理，并做好水資源的儲備工作。政府應制定相應的資金籌集計劃，為人畜用水工程的建立與維修提供資金支持[3]。建立健全水源地保護辦法，嚴禁農民群眾在水源地進行畜禽養殖、堆放垃圾、施用有害肥料等，對水體物理、化學特征、毒理學等指標進行檢驗，建立相應的水質凈化實驗室，水廠中要設置化驗室對水質安全進行檢測，從而有效確保水質的安全。

(4) 編寫本科大數據實驗課件和教師用書；

(5) 編寫本科大數據實驗學生用書；

(6) 設定本科大數據實驗考核標準和相關測試項目或題目。

其中第一項和第二項是整個實驗教學的核心保障,否則實驗課程只能是紙上談兵,很難確保課程教學目標的達成和學生的學習效果。

4.5大數據實驗平臺設計方案

大數據實驗平臺的搭建以多節點集群服務器平臺作為農業大數據實驗的硬件平臺,提供大數據計算和分布式存儲平臺,以Hadoop商業文件系統DataHearts文件系統作為大規模數據的分布式存儲平臺,以SPARK內存分析和MapReduce構成大數據的處理平臺(見圖3)。

圖3　大數據實驗平臺設計方案

這種平臺架構的設計優勢有6點:

(2) 靈活的數據模型可以支撐99.9%以上的SQL接口,大大降低數據接口難度,同時支持結構化和非結構化數據類型；

(3) 高度集成的系統,無需多種技術混雜在一起的堆砌模式所帶來的管理的復雜性和簽字的性能問題；

(4) 高性能,采用了增強式的文件系統結合內存分析平臺，大大提高了數據處理和分析速度；

(5) 高可用,采用群集和對等架構(P2P)大大消除了單點故障帶來的故障風險；

(6) 易管理,基于GUI的管理模式大大降低管理難度。

4.6大數據實驗案例教學的開發

為了讓學生能夠對大數據在農業相關專業的具體的應用場景和所能起到的關鍵作用有感性和理性的認識,了解大數據作為當今世界先進的技術對于傳統農業升級為現代農業的巨大促進作用,在大數據實驗平臺上針對相關農業的專業方向提供相應的實際案例是非常必要的，其中應該包含但不僅限于農業經濟大數據案例、農業氣象大數據案例、生物信息大數據案例、食品營養大數據案例、食品安全大數據案例、食品風險監測大數據案例、動物疫情大數據案例等。

對于案例的設計和研發,建議本著“總體設計、分步實施”的原則,成熟一個就應用于教學,通過教學反饋快速迭代后續案例的開發,從而在始終保證案例的真實性、可用性和有效性的同時不失先進性。案例研究能夠很好地將大數據的理論、實驗平臺和實際的應用案例相結合，從而達到學以致用的目的。面向本科生的農業大數據應用和開發設計實驗課程內容安排描述見表1。實驗課程共包括驗證型、設計型和創新型3個類型,29個實驗任務。通過這些實驗能夠讓本科學生較為全面地掌握農業大數據基本分析方法與應用,從而為解決實際問題打下良好基礎。

表1　實驗課程類型與實驗內容描述

5　結語

以我校為例,明確了農業大數據本科實驗教學建設的目標,基于建設目標詳細分析了實驗教學的可行性,在此基礎上,提出了農業大數據本科實驗教學的建設方案。結合實際情況,初步建立起面向我校70多個專業的大三或者大四學生(每屆學生約2 800人)的農業大數據應用和設計開發的實驗教學活動。隨著此實驗教學的持續展開,越來越多的學生不但可以開闊視野、豐富知識,同時也可以有效激發學生對于新技術的興趣,從而成為我國農業教育的領航者。

References)

[1] 王文生,郭雷風.農業大數據及其應用展望[J].江蘇農業科學,2015,43(9):1-5.

[2] 張浩然,李中良,鄒騰飛,等.農業大數據綜述[J].計算機科學,2014,41(增刊2):387-392.

[3] 謝潤梅.農業大數據的獲取與利用[J].安徽農業科學,2015(30):383-385.

[4] 許世衛,王東杰,李哲敏.大數據推動農業現代化應用研究[J].中國農業科學,2015,48(17):3429-3438.

[5] 孫忠富,杜克明,鄭飛翔,等.大數據在智慧農業中研究與應用展望[J].中國農業科技導報,2013(6):63-71.

[6] 郭承坤,劉延忠,陳英義,等.發展農業大數據的主要問題及主要任務[J].安徽農業科學,2014(27):9642-9645.

[7] 光峰,姚程寬,王維進.農業領域大數據的應用研究[J].洛陽師范學院學報,2015(8):75-77.

[8] 宋長青,牟少敏,周虎,等.農業大數據研究中心的建設、研究與實踐[J].中國現代教育裝備,2015(3):8-11.

[9] 黃晉.關于大數據人才培養的思考與探索[J].教育教學論壇,2014(45):201-203.

[10] 王文奇,劉保縣,宗蓮松,等.基于學生綜合能力培養的工科創新型實驗探索與實踐[J].實驗技術與管理,2015，32(9):26-29.

[11] 宋長青,高明秀,周虎.高等農業院校農業大數據研究現狀及發展思路[J]. 中國農業教育,2014(5):16-20.

[12] 饒震紅,杜鳳沛.從提高科技競爭力視角思考本科生實驗教學內涵建設[J]. 實驗技術與管理,2015,32(12):13-15,29.

[13] 陳桂龍.九三學社中央:加強大數據人才隊伍建設[J].中國建設信息,2015(7):21.

Thinkingandexplorationonconstructionofbigdataexperimentalplatformandresources

LiHui1,ZhangBiao2,GaoWanlin1

(1.CollegeofInformationandElectricalEngineering,ChinaAgriculturalUniversity,Beijing100083,China；2.CollegeofEngineering,ChinaAgriculturalUniversity,Beijing100083,China)

Abstract:Inordertosolvetheseriouschallengethatagriculturalbigdatatalentsareveryscarcity,fourobjectivesoftheconstructionofundergraduateexperimentaleducationofagriculturalbigdataweredefined.takingChinaAgriculturalUniversity(CAU)asanexample.Meanwhile,thefeasibilityonmakingeducationexperimentswasprovedfromteacherresources,student’sintentionandschool-enterprisecooperation.Finally,theconstructionschemeofthesixpartswasproposed.Itcanprovideagoodideaandexperienceforundergraduateeducationinotheragriculturalandforestrycollegesanduniversities.

agriculturalbigdata；undergraduateteaching；resourcesconstruction；experimentalplatform

DOI:10.16791/j.cnki.sjg.2016.07.049

2016-01-26修改日期：2016-03-21

中央高校基本科研業務費專項資金(2016XD002)；國家社會科學基金項目(11AZD095)；公益性行業(農業)科研專項(201303106)

李輝(1978—),男,安徽阜陽,博士,講師,從事信息系統與大數據技術在農業中應用研究.

E-mail：caulihui@cau.edu.cn

G642.0

A

1002-4956(2016)7-0195-05