王元勝,李瑜玲,吳華瑞,郭 威,陳 誠,孟淑春
(1. 北京農業信息技術研究中心,北京 100097;2. 石家莊市農林科學研究院,石家莊 050041;3. 北京市農林科學院蔬菜研究中心,北京 100097)
當前,經濟社會已經由信息(information technology,IT)時代進入數字(digital technology,DT)時代,數據已成為各行各業發展的重要創新驅動力,農業大數據在重塑生產要素、精準管理決策、培育新動能等方面具有廣闊前景,農業園區作為科技研發和技術推廣的“孵化器”之一,是農業現代化的重要領域,承載著產業聚集、科研協同和示范引領等重要功能,迫切需要在提升科技服務水平、促進供給側結構性改革、提高農產品質量和市場競爭力等方面加快發展,開展數字化園區建設是實現這一目標的重要途徑[1-2]。
運用地理信息、三維數字化等技術是實現園區信息化的常規手段,可以通過 GIS數據、遙感影像數據、三維建模數據實現園區可視化管理。近年來,球面全景圖加入GIS框架的全景GIS技術成為信息化發展的重要內容,可以多角度、多方面三維視覺大幅提升二維地圖的實景效果,并能充分運用多媒體甚至物聯網實時監測等多種類型信息進行綜合管理,在拓展信息化深入發展、消除“信息孤島”等方面發揮重要作用[3-7]。
然而,常規的數字化通常是依賴大型商用GIS平臺對大規模地物進行數字化建模,這種建模方式成本高昂[8],在基層小尺度園區數字化建設上有很大的局限性,本文針對此背景,結合基層農業園區典型業務需求,面向園區信息化設計提出了基于全景GIS的低成本數字化方案,設計并實現了園區全景信息動態管理、監測數據在線分析挖掘和試驗數據協同分析等功能,以期為促進物聯網、大數據在農業領域的深入應用,提供了借鑒模式和方法。
園區數字化的核心任務是實現數據的快速采集和在線化,形成大數據,進行可視化建模和在線挖掘分析。其中基礎地理、作物生長環境和試驗等數據與現階段園區“產業聚集、新動能培育”發展目標緊密相關,全部采用人工方式或自動化采集方式不符合傳感器技術發展現狀和園區應用實際,本文采用自動化物聯網監測、數字影像無人機規模化拍攝和跨學科跨地域業務數據協同獲取等多種手段相結合的方式[9-12],實現園區數字化,主要技術流程如圖1所示。
作物生長環境時空變異大,現有的傳感器能夠覆蓋到常規監測指標,因此在大田和設施溫室內最大限度部署小型傳感器,對園區內各節點的空氣溫度、空氣濕度、日降水量、風力、太陽輻射、風向、土壤濕度和土壤溫度等數據進行自動采集,通過無線傳輸網絡匯聚到園區全景 GIS云服務系統數據中心,為智慧園區管理提供歷史數據和實時在線數據。

圖1 園區多源數字化技術流程Fig.1 Multi-source technique process of park
在園區的基礎地理數據采集上,采用大比例尺的三維建模方式需要投入大量人力,因此直接運用國產無人機,根據園區規模,在30~500 m高度范圍內飛行,獲取全景拍攝和高分辨率影像數據,進行批量畸變校正、圖像拼接和地理坐標校正后,獲取三維視覺的全景交互數據和平面GIS數據,為精細化生產、農作物生長過程觀測等業務提供高效、動態、低成本的數字化管理技術[13]。
對于與氣象、墑情同等重要但又無法通過傳感器實時快速采集的數據,設計采用支撐科研協同的方式進行跨學科跨地域專題數據獲取,即通過信息系統將園區和農技人員、產業專家和科研院所連接起來,以協同合作的方式線下獲取土壤肥力、作物長勢和品種試驗等專題數據,整合入系統進行挖掘分析。
在園區數字化中,全景和基礎地理相關的影像數據采用傳統的非結構化文件存儲,跨學科跨地域協作試驗數據采用傳統的關系型數據庫存儲。物聯網實時監測數據不能直接采用傳統的存儲方式,需要在架構上進行擴展性設計,實現高頻并發數據高效穩定存儲。
物聯網實時監測數據具有高頻率、持續并發增長特點,易導致接收數據所在服務器信息系統癱瘓[14]。近年來興起的NoSQL技術采用列存儲的橫向擴展方式解決這方面的問題,但這在農業園區應用中具有一定的難度。本文設計采用兼具NoSQL和關系型數據庫優勢的存儲機制(圖 1),對于基層部門的物聯網實時監測數據管理具有較強的可行性。
高頻并發數據存取流程(圖2)具體實現機制采用由config、partion、pool、build和query模塊組成的TribeDB中間件(Middleware)按表1的優化策略對傳統的數據存取模式進行優化,對高頻、并發量大的數據進行分表分庫配置,增加其橫向擴展性能,使MySQL具有可伸縮、高擴展的架構,從而具備海量數據分布式存取功能,成倍提升性能[15-16]。

圖2 高頻并發數據存取流程Fig.2 High frequency concurrent data access process

表1 統一存儲模型優化策略Table 1 Optimizing strategy for unified storage model
當有數據向MySQL數據庫存儲時,TribeDB中間件讀取 tribeDB.conf配置文件定義的分庫/分表存儲策略,對操作進行攔截和優化,將寫操作統一由 TribeDB中間件按配置表路由要到指定的庫(schema)和表(table)中,將頻繁寫操作對磁盤造成的I/O壓力轉移到TribeDB中間件,由路由策略將負荷分散到不同庫表節點,從而避免因數據訪問瓶頸導致服務器宕機。
針對高頻并發數據存取目標,設計“一主多從(1 Master –n Slave)”式MySQL存儲物理架構(圖3),基于 TribeDB中間件的統一存儲調度功能,靈活增加普通數據庫服務器,擴展系統的整體性能,從而高效應對大規模數據訪問請求[17]。
在圖3架構中,采用多個計算單元(CU1~CUz)、多個數據庫服務器(DS1~DSn)和大量 MySQL數據庫(Db1m~Dbmsn-1)來負載高頻增長數據存儲,物理拓撲結構與表 1設計的統一存儲模型優化策略相對應,在CU1~CUn每個節點計算單元數據庫服務器上都部署開源Node.js分布式計算總線(圖4),基于TribeDB中間件,遵循tribeDB.conf定義的數據路由策略,通過調用優化動態路由配置(config)、數據處理模式(mode)、對象深度處理(util)、并發訪問指令構建(create)、分區路由計算(partion)和多節點池化資源集群(pool)等模塊的客戶端存根(Stub)接口,優化MySQL原有的單點存取機制,保障數據的集群化協同存取目標(圖2)實現,實現實時監測數據的并發存取任務。

圖3 高頻并發數據存取架構Fig.3 High frequency concurrent data access framework
通過以上園區數字化技術獲取的數據資源,本文選用開源軟件為主的基礎軟件環境,采用主流的 Web Service 云服務技術進行園區全景GIS云服務系統設計研發,以降低基層管理部門數字化建設成本,保障系統的先進性和靈活擴展特性(圖4)。

圖4 園區全景GIS系統Fig.4 Park panoramic GIS system
全景 GIS相關基礎軟件采用開源 Geo Server和PaperVision3d,通過Tomcat Web服務器部署基于SOA(面向服務)和RIA(富客戶端應用,rich internet application)框架,由TribeDB中間件提供Web Service接口,實現關系數據庫負載均衡,Tomcat Web服務器提供各類業務的SOA云服務,面向專家、農技人員、科研機構和管理部門等類型用戶,提供WebGIS和全景VR空間信息服務,以節省小尺度數字化系統構建成本。
將球面全景圖納入 GIS框架,可從多個方位對真實場景進行拍攝合成模擬,建立三維全景地圖數據庫,從整體、局部和細微角度呈現三維實景,大幅度提升二維電子地圖的實景效果[7]。
在全景GIS構建上采用PaperVision3d引擎,在Action Script中對3D 對象(display-object 3D)、攝像機(camera)、材質(material)、場景(scene)、視點(viewport)、渲染引擎(render)等元素進行參數定義或動作控制,將全景圖像作為Sphere 對象的紋理給球體添加紋理材質,對全景圖像進行球面虛擬場景動態渲染,實現對園區的三維全景瀏覽和漫游交互功能[18]。
球面全景圖與 GIS的球面投影相似,雖然二者半徑和球心位置不同,但各自投影系內坐標可以相互轉換,從而實現全景GIS與GIS的二三維信息關聯。聯動的途徑主要是通過在球面全景場景內底面“大地”坐標(x',y')與二維平面GIS場景內大地坐標(x,y)之間建立比例和平移轉換關系,從而實現觸及全景球面地物,可觸發二維GIS中相應位置信息查詢功能,如該位置的土壤肥力、投入品、廢棄物綜合利用等情況。
全景 GIS系統大幅提升了二維地圖的實景效果,在數字化應用服務上需要解決自身的坐標系轉換、熱點交互響應和物聯網監測數據模型分析等方面的技術支撐問題,同時也需要對實景交互過程中的重要生產環節提供數據的協同分析功能。
主要途徑是在軟件工程中,運用全景GIS理論模型,在與用戶交互的球面坐標系統中設置與全景平面圖中對應坐標的熱點響應事件,觸發物聯網實時數據查詢、在線分析和跨學科協同分析等服務,實現數字化系統的全景交互功能(圖5)。
3.3.1 全景坐標系轉換
熱點響應和“全景”與2D聯動是全景GIS系統的2個關鍵技術點,實現上主要依賴于全景影像與交互視圖的坐標轉換,全景拍攝影像數據經批量畸變校正、拼接等處理操作后,得到如圖6所示的2:1全景平面圖,將其投影到圖 7左側圖形所示半徑為 R(其值為 L/2π)的半球面上[19-22]。
依據左手定則笛卡爾坐標系對應算法,即可得到二者坐標系轉換模型,算出平面中 A(x,y)點在球面中對應A' (x',y',z')點的坐標值,如公式(1)所示。

圖5 全景GIS系統熱點交互Fig.5 Interaction of panoramic GIS system by hot spot

圖6 園區全景平面圖中任意點A的位置Fig.6 Position of any point A in park panoramic image

圖7 球面上對應點A'的位置Fig.7 Position of corresponding point A' on sphere

式中,φ 為從球心到A'點的連線與Y軸夾角,θ為從球心到A'點的連線在XOZ平面上的投影與X軸夾角。
利用上述公式進一步計算,可得到平面點 A與曲面點A'的關系

3.3.2 物聯網實時數據在線挖掘分析模型
物聯網監測原始數據,往往不能很好地反映生產經營管理目標狀況(例如作物需水量、病蟲害發生情況等),通常需要基于原始數據形成的綜合指標來進行挖掘分析。以作物需水量為例,選用彭曼—蒙蒂斯(Penman—Monteith)模型分析作物需水量,其中相對需水量模型如下[23-24]:

式中 ET0為參考作物蒸散量,mm/d;Δ為溫度—飽和水汽壓關系曲線在溫度 T處的切線斜率,kPa/℃;Rn為凈輻射 MJ/(m2·d);G為土壤熱通量,MJ/(m2·d);T為平均溫度,℃;r為干濕表常數;U2為2 m高處風速,m/s;es為平均飽和水汽壓,kPa;ea為實際水汽壓,kPa。
基于物聯網監測數據,運用 TribeDB中間件調度相應數據,計算出作物參考需水量ET0,再根據作物各生長階段作物系數,就可計算出作物生育期需水量,以此為核心,參與相關的分析,實例詳見表2。

表2 物聯網實時數據在線分析Table 2 Online analysis for internet of things datas
如表2所示,基于TribeDB中間件分布式協同計算技術,從存儲系統中調度出模型的輸入參數數據,計算作物需水量,實現物聯網實時監測數據在線分析功能,解決了多指標物聯網監測數據的降維分析問題。在此基礎上,按文獻[25-26]論述方法,選用非參數時間序列ARIMA(p,d,q)分析模型,在通過數據差分化(d階差分)保證待分析數據平穩前提條件下,選擇自回歸階 p和移動平均階 q的合適數值,對觀測數據分析結果做進一步預測分析,從而挖掘監測數據潛在規律,為經營管理工作從事后轉身事前提供依據(圖8)[27-28]。

圖8 園區物聯網數據在線分析示例Fig.8 Example of online analysis for park IoT datas
3.3.3 試驗數據協同分析
從產學研的角度,園區通常要面臨資源環境稟賦需求,與專家、科研人員協作開展育種、栽培模式、品種對比等試驗活動,在試驗數據分析方面的需求也很迫切。由于領域交叉性,短期內系統平臺難以實現全要素的跨學科數據在線挖掘分析,因此以科研協同的方式,以園區為載體將分析師、農業專家連接起來,從而實現試驗數據的快捷、權威分析,為園區生產服務。
以菠菜品種試驗分子標記數據分析為例,將在園區進行協同試驗的31個品種運用AFLP引物組合進行分子標記,得到表3所示數據。

表3 菠菜分子標記數據Table 3 Molecular marker data of spinach
表3中共有31個品種(C1~C31)、276條記錄,根據AFLP擴增條帶的有無,統計數據為1、0矩陣,對其進行相似系數矩陣計算、非加權配對算術平均法(UPGMA)聚類等分析[29-30],得到反映各品種親緣關系的遺傳距離(圖 9),揭示不同品種間在遺傳上的遠近關系,為選擇培育優良性狀品種提供依據[31]。

圖9 科研協同試驗數據分析Fig.9 Test datas analysis by scientific and research collaboration
在DT時代信息化的方向正在發生重要轉變,信息系統平臺的功能也在向以數字化表達和數據資源深度利用的方向發生重要轉變,本文基于上述設計,最后運用TribeDB中間件“一主多從式”MySQL大數據存儲模式,采用 Geo Server、PaperVision3d、Node.js等開源基礎軟件平臺和分布式計算總線,運用JavaEE、RIA技術構建了基于全景 GIS的園區數字化云服務系統原型,實現了全景交互環境下數字化園區管理核心功能,取得了以下結果。
1)提出輕量級農業園區數字化云服務系統構建技術。綜合采用了全景影像,融合傳感器監測等低成本數據獲取技術,重點解決了全景影像坐標轉換熱點應用、全景與二維 GIS聯動查詢和物聯網監測數據在線挖掘與預測分析等方面的核心應用問題,實現適合園區全息化信息管理等系統構建目標。
2)設計了高效適用的物聯網高頻并發數據云存儲模式。充分考慮農業領域信息化基礎現狀與技術需求,設計采用了TribeDB中間件實現兼有關系數據庫和NoSQL數據庫優勢的數據存儲架構,通過分布式計算和數據路由設計,在保障系統應對高頻、快速增長數據存取需求的情況下,減少了技術的復雜程度和大數據建模上的額外開銷。
3)提出了擴展性強的數字化資源整合利用模式。利用田間傳感器、空中無人機和地面互聯網科研協同的方式,將自動采集和人工實驗分析相結合,以全息式、實時信息流的服務模式,連接園區、產業專家和數據分析師人員,從而充分拓展了數字化系統的“互聯網+”功能,實現產學研資源協同整合。
本文研究的原型系統初步在京津冀地區的園區信息化中得到應用,很好地滿足了基層園區對數字化云服務方面的技術需求,應用效果良好,在促進物聯網、大數據技術深入應用、學科技術在農村基層地區的交叉融合等方面具有一定借鑒意義。
[1] 張慧媛,郭雪霞,劉瑜,等. 農產品加工產業園區聚集水平的發展評價[J]. 農業工程學報. 2016, 32(增刊1):320-324.Zhang Huiyuan,Guo Xuexia,Liu Yu,et al. Evaluation of cluster development level of agriculture products processing industrial park [J]. Transactions of the Chinese Society of Agricultural Engineering (Transactions of the CSAE),2016,32(Supp. 1): 320-324. (in Chinese with English abstract)
[2] 馮卓斌. 淺析渠縣現代農業園區發展現狀及對策[J]. 三農論壇. 2017, 34(2):166-168.
[3] 陳維榕,童倩倩,舒田,等. 三維模型在農業感知物聯網中的研究與應用[J]. 貴州農業科學. 2017, (11):135-138.
[4] 尤達,鄭翔,李卓霖,等. 數字技術在福建南平市博遠農莊改造中的應用[J]. 防護林科技. 2017, (5):103-105.
[5] 王廷華,姚輝博,王恩標. 企業全息化數據智慧應用平臺若干關鍵技術的研究[J]. 山東煤炭科技. 2015, (5):178-184.
[6] 李建良,陸錚,賀耀宜. 煤礦全息數字化礦山平臺設計[J].工礦自動化. 2015, 41(3):57-61.
[7] 王晨. 基于全景技術的校園三維實景展示應用研究[D].天津: 天津科技大學. 2016.Wang Chen. Research and Implementation of Campus Three-dimensional Reality Based on Panorama[D]. Tianjin:Tianjin University of Science & Technology. 2016. (in Chinese with English abstract)
[8] 劉雯. 城市地理信息系統中的全景地圖技術初探[J]. 科技經濟市場. 2018, (1):9-10.
[9] 周茜,夏清清. 數字化調查與可視化分析在城鎮規劃中的應用[J]. 規劃師. 2017, 33(4):101-108.
[10] 陳芬. 3S技術在農業科技園區信息化管理中的應用研究[D]. 昆明: 云南大學, 2016.Chen Fen. Application of 3S Technology in Information Management of Agricultural Science and Technology Parks[D]. Kunming: Yunnan Agricultural University. 2016.(in Chinese with English abstract)
[11] 唐潔,邵壯,張春燕. 無人機圖像拼接技術的應用研究[J].佳木斯大學學報(自然科學版). 2017(6):918-921,982.
[12] 秦育羅. 一種高效的虛擬校園構建模式[J]. 科技與創新.2017(24):3-5.
[13] 余建軍,徐攻博,郭望成,等. 天地一體全景影像快速獲取與應用技術[J]. 測繪通報. 2017, (7):103-107.
[14] Wang Yuansheng, Wu Huarui, Luo Lei, et al. Research on cloud storage technologies of typical crop growth environment monitoring data [J]. Computer Modelling &New Technologies. 2014, 16(2):13-22.
[15] 康文杰,王勇,俸皓. 云平臺中 MySQL數據庫高可用性的設計與實現[J]. 計算機工程與設計. 2018(1):296-301.
[16] Sahithi T, Venkata M. Managing mysql cluster data using cloudera impala [J]. Procedia Computer Science 2016( 85):463-474.
[17] Lee DongSeok, Lim JoongSoo. Design of compact data integration and convergence device using Esp8266 module[J].Journal of the Korea Convergence Society. 2017, 8(2):15-20.
[18] 李石磊,杜明義,劉艷巍,等. 全景圖像與GIS 集成技術研究[J]. 城市勘探. 2013(4):12-16, 20.
[19] 陳青青,湯志亞,楊玲. 地圖投影面上的全天空圖像拼接[J]. 微型機與應用. 2016(8):9-11,14.
[20] 陳寧,龔蘇斌. 基于 PV3D 的全景漫游關鍵技術研究[J].系統仿真學報. 2013, 25(9):2140-2143.
[21] 趙毅力. 球面全景圖漫游算法研究[J]. 電腦知識與技術.2011, 7(13):3112-3113.
[22] 田軍,孟祥娟,王萍. 全景圖中投影模型與算法[J]. 計算機系統應用. 2013, 22(5):126-132, 192.
[23] 王娟,王建林,劉家斌,等. R-K 蒸散模型用于華北平原冬小麥農田的參數校正與評價[J]. 農業工程學報. 2016,32(9):99-105.Wang Juan, Wang Jianlin, Liu Jiabin, et al. Calibration and evaluation of R-K evapotranspiration model for winter wheat in North China Plain[J]. Transactions of the Chinese Society of Agricultural Engineering (Transactions of the CSAE),2016, 32(9): 99-105. (in Chinese with English abstract)
[24] 金菊良,宋占智,蔣尚明,等. 基于云模型的淮北平原參考作物蒸散量時空分布[J]. 南水北調與水利科技. 2017,(1):25-32.Jin Juliang, Song Zhanzhi, Jiang Shangming, et al.Spatiotemporal distribution of potential evapotranspiration in Huaibei Plain based on cloud model[J]. South-to-North Water Transfers and Water Science &Technology, 2017,15(1) : 25-32. (in Chinese with English abstract)
[25] Fan Jianqing, Yao Qiwei. Nonlinear Time Series Nonparametric and Parametric Methods[M]. 北京:科學出版社. 2016.
[26] 易丹輝. 時間序列分析方法與應用[M]. 北京:中國人民大學出版社. 2011.
[27] 熊偉麗,李妍君,姚樂,等. 一種動態校正的AGMM-GPR多模型軟測量建模方法[J]. 大連理工大學學報. 2016(1):77-85.Xiong Weili, Li Yanjun, Yao le, et al. A dynamically corrected AGMM-GPR multi-model soft sensor modeling method[J].Journal of Dalian University of Technology. 2016(1): 77-85.(in Chinese with English abstract)
[28] 柳海濤,孫雙科,鄭鐵剛,等. 水電站下游魚類產卵場水溫的人工神經網絡預報模型[J]. 農業工程學報. 2018, (4):185-191.Liu Haitao, Sun Shuangke, Zheng Tiegang, et al. Prediction of water temperature regulation for spawning sites at downstream of hydropower station by artificial neural network method [J]. Transactions of the Chinese Society of Agricultural Engineering (Transactions of the CSAE), 2018,34(4): 185-191. (in Chinese with English abstract)
[29] 吳婭妮,康俊根,王文科,等. 菠菜種質遺傳多樣性和親緣關系的AFLP分析[J]. 園藝學報. 2013(5):913-923.
[30] 姜德志,方應有,肖賢,等. 基于 ISSR標記的油茶種質資源遺傳基礎分析[J]. 湖北農業科學. 2018(2):119-125.
[31] 李芳弟,王鵬,竇俊煥,等. 加工型馬鈴薯實生群體的SSR鑒定與遺傳多樣性分析[J]. 西北農林科技大學學報(自然科學版). 2018(4):1-11.Li Fangdi, Wang Peng, Dou Junhuan, et al. SSR identification and genetic diversity of seedling population of processing potato[J]. Journal of Northwest A&F University(Nat. Sci. Ed.). 2018(4): 1-11. (in Chinese with English abstract)