數據倉庫和OLAP技術在農業生產決策系統中的應用研究

摘 要：隨著信息技術的不斷發展，政府借助互聯網、大數據和人工智能等新興技術不斷提升治理的現代化水平。農業數字管理是實現政府管理現代化的重要一環，其中，農業生產是農業管理中必不可少的一部分，但目前農業生產數據分散、數據量大、利用率低。該文利用數據同步工具ETL將適合主題的數據存入數據倉庫，利用OLAP技術對數據多維分析，分析結果在農業生產決策系統中進行展示，為農業未來的發展決策提供科學依據。

關鍵詞：數據同步;數據倉庫;OLAP技術;多維分析;農業生產決策系統

中圖分類號 TP3? 文獻標識碼 A文章編號 1007-7731（2021）17-0143-03

Application Study of Data Warehouse and Olap Technology in Agricultural Production Decision System

ZHAO Han

（College of Information Engineering， Tarim University， Alar 843300， China）

Abstract： With the continuous development of information technology， the government with the help of the Internet， big data and artificial intelligence emerging technologies continue to improve the level of governance modernization， agricultural digital management is an important part of the realization of government management modernization， agricultural production is an essential part of agricultural management. At present， the agricultural production data is scattered， the data is large， the utilization rate is low. This paper uses the data synchronization tool ETL to store the data suitable for the topic in the data warehouse， uses the OLAP technology to analyze the data multi-dimensional， and displays the analysis results in the agricultural production decision system， it provides a strong basis for the future development and decision of agriculture.

Key words： Data synchronization; Data warehouse; OLAP technology; Multidimensional analysis; Agricultural production decision system

1 引言

十八大以來，“三農”問題一直是全黨工作的重中之重，黨中央對數字經濟發展高度重視，數字經濟的發展促進了數字中國建設。數字農業是數字中國的重要一環[2]。當前，由于數據收集、存儲方式的差異，農業生產數據零散、缺乏有效的管理，從而影響了數據的利用效率。為了更加快速、便捷、精準地對農業生產數據進行分析，做出正確決策，必須對全國農業生產數據進行詳盡的梳理，將篩選清洗過的數據存入到數據倉庫中，以期為后續數據多角度決策分析提供支持。

2 數據倉庫與OLAP技術應用現狀

2.1 數據倉庫的應用 數據倉庫是階段化、不可更新、集成化的數據集合[3]。數據倉庫擁有明確的主題，是存儲用戶決策過程中最重要的部分。數據來源于分散的數據庫，通過數據抽取、清洗和系統加工、匯總、整理得到[4]。數據倉庫中的數據對于高效管理有著深遠的影響。目前，數據倉庫已經被廣泛應用到金融、銀行、企業、醫療、市場零售業中。企業為了應對市場愈加激烈的競爭，通過數據倉庫對經營數據分析，做出正確的決策。隨著移動互聯網的飛速發展，數據倉庫也逐漸在移動APP開發中起到了重要作用[5]。

2.2 OLAP技術的應用現狀 20世紀60年代，E.F.Codd提出了關系模型，促進了聯機事務處理（OLTP）的發展[6]，OLTP主要功能是處理傳統關系型數據庫中基本的、日程的事務。20世紀90年代，隨著社會的不斷進步，數據量也不斷增加，人們開始希望從數據中得到更多的信息，于是E.F.Codd又提出了聯機分析處理（OLAP）的概念[7]。OLAP技術是數據倉庫的核心部分，主要通過復雜的分析，為管理者提供決策支持。在過去的20多年中，OLAP技術得到了飛速的發展和廣泛的應用。國內的OLAP技術更多的是在國外的基礎上發展的，其中Palo是2017年百度公開的開源項目，由百度自行開發的交互式SQL數據倉庫，具有高并發、低延遲的特點[8]，這也是百度目前正在使用的OLAP引擎。

3 農業生產決策系統設計

農業生產決策系統主要解決策略和戰略部署問題，通過決策支持來發現規律、預測行情，幫助政府做出科學的決策。該系統基于B/S架構，系統的結構主要包括維度建模、ETL過程、OLAP服務器、信息程序設計等。ETL工具按照維度模型對數據源中的數據進行抽取、清洗、裝載和刷新，存入數據倉庫，數據經過OLAP服務器進行多維分析[9]，通過前端工具展示給決策者。體系結構見圖1。

3.1 維度模型 維度模型又稱星型模型，是邏輯設計技術，主要是通過設計標準的結構框架來直觀的表現數據，建模之前需要對數據進行預處理[10]。維度建模主要設計流程包括對業務進行梳理、選擇業務過程。對數據進行梳理、聲明粒度，對事實表進行精確定義。對維度進行標識，確定來自業務過程中的數據該怎樣描述。對事實進行標識，確定業務過程中的量度指標[11]，以農作物為例，設計一個記錄農作物的信息的事實表，包括作物生長時間、氣象信息、作物生長狀態、土地管理等，與這個事實表相關的維度表就是圍繞著農作物數據信息的擴展[12]。數據倉庫的星型模型如圖2所示。

3.2 數據倉庫技術ETL ETL過程是數據從一個數據庫轉移到另一個數據庫的過程，但它并不是普通的數據轉移，而是對數據進行抽取、清理、匯總和加載之后，存入到建模后的數據倉庫中。在確定好主題之后，從數據源中提取到分析所需要的數據[13]。ETL模塊內包含提取、轉換、加載的工具，通過使用這些工具對數據進行合并異構、提起、清理、驗證、轉換和過濾[14]，將處理好的數據加載到數據倉庫中。從源數據庫中獲取的多維細節數據，如某一農作物每個村莊、每個季度的產量，但做趨勢分析的時候需要的是該作物在某一大范圍地區的產量，并對近幾年的數據進行對比，因此對抽取的數據要在不同的維度上進行匯總[15]。農業數據種類繁多，存儲類型復雜涉及范圍廣泛，在分析之前，必須經過數據清洗，將數據類型統一，為后續的分析創造便利。

3.3 聯機分析處理OLAP OLAP是一種軟件技術，在建立好數據倉庫的基礎上，進行包括上卷、下鉆、切片和透視等操作[16]。一次性可以訪問大量數據，但一般都是只讀訪問，也無須修改[17]。OLAP是多維數據分析集合工具，使操作人員從多個角度對數據進行分析。通過將農業生產數據倉庫中的事實數據導入到OLAP服務器中，本研究采用ROLAP（關系聯機分析處理）數據庫，根據事實表和相關維度表構建的星型模型，利用 Microsoft OLAP Analysis Services服務端組件，通過對時間維度、作物生長狀態維度、氣候信息維度、土地信息維度間的關系得出一個多為立方體，對立方體進行上卷、旋轉、切片等操作，得到分析結果。

3.4 數據展示 數據主要通過前端工具進行展示，包括各類表格、柱狀圖、餅狀圖、折線圖等。前端通過直接調用ECharts插件實現數據可視化，通過圖表清晰展現出數據之間的對比。通過對我國農業的海量生產數據進行多維度的分析，結合前端工具，將分析結果通過各類圖表進行清晰的展示，政府也可以通過真實的數據對比更加直觀地了解我國當前農業的發展現狀，便于更加精準的實施決策。

4 結語

在數字中國的建設過程中，農業正逐漸向信息化管理方向轉變，但由于農業生產擁有龐大且繁雜的數據量，在現實使用過程中利用率極低。本研究有效地利用了OLAP技術和數據倉庫，構建了基于數據倉庫的農業生產決策系統模型，旨在對海量農業生產數據進行多維分析，獲得對農業生產有決策作用的信息，同時能更好地為實現政府對農業精準決策和高效管理提供科學依據。

作者簡介：趙菡（1997—），女，河南開封人，碩士研究生，研究方向：農業工程與信息技術、農業信息化。? 收稿日期：2021-05-18

參考文獻

[1]張申.數據倉庫和OLAP技術在高校教學決策系統中的應用探析[J].信息系統工程，2019（04）：171.

[2]梁斌，呂新，王冬海，等.規?；瘮底洲r業農村發展趨勢探討——以新疆生產建設兵團為例[J].農業經濟，2020（12）：36-38.

[3]白蓉.基于大學生精準資助的多源異構數據倉庫系統研究[J].自動化技術與應用，2021，40（01）：44-47.

[4]羅巍，劉功總.基于大數據的數據倉庫研究現狀[J].中國新技術新產品，2020（17）：38-39.

[5]劉超.數據倉庫與數據挖掘技術在決策支持系統中的應用[J].天津職業院校聯合學報，2019，21（02）：102-108.

[6]Claybrook B.OLTP：online transaction processing systems[M].John Wiley & Sons，Inc.，1992.

[7]Codd E F，Codd S B，Salley C T.Providing OLAP （On-line Analytical Processing） to User-Analysts：An IT Mandate. 1993.

[8]郭淑曼.面向海量數據的OLAP關鍵技術研究與應用[D].北京：北京郵電大學，2019.

[9]唐秀忠，陳洪磊，陸玉發.基于OLAP的高校數據分析與決策支持系統研究[J].現代電子技術，2019，42（02）：155-158.

[10]韓家琪，毛克彪，夏浪，等.基于空間數據倉庫的農業大數據研究[J].中國農業科技導報，2016，18（05）：17-24.

[11]吳定峰，王麗云，劉婷婷，等.基于微軟數據倉庫的農業科技支撐數據應用分析與展望[J].農業展望，2019，15（12）：101-105.

[12]蔡麗艷，蔡靜穎，丁蕊，等.數據挖掘技術在農業生產決策支持系統中的應用[J].硅谷，2013，5（02）：146-147.

[13]郭群.基于OLAP技術的數據倉庫的設計研究[J].辦公自動化，2018，23（20）：41-43.

[14]Vuong M.Ngo，Nhien An Le Khac，et al.Data warehouse and decision support on integrated crop big data[J].International Journal of Business Process Integration and Management，2021，10（1）.

[15]張申.數據倉庫和OLAP技術在高校教學決策系統中的應用探析[J].信息系統工程，2019（04）：171.

[16]薛影.OLAP技術在圖書館書目數據分析中的應用[J].微型電腦應用，2021，37（02）：41-44.

[17]任海潮.多維透視表OLAP操作與圖表推薦算法的設計與實現[D].杭州：浙江工業大學，2020.

（責編：張宏民）