農(nóng)業(yè)氣象數(shù)據(jù)爬蟲系統(tǒng)研究

楊 波

(長春財經(jīng)學(xué)院信息工程學(xué)院，吉林 長春 130122)

引言

農(nóng)業(yè)作為全球食品供應(yīng)鏈和經(jīng)濟(jì)系統(tǒng)的基石，對氣象條件的高度敏感性已被廣泛承認(rèn)。氣溫、濕度、降雨量等氣象參數(shù)對農(nóng)作物生長、水資源管理以及病蟲害的傳播具有直接而深遠(yuǎn)的影響。隨著全球人口的增加，對農(nóng)業(yè)生產(chǎn)的需求也日益增長，這使得農(nóng)業(yè)生產(chǎn)變得更加復(fù)雜和具有挑戰(zhàn)性[1]。在這一背景下，準(zhǔn)確的氣象數(shù)據(jù)成為支持農(nóng)業(yè)決策制定，提高農(nóng)業(yè)生產(chǎn)效率和保障食品供應(yīng)鏈的關(guān)鍵因素。

然而，傳統(tǒng)的氣象數(shù)據(jù)采集方法存在著一系列限制。公共氣象站通常提供有限的數(shù)據(jù)，且更新頻率有限，這導(dǎo)致了數(shù)據(jù)的滯后和不完整性。傳統(tǒng)氣象站的地理分布也可能導(dǎo)致一些地區(qū)的數(shù)據(jù)不足和不準(zhǔn)確。這些問題在現(xiàn)代農(nóng)業(yè)管理中構(gòu)成了嚴(yán)重挑戰(zhàn)，因為實時、高質(zhì)量的氣象數(shù)據(jù)對于有效的決策制定至關(guān)重要。

在解決上述挑戰(zhàn)的背景下，本研究旨在研發(fā)一種高效的農(nóng)業(yè)氣象數(shù)據(jù)爬蟲系統(tǒng)，以克服傳統(tǒng)氣象數(shù)據(jù)采集方法的限制。該系統(tǒng)將能夠?qū)崟r采集、處理和管理氣象數(shù)據(jù)，以支持基于氣象條件的水稻病蟲害智能監(jiān)測預(yù)警系統(tǒng)。研究的核心問題涵蓋了選擇合適的數(shù)據(jù)來源、設(shè)計，實施數(shù)據(jù)爬蟲系統(tǒng)，以及有效地將采集到的氣象數(shù)據(jù)整合到監(jiān)測預(yù)警系統(tǒng)中。此研究的目標(biāo)是提高農(nóng)業(yè)生產(chǎn)的可持續(xù)性和生產(chǎn)率，減少病蟲害風(fēng)險，為農(nóng)民和決策者提供更準(zhǔn)確和及時的氣象信息。

1 爬蟲技術(shù)和農(nóng)業(yè)氣象數(shù)據(jù)采集

農(nóng)業(yè)氣象數(shù)據(jù)在現(xiàn)代農(nóng)業(yè)中具有關(guān)鍵作用。農(nóng)業(yè)生產(chǎn)的成功與失敗直接受氣象條件的影響。氣溫、濕度、降雨量和日照時間等氣象參數(shù)對農(nóng)作物的生長、發(fā)育和產(chǎn)量產(chǎn)生直接而深遠(yuǎn)的影響。如，適宜的氣溫和濕度水平可以促進(jìn)作物生長，但不適宜的氣象條件可能導(dǎo)致干旱、水浸和病蟲害的爆發(fā)。農(nóng)民需要及時、準(zhǔn)確的氣象數(shù)據(jù)，以決定何時種植，何時灌溉，何時收獲，以及如何管理病蟲害。

農(nóng)業(yè)氣象數(shù)據(jù)還對農(nóng)業(yè)經(jīng)濟(jì)和糧食供應(yīng)鏈的管理產(chǎn)生廣泛影響。政府部門、糧食生產(chǎn)者和食品供應(yīng)鏈管理者依賴氣象數(shù)據(jù)來制定政策，采購農(nóng)產(chǎn)品，規(guī)劃供應(yīng)鏈活動。因此，準(zhǔn)確的氣象數(shù)據(jù)對于確保食品供應(yīng)的穩(wěn)定性和農(nóng)業(yè)經(jīng)濟(jì)的可持續(xù)性至關(guān)重要。

1.1 傳統(tǒng)氣象數(shù)據(jù)采集方法的挑戰(zhàn)

盡管農(nóng)業(yè)對氣象數(shù)據(jù)的需求非常迫切，但傳統(tǒng)的氣象數(shù)據(jù)采集方法存在一系列挑戰(zhàn)。傳統(tǒng)氣象站通常只提供有限的數(shù)據(jù)，更新頻率有限，數(shù)據(jù)不及時。這對于實時決策制定構(gòu)成了限制。此外，傳統(tǒng)氣象站的地理分布可能導(dǎo)致一些地區(qū)的數(shù)據(jù)不足和不準(zhǔn)確，尤其是在農(nóng)村地區(qū)。農(nóng)業(yè)需要更廣泛、更準(zhǔn)確的氣象數(shù)據(jù)來滿足不同地理區(qū)域和氣象條件的需求。

1.2 爬蟲技術(shù)在數(shù)據(jù)采集中的應(yīng)用

為了克服傳統(tǒng)數(shù)據(jù)采集方法的限制，爬蟲技術(shù)已經(jīng)廣泛應(yīng)用于數(shù)據(jù)采集領(lǐng)域。網(wǎng)絡(luò)爬蟲是一種能夠自動獲取互聯(lián)網(wǎng)上的信息的程序[2]。在農(nóng)業(yè)氣象數(shù)據(jù)采集中，網(wǎng)絡(luò)爬蟲可以用于從多個數(shù)據(jù)源抓取氣象數(shù)據(jù)，包括公共氣象數(shù)據(jù)站、衛(wèi)星數(shù)據(jù)和傳感器網(wǎng)絡(luò)。網(wǎng)絡(luò)爬蟲技術(shù)可以確保數(shù)據(jù)的及時性和完整性，以滿足農(nóng)業(yè)生產(chǎn)的需求。

已有的研究和系統(tǒng)已經(jīng)探討了農(nóng)業(yè)氣象數(shù)據(jù)采集的不同方面。一些研究關(guān)注了數(shù)據(jù)采集方法的改進(jìn)，如使用傳感器網(wǎng)絡(luò)和衛(wèi)星數(shù)據(jù)來獲取氣象信息。其他研究著重于數(shù)據(jù)處理和分析，以提供實時的決策支持。此外，一些系統(tǒng)已經(jīng)實施在實際農(nóng)業(yè)環(huán)境中，為農(nóng)民和決策者提供了可操作的氣象信息。

2 爬蟲系統(tǒng)前端技術(shù)

前端采用了H5，CSS和JavaScript，以及最新的Vue.js來實現(xiàn)和后端數(shù)據(jù)的交互[3]，網(wǎng)頁就是用H5來編寫的，H5是一門描述性語言，非常通俗易懂。CSS則是用于渲染H5，相當(dāng)于填充顏色，為其“化妝”，使其更加渲染，JavaScript則是用于實現(xiàn)一些動態(tài)效果，并且也可借助于Ajax和后端進(jìn)行動態(tài)的交互，使靜態(tài)頁面變成動態(tài)頁面。Vue.js則是JavaScript的擴(kuò)展，添加了更多的功能，并且可以嵌入進(jìn)H5中，使其更加的靈活通用。

3 爬蟲系統(tǒng)的功能分析

氣象數(shù)據(jù)系統(tǒng)作為一個綜合性的在線實時數(shù)據(jù)平臺，致力于為用戶提供廣泛而強(qiáng)大的功能。這個系統(tǒng)不僅使用戶能夠輕松地獲取氣象數(shù)據(jù)，還通過數(shù)據(jù)可視化提供了對氣象信息更深入的理解。此外，系統(tǒng)的基礎(chǔ)架構(gòu)采用了Django框架，為系統(tǒng)提供了穩(wěn)定性和可維護(hù)性。管理員接口的存在確保了系統(tǒng)的正常運行，為用戶和數(shù)據(jù)的安全性提供了一層保障。

3.1 用戶接口模塊

用戶接口模型是平臺提供給普通用戶和管理員使用該系統(tǒng)的方式，所有的用戶都可以通過注冊賬號登錄平臺，并且進(jìn)行一系列相關(guān)的操作。用戶接口模塊包含了個人信息設(shè)置，密碼更改，氣象信息的展示，數(shù)據(jù)的可視化等，并進(jìn)行一系列相關(guān)的操作。用戶登錄系統(tǒng)后，用戶的信息會存放在服務(wù)器的session中，用戶在平臺上所做的操作都會被保存到系統(tǒng)的數(shù)據(jù)庫中。

用戶接口模塊是氣象數(shù)據(jù)系統(tǒng)的前臺，為用戶和管理員提供了通往系統(tǒng)的入口，不僅可以進(jìn)行簡單的注冊和登錄，還包括了豐富的功能，使用戶可以個性化地使用系統(tǒng)。用戶接口模塊的主要功能具體如下。

3.1.1 賬號注冊和登錄

用戶可以通過賬號注冊功能輕松創(chuàng)建自己的賬戶，使用注冊的賬號進(jìn)行登錄。這為用戶提供了個性化的體驗，使其能夠訪問系統(tǒng)的更多功能。

3.1.2 個人信息設(shè)置

一旦登錄系統(tǒng)，用戶可以在系統(tǒng)中設(shè)置和更新個人信息，包括上傳照片、更新聯(lián)系信息和更改密碼。這提供了便捷的方式，使用戶能夠保持個人信息的最新狀態(tài)。

3.1.3 瀏覽氣象數(shù)據(jù)

用戶可以通過系統(tǒng)訪問廣泛的氣象數(shù)據(jù)資源，包括實時和歷史數(shù)據(jù)。這些數(shù)據(jù)來自中國氣象網(wǎng)，確保了數(shù)據(jù)的準(zhǔn)確性和全面性。

3.1.4 數(shù)據(jù)可視化

系統(tǒng)提供了數(shù)據(jù)可視化功能，通過使用Echarts圖表庫，用戶可以將氣象數(shù)據(jù)以圖表和圖形的形式進(jìn)行實時展示。有助于用戶更清晰地理解氣象信息和趨勢。

3.1.5 數(shù)據(jù)記錄與分析

用戶在平臺上的所有操作都會被保存到系統(tǒng)的數(shù)據(jù)庫中。不僅有助于用戶回顧其歷史操作，還可以為系統(tǒng)分析用戶行為和偏好提供寶貴的數(shù)據(jù)。

3.2 氣象信息模塊

氣象信息模塊是后臺實時爬取中國氣象網(wǎng)的數(shù)據(jù)[4]，并且以本周的數(shù)據(jù)為基礎(chǔ)，來預(yù)測下一周的數(shù)據(jù)，使用了機(jī)器學(xué)習(xí)中的聚類算法，將數(shù)據(jù)爬取到之后，基于后臺生成好的數(shù)據(jù)模型，輸入本周的數(shù)據(jù)，就可以生成下周的數(shù)據(jù)，將數(shù)據(jù)傳給前端，前端使用Echarts將數(shù)據(jù)可視化，實時展示給用戶。

作為系統(tǒng)核心部分的氣象信息模塊，為用戶提供實時氣象數(shù)據(jù)以及未來預(yù)測。氣象信息模塊的主要功能具體如下。

3.2.1 數(shù)據(jù)爬取

氣象數(shù)據(jù)模塊定期從中國氣象網(wǎng)實時爬取氣象數(shù)據(jù)，確保系統(tǒng)提供的數(shù)據(jù)是最新的和準(zhǔn)確的。

3.2.2 數(shù)據(jù)處理與分析

系統(tǒng)采用機(jī)器學(xué)習(xí)中的聚類算法，將爬取的數(shù)據(jù)進(jìn)行處理，基于本周的數(shù)據(jù)來預(yù)測下一周的天氣情況。這為用戶提供了對未來天氣的有用信息。

3.2.3 數(shù)據(jù)可視化

一旦數(shù)據(jù)被處理和分析，系統(tǒng)將其傳輸?shù)角岸恕Ｇ岸耸褂肊charts圖表庫將這些數(shù)據(jù)可視化，使用戶能夠以圖形方式清晰地了解天氣情況。

3.2.4 實時展示

系統(tǒng)的實時展示功能確保用戶可以獲得最新的氣象數(shù)據(jù)和預(yù)測，使其能夠及時做出決策或計劃未來的活動。

3.3 管理員模塊

管理員可以登錄到后臺系統(tǒng)，并且對用戶進(jìn)行管理，用戶的一系列操作都會在后臺實時顯示，管理員發(fā)現(xiàn)違法操作后可以直接對用戶實施冷凍或者拉黑處理，使該用戶不可以再登錄到網(wǎng)站系統(tǒng)，同時管理員也可以登錄到前端系統(tǒng)，享受和用戶一樣的服務(wù)。

管理員模塊負(fù)責(zé)監(jiān)督系統(tǒng)的正常運行和用戶行為的合規(guī)性。管理員模塊的主要功能具體如下。

3.3.1 后臺管理

管理員可以登錄到系統(tǒng)后臺管理界面，以查看用戶的活動，處理用戶的請求，以及監(jiān)控系統(tǒng)的運行狀態(tài)。這確保了系統(tǒng)的安全性和穩(wěn)定性。

3.3.2 用戶管理

管理員擁有特殊權(quán)限，可以對用戶進(jìn)行管理，包括對用戶的冷凍或拉黑處理。這些措施有助于確保系統(tǒng)的規(guī)范性和用戶行為的合規(guī)性。

3.3.3 前臺登錄

管理員也可以登錄到前臺系統(tǒng)，享受與普通用戶一樣的服務(wù)，以便更好地理解系統(tǒng)的功能和用戶體驗。

4 系統(tǒng)功能設(shè)計和實現(xiàn)

4.1 系統(tǒng)設(shè)計

氣象數(shù)據(jù)平臺分成3個模塊，管理員模塊，用戶中心模塊和數(shù)據(jù)瀏覽模塊，分別實現(xiàn)了對氣象數(shù)據(jù)的管理，人員信息的管理和權(quán)限的管理，以及數(shù)據(jù)可視化的管理。3個模塊的緊密協(xié)作確保了整個氣象數(shù)據(jù)管理平臺的功能完善，用戶體驗卓越。系統(tǒng)總體功能結(jié)構(gòu)的設(shè)計有助于滿足各種用戶需求，從數(shù)據(jù)管理到用戶權(quán)限，再到數(shù)據(jù)可視化，所有這些都在一個完整而協(xié)調(diào)的生態(tài)系統(tǒng)中實現(xiàn)。系統(tǒng)總體功能結(jié)構(gòu)如圖1所示。

圖1 后臺功能結(jié)構(gòu)圖

用戶中心功能模塊結(jié)構(gòu)如圖2所示，為已登錄用戶提供一系列功能和權(quán)限，分別是對氣象數(shù)據(jù)的高階操作和用戶的權(quán)限角色管理，以滿足其對氣象數(shù)據(jù)的高級需求。主要功能包括顯示氣象數(shù)據(jù)，高級查詢，數(shù)據(jù)可視化和用戶管理。

圖2 用戶中心功能結(jié)構(gòu)圖

顯示氣象數(shù)據(jù)。用戶可以訪問并查看氣象數(shù)據(jù)的廣泛范圍，包括實時數(shù)據(jù)以及歷史數(shù)據(jù)，允許用戶獲取關(guān)于天氣情況的詳細(xì)信息；用戶可以瀏覽不同地區(qū)、時間段和氣象參數(shù)的數(shù)據(jù)，以滿足其特定的查詢需求。

高級查詢。高級查詢功能使用戶能夠執(zhí)行更復(fù)雜的數(shù)據(jù)檢索操作；用戶可以根據(jù)多個條件和過濾器來精確地篩選所需的氣象數(shù)據(jù)；包括選擇特定日期范圍，地理位置，氣象變量等，以獲取更具針對性的數(shù)據(jù)。

數(shù)據(jù)可視化。數(shù)據(jù)可視化是用戶中心的一個強(qiáng)大功能，用戶可以使用數(shù)據(jù)可視化工具，如圖表和圖形，將氣象數(shù)據(jù)以更直觀和易于理解的方式呈現(xiàn)；可視化工具幫助用戶分析和比較數(shù)據(jù)，如溫度趨勢圖、降雨量柱狀圖和風(fēng)速風(fēng)向圖等，使用戶更深入地理解氣象信息。

用戶管理。用戶中心還涵蓋了用戶和權(quán)限角色的管理。這意味著已登錄的用戶可以執(zhí)行操作：用戶角色分配，用戶可以根據(jù)其在系統(tǒng)中的角色分配不同的權(quán)限，有助于組織和協(xié)調(diào)不同用戶之間的權(quán)限，以確保系統(tǒng)的數(shù)據(jù)和功能受到適當(dāng)?shù)脑L問控制；用戶權(quán)限管理，用戶可以請求特定權(quán)限，如數(shù)據(jù)訪問權(quán)限或功能使用權(quán)限，這些請求將被管理員審核和批準(zhǔn)，以確保用戶獲得適當(dāng)?shù)臋?quán)限，同時確保數(shù)據(jù)和系統(tǒng)的安全性；用戶信息管理，用戶可以管理其個人信息，包括聯(lián)系信息、頭像和密碼，有助于用戶保持其個人信息的最新狀態(tài)。

數(shù)據(jù)瀏覽功能模塊是系統(tǒng)的數(shù)據(jù)處理和展示引擎，如圖3所示，具有多重功能，以滿足用戶對氣象數(shù)據(jù)的高級需求。模塊功能涵蓋高級查詢，數(shù)據(jù)可視化和大屏數(shù)據(jù)。

圖3 數(shù)據(jù)瀏覽模塊功能結(jié)構(gòu)圖

高級查詢。高級查詢功能使系統(tǒng)能夠進(jìn)行更復(fù)雜和精確的數(shù)據(jù)檢索操作。用戶和管理員可以使用高級查詢工具執(zhí)行操作：多條件篩選，用戶可以根據(jù)多個條件和過濾器來篩選所需的氣象數(shù)據(jù)，包括時間范圍、地理位置、氣象參數(shù)等；復(fù)雜過濾器，用戶可以創(chuàng)建復(fù)雜的查詢過濾器，以精確地定位所需的數(shù)據(jù)，用戶能夠執(zhí)行更具針對性的數(shù)據(jù)檢索操作。

數(shù)據(jù)可視化。數(shù)據(jù)可視化功能是數(shù)據(jù)瀏覽模塊的亮點之一。允許用戶和管理員使用數(shù)據(jù)可視化工具，將氣象數(shù)據(jù)轉(zhuǎn)化為圖表、圖形和可視化展示，以更清晰、生動和易于理解的方式呈現(xiàn)數(shù)據(jù)。數(shù)據(jù)可視化功能的主要組成部分：圖表生成，用戶可以選擇不同類型的圖表，如折線圖、柱狀圖、餅圖等，來展示數(shù)據(jù)，助于用戶比較和分析不同數(shù)據(jù)集之間的差異；數(shù)據(jù)趨勢，可視化工具還允許用戶追蹤數(shù)據(jù)的趨勢和變化，如溫度隨時間的變化、降雨量的季節(jié)性趨勢等，有助于用戶更深入地理解數(shù)據(jù)。

大屏數(shù)據(jù)。大屏數(shù)據(jù)顯示是數(shù)據(jù)瀏覽模塊的一項強(qiáng)大功能，允許數(shù)據(jù)以大屏幕格式進(jìn)行展示。這對于需要實時監(jiān)控和展示氣象數(shù)據(jù)的應(yīng)用非常重要，如氣象臺、應(yīng)急響應(yīng)中心等。大屏數(shù)據(jù)顯示的關(guān)鍵特點：實時數(shù)據(jù)展示，大屏幕數(shù)據(jù)顯示允許用戶實時監(jiān)控氣象數(shù)據(jù)，包括溫度、濕度、風(fēng)速、氣壓等，對于應(yīng)急情況和實時決策非常重要；自定義布局，用戶可以自定義大屏幕數(shù)據(jù)顯示的布局和內(nèi)容，以滿足其特定需求，增強(qiáng)了數(shù)據(jù)的可定制性和實用性。

4.2 系統(tǒng)實現(xiàn)

前端收集用戶輸入的數(shù)據(jù)，把數(shù)據(jù)發(fā)送到后端，后端接收到請求后，將數(shù)據(jù)進(jìn)行轉(zhuǎn)換，根據(jù)前端的請求爬取數(shù)據(jù)，將獲取的數(shù)據(jù)清洗，傳給前端，前端根據(jù)后端傳過來的數(shù)據(jù)再將數(shù)據(jù)可視化，將數(shù)據(jù)大屏進(jìn)行展示。系統(tǒng)查詢界面如圖4所示。

圖4 氣象查詢界面

數(shù)據(jù)可視化頁面設(shè)計，前端用Echarts實現(xiàn)數(shù)據(jù)可視化。將后端清洗完后的數(shù)據(jù)用Json格式發(fā)送到前端，前端接受完以此填入Echarts中，實現(xiàn)數(shù)據(jù)可視化。數(shù)據(jù)可視化界面如圖5、圖6所示。

圖5 數(shù)據(jù)可視化界面

圖6 氣象大屏界面

5 結(jié)束語

氣象數(shù)據(jù)分析平臺以網(wǎng)頁展示的方式直接展示了后臺爬取的數(shù)據(jù)[5]，以良好的交互方式方便了用戶的瀏覽和讀取，同時合理而健全的管理模式也使得用戶信息更加安全，數(shù)據(jù)更新和實時，從各方面滿足了人們對平臺的期待與要求。本平臺是以長春財經(jīng)學(xué)院在校學(xué)生為主要服務(wù)對象，通過搭建一個功齊全，方便同學(xué)獲取氣象氣候數(shù)據(jù)的數(shù)據(jù)分析平臺。

系統(tǒng)是以用戶為中心，更好地滿足用戶的需求，同時分類的氣象界面使得用戶能夠得到一個更好的交互體驗，用戶通過系統(tǒng)可以進(jìn)行高級查詢氣候，對氣候分類，數(shù)據(jù)可視化等。