基于XPath的天氣數據的爬取研究

王 康 史雅婷 梁洪炎 吉卓嘎 強巴卓瑪

西藏民族大學信息工程學院

0 引言

在大數據時代，誰擁有了數據，誰就有更多的籌碼。氣象服務是這個時代必不可少的部分，人們每天的出行計劃需要依靠今天的天氣狀況來定。氣象部門每天通過手機、電視、報紙、廣播、短信來告知人們今天的天氣狀況，以防范自然災害等突發狀況。截至2018年，全國共有661個市，每小時統計一次，在一天內就收集到了661×24=15 864條數據。

網絡爬蟲本質上是利用程序在網上搜集有用的數據，是一種按照一定的規則，自動抓取互聯網信息的腳本。開發者可以隨意地擴展各個組件，來實現抓取邏輯。網絡爬蟲能幫助人們快捷、方便地獲取天氣網特定城市近7天內的天氣預報數據。

網絡爬蟲有很多類型，不同類型的爬蟲適用于不同的場景，本文提到的爬蟲為批量性爬蟲，這種爬蟲一般適用于用戶明確自己想要的信息或者知道所需信息的網絡結構位置。但在一些大數據或者超大數據的分析與處理中，一般要用增量型爬蟲，其是一種沒有明確限制的爬蟲，信息量大且比較雜亂，需要用機器學習和深度學習對爬去的信息進行分析和處理，而且增量型爬蟲容易被網站反爬蟲程序檢測。除此之外，還有深度網絡爬蟲等。

1 XPath及其應用

XPath是在XML文檔中查找信息的一種語言，用于在XML文檔中通過元素和屬性進行導航。XPath使用路徑表達式來選取XML文檔中的節點或節點集。XPath依賴于Python中的lxml第三方類包。XPath使用路徑表達式選取XML文檔中的節點或節點集。正則表達式是一個特殊的字符序列，用來檢查一個字符串是否與某種模式匹配，通過特殊的語法來表示。正則表達式依賴于Python中的re模塊。部分正則表達式常用符號如表1所示，正則表達式的書寫規則較多，這里不再一一贅述。XPath解析的原理如圖1所示。

表1 具體正則表達式常見符號（部分）

圖1 XPath解析的原理

1.1 lxml，xwlt，matplotlib

lxml用于解析XML和HTML文件?？梢钥焖俣ㄎ唬阉鳌@取特定內容。其支持XML Path Language (XPath) 和 Extensible Stylesheet Language Transformation (XSLT)，并且實現了常見的ElementTree API。lxml模塊中常用的有lxml.html，lxml.etree，lxml.cssselect，lxml.BeautifulSoup。在天氣數據爬取中，本設計主要用到的是lxml.etree模塊。Xwlt是Python用來在Excel寫入數據和格式化數據的工具包，是用來生成兼容Excel997/2000/XP/2003，OpenOffice.org CalcGnumeric的表格庫。本文利用 xlwt模塊將爬取的天氣數據寫入Excel文件。Matplotlib是Python中類似MATLAB的繪圖工具，文章引入Matplotlib模塊將爬取的天氣數據以圖片形式保存，并且引入了 xlwt模塊以excel形式保存數據。

1.2 數據爬取

首先，得到詳情頁的url，隨機獲取一個瀏覽器的表頭，將獲取的瀏覽器信息賦給agant_chose，其核心代碼是agant_chose = random.choice(agant)

其次，確定要爬取天氣數據的城市，作者以是衡陽、咸陽、西安、成都、廣州5個城市為例，進行7天天氣數據的爬取。爬取天氣數據的核心代碼是：html=etree.HTML(data.text)

first_weather=html.xpath(‘/html/body/div[5]/div[1]/div[1]/div[2]/ul/li[1]/p[1]/text()’)。上述代碼只是對某個節點的數據的爬取，而讀者可以根據自己想要的數據所處的位置編寫代碼來爬取自己想要的節點或節點集數據。根據代碼所寫的html路徑所選取的節點依次將爬取的近7天的天氣數據進行保存。數據爬取過程如圖2所示。

圖2 爬取數據的過程

2 數據可視化處理

利用python語言中帶的xwlt模塊和matplotib模塊將保存的數據進行可視化處理，讓數據可以用折線圖和Excel表格形式保存，讓數據變得更加生動形象并且能夠更好地利用。將爬取的天氣數據寫入excel文件，核心代碼是excelpath=(‘{}.xls’.format(city_name[number])

Workbook=xlwt.Workbook(encoding=’utf-8’)。將數據用圖片的形式保存的核心代碼是pyplot.plot(x,highest_temperature)

pyplot.plot(x, lowest_temperature)，以西安為例的excel表格的部分數據如圖3所示。

圖3 以excel形式保存的部分天氣數據（西安）

3 結束語

本文介紹了利用XPath爬取網頁數據的相關原理，并爬取了一些天氣數據。利用XPath爬取網頁數據簡單而且靈活，相對于使用正則表達式稍簡單，可以在知道數據爬取的HTML位置或者是爬取的數據的網頁位置相對固定的情況下使用，適合剛接觸Python爬蟲的人。在爬蟲開發中，為追求高效可以優先選擇正則表達式。