基于Python的51-job數(shù)據(jù)抓取程序設(shè)計(jì)

通過獲取的日期，用戶可以了解最新的職位信息。根據(jù)職位的詳細(xì)信息，求職者可以快速地了解到公司的要求以及職位的相關(guān)工作信息。通過上述的正則表達(dá)式獲取的信息，存入本地的Excel文件，方便求職者查看。

2.4 XPath程序設(shè)計(jì)

XPath即為XML路徑語言，它是一種用來確定XML(標(biāo)準(zhǔn)通用標(biāo)記語言的子集)文檔中某部分位置的語言[16]。XPath基于XML的樹狀結(jié)構(gòu)，有不同類型的節(jié)點(diǎn)，包括元素節(jié)點(diǎn)、屬性節(jié)點(diǎn)和文本節(jié)點(diǎn)，提供在數(shù)據(jù)結(jié)構(gòu)樹中找尋節(jié)點(diǎn)的能力。起初XPath的提出的初衷是將其作為一個通用的、介于XPointer與XSLT間的語法模型。但是XPath很快地被開發(fā)者采用來當(dāng)作小型查詢語言。

XPath相對于Re簡單一些，Re語言容易出錯，導(dǎo)致無法正確地獲得需要的信息，通常可以在Chrome中添加XPath Helper插件，可以在查看網(wǎng)頁源代碼是直接復(fù)制成XPath的格式，方便且通常不容易出錯。

在XPath程序中，其中：

‘div[@class="rt"]/span[@class="dw_c_orange"]’#獲取當(dāng)前頁數(shù)

‘∥div[@id='resultList']/div[@class='el']’#獲取工作列表

‘./p[@class='t1 ']/span/a’#獲取工作名稱

‘./p[@class='t1 ']/span/a/attribute::href’#獲取職位鏈接

‘./span[@class='t2']/a/text()’#獲取公司名稱

‘./span[@class='t3']/text()’#獲取工作地點(diǎn)

‘./span[@class='t4']/text()’#獲取工資

‘./span[@class='t5']/text()’#獲取職位發(fā)布的日期

‘∥div[@class='bmsg job_msg inbox']/text()’ #獲取職位詳細(xì)信息

通過XPath和Re的代碼對比，可以明顯發(fā)現(xiàn)，XPath的代碼比Re的代碼要簡潔。

2.5 BeautifulSoup程序設(shè)計(jì)

BeautifulSoup提供一些簡單的、python式的函數(shù)用來處理導(dǎo)航、搜索、修改分析樹等功能[16]。它是一個工具箱，通過解析文檔為用戶提供需要抓取的數(shù)據(jù)，因?yàn)楹唵危圆恍枰嗌俅a就可以寫出一個完整的應(yīng)用程序。BeautifulSoup自動將輸入文檔轉(zhuǎn)換為Unicode編碼，輸出文檔轉(zhuǎn)換為utf-8編碼。不需要考慮編碼方式，除非文檔沒有指定一個編碼方式，這時(shí)，BeautifulSoup就不能自動識別編碼方式了。然后，僅僅需要說明一下原始編碼方式就可以了。

2.5.1 解析庫

本文介紹幾種python解析庫，并作比較，如表1所示，本文所用到的解析器是python標(biāo)準(zhǔn)解析器。

表1 解析庫

解析器使用方法優(yōu)勢劣勢Python標(biāo)準(zhǔn)解析器BeautifulSoup(makeup,″html.parser″)Python的內(nèi)置標(biāo)準(zhǔn)庫、執(zhí)行速度適中、文檔容錯能力強(qiáng)Python2.7.3或3.2.2前的版本中文容錯能力差lxml HTML解析器BeautifulSoup(makeup,″lxml″)速度快、文檔容錯能力強(qiáng)需要安裝C語言庫lxml XML解析器BeautifulSoup(makeup,″XML″)速度快、唯一支持XML的解析器需要安裝C語言庫html5libBeautifulSoup(makeup,″html5lib″)最好的容錯性、以瀏覽器的方式解析文檔、生成HTML5格式的文檔速度慢、不依賴外部擴(kuò)展

2.5.2 標(biāo)簽選擇器

標(biāo)簽選擇器可以選擇元素，獲取名稱、屬性、內(nèi)容，可進(jìn)行嵌套的選擇，能夠獲取子節(jié)點(diǎn)、子孫節(jié)點(diǎn)、父節(jié)點(diǎn)、祖先節(jié)點(diǎn)等。標(biāo)簽選擇器可分為標(biāo)準(zhǔn)選擇器和CSS選擇器，標(biāo)簽選擇器可以根據(jù)標(biāo)簽名、屬性、內(nèi)容查找文檔，有兩個常用的函數(shù)，其中，find_all(name,attrs,recursive,text,**kwargs)用來返回所有符合條件的元素；find(name,attrs,recursive,text,**kwargs)用來返回第一個符合條件的元素。CSS選擇器通過select()直接傳入CSS選擇器即可完成元素的選擇。

在本文設(shè)計(jì)的程序中，選擇了CSS選擇器，使用select()函數(shù)完成數(shù)據(jù)的選擇，其中：‘int(str(soup.select('div.rt span.dw_c_orange')[0].nextSibling))’#獲取當(dāng)前頁數(shù)

‘div.dw_table > div.el’ #獲取工作列表；

‘.p.t1 span a’ #獲取工作名稱;

‘p.t1 span a’ #獲取職位鏈接；

‘span.t2 a’ #獲取公司名稱；

‘span.t3’ #獲取工作地點(diǎn)；

‘span.t4’ #獲取工資；

‘.span.t5’ #獲取職位發(fā)布的日期；

‘div.job_msg’ #獲取職位詳細(xì)信息

3 實(shí)驗(yàn)結(jié)果

利用本文設(shè)計(jì)的爬蟲程序，進(jìn)行了如下實(shí)驗(yàn)：首先進(jìn)入主程序，點(diǎn)擊運(yùn)行程序，程序返回如圖1的界面。

接著，如圖2所示，輸入數(shù)字“2”選擇BeautifulSoup解析方式，并輸入關(guān)鍵詞python啟動爬蟲，程序正常運(yùn)行。

圖2 選擇解析方式并輸入關(guān)鍵詞

程序運(yùn)行完畢后，在本地文件夾中可以找到以“python職位”命名的Excel文件，打開文件可看到如圖3所示的信息。

圖3 保存到本地的文件

4 結(jié)束語

本文根據(jù)Python語言簡潔易讀的特性設(shè)計(jì)了3種方法的爬蟲程序，用戶可以自行選擇數(shù)據(jù)解析的方法，并輸入需要查詢的關(guān)鍵詞，即可從龐大的職位數(shù)據(jù)中提取出需要的數(shù)據(jù)，方便快捷。本程序通過職位的關(guān)鍵詞、工作地點(diǎn)等信息的匹配，在一定程度上為使用者提供了便利。提取出的詳細(xì)的職業(yè)信息描述，可進(jìn)行進(jìn)一步的分詞，并統(tǒng)計(jì)詞頻，觀察單詞出現(xiàn)的頻率，可更加快速地了解公司及相應(yīng)職位的要求，找到符合求職者的招聘信息。

[1] 房瑾堂.基于網(wǎng)絡(luò)爬蟲的在線教育平臺設(shè)計(jì)與實(shí)現(xiàn)[D].北京：北京交通大學(xué),2016.

[2] 王碧瑤.基于Python的網(wǎng)絡(luò)爬蟲技術(shù)研究[J].數(shù)字技術(shù)與應(yīng)用,2017(5):76-76.

[3] 周中華，張惠然，謝江.基于Python的新浪微博數(shù)據(jù)爬蟲[J].計(jì)算機(jī)應(yīng)用,2014,34(11):3131-3134.

[4] 涂小琴.基于Python爬蟲的電影評論情感傾向性分析[J].現(xiàn)代計(jì)算機(jī),2017(35):52-55.

[5] 郭麗蓉.基于Python的網(wǎng)絡(luò)爬蟲程序設(shè)計(jì)[J].電子技術(shù)與軟件工程,2017(23):248-249.

[6] Lutz M.Learning Python[M].北 京:機(jī)械工業(yè)出版社,2009.

[7] 劉志凱,張?zhí)t,劉磊.基于Web的Python3編程環(huán)境[J].計(jì)算機(jī)系統(tǒng)應(yīng)用,2015,24(7):236-239.

[8] 王大偉.基于 Python的Web API自動化測試方法研究[J].電子科學(xué)技術(shù),2015,2(5):573-581.

[9] Hetland M L.Python基礎(chǔ)教程[M].北京:人民郵電出版社,2014:243-245.

[10] 涂輝,王鋒,商慶偉.Python3編程實(shí)現(xiàn)網(wǎng)絡(luò)圖片爬蟲[J].電腦編程技巧與維護(hù),2017(23):21-22.

[11] 高森.Python網(wǎng)絡(luò)編程基礎(chǔ)[M].北京:電子工業(yè)出版社,2007.

[12] 周立柱,林玲.聚焦爬蟲技術(shù)研究綜述[J].計(jì)算機(jī)應(yīng)用,2005,25(9):1965-1969.

[13] 姜杉彪,黃凱林,盧昱江,等.基于Python的專業(yè)網(wǎng)絡(luò)爬蟲的設(shè)計(jì)與實(shí)現(xiàn)[J].企業(yè)科技與發(fā)展,2016(8):17-19.

[14] 陳琳,任芳.基于Python的新浪微博數(shù)據(jù)爬蟲程序設(shè)計(jì)[J].信息系統(tǒng)工程,2016(9):97-99.

[15] 劉娜.Python 正則表達(dá)式高級特性研究[J].電腦編程技巧與維護(hù),2015(22):12-13.

[16] 齊鵬,李隱峰,宋玉偉.基于Python的Web數(shù)據(jù)采集技術(shù)[J].電子科技,2012,25(11):118-120.