基于Python語言的計算機(jī)專業(yè)招聘信息的爬取及分析

摘 要：文章對計算機(jī)專業(yè)的招聘信息進(jìn)行了研究，通過使用Python爬蟲定向抓取拉勾網(wǎng)中的各種招聘資料和信息數(shù)據(jù)，結(jié)合職業(yè)要求、學(xué)歷要求等相關(guān)基礎(chǔ)條件，合理分析某一具體職業(yè)的具體狀況，并將所得的分析數(shù)據(jù)結(jié)果進(jìn)行可視化展示。報告了計算機(jī)相關(guān)專業(yè)就業(yè)現(xiàn)狀，幫助計算機(jī)專業(yè)學(xué)生對未來的就業(yè)崗位和對應(yīng)崗位所需要的專業(yè)知識有一個基本的認(rèn)知，幫助他們有針對性地提高自身的專業(yè)能力和綜合素養(yǎng)，以培養(yǎng)既懂技術(shù)又具備工作能力的復(fù)合型計算機(jī)人才。

關(guān)鍵詞：Python語言；網(wǎng)絡(luò)爬蟲；可視化；招聘信息處理；人才培養(yǎng)

中圖分類號：TP311.1；TP312 文獻(xiàn)標(biāo)識碼：A 文章編號：2096-4706（2024）16-0088-06

Crawling and Analysis of Recruitment Information of Computer Majors Based on Python Language

Abstract： This paper studies the recruitment information of computer majors， uses Python crawlers to capture various recruitment materials and information data in Lagou.com， and reasonably analyzes the specific situation of a specific occupation in combination with relevant basic conditions such as occupational requirements and educational requirements， and visualizes and displays the results of the analysis data. This paper reports the employment status of computer-related majors， helps students of computer majors have a basic understanding of future employment positions and professional knowledge required for corresponding positions， and helps them improve their professional ability and comprehensive literacy in a targeted manner， so as to cultivate compound computer talents who understand technology and have the ability to work.

Keywords： Python language; Web crawler; visualization; processing of recruitment information; talent development

0 引 言

近幾年畢業(yè)生人數(shù)逐年遞增和疫情時期的人才堆積等因素使得我們國家的網(wǎng)絡(luò)招聘行業(yè)高速發(fā)展。在這個信息大爆炸的時代，招聘網(wǎng)站各式各樣，分類眾多，網(wǎng)站上的招聘信息也琳瑯滿目，如何高效、快速地找到和自身專業(yè)對口以及和自身實uukyjKhuubN7Ur/s3ONienxDy+e38LOnCiuH5IJoUxA=力相符合的崗位是一個難題。為了幫助畢業(yè)生在眾多招聘信息中快速找到自己滿意的工作，本文通過Python爬蟲爬取招聘網(wǎng)站中的招聘信息并且予以分析。通過對爬取到的招聘信息的整理分析，可以了解行業(yè)的崗位信息和職位要求，取得更多有價值的招聘信息。通過對相關(guān)信息的對比分析，也可以幫助求職者了解最新的就業(yè)情況和整體待遇，從而為求職者提供便利，幫助求職者找到自己心儀的工作。

在早期網(wǎng)絡(luò)環(huán)境下，人們主要通過手動的方式獲取所需要的信息，但是這種方式需要耗費(fèi)大量的人工成本且效率低下，只適用于少量數(shù)據(jù)的獲取。隨著網(wǎng)絡(luò)技術(shù)的發(fā)展，漸漸出現(xiàn)了一些基于規(guī)則的自動化爬蟲工具。之后網(wǎng)站技術(shù)不斷發(fā)展和升級，基于規(guī)則的自動化爬蟲已經(jīng)無法滿足實際的需要。于是出現(xiàn)了一些基于爬蟲框架的自動化爬蟲工具，這種方式可以更加靈活地處理網(wǎng)站結(jié)構(gòu)的變化，并且還提供了更多的擴(kuò)展功能。隨著機(jī)器學(xué)習(xí)技術(shù)的迅速發(fā)展，出現(xiàn)了一些基于機(jī)器學(xué)習(xí)的智能爬蟲工具，能更加智能化地實現(xiàn)數(shù)據(jù)的獲取和處理。

本文使用Python語言編寫程序，在Jupyter Lab平臺搭建項目，采用Selenium爬蟲框架處理反爬蟲，將爬取到的數(shù)據(jù)進(jìn)行預(yù)處理后保存為csv格式，最后利用Pandas做數(shù)據(jù)分析與可視化，將工作經(jīng)驗和工資的關(guān)系、學(xué)歷和工資的關(guān)系進(jìn)行分析和圖形呈現(xiàn)并給出相關(guān)結(jié)論，在最后基于所得到的結(jié)論得到一些計算機(jī)專業(yè)人才培養(yǎng)的啟示。

1 相關(guān)理論和技術(shù)介紹

本系統(tǒng)使用Python語言編寫程序，在Jupyter Lab平臺搭建項目，采用Selenium爬蟲框架處理反爬蟲，最后利用Pandas做數(shù)據(jù)分析與可視化，通過直觀的圖形展示得到的結(jié)果。

1.1 爬蟲技術(shù)

爬蟲技術(shù)可以按照一定的規(guī)則自動地瀏覽網(wǎng)絡(luò)中的信息，主要功能是從萬維網(wǎng)上下載網(wǎng)頁數(shù)據(jù)并進(jìn)行分析。爬取到的信息會被爬蟲程序保存在本地的數(shù)據(jù)庫中，供之后分析時使用[1]，基本步驟如圖1所示。

具體分為以下幾步：

1）發(fā)起請求。爬蟲首先需要向目標(biāo)網(wǎng)站發(fā)送HTTP請求，獲取網(wǎng)頁的內(nèi)容，可以使用Python中的庫，如urllib或request來發(fā)送請求。

2）解析網(wǎng)頁。獲取到網(wǎng)頁內(nèi)容后，爬蟲需要解析網(wǎng)頁，提取出所需要的數(shù)據(jù)[2]。可以使用Python中的庫，如BeautifulSoup或lxml，來解析HTML或XML格式的網(wǎng)頁。

3）數(shù)據(jù)提取。根據(jù)需要，爬蟲可以通過選擇器或正則表達(dá)式等方式，從解析后的網(wǎng)頁中提取所需要的數(shù)據(jù)。可以使用Python中的庫XPath來進(jìn)行數(shù)據(jù)提取[3]。

4）數(shù)據(jù)存儲。爬蟲可以將提取到的數(shù)據(jù)存儲到本地文件或數(shù)據(jù)庫中，以便后續(xù)的處理和分析[4]。可以使用Python中的庫，如csv或MySQLdb，來進(jìn)行數(shù)據(jù)存儲。

1.2 常見的反爬蟲策略

反爬蟲是網(wǎng)站采用的一種技術(shù)，用于響應(yīng)網(wǎng)絡(luò)爬蟲，防止他人批量獲取自己網(wǎng)站的信息，保護(hù)內(nèi)容不被他人抓取。本項目跟蹤的所有網(wǎng)站均涉及反跟蹤技術(shù)。常見的反跟蹤策略是：

1）請求頭校驗。反爬蟲中最常見，最簡單的就是請求頭校驗。往往Python之類的關(guān)鍵字會在Python庫自動生成的請求頭中的‘user-agent’包含著。網(wǎng)站會直接拒絕非人工操作的正常用戶網(wǎng)站的訪問和請求。請求頭中的‘referer’等屬性也會被一些網(wǎng)站特別注意，所以在創(chuàng)建爬蟲時，請求頭進(jìn)行偽裝是很有必要的，尤其是“user agent”屬性。

2）cookie校驗。一些網(wǎng)站會專門檢查在訪問期間的傳輸?shù)腸ookie。上級網(wǎng)頁的cookie如果沒有被攜帶，而是直接發(fā)起連接到特定的URL，這種情況將會被拒絕訪問。

3）IP校驗和設(shè)備ID校驗。當(dāng)在一定時間內(nèi)多次使用一個相同的IP訪問某個網(wǎng)站時，往往反爬蟲機(jī)制就會啟動，每個設(shè)備都提供一個唯一的設(shè)備ID，有些網(wǎng)站的反爬蟲是會通過驗證訪問的設(shè)備ID來進(jìn)行的。當(dāng)遇到這樣的網(wǎng)站時，需要偽裝設(shè)備ID。

4）通過網(wǎng)頁動態(tài)加載提高爬取門檻。靜態(tài)網(wǎng)站上所有的信息可以通過一個簡單請求就得到，爬蟲工程師會花費(fèi)更多的精力在動態(tài)頁面加載的頁面分析上。爬取網(wǎng)站的時候有難易之分，許多網(wǎng)站都會隱藏信息在通過登錄的時候來提高爬取的難度，并且僅對登錄的用戶可見。

5）反爬蟲算法。網(wǎng)站會使用一些反爬蟲算法，如動態(tài)生成的隱藏字段、加密數(shù)據(jù)、異步加載等，來增加爬蟲程序獲取信息的難度。

1.3 Selenium爬蟲框架

Selenium是一個用于自動化瀏覽器操作的開源框架，可以實現(xiàn)模擬用戶在瀏覽器中的操作，比如點(diǎn)擊、填寫表單、滾動頁面等[5]。它可以用于多種用途，包括自動化測試、數(shù)據(jù)爬取和網(wǎng)頁內(nèi)容提取等。Selenium爬蟲框架就是利用Selenium進(jìn)行網(wǎng)頁內(nèi)容抓取的一種方法，通過模擬瀏覽器操作獲取網(wǎng)頁數(shù)據(jù)，并進(jìn)一步處理和提取所需內(nèi)容。在瀏覽器中Selenium可直接運(yùn)行測試，模擬人工操作，它支持Safari，Google Chrome等瀏覽器，對Web應(yīng)用程序系統(tǒng)而言是完整的，還可以獲取瀏覽器當(dāng)前呈現(xiàn)的頁面源碼，解決動態(tài)渲染網(wǎng)頁的數(shù)據(jù)抓取，做到可見及可爬，爬蟲中主要用來解決JavaScript渲染問題[6-7]。

1.4 Pandas

Pandas是一個Python數(shù)據(jù)分析包，最開始是作為金融數(shù)據(jù)分析工具開發(fā)的。Pandas是一個基于NumPy的工具，方便解決數(shù)據(jù)分析。Pandas融合了大量的庫和一些標(biāo)準(zhǔn)的數(shù)據(jù)模型，提供了操作大型數(shù)據(jù)集需要的工具以及大量地處理數(shù)據(jù)的函數(shù)和方法[8-9]。Pandas是使Python強(qiáng)大而高效的數(shù)據(jù)分析的重要因素之一。

Pandas填補(bǔ)了用Python進(jìn)行數(shù)據(jù)分析和建模的空白，讓開發(fā)者可以用Python執(zhí)行整個數(shù)據(jù)分析工作流程。Pandas庫在數(shù)據(jù)分析中的應(yīng)用主要包括兩個步驟：第一步是讀取文件，第二步是數(shù)據(jù)清洗和編輯工作。我們經(jīng)常需要使用numpy數(shù)組來處理數(shù)據(jù)。

Pandas的主要特點(diǎn)包括：

1）數(shù)據(jù)結(jié)構(gòu)靈活。Pandas的數(shù)據(jù)結(jié)構(gòu)能夠適應(yīng)多種數(shù)據(jù)類型，并允許靈活的數(shù)據(jù)操作[10]。

2）數(shù)據(jù)清洗和預(yù)處理。Pandas提供了豐富的功能來處理缺失值、重復(fù)值和異常值，以便進(jìn)行數(shù)據(jù)清洗和預(yù)處理。

3）數(shù)據(jù)合并和連接。Pandas能夠方便地將不同來源的數(shù)據(jù)進(jìn)行合并和連接，支持多種數(shù)據(jù)結(jié)構(gòu)的組合操作。

4）數(shù)據(jù)分析和統(tǒng)計。Pandas提供了豐富的數(shù)據(jù)分析和統(tǒng)計功能，包括描述統(tǒng)計、分組聚合、時間序列分析等。

1.5 可視化技術(shù)

數(shù)據(jù)可視化（Data Visualization）是指通過圖形、圖表、地圖等形式將數(shù)據(jù)以視覺化的方式呈現(xiàn)出來，以便更好地理解和分析數(shù)據(jù)[11-12]。數(shù)據(jù)可視化可以直觀地發(fā)現(xiàn)數(shù)據(jù)中隱藏的規(guī)律，察覺到變量之間的互動關(guān)系，可以幫助更好地解釋現(xiàn)象，做到一圖勝千文的說明效果。常見的數(shù)據(jù)可視化庫如下：

1）Matplotlib是最常見的二維庫，可以算作可視化的必備技能庫，由于Matplotlib是比較底層的庫，api很多，代碼學(xué)起來不太容易。

2）Seaborn是建構(gòu)于Matplotlib基礎(chǔ)上，能滿足絕大多數(shù)可視化需求。更特殊的需求還是需要學(xué)習(xí)Matplotlib。

3）PyEcharts上面的兩個庫都是靜態(tài)的可視化庫，而PyEcharts有很好的Web兼容性，可以做到可視化的動態(tài)效果。

4）Plotly是一個用于創(chuàng)建交互式數(shù)據(jù)可視化的庫，可生成優(yōu)秀的圖表和儀表板。

2 系統(tǒng)的詳細(xì)設(shè)計與實現(xiàn)

對拉勾網(wǎng)網(wǎng)站進(jìn)行爬取，爬取的數(shù)據(jù)包括工作職位、工作地點(diǎn)與時間、工作薪酬與要求、公司簡介、工作內(nèi)容、工作經(jīng)驗、學(xué)歷要求、公司名字、公司類型、技能要求。此外還對項目的爬蟲業(yè)務(wù)、數(shù)據(jù)存儲等功能模塊實現(xiàn)用到的算法進(jìn)行介紹。

2.1 數(shù)據(jù)結(jié)構(gòu)的實現(xiàn)

在爬取數(shù)據(jù)之前我們需要定義要爬取的數(shù)據(jù)字段。根據(jù)網(wǎng)頁顯示的招聘信息，明確該爬蟲項目所要爬取的信息職位、地點(diǎn)與時間、薪酬與要求、公司、公司簡介、工作內(nèi)容。Pandas DataFrame是帶有標(biāo)簽軸（行和列）的二維大小可變的，可能是異構(gòu)的表格數(shù)據(jù)結(jié)構(gòu)。算術(shù)運(yùn)算在行和列標(biāo)簽上對齊，這是Pandas的主要數(shù)據(jù)結(jié)構(gòu)，Columns的列標(biāo)簽定義如下：

columns = ['職位'，'地點(diǎn)-時間'，'薪酬-要求'，'公司'，'公司簡介'，'工作內(nèi)容'，'工作待遇'] 定義臨時保存的列名（csv格式數(shù)據(jù)），后面數(shù)據(jù)分析（Pandas）再做對應(yīng)數(shù)據(jù)預(yù)處理。

2.2 爬蟲業(yè)務(wù)的實現(xiàn)

爬蟲項目要做的事有兩件：定義抓取招聘網(wǎng)站的動作和分析爬取下來的網(wǎng)頁[13]。在爬蟲項目中，抓取網(wǎng)站的鏈接配置、抓取邏輯、解析邏輯的相關(guān)代碼如下：

3 數(shù)據(jù)分析及可視化

對爬取到的招聘信息分析與可視化，首先導(dǎo)入所需模塊，直接利用Pandas中的可視化模塊進(jìn)行可視化，接著進(jìn)行數(shù)據(jù)預(yù)處理，最后將數(shù)據(jù)進(jìn)行可視化展示，將工作地點(diǎn)與平均工資的關(guān)系、學(xué)歷與平均工資的關(guān)系進(jìn)行圖標(biāo)展示，最后將公司類型和技能標(biāo)簽利用詞云圖來進(jìn)行可視化展示。

3.1 工作地點(diǎn)與平均工資的關(guān)系可視化

相關(guān)代碼實現(xiàn)如下：

如圖2所示，可以看出Python的平均工資普遍不低，如果想尋找有關(guān)Python高工資的工作可以去北京、上海、深圳、杭州和廣州這些城市，工資都在一萬五千元以上。

3.2 學(xué)歷與平均工資的關(guān)系可視化

相關(guān)代碼實現(xiàn)如下：

如圖3所示，可以看出學(xué)歷越高，Python職位的平均工資也隨之越高，故學(xué)歷越高，薪資的起點(diǎn)就越高。

3.3 工作經(jīng)驗與平均工資的關(guān)系可視化

相關(guān)代碼實現(xiàn)如下：

如圖4所示，隨著工作經(jīng)驗的增加，Python職位的平均工資也在逐年增加。

3.4 詞云圖

詞云圖是文本挖掘中用來表征詞頻的數(shù)據(jù)可視化圖像，通過它可以很直觀地展現(xiàn)文本數(shù)據(jù)中地高頻詞。

相關(guān)代碼實現(xiàn)如下：

如圖5所示，可以看出雖然Python涉及的公司類型非常豐富，但主要還是以計算機(jī)行業(yè)為主，其次就是教育和信息咨詢行業(yè)。rRMpftAZiHKWWshIy4dkhg==

相關(guān)代碼實現(xiàn)如下：

如圖6所示，分析得出與Python有關(guān)的技能大多為數(shù)據(jù)結(jié)構(gòu)、人工智能、數(shù)據(jù)庫和爬蟲這些技術(shù)。

4 計算機(jī)專業(yè)人才培養(yǎng)的啟示

隨著數(shù)字經(jīng)濟(jì)的發(fā)展，社會對計算機(jī)專業(yè)人才的需求越來越大[14]。針對計算機(jī)專業(yè)的人才培養(yǎng)，學(xué)生不僅需要了解專業(yè)知識，還需要對就業(yè)形勢和就業(yè)崗位薪資等信息有一定的了解。

4.1 引入行業(yè)導(dǎo)向課程

在專業(yè)課程設(shè)置上，學(xué)校可以添加數(shù)據(jù)結(jié)構(gòu)、數(shù)據(jù)庫和Linux等課程，這些課程可以幫助培養(yǎng)綜合性但具有針對性的計算機(jī)專業(yè)人才，滿足計算機(jī)崗位不同職業(yè)的需求，掌握這些技術(shù)在尋找相關(guān)工作時會比較有競爭優(yōu)勢。學(xué)校還應(yīng)定期組織計算機(jī)專業(yè)的行業(yè)研討會，邀請行業(yè)內(nèi)的專家學(xué)者和從業(yè)人員來分享最新的技術(shù)發(fā)展、行業(yè)趨勢、典型案例等內(nèi)容，幫助學(xué)生了解行業(yè)動態(tài)。

4.2 加強(qiáng)社會實踐

大部分與Python有關(guān)的崗位都需要具備相關(guān)的開發(fā)經(jīng)驗，大部分學(xué)校都會組織學(xué)生到相關(guān)單位和部門進(jìn)行參觀和學(xué)習(xí)。通過這種方式，學(xué)生可以將課堂中學(xué)到的知識應(yīng)用到實際工作中，提高計算機(jī)專業(yè)學(xué)生的實際操作能力和解決問題的能力。參加社會實踐還可以幫助學(xué)生建立職業(yè)素養(yǎng)，培養(yǎng)學(xué)生的團(tuán)隊合作能力，在社會實踐過程中，學(xué)生可以接觸到真正的工作環(huán)境和項目需求，能更加清晰地了解行業(yè)的發(fā)展趨勢、技術(shù)要求和就業(yè)前景，有助于調(diào)整學(xué)習(xí)方向和個人發(fā)展規(guī)劃[15]。

5 結(jié) 論

本文研究的內(nèi)容是基于Python語言的計算機(jī)相關(guān)專業(yè)招聘信息的爬取與分析和計算機(jī)專業(yè)的人才培養(yǎng)。在本篇論文中，對系統(tǒng)的各個功能模塊進(jìn)行了測試并結(jié)合可視化圖標(biāo)給出了數(shù)據(jù)的分析和總結(jié)，最終得出了相關(guān)結(jié)論，即計算機(jī)行業(yè)的工作地點(diǎn)主要集中在北京、上海、深圳這些發(fā)達(dá)城市，學(xué)歷高低和工資高低成正相關(guān)等。在崗位需求對人才培養(yǎng)的啟示方面，根據(jù)計算機(jī)專業(yè)的崗位需求對高校提出課程和社會實踐方面的建議，以滿足復(fù)合型的人才培養(yǎng)需求，推動社會信息化進(jìn)程，促進(jìn)經(jīng)濟(jì)和科技的創(chuàng)新發(fā)展。作為計算機(jī)專業(yè)的學(xué)生，需要建立扎實的基礎(chǔ)知識，根據(jù)行業(yè)需求提高綜合能力。

參考文獻(xiàn)：

[1] 馮清.基于Python的基因表達(dá)數(shù)據(jù)網(wǎng)絡(luò)爬蟲研究與設(shè)計 [D].太原：山西醫(yī)科大學(xué)，2017.

[2] 孫冰.基于Python的多線程網(wǎng)絡(luò)爬蟲的設(shè)計與實現(xiàn) [J].網(wǎng)絡(luò)安全技術(shù)與應(yīng)用，2018（4）：38-39.

[3] 吳永聰.淺談Python爬蟲技術(shù)的網(wǎng)頁數(shù)據(jù)抓取與分析 [J].計算機(jī)時代，2019（8）：94-96.

[4] 李瑞科.基于自然語言處理的安全漏洞庫的設(shè)計與實現(xiàn) [D].西安：西安電子科技大學(xué)，2020.

[5] 文婉瑩.基于爬蟲技術(shù)的煙草行業(yè)網(wǎng)絡(luò)輿情監(jiān)控系統(tǒng)的設(shè)計與實現(xiàn) [D].鄭州：鄭州大學(xué)，2018.

[6] 張隆濤.WEB注入漏洞檢測方法的研究與實現(xiàn) [D].西安：西安科技大學(xué)，2019.

[7] 韓進(jìn)賓.面向應(yīng)用商店的主題爬蟲設(shè)計與實現(xiàn) [D].南京：東南大學(xué)，2018.