基于Python的校招網數據分析與可視化系統實現

摘 要：近年來，校園招聘因招聘時間集中、更具針對性的特點，為企業招聘和應屆大學生求職提供了極大的便利。基于Python對校園招聘網站的數據進行分析，設計并實現了一個校園招聘網站數據分析與可視化系統。系統主要包括用戶注冊、登錄、數據爬取、數據分析與可視化等功能。實驗結果表明，本系統可以幫助求職者更好地了解招聘市場情況，分析市場趨勢，以更好地規劃自己的職業方向。

關鍵詞：Python；校園招聘網站；數據分析與可視化；求職者；Django；MySQL

中圖分類號：TP391 文獻標識碼：A 文章編號：2095-1302（2025）06-0-04

DOI：10.16667/j.issn.2095-1302.2025.06.027

0 引 言

近20年來，我國高校畢業生人數增長了446%以上。2024屆高校畢業生規模預計1 179萬人，同比增加21萬人。在就業市場中，人才供需比增大，大學生就業難度逐年上升。校園招聘作為大學生就業的最主要途徑之一，對于解決就業難問題起到了關鍵性的作用[1]，因此，對校園招聘網站（以下簡稱“校招網”）的數據進行分析和可視化，可以幫助高校大學生更好地了解招聘市場情況[2]，提前做好職業規劃和就業準備。

本文設計開發的校招網數據分析與可視化系統，基于數智化校招平臺牛客網、使用Django作為Web框架、利用Python語言和Selenium爬蟲庫爬取網站中的企業招聘信息，系統首先在數據獲取階段通過網絡爬蟲技術爬取牛客網中互聯網行業的職位信息，然后通過Python的BeautifulSoup庫對網頁內容進行解析[3]，收集工作崗位、薪水、地域等數據，并將這些數據存儲在MySQL數據庫中，從而更加便捷地完成對數據的分析與可視化處理。

1 系統功能需求分析

本系統需要爬取數據并進行可視化分析，主要分為四大模塊，包括數據采集與存儲模塊、數據處理與分析模塊、可視化模塊以及數據管理模塊。

數據采集與存儲模塊：本系統數據來源是通過爬蟲機制爬取牛客網招聘模塊中的各類職位需求數據，并通過MySQL數據庫實現對大學生招聘職位需求數據的存儲。針對網絡爬蟲技術選型較多，影響抓取效率和準確性的問題，一般以Requests、Scrapy和Selenium三種爬蟲技術為主流[4]。為防止在爬取數據時被網站封禁，本系統采用了自動化爬蟲Selenium框架，該框架能夠模擬人瀏覽網頁的操作，爬取動態加載的數據，同時可以繞過一些網站設置的反爬措施，防止因長時間的異常數據加載而被網站屏蔽，從而更好地爬取數據[5-7]。

數據處理與分析模塊：該模塊主要用于處理與分析從網站爬取并保存的數據，包括過濾無效數據和刪除多余的重復數據，運用算法和模型來分析數據并提取出有價值的信息，以保證后續模塊正常運行。該模塊需要具備高效的數據分析和處理能力，以便有效地處理大量數據，并從中提取出有意義的信息。

可視化模塊：可視化模塊主要為用戶提供圖表、報表等形式的數據分析結果展示，以便于用戶快速地理解數據。該模塊需要提供多種圖表類型和交互式界面，能夠進行數據的篩選與查看等，以方便用戶對不同類型的數據進行比較與分析。

數據管理模塊：數據管理模塊主要包括賬戶管理（用戶和管理員）、個人信息管理、歷史查閱記錄管理、招聘信息管理四種功能。用戶可以在查看招聘職位時，將有意向的職位加入自己的歷史查閱記錄，方便以后快速查找。系統為管理員提供了數據的增刪改查功能，方便管理員對數據庫進行更新和維護，保證系統數據的有效性。

2 系統總體設計

2.1 系統功能模塊設計

通過需求分析，從系統開發的角度可將系統設計為四個功能模塊：用戶、管理員、個人設置、數據分析與可視化，系統功能模塊如圖1所示。

用戶：用戶具有注冊、登錄、退出功能。

管理員：管理員具有用戶管理、權限管理和條件查詢功能，能夠保證系統數據的時效性。

個人信息：用戶登錄系統后，可對用戶名、學歷、工作經驗、頭像、密碼等個人信息進行修改和管理，也可以對個人的歷史查閱記錄進行管理。

數據分析與可視化：針對薪資分布、企業情況、專業需求（標簽詞云）、城市類型的可視化需求，所使用的全部數據可在數據總覽模塊查看。

2.2 系統整體架構設計

通過需求分析，本系統從技術架構角度設計規劃了六個層面，分別是前端 UI、展示層、業務層、計算層、數據庫、操作系統層[2]。系統架構如圖2所示。

（1）前端UI和展示層，主要利用前端頁面相關技術和 ECharts對業務層所輸出的數據進行可視化展示，幫助用戶更直觀地了解目前的就業市場情況。

（2）業務層，該層主要展示了項目后端開發所實現的相關功能，將所需數據傳輸到前端展示層。

（3）計算層，主要針對網絡爬取并清洗后存儲在數據庫中的數據進行分析計算，并通過業務層將相關數據傳輸到前端展示層。使用Pandas進行聚合計算。

（4）數據庫，使用 MySQL存儲登錄用戶的信息以及爬取并清洗后的數據。

（5）操作系統層是系統運行的基本環境，在 Windows 系統中搭建Python、MySQL、Django環境以運行系統。

2.3 數據表結構設計

通過對基于Python的校招網數據分析與可視化系統中功能模塊的需求分析，系統選用關系型數據庫MySQL來實現數據實體邏輯關系的設計。

系統賬號表主要用于存儲系統中所有用戶角色的登錄賬號信息。在表結構設計中，字段內容包含主鍵、用戶名、登錄密碼、姓名。系統賬號見表1。

用戶自定義信息表用于存放用戶自定義設置的信息。在表結構設計中，字段內容包含主鍵、用戶名、姓名、學歷、工作經驗、意向城市、所在城市、意向崗位、頭像，用戶自定義信息見表2。

3 系統實現

3.1 登錄

該系統分為管理員和普通用戶兩種類型。定義一個login模塊，用戶可點擊“注冊”按鈕進行注冊，注冊完成后可在此頁面輸入username和password登錄系統，與數據庫user表中的數據進行比對驗證，驗證成功后，系統會根據不同的登錄身份配對不同的應用權限，以保證系統不會受到普通用戶的惡意損壞，提高了系統的安全性，使系統可以正常運行。

3.2 個人信息修改

定義一個selfInfo模塊，用戶可在個人信息修改界面對個人信息數據進行修改，如用戶名、學歷、工作經驗、意向城市、意向崗位和頭像。修改后，系統會自動替換數據庫中原本的個人信息。個人信息修改界面如圖3所示。

3.3 修改密碼

定義一個changePassword模塊，用戶可在修改密碼界面對登錄密碼進行修改。在輸入舊密碼時，系統會將輸入的舊密碼與數據庫中存儲的密碼比對驗證，在驗證成功后，密碼被修改，同時新密碼將替換數據庫中原本儲存的數據。

3.4 歷史查閱

定義一個historytableData模塊，通過設置外鍵約束來完成數據庫history表中的數據一對多關系設置。定義一個addHistory模塊，將id、job_id、user_id、count作為參數傳入，用戶可在數據總覽界面將自己感興趣的招聘信息添加到歷史查閱中，系統會根據點擊次數排序，方便用戶在查閱歷史時更快地找到自己感興趣的招聘信息。歷史查閱界面如圖4所示。

3.5 數據總覽

定義一個tableData模塊，通過修改界面標簽的方式使界面與數據庫中的數據連接，同時，使用Django自帶的工具庫Paginator類對數據進行分頁。用戶可以通過翻頁閱覽所有數據，初步了解招聘市場。數據總覽界面如圖5所示。

3.6 薪資分布

用戶可通過選擇學歷和工作年限來獲取薪資分布、學歷需求分布和年底多薪的可視化圖表。定義一個salary模塊，將可視化圖表素材數據初始化，通過修改標簽定位完成網頁制作和圖表可視化，方便用戶更加直觀清晰地了解招聘市場、薪資分布、學歷需求和年底多薪的情況。薪資分布查詢界面如圖6所示。

3.7 企業情況

用戶可通過選擇應聘崗位來獲取行業數量、工作城市、公司規模情況和公司融資情況的可視化圖表。定義一個company模塊，將可視化圖表素材初始化，通過修改標簽定位完成網頁制作和圖表可視化。可視化可以幫助用戶更直觀地了解企業情況，對企業規模、所處城市、融資情況有所了解，方便用戶進行選擇比對[8]。企業情況界面如圖7所示。

3.8 標簽詞云

該系統對出現最頻繁的崗位標簽和公司標簽做統計。定義一個companyTags模塊對數據集進行詞匯切分、停用詞過濾、特征選擇，再設置好字體文件路徑、寬度、高度、詞云圖中最多顯示的詞和數量以及詞之間的間距，遍歷每個詞及概率，將其添加到wdict中，最后調用Python第三方庫WordCloud對wdict中的數據進行詞云圖繪制，生成詞云圖[9]。

數據分析可以幫助用戶更好地了解當前就業市場的用人需求，為其職業規劃提供參考依據，幫助就業者更好地選擇合適的崗位。標簽詞云界面如圖8所示。

3.9 城市類型

用戶可以通過選擇具體城市名稱來獲取基于該城市的薪資分布情況，公司人數分布圖、崗位標簽詞云圖和學歷需求分布的可視化圖表。定義一個companyPeopleData模塊，將可視化圖表素材初始化，通過修改標簽定位完成網頁制作和圖表可視化。城市類型可視化可以幫助用戶更直觀地了解該城市相關招聘信息，方便用戶更準確地判斷自己是否可以在該城市獲得合適的崗位[10]。具體城市類型界面如圖9所示。

4 結 語

本文以牛客網為基礎研究了如何對校招網招聘數據進行分析與可視化。首先，采用Python編寫爬蟲程序從牛客網獲取招聘數據，然后運用Pandas庫對數據進行深度分析，最后以Django作為Web框架，利用WordCloud和PyLab對分析結果進行可視化展示[3]。用戶通過系統能夠更加直觀地了解當前校招市場情況和目標職業的相關信息，分析當前就業趨勢，精準制定自己的職業規劃。

參考文獻

[1]王玉龍.爭搶“00”后，從校園招聘發力[J].人力資源，2023（21）：106-107.

[2]姜永成.基于Django的網絡招聘數據可視化分析系統的設計與實現[J].科技資訊，2023（19）：57-60.

[3]王瑞梅.網絡招聘數據可視化分析系統的設計與實現[D].石家莊：河北師范大學，2020.

[4]楊健，陳偉.基于Python的三種網絡爬蟲技術研究[J].軟件工程，2023，26（2）：24-27.

[5]李澤文，陳曉柱.基于Selenium+Python+Tableau的BOSS直聘數據的爬取與分析—以“軟件”專業為例[J].廣州城市職業學院學報，2023，17（2）：87-91.

[6]裴麗麗.基于Selenium框架實現Boss直聘網數據爬取與分析[J].山西電子技術，2022（5）：66-68.

[7]張嘉威，關成斌.基于Python和Selenium的智聯招聘數據的爬取與分析[J].軟件，2022，43（8）：170-175.

[8]湯夢瑤，程斐斐.基于 Spark 的地震數據分析與可視化系統設計與實現[J].現代信息科技，2023，7（18）：20-24.

[9]馮淼.基于Python的電視劇視頻彈幕分析[J].電腦知識與技術，2023，19（30）：34-36.

[10]鄭磊，顧書緣，王學友，等.基于CNN模型的文本分類可視化系統設計與實現[J].電腦與電信，2023（6）：22-27.

作者簡介：楊立驍（2003—），男，研究方向為數據可視化。

孫鵬飛（2002—），男，研究方向為數據可視化。

袁 博（2002—），男，研究方向為數據可視化。

龍青未（2004—），女，研究方向為數據可視化。

肖大薇（1978—），女，碩士，教授，研究方向為計算機體系結構及大數據技術。

收稿日期：2024-03-28 修回日期：2024-05-08

基金項目：大學生創新訓練項目：基于牛客網的企業招聘數據分析與可視化系統（X202313198013）