基于大數據技術的高校畢業生精準就業服務平臺研究

摘要：本文從建設背景、研究目標、平臺設計等方面介紹高校畢業生精準就業服務平臺的設計與建設。該平臺以大數據分析和可視化技術為基礎，向高校畢業生、實習生提供全面、準確的企業招聘信息，以優化就業資源配置為目標，優化畢業生求職選擇，提升其職業滿意度和長期職業發展潛力，同時，也能也為企業招聘到適合的崗位人才、降低企業招聘成本提供了解決方案。

關鍵詞：大數據；就業服務；數據可視化；平臺建設

doi：10.3969/J.ISSN.1672-7274.2025.03.008

中圖分類號：G 647.38；TP 3 " " " " "文獻標志碼：B " " " " " "文章編碼：1672-7274（2025）03-00-03

Research on Precision Employment Service Platform for College Graduates Based on Big Data Technology

LI Changqian

（Beihai Vocational College， Beihai 536000， China）

Abstract： This article introduces the design and construction of a precision employment service platform for college graduates from the aspects of construction background， research objectives， and platform design. The platform is based on big data analysis and visualization technology， providing comprehensive and accurate enterprise recruitment information to college graduates and interns， with the goal of optimizing employment resource allocation， optimizing graduates' job search choices， improving career satisfaction and long-term career development potential. At the same time， it also provides a solution for enterprises to recruit suitable job talents and reduce recruitment costs.

Keywords： big data; employment services; data visualization; platform construction

近年來，隨著我國高等教育規模的擴大及產業結構的深化改革，高校畢業生和企業之間供需不匹配導致就業形勢越發嚴峻，使得就業精準匹配成為當代就業市場亟待解決的重要問題[1]。

1 " 平臺建設背景

在國內，楊福華[2]等人對利用大數據對精準就業做出了較為詳細的定義：就業服務精準化中的“精準”，是兼顧求職過程與就業結果而言的，強調以準確分類、全面覆蓋、兼顧個性為要義，既要在就業服務過程中進行精準識別、精細分類、專業指導，又要使就業結果精準匹配、精確反饋，克服就業工作中存在的“泛”和“散”的現象，從而提升就業精準化水平[3]。在技術實現過程中仍存在不少問題。陳濤等人利用知識圖譜方式獲取文本語義信息并計算用戶偏好度，依據用戶偏好度使用協同過濾算法為用戶實現信息推薦。但該方法在實際應用過程中準確率和召回率數值不穩定，推薦效果不好。尚燕敏等人則依據信息的異構關系，利用貝葉斯因子模式實現信息推送。但該方法模型在迭代過程中存在欠擬合情況，導致其推送結果不夠準確，實用性不強[4]。

綜上所述，目前國內的就業服務平臺存在的問題是過度強調精確和個性化，但在缺乏準確和大量的數據支撐下，對用戶的臉譜化不夠精確甚至偏離嚴重，導致“精準匹配”“個性化推薦”等功能無法在實際中發揮應有的效果。

對于高校畢業生而言，僅憑一些學情數據和綜合評價，其很難符合大數據的條件，由于缺乏數據支撐，臉譜化的準確性則無從談起，其實，對于求職者而言，他們更需要一種對求職市場的全面認識，從各個維度了解不同職位的信息，從而幫助他們優化求職選擇，并且培養長期職業發展潛力。

2 " 研究目標

本文介紹的基于大數據技術的高校畢業生精準就業服務平臺以Flink為計算核心并協調Hadoop分布式文件系統、Python網絡爬蟲等模塊來完成正常工作。通過Python網絡爬蟲從各大網絡招聘平臺獲取招聘信息，從而獲取實時、全面的工作崗位數據。然后通過實時流式計算，對海量數據進行篩選，最后以可視化的結果呈現職位不同維度的統計信息，令求職者對市場需求和發展有明確的認識，并能結合自身的特點對職位進行選擇。

目前，大部分的網絡招聘平臺和就業推薦系統根據用戶輸入的崗位需求信息和在自己平臺上注冊的企業進行匹配，職位信息相較為局限，而且很多平臺數據疏于維護，信息數據陳舊過時，企業也會在多個平臺進行注冊和發布職位信息，造成數據的重復，求職者對于海量的職位只能通過簡單的職位名稱、公司地址和薪資范圍進行簡單的篩選，無法根據自身的特點進行細粒度的選擇。

本平臺采用流式計算和可視化方案，信息實時全面，計算速度快，結果內容呈現用戶體驗佳，有利于提高求職的準確性和匹配度。特別是對剛步入社會的高校畢業生，既能清晰地觀測到各個崗位的數據信息變化，也能在求職過程中快速找準自身定位，及時調整策略和提高職業技能和素質。

3 " 平臺整體設計

3.1 整體框架

平臺系統整體包括數據收集、ETL、分析和展示四大模塊，整體方案如圖1所示。

圖1 系統功能模塊圖

在技術實現上，首先是數據收集，通過Python網絡爬蟲技術對各大網絡招聘平臺、地方門戶網站進行職位數據的爬取，能減少信息不平衡和局限性。其次是數據的ETL，利用Flink對數據進行清洗后，通過Hadoop分布式文件系統對職位數據進行存儲，確保數據的安全性和一致性。在數據分析方面，利用Hive提供的類SQL查詢功能對海量數據進行維度分析后，將結果傳遞給Web系統，基于SpringBoot+Vue實現的Web系統負責可視化展示。項目技術架構圖如圖2所示。3.2 數據收集

職位數據通過基于Scrapy爬蟲的框架從各個招聘網絡平臺收集，原始數據以html的形式傳輸到指定端口，然后通過Flume對該端口監聽將相關數據高效采集到Kafka中進行緩存。數據從來源到使用，通過Flume和Kafka的緩存，解決了源到端的速率不匹配問題。Kafka對數據的穩定存儲提供了很好的保障。

通常，爬蟲軟件會將爬取到的網頁直接保存為數據文件，但考慮到爬蟲程序本身在大數據量時業務已十分繁忙，不應再兼顧文件 I/O 操作，而且此時采集到的數據為原始html文件，沒有經過數據清洗和加工，如果直接保存到文件，在數據ETL階段還需要讀取文件，增加不必要的工作，也增加了系統負擔。

基于此，我們將爬取到的數據輸出至Socket，再使用Flume對Socket進行實時的監聽并接收數據，對于原始數據里面的冗余信息，以獲取到的職位信息為例，只需獲取其中的公司名稱、所在區域、薪資范圍和技能要求等關鍵信息，而原始數據包含大量的html標簽和廣告數據，因此在保存數據前需要進行初步的ETL操作。可使用Flume接收數據后進行ETL后再保存到文件，這樣避免了多次文件I/O操作，從而實現高效的數據采集。

3.3 數據預處理

這里使用基于Flink的流式計算來完成數據的ETL，為了暫存原始數據且匹配Flume和Flink的速率，可采用Kafka進行數據的緩存，Kafka對大數據處理能力出眾，Flume先把數據灌入Kafka，然后Flink再逐漸從Kafka中上傳數據進行處理。

本系統主要進行以下的數據清洗工作：

（1）標準化：以拉勾網的數據為例，對于福利待遇這一維度的數據，有些數據以逗號作為分隔符，有些以空格分隔，有些甚至多種分隔符混用，因此需要在數據清洗階段將其規范為統一的分隔符。

（2）缺失值處理：例如，有些職位對技能的要求不限，有些網站允許入駐企業留空，有些則默認填寫不限，系統根據字段的類型采用不同的缺失值處理策略進行填充或刪除。

（3）重復值處理：針對企業在不同平臺發布相同的職位招聘，或者在同一平臺發布的重復信息，系統需要能判斷重復數據并刪除。

經過Flink對數據進行初步的清洗，對于提取出來的數據采用json格式進行存儲，這樣后續的數據分析無論是Hive、Spark或者Flink都具有較好的兼容性。由于數據量較大，因此采用Hadoop分布式存儲系統（HDFS）對采集的數據進行存儲，可提供安全、穩定、一致的數據服務。

3.4 數據分析

經過ETL之后的數據，會存儲在HDFS上，此時的數據量極為龐大，如果直接將這些數據存入結構化數據庫，程序的運行會非常耗時。因此，針對海量數據的分析工作，可引入數據倉庫作為緩沖機制，這里的數據倉庫選擇使用Hive，Hive是基于Apache Hadoop的數據倉庫基礎架構，能夠將結構化的數據文件映射為數據庫表，并提供類SQL查詢功能，可以方便地對存儲在HDFS中的數據進行查詢和分析，最后再將Hive的分析結果導出到關系型數據庫，這樣可以減少關系型數據庫的讀寫壓力和提高系統的執行性能。

利用Hive進行數據分析的基本思路是對事實表進行維度分析，得到維度表，再對維度表進行聚合與計算，例如，事實表中包含職位的所在地區、薪資范圍、福利待遇和技能要求等信息，而我們需要對薪資做一個統計分析，希望以5000元為步長對薪資數據進行分組，統計每個階段的薪資分布，那么對應的就需要對薪資維度表進行分析，維度表的數據來自于對事實表的薪資字段做flatten操作，并根據維度表設定的步進值做聚合統計。當需要對薪資字段進行可視化展示時，就對薪資維度表進行查詢，查詢結果通過Sqoop輸出到My SQL。

3.5 數據展示

數據展示模塊為用戶提供可視化結果的部分，通過數據的可視化，能讓畢業生對就業前景、發展方向和職業規劃都有清楚的認識，也能為高校人才培養提供有力的數據支持。以用戶輸入“大數據”關鍵字為例，通過職位分布圖，用戶可以直觀地了解大數據職位的全國分布情況，對以后的職業規劃會有大致的方向。又如，希望對大數據職位所需的技能進行了解，則能得到技能需求的詞云圖（如圖3所示），位于詞云圖最中心位置，字體最大則表示該技能需求最多，用戶根據詞云圖可以了解該類型的職位對哪些技能需求最為常見，從而明確發展方向，規劃職業路線。

圖3 技能需求的詞云圖

4 " 結束語

本課題研究的高校畢業生精準就業服務平臺具有成本低廉、使用價值高、極具經濟可行性等特點，其可通過從畢業生求職、企業人才需求、高校人才培養這三個方面對就業服務資源進行整合，為畢業生提供了極大的便利。隨著我國的教育改革深化和勞動力結構的優化，對高校畢業生、企業和高校都提出了新的挑戰，若將此系統投入使用，可以整合并優化各種就業服務資源，一方面，畢業生通過該平臺可以更全面地獲取企業提供的職位信息，并優化簡歷，進而節省時間和精力。另一方面，高校和企業可以更好地洞察彼此的需求，建立起更緊密的合作關系。這將有助于高校培養更符合市場需求的人才，有助于提高勞動力的素質和就業質量，促進經濟的可持續發展。同時，優秀的人才匹配也將為企業帶來更高的生產效率和競爭力，推動產業升級和創新發展。

參考文獻

[1] 唐菁菁.電子商務專業本科畢業生就業精準推薦研究[D].柳州：廣西科技大學，2022.

[2] 楊福華，舒啟江，劉紅杏等.大數據視域下高校畢業生精準就業服務的實現路徑[J].黑龍江科學，2023，14（13）：84-86，89.

[3] 金鑠.基于用戶畫像的高校畢業生就業推薦方法研究[D].大慶：東北石油大學，2022.

[4] 劉剛，李慶鈺，裴瑩瑩.基于大數據技術的就業信息平臺設計與實現[J].北華航天工業學院學報，2023，33（5）：17-19.