基于大數據的就業服務系統

忻桓辰 張書娟 李建敦 王祥祥 李剛 吳與同 朱星穎

【摘要】近年來，由于大學畢業生數量的增加以及勞動力市場的結構性失衡，隨之而來就是就業難的問題，即當前設置崗位的數量滿足不了如此規模的畢業生的就業需求。其原因是相當多的畢業生未能對口工作，導致一些崗位無人問津，而另一些崗位供不應求。因此，在畢業季，往往對就業工作造成巨大壓力。鑒于此，本文通過分析當今社會的職位需求，優化就業體系，建立一個合理、科學的就業服務系統，對于高校的教育工作發展有著積極的意義。

【關鍵詞】就業服務系統 高校就業系統 大數據分析

一、引吾

我國在實行教育改革之后，高校大規模擴招，使得大學生的數量從2001年的114萬陡然提升至2018年的820萬，再創近10年畢業生人數新高值。雖然近十幾年擴招為國家培養出了更多的大學生的，但由于諸多原因，也導致了畢業生出現有業不就，或慢就業的現象不斷加劇。高校專業重復設置，專業設置沒有充分調研社會需求，加劇了結構性的就業難問題，表現為部分專業供過于求，部分專業供不應求，部分專業畢業生對未來比較迷茫、職業規劃不清晰等。

根據數據調查，被調查人群中有超過21%的大學生找工作相對困難，平均求職過程超過5個月;只有大約35%的大學生求職非常順利，平均求職時間為2個月。并且求職難人群的平均心理薪資要比求職順利者的平均薪資要低1000元左右。

而在求職期間投遞簡歷的數量方面，超過55%的學生投遞簡歷數量在10-30份之間，更有23%的學生投遞了30-50份簡歷才找到工作。這兩個數字與求職時長成相應趨勢，反映了就業難人群的構成比例。

相比學校而言，專業給就業大學生群體造成的壓力更為巨大，在我國高校目前數百個專業中，調查顯示最難就業的專業前五分別為：歷史學、經濟學、土木工程、美術學以及工商管理;而綠牌專業前五位則為：計算機類、交通運輸類、電氣與自動化類、中國語言文學以及食品科學與工程類。

現在大學生的就業問題已經成為社會的熱點問題，大學生作為國家的優質人力資源，對大學生的就業問題妥善解決不僅有助社會的安定，更有助于我國經濟的持續發展。

二、系統方案

2.1問題分析

分析上述應屆生就業問題后，得出問題的根本是學生沒有做充分的職業規劃以及學生對規劃職業的認知度不夠，導致畢業后不知道自己能干什么而海投簡歷，或者職位需要的技能自己不能滿足，面試被拒。所以我們想到做一個系統幫助學生去歸納總結專業對應的職業，以及職業的能力需求，以供學生參考借鑒。

2.2系統方案

本系統通過網絡爬蟲技術從互聯網招聘網站中獲取社會求職信息，信息包括薪資，證書要求，學歷要求，職位技能要求等。通過對清理過后信息的統計分析、以及對技能關鍵字的分析，得出一個就業概況，以可視化的形式展示給學生。當然如果只是自顧自的分析互聯網數據并沒有意義，系統也考慮到學生自身的情況，通過系統的導入本地數據、問卷調查功能，可以讓學生把自身和崗位做直接的對比。

三、相關技術

3.1 HttpClient

HttpChent是Apache Jakarta Common下的子項目，用來提供高效的、最新的、功能豐富的支持HTTP協議的客戶端編程工具包，并且它支持HTTP協議最新的版本和建議。它提供了四個核心功能：

1）實現了所有HTTP的方法

2）支持自動轉向

3）支持HTTPS協議

4）支持代理服務器等

HttpClient可以通過虛擬登陸、發送模擬請求實現網絡爬蟲功能，其優點有：

1）Api全面：HttpClient對Http的請求方法（GET，POST，PUT，DELETE）做了完整的封裝，對模擬登陸時用到的Session自動管理，降低了開發成本。

2）兼容性：HttpChent是基于JAVA語言開發，可以很好的融入JAVA的開發生態環境，如可以用jsoup對獲取的超文本進行解析、配合keep-alive使用減少TCP握手開銷。

3）線程安全性：HttpChent是線程安全的，程序中不用擔心多并發引起的異常。

4）靈活性：HttpClient支持自定義請求頭、指定請求IP功能。對爬蟲開發提供了很大的便利。

3.2 Echarts

Echarts是由百度開源團隊開發的前端數據展示框架，他提供大量的圖表樣式以及生態支持（如官方論壇、Google地圖等），使用JsON格式承接和解析數據。他有如下優點：

1）兼容性：Echarts是使用Js開發的前端開源框架，可以整合到React、Vue等主流前端框架。

2）易用性：Echarts使用JsON格式來裝載數據，在JAVA開發環境中可以使用fastjson、GSON等開源工具進行對象序列化。

3）全面：Echarts提供了相當多的圖表格式，使用戶可以從不同角度展示數據。

3.3 Spring

Spring是J2EE開發的流行框架，一開始它主要解決了開發過程中的高耦合問題。隨著版本的更新，其基于MVC開發的SpringMVC框架、為了減少開發成本的Springboot、云服務SpringCloud都在一點點完善J2EE的開發生態。

四、基于大數據的就業服務系統設計

基于當前就業難的問題，本文基于大數據設計就業服務系統，提出了系統的系統框架。

4.1大學生就業方向數據統計系統的整體架構如圖1所示，各層的定位為：

1）OS：選擇Linux為服務器系統，搭配engix和keep-alive可以避免服務器以外宕機。

2）Mysql：系統使用Mysql作為數據庫，本數據庫相比于oracle是一個小型的關系型數據庫，提供大量數據類型，并且對JAVA提供了數據庫驅動。

3）Redis：處于MySQL前，做高速緩存。它是一個key-value存儲系統，主要用于降低數據庫Io。主要原理是把常用查詢數據存儲在內存中，加快客戶的讀取速度的同時，減少數據庫的訪問次數。

4）Web服務：本系統是基于J2EE編寫的，所以Web服務層也使用了三層框架，分別是表現層，業務邏輯層和數據持久層。本系統中表現層和業務邏輯層的交互使用Spring MVC框架實現，業務邏輯層和數據持久層之間使用Mybatis實現，用Spring框架控制反轉，實現多個框架的整合。服務的核心是兩個功能，一是獲取到表現層所需要查詢的參數，然后據此到數據庫中獲取到相應的數據，經過處理后把數據返回前端，用Echarts等給用戶一個體驗良好的結果;二是通過httpclient爬數據，清洗后存到數據庫，該操作所需處理時間較長，所以在空閑時間定期執行。

5）WebUI：系統會以Jsp的響應頁面和用戶實現交互，并以Echarts生成可視化框架。

4.2數據的獲取流程如圖2所示，其中各個環節的功能和作用如下：

1）數據采集：使用httpclient從互聯網上獲取崗位相關的超文本格式數據（hreal），將原始數據存人數據庫中。

2）數據規范化：由于渠道不同，每種數據的格式都不同，這樣對后續的數據批量分析有著很大障礙，所以需要在獲取數據之后要第一時間對數據進行規范化，讓其實現本系統所規定的統一接口。

3）數據清理：數據預處理，對把一些值不全的或冗余數據剔除，比如工資過低、需求非應屆生等，保證存人數據庫中的數據為皆為有價值的。

4）數據存儲：把數據格式化并且清理之后獲得到的vojo對象通過FastJson序列化成JsON格式字符串存入數據庫中。

4.3數據的訪問流程如圖2所示，服務器接收到查詢某一專業的請求之后回去Redis緩存中查看時候已經存在，如果存在則直接返回Redis中的Json字符串由前端js解析。否則在數據庫中查詢出該專業的所有信息，并存入Redis。

五、基于大數據的就業服務系統的實現

系統主要在一臺裝載64位Centos操作系統的Tomcat 9.13服務器上運行，服務器上安裝了engix來保證訪問的負載均衡。服務器配置如下：

系統采用定時器，定時從互聯網上采集近3萬條招聘信息，定時器會過濾過早的數據，以避免影響數據的準確性。系統一共提供8種數據展示模型

通過8個學生較為關注的模型，可以讓學生較早的認識自己未來想從事的職業，盡早的為自己做完善的職業規劃，達到了本次研究的目的。

六、系統展望

6.1廣度拓寬

由于專業和職業的對應關系并非絕對，所以系統現在只是對特定的專業（軟件工程、物聯網工程、計算機工程）做了分析。但是系統的本意就是改善這種非絕對關系，我們認為專業所學必然有特定職業可以用到，而不是大學中學到的東西不能用到職業生涯中。系統未來可以和相關企業以及學校專業學院合作，提供更多面的數據。

6_2深度拓寬

系統現數據的來源只有互聯網，雖然數量充足，但是無法完全保證數據的準確性。而且如果只參考招聘信息得到的技能要求、薪資要求是片面的，因為人職后做的和招聘信息上寫的也并非完全一致，所以系統打算和職業崗位上的從業人員交流、并在系統上開啟一個平臺供專業人員提供更可靠的數據。

6.3更注重學生自身

設計系統的目的是解決學生就業難的問題，所以注重學生自身的情況是系統成功的關鍵?，F在系統只是提供了調查問卷來了解學生自身的情況，而我問你答的問卷式調查并不能完全反應學生的現實狀況。系統未來希望提供一個平臺讓對職業生涯迷茫的同學可以直接和已經畢業的同專業學長直接溝通，獲取寶貴意見。

七.總結

大學生就業提升是政府、高校、企業、大學生群體共同的責任，該就業分析系統以大學生為本位觀察現實境遇，通過大量數據支持，分析問題出現的深層原因。

大學生就業率的提升不但是學術增長任務的完成，而且是通過數據監測，完成就業質量與勞動力市場的適應，與市場需求、教育規律具有方向性上的一致，順應社會知識化、信息網絡化、學習社會化的形勢。

雖然大學生的擇業觀念在總體上是傾向于實物化與理性化，但由于初入社會，擇業觀念尚在轉化，存在著眾多的不良觀念。部分大學生在擇業標準中將工作條件、收入等眼前實在利益放在首位，而對自我的職業興趣、能力、職業的發展前景等因素置之不理，因而極易選擇到不適合自己的職業。

本系統通過對當代大學生就業問題進行理性化的分析，得出大學生就業主要存在對自身就業能力要求過高、缺乏經驗與規劃目標。同時面對心理問題時，難以端正自己的心態。

因此，未來還應進一步加強對當代大學生就業問題的研究，進而促進大學生順利就業。