基于Web招聘信息的專業(yè)技能需求文本挖掘

鐘靜 羅南超

摘要：文章使用八爪魚采集器在智聯(lián)招聘網(wǎng)上采集了成都范圍內(nèi)有關(guān)計算機科學與技術(shù)專業(yè)工作招聘的技能要求，通過數(shù)據(jù)預處理、關(guān)聯(lián)規(guī)則來處理采集到的大量數(shù)據(jù)，挖掘出各職位和對應能力要求之間的關(guān)聯(lián)程度，以便此專業(yè)學生找工作時了解自己應該掌握的技能側(cè)重點以及學校對工作單位所需要的人才的技能進行有針對性的培養(yǎng)。

關(guān)鍵詞：招聘信息；文本挖掘；關(guān)聯(lián)規(guī)則

中圖分類號：TP311 文獻標識碼：A 文章編號：1009-3044（2019）06-0001-02

目前很多高校呈現(xiàn)出培養(yǎng)的畢業(yè)生掌握的技能和企業(yè)所需要的人才掌握的技能無法匹配，導致大量大學生畢業(yè)卻無法和企業(yè)招聘條件接軌，沒有實際操作能力只能去各種技術(shù)補習機構(gòu)培訓后才能找到心儀的工作，企業(yè)也無法快速找到和自己需求匹配的畢業(yè)生們。我們各個高校可以從這些招聘信息中提煉出自己學校有關(guān)專業(yè)的就業(yè)崗位的用人需求，設置對口的專業(yè)課程，以此來為用人單位培養(yǎng)對口人才；同時也解決了企業(yè)難以找到對口畢業(yè)生的難題。本文對“智聯(lián)招聘”成都地區(qū)計算機科學與技術(shù)專業(yè)相關(guān)工作崗位的招聘信息進行了挖掘，并且提煉出這些崗位招聘信息里面出現(xiàn)頻率較高的技能做了統(tǒng)計，以便學校為本專業(yè)的學生設置合適的課程。

1數(shù)據(jù)挖掘處理

1.1數(shù)據(jù)來源

本文利用八爪魚采集器于2017年12月對智聯(lián)招聘網(wǎng)近一個月成都范圍內(nèi)各工作崗位對計算機科學與技術(shù)專業(yè)人才所需要掌握的技能等各方面進行采集，總共得到招聘信息11205條，其中每條招聘信息包括職位名稱、能力要求、知識要求等內(nèi)容，通過數(shù)據(jù)庫函數(shù)對數(shù)據(jù)進行去重處理，最終得到8248條可用數(shù)據(jù)。

1.2數(shù)據(jù)預處理[1]

采集的數(shù)據(jù)中包含大量文本信息，所以通過數(shù)據(jù)庫函數(shù)對這些文本進行數(shù)據(jù)預處理。

1.2.1 循環(huán)刪除，避免日志文件暴增

循環(huán)刪除的偽代碼如下，該方法仍有一些局限性，耗時過長，并且會長期使數(shù)據(jù)庫處于簡單恢復模式下：

--ALTER DATABASE database_name SET RECOVERY SIMPLE ； while @index<@EndIndex begin delete table_name where index<=@index； set @index+=@Increment end

1.2.2 將數(shù)據(jù)插入到臨時表中，把原表drop

把原始表中的數(shù)據(jù)通過select語句篩選出來，然后批量插入導新表中，這種方式利用了大容量日志（Bulk Logged）操作的優(yōu)勢。由于 SELECT INTO，INSERT SELECT 是大容量日志操作，select命令不會產(chǎn)生大量日志文件，因此，執(zhí)行插入比執(zhí)行刪除的效率更高。最后，執(zhí)行drop命令，刪除整個原始表，幾乎不消耗任何時間。

--ALTER DATABASE database_name SET RECOVERY BULK_LOGGED ； insert into new_table select column_list from original_table where filter_retain drop table original_table

把臨時表重命名，執(zhí)行 sp_rename 或手動重命名，其中 @objtype 參數(shù)是可選的，默認值是NULL，對表重命名，設置參數(shù) @objtype='object'：

sp_rename [ @objname = ] 'object_name' ， [ @newname = ] 'new_name' [ ， [ @objtype = ] 'object_type' ]

1.2.3 對分區(qū)表執(zhí)行分區(qū)轉(zhuǎn)移操作

SQL Server的分區(qū)表實際上是一系列物理上獨立存儲的“表”（也叫分區(qū)）構(gòu)成的。被剝離的分區(qū)，通過drop命令刪除，這種方法，耗時最短，資源消耗最小，效率最高。

alter table original_table SWITCH PARTITION source_partition_number TO temporary_table drop table temporary_table

1.3應用關(guān)聯(lián)規(guī)則處理數(shù)據(jù)

2結(jié)語

綜合數(shù)據(jù)采集及關(guān)聯(lián)規(guī)則的結(jié)果，我們可以找到計算機科學與技術(shù)專業(yè)學生畢業(yè)后在成都范圍內(nèi)就職崗位的用人需求，這樣有助于同學們根據(jù)自己畢業(yè)后理想的工作崗位進行課程的重點學習，也有助于學院根據(jù)此結(jié)果對課程設置進行調(diào)整以適應社會用人單位需求。而且文章較文獻[5]具有更強的針對性，具體落實到某一個專業(yè)，而不是參雜了很多其他應用例子，給讀者直截了當?shù)挠∠蟆＿@個基于Web招聘信息的計算機科學與技術(shù)專業(yè)人才技能需求挖掘成功后，不僅針對計算機科學與技術(shù)這個專業(yè)，或者成都這個范圍內(nèi)的工作崗位用人需求，也可以針對其他專業(yè)以及全國各地的工作崗位用人需求，以解決現(xiàn)存的這個產(chǎn)出和需求對接不上的嚴峻問題。在各個高校的“產(chǎn)出”與工作單位的“需求”的對接工作上可以起到很好的銜接作用。

參考文獻：

[1] 悅光陰.大數(shù)據(jù)操作刪除去重.http：//www.cnblogs.com/ljhdo/

[2] 劉暢.基于Web文本挖掘的數(shù)據(jù)分析崗位需求研究[J].中國管理信息化，2018，21（10）：76-79.

[3] 李玉潔，楊威.淺析行動導向教學法中數(shù)據(jù)挖掘的應用[J].知識經(jīng)濟，2016（11）：97.

[4] 王小玉，王亞東，馮麗.關(guān)聯(lián)規(guī)則的挖掘[J].信息技術(shù)，2003（1）：55-57.

[5] 鐘曉旭.基于Web招聘信息的文本挖掘系統(tǒng)研究[D].合肥：合肥工業(yè)大學，2010.

.