基于大數(shù)據(jù)的高校畢業(yè)生就業(yè)決策支持系統(tǒng)設(shè)計(jì)

摘? 要：大數(shù)據(jù)背景下，傳統(tǒng)的決策支持系統(tǒng)很難適應(yīng)海量數(shù)據(jù)的存儲(chǔ)、處理以及實(shí)時(shí)決策的需求。利用大數(shù)據(jù)技術(shù)建立基于Hadoop的大數(shù)據(jù)決策支持系統(tǒng)體系結(jié)構(gòu)，依據(jù)這個(gè)體系結(jié)構(gòu)，結(jié)合高校畢業(yè)生就業(yè)決策支持系統(tǒng)的具體需求，建立基于大數(shù)據(jù)的高校畢業(yè)生就業(yè)決策支持系統(tǒng)，該系統(tǒng)對(duì)高校畢業(yè)生的就業(yè)以及高校專業(yè)的設(shè)置、招生計(jì)劃的制定都有較好的指導(dǎo)作用。

關(guān)鍵詞：大數(shù)據(jù);Hadoop;決策支持系統(tǒng)

中圖分類號(hào)：TP311.52? ? ? ?文獻(xiàn)標(biāo)識(shí)碼：A 文章編號(hào)：2096-4706（2019）15-0082-03

Design of Decision Support System for College GraduatesEmployment

Based on Big Data

DUAN Wei

（School of Math and Computer Science，Jiangxi Science & Technology Normal University，Nanchang? 330038，China）

Abstract：Under the background of big data，traditional decision support system（DSS） is hard to meet needs of massive data storage，processing and real-time decision-making. By using big data technology，a big data decision support system that system structure based on Hadoop is constructed. Then combining this structure with the needs of the decision support system of graduatesgraduate employment，the decision support system of college graduate employment based on big data can be constructed. It will benefit to help college graduatesemployment and instruct colleges majors setting and establishment of enrollment plan.

Keywords：big data;Hadoop;decision support system

0? 引? 言

大學(xué)生的就業(yè)一直都是社會(huì)各界普遍關(guān)注的社會(huì)問題。教育部頒布的《教育部關(guān)于做好2019屆全國(guó)普通高等學(xué)校畢業(yè)生就業(yè)創(chuàng)業(yè)工作的通知》明確指出“促進(jìn)高校畢業(yè)生就業(yè)創(chuàng)業(yè)，事關(guān)廣大群眾切身利益，事關(guān)社會(huì)和諧穩(wěn)定，事關(guān)高等教育健康發(fā)展”[1]。

隨著我國(guó)教育信息化步伐的不斷加快，各高校基本上都建立了與畢業(yè)生就業(yè)相關(guān)的管理信息系統(tǒng)，通過信息化手段服務(wù)于畢業(yè)生就業(yè)工作，但就目前應(yīng)用狀況而言，這些系統(tǒng)的功能基本停留于簡(jiǎn)單的信息采集、查詢等層面，對(duì)諸如畢業(yè)生的就業(yè)信息分析、就業(yè)趨勢(shì)的預(yù)測(cè)以及個(gè)性化就業(yè)推薦服務(wù)等深層次的應(yīng)用，更多流于形式。因此，這些系統(tǒng)對(duì)指導(dǎo)高校畢業(yè)生的就業(yè)及預(yù)測(cè)未來的就業(yè)趨勢(shì)發(fā)揮的作用比較有限。目前高校就業(yè)管理部門對(duì)畢業(yè)生的就業(yè)指導(dǎo)主要依賴于個(gè)人的主觀經(jīng)驗(yàn)，導(dǎo)致就業(yè)指導(dǎo)的專業(yè)性不足。如何提高就業(yè)指導(dǎo)決策的科學(xué)性和專業(yè)性成為高校就業(yè)指導(dǎo)工作面臨的首要問題。

隨著“大數(shù)據(jù)”時(shí)代的來臨，大數(shù)據(jù)技術(shù)在社會(huì)各領(lǐng)域中日益發(fā)揮著重要作用，決策者的決策基于數(shù)據(jù)和分析而做出，而并非基于經(jīng)驗(yàn)和直覺。將大數(shù)據(jù)技術(shù)運(yùn)用到高校畢業(yè)生就業(yè)領(lǐng)域，對(duì)于為高校畢業(yè)生的就業(yè)提供決策支持是十分有益的。

1? 決策支持系統(tǒng)簡(jiǎn)介

決策支持系統(tǒng)（Decision Support System，DSS）是從管理信息系統(tǒng)發(fā)展而來的，利用數(shù)據(jù)和模型，通過人機(jī)交互的方式輔助決策者解決半結(jié)構(gòu)化和非結(jié)構(gòu)化決策問題的信息系統(tǒng)。傳統(tǒng)的決策支持系統(tǒng)由數(shù)據(jù)庫(kù)子系統(tǒng)、模型庫(kù)子系統(tǒng)、人機(jī)交互子系統(tǒng)三個(gè)部分構(gòu)成[2]，如圖1所示。

數(shù)據(jù)庫(kù)子系統(tǒng)：由數(shù)據(jù)庫(kù)和數(shù)據(jù)庫(kù)管理系統(tǒng)構(gòu)成，存儲(chǔ)和管理了決策支持系統(tǒng)所需的各類數(shù)據(jù)。

模型庫(kù)子系統(tǒng)：由模型庫(kù)、模型庫(kù)管理系統(tǒng)構(gòu)成，存儲(chǔ)和管理決策支持系統(tǒng)中的各類決策模型。

人機(jī)交互子系統(tǒng)：用戶通過該子系統(tǒng)與決策支持系統(tǒng)中的數(shù)據(jù)庫(kù)管理系統(tǒng)，模型庫(kù)管理系統(tǒng)對(duì)話，以查詢、操作數(shù)據(jù)庫(kù)，或運(yùn)行模型獲得結(jié)果。

2? 基于Hadoop的大數(shù)據(jù)決策支持系統(tǒng)

2.1? 基于大數(shù)據(jù)的決策支持系統(tǒng)需要解決的問題

“大數(shù)據(jù)”時(shí)代的到來對(duì)決策支持系統(tǒng)的發(fā)展提出了許多新的要求，這些要求主要體現(xiàn)在大數(shù)據(jù)環(huán)境下決策支持系統(tǒng)中海量數(shù)據(jù)的存儲(chǔ)、處理以及實(shí)時(shí)決策這三個(gè)方面。傳統(tǒng)的決策支持系統(tǒng)所包含的數(shù)據(jù)多為結(jié)構(gòu)化數(shù)據(jù)，這些數(shù)據(jù)一般都存儲(chǔ)在單結(jié)點(diǎn)的關(guān)系數(shù)據(jù)庫(kù)中，但關(guān)系數(shù)據(jù)庫(kù)在非結(jié)構(gòu)化數(shù)據(jù)的存儲(chǔ)和數(shù)據(jù)庫(kù)的擴(kuò)展性方面存在不足，不適合在大數(shù)據(jù)環(huán)境下進(jìn)行包含多種非結(jié)構(gòu)化數(shù)據(jù)的海量數(shù)據(jù)的存儲(chǔ)和處理。由于傳統(tǒng)的決策支持系統(tǒng)處理的數(shù)據(jù)量小，數(shù)據(jù)的查詢和模型庫(kù)模型算法的運(yùn)行的時(shí)間都很短，因此傳統(tǒng)的決策支持系統(tǒng)僅能滿足數(shù)據(jù)量較小的情況下用戶實(shí)時(shí)決策的需求。在大數(shù)據(jù)環(huán)境下，由于涉及的數(shù)據(jù)量巨大，數(shù)據(jù)的查詢和模型算法的運(yùn)行都需要花費(fèi)很多時(shí)間，因此傳統(tǒng)關(guān)系數(shù)據(jù)庫(kù)和模型庫(kù)中的模型算法已無法滿足決策者實(shí)時(shí)決策的需求，需要從數(shù)據(jù)的存儲(chǔ)方式以及模型庫(kù)模型的實(shí)現(xiàn)算法兩方面解決基于大數(shù)據(jù)的決策支持系統(tǒng)的實(shí)時(shí)決策需求。

2.2? 建立基于Hadoop的大數(shù)據(jù)決策支持系統(tǒng)體系結(jié)構(gòu)

Hadoop是由Apache基金會(huì)所開發(fā)的分布式系統(tǒng)基礎(chǔ)架構(gòu)，其核心是能夠?qū)崿F(xiàn)海量數(shù)據(jù)存儲(chǔ)的HDFS（分布式文件存儲(chǔ)系統(tǒng)）以及能解決大數(shù)據(jù)的并行處理、計(jì)算的MapReduce（分布式并行計(jì)算框架）[3]。Hadoop發(fā)展至今，已成為構(gòu)建大數(shù)據(jù)平臺(tái)的主流技術(shù)，除了HDFS和MapReduce，還有許多基于Hadoop的軟件，為其提供多方面的業(yè)務(wù)支撐。如：數(shù)據(jù)倉(cāng)庫(kù)Hive;NoSQL數(shù)據(jù)庫(kù)HBase;機(jī)器學(xué)習(xí)算法庫(kù)Mahout;數(shù)據(jù)遷移工具Sqoop以及大數(shù)據(jù)可視化工具（R語言，Python語言）等。

依據(jù)“基于大數(shù)據(jù)的決策支持系統(tǒng)”對(duì)海量數(shù)據(jù)的存儲(chǔ)、處理以及實(shí)時(shí)決策要求，利用Hadoop框架和相關(guān)技術(shù)采用分層設(shè)計(jì)方法對(duì)“基于大數(shù)據(jù)的決策支持系統(tǒng)”的體系結(jié)構(gòu)進(jìn)行設(shè)計(jì)[4，5]，整個(gè)系統(tǒng)體系結(jié)構(gòu)包括四層：基礎(chǔ)層、數(shù)據(jù)存儲(chǔ)層、分析層、決策支持層，系統(tǒng)結(jié)構(gòu)如圖2所示。

基礎(chǔ)層：實(shí)現(xiàn)決策支持系統(tǒng)所需的各類數(shù)據(jù)的抽取、清理、轉(zhuǎn)換等預(yù)處理工作。

數(shù)據(jù)存儲(chǔ)層：實(shí)現(xiàn)決策系統(tǒng)所需的各類數(shù)據(jù)的存取、管理功能。為解決海量數(shù)據(jù)的存儲(chǔ)，數(shù)據(jù)存儲(chǔ)層將基礎(chǔ)層預(yù)處理后的數(shù)據(jù)存儲(chǔ)到Hadoop的HDFS中。為提高數(shù)據(jù)庫(kù)子系統(tǒng)的查詢、處理速度，在數(shù)據(jù)存儲(chǔ)層利用Hive數(shù)據(jù)倉(cāng)庫(kù)結(jié)合HBase寬表數(shù)據(jù)庫(kù)，為基于大數(shù)據(jù)的決策支持系統(tǒng)構(gòu)建一個(gè)低延遲的數(shù)據(jù)庫(kù)子系統(tǒng)。Hive是基于Hadoop的數(shù)據(jù)倉(cāng)庫(kù)，它能使用類SQL的HiveQL（HQL）語言實(shí)現(xiàn)數(shù)據(jù)查詢操作，能使不熟悉MapReduce的用戶利用HQL處理和計(jì)算HDS上的結(jié)構(gòu)化數(shù)據(jù)，因此十分適合針對(duì)數(shù)據(jù)倉(cāng)庫(kù)的OLAP（聯(lián)機(jī)分析處理）操作。由于Hadoop通常都有較高的延遲，因此Hive不適合低延時(shí)的實(shí)時(shí)應(yīng)用。HBase是面向列存儲(chǔ)的NoSQL數(shù)據(jù)庫(kù)，可以存儲(chǔ)結(jié)構(gòu)化和非結(jié)構(gòu)化數(shù)據(jù)，可進(jìn)行快速查詢，但HBase數(shù)據(jù)庫(kù)不支持類SQL語句，因此可以將Hive和HBase結(jié)合，將基于大數(shù)據(jù)決策支持中所需的隨機(jī)查詢數(shù)據(jù)存入HBase數(shù)據(jù)庫(kù)，通過Hive利用HQL語句對(duì)HBase數(shù)據(jù)庫(kù)存儲(chǔ)的數(shù)據(jù)進(jìn)行OLTP（聯(lián)機(jī)事務(wù)處理）操作，以滿足基于大數(shù)據(jù)決策支持實(shí)時(shí)決策的需要。

分析層：提供決策模型，以及針對(duì)數(shù)據(jù)庫(kù)和數(shù)據(jù)倉(cāng)庫(kù)的OLTP和OLAP操作，輔助決策者決策。Mahout中提供了許多可擴(kuò)展的機(jī)器學(xué)習(xí)領(lǐng)域經(jīng)典算法，它在最近版本中提供了對(duì)Hadoop的支持，利用Mahout中這些經(jīng)典算法結(jié)合決策支持系統(tǒng)的決策需求，可構(gòu)建模型庫(kù)的決策模型，在Hadoop框架下運(yùn)行，提高決策模型的運(yùn)算速度，滿足基于大數(shù)據(jù)決策支持實(shí)時(shí)決策的需要。

決策支持層：這是一個(gè)人機(jī)交互子系統(tǒng)，決策者可通過人機(jī)交互調(diào)用分析層中模型庫(kù)的模型，對(duì)數(shù)據(jù)庫(kù)子系統(tǒng)中的數(shù)據(jù)執(zhí)行OLTP/OLAP操作，獲取決策所需的信息，輔助決策者進(jìn)行決策。

3? 基于大數(shù)據(jù)的高校畢業(yè)生就業(yè)決策支持系統(tǒng)

3.1? 可行性

大數(shù)據(jù)技術(shù)為提升高校就業(yè)指導(dǎo)決策的科學(xué)性提供了可能。目前各高校建立的與畢業(yè)生就業(yè)相關(guān)的管理信息系統(tǒng)中已存儲(chǔ)了大量歷屆畢業(yè)生就業(yè)的相關(guān)信息，各高校的就業(yè)信息網(wǎng)上也發(fā)布了最新的招聘信息。這些信息數(shù)據(jù)量大，數(shù)據(jù)類型多樣，既有結(jié)構(gòu)化數(shù)據(jù)也包含了許多半結(jié)構(gòu)化和非結(jié)構(gòu)化數(shù)據(jù)，且每年都有大量的畢業(yè)生信息以及招聘信息產(chǎn)生，數(shù)據(jù)的增長(zhǎng)速度非常快，但這些數(shù)據(jù)的價(jià)值密度低。因此，目前大多數(shù)高校所掌握的和高校畢業(yè)生就業(yè)有關(guān)的數(shù)據(jù)信息具備了大數(shù)據(jù)的“4V”特征，即數(shù)據(jù)體量巨大（Volume）、數(shù)據(jù)類型繁多（Variety）、產(chǎn)生速度快（Velocity）、價(jià)值密度低（Value）[6]。

當(dāng)前大數(shù)據(jù)技術(shù)的飛速發(fā)展，為大數(shù)據(jù)的存儲(chǔ)、處理提供了可能。以Hadoop為代表的大數(shù)據(jù)技術(shù)為基于大數(shù)據(jù)的高校畢業(yè)生就業(yè)決策支持系統(tǒng)的設(shè)計(jì)提供了技術(shù)支持。對(duì)基于大數(shù)據(jù)的高校畢業(yè)生就業(yè)決策支持系統(tǒng)可基于Hadoop的框架來實(shí)現(xiàn)。

3.2? 基于大數(shù)據(jù)的高校畢業(yè)生就業(yè)決策支持系統(tǒng)的功能需求分析

（1）對(duì)高校畢業(yè)生就業(yè)情況進(jìn)行分析，產(chǎn)生大學(xué)畢業(yè)生就業(yè)質(zhì)量年度分析報(bào)告;

（2）對(duì)高校畢業(yè)生就業(yè)的熱點(diǎn)和發(fā)展趨勢(shì)分析;

（3）對(duì)就業(yè)整體趨勢(shì)進(jìn)行預(yù)測(cè);

（4）智能化的推薦，為高校畢業(yè)生進(jìn)行個(gè)性化就業(yè)推薦[7-9]。

3.3? 基于大數(shù)據(jù)的高校畢業(yè)生就業(yè)決策支持系統(tǒng)的設(shè)計(jì)

高校畢業(yè)生就業(yè)決策支持系統(tǒng)按照“基于Hadoop的大數(shù)據(jù)決策支持系統(tǒng)”體系結(jié)構(gòu)進(jìn)行設(shè)計(jì)，其基礎(chǔ)層、數(shù)據(jù)存儲(chǔ)層、分析層和決策支持層的具體功能如下：

基礎(chǔ)層：數(shù)據(jù)來源于畢業(yè)生生源信息數(shù)據(jù)庫(kù)，畢業(yè)生就業(yè)信息數(shù)據(jù)庫(kù)，就業(yè)信息網(wǎng)站的招聘信息，雙選會(huì)，公務(wù)員、事業(yè)單位的招考信息等，這些信息數(shù)據(jù)既包含了關(guān)系數(shù)據(jù)庫(kù)中存儲(chǔ)的結(jié)構(gòu)化數(shù)據(jù)，也包含了網(wǎng)站上的半結(jié)構(gòu)化、非結(jié)構(gòu)化信息。基礎(chǔ)層需要對(duì)這些異構(gòu)的數(shù)據(jù)進(jìn)行采集、清理、預(yù)處理，再將其輸出到數(shù)據(jù)存儲(chǔ)層的HDFS中。

數(shù)據(jù)存儲(chǔ)層：數(shù)據(jù)存儲(chǔ)層不僅要能夠存儲(chǔ)海量的數(shù)據(jù)，更重要的是為其上層——分析層能夠更好地對(duì)數(shù)據(jù)進(jìn)行分析提供支持。數(shù)據(jù)倉(cāng)庫(kù)是為了決策需要而設(shè)計(jì)的，是面向主題的、集成的。數(shù)據(jù)倉(cāng)庫(kù)的設(shè)計(jì)是數(shù)據(jù)存儲(chǔ)層設(shè)計(jì)的重點(diǎn)。在本系統(tǒng)中，依據(jù)其功能需求，設(shè)定數(shù)據(jù)倉(cāng)庫(kù)面向畢業(yè)生就業(yè)的職業(yè)流向和畢業(yè)生就業(yè)的地域流向兩大主題。數(shù)據(jù)倉(cāng)庫(kù)的邏輯結(jié)構(gòu)采用雪花模型進(jìn)行設(shè)計(jì)，如圖3所示，它包括兩個(gè)基本的元素：事實(shí)表和維度表，事實(shí)表用來存放要分析的全部數(shù)據(jù)，維度表中的維度是分析問題的角度（例如：性別、專業(yè)、學(xué)歷層次、地域、職位、行業(yè)、就業(yè)單位的性質(zhì)等）。

分析層：針對(duì)數(shù)據(jù)庫(kù)和數(shù)據(jù)倉(cāng)庫(kù)的OLTP和OLAP操作可生成決策所需的各類統(tǒng)計(jì)數(shù)據(jù)，但決策者使用決策支持系統(tǒng)不是直接依靠數(shù)據(jù)庫(kù)子系統(tǒng)中的數(shù)據(jù)進(jìn)行決策，而是在很大程度上利用模型庫(kù)中的模型進(jìn)行決策。因此，模型庫(kù)是分析層設(shè)計(jì)的重點(diǎn)。根據(jù)本系統(tǒng)的需求，按照“選擇模型/自定義模型—訓(xùn)練模型—評(píng)估模型—優(yōu)化模型”的步驟，利用Mahout中的算法建立模型庫(kù)中的模型，如：構(gòu)建關(guān)系模型對(duì)大學(xué)生就業(yè)價(jià)值取向與就業(yè)流向（職業(yè)流向、地域流向）的關(guān)系進(jìn)行研究，構(gòu)建時(shí)間序列模型對(duì)就業(yè)整體趨勢(shì)進(jìn)行預(yù)測(cè)，構(gòu)建聚類模型對(duì)掌握高校畢業(yè)生就業(yè)的熱點(diǎn)進(jìn)行分析，構(gòu)建推薦模型對(duì)大學(xué)生進(jìn)行個(gè)性化就業(yè)推薦。

決策支持層：利用Python實(shí)現(xiàn)該層的人機(jī)交互功能，通過人機(jī)交互調(diào)用模型庫(kù)中的模型或進(jìn)行數(shù)據(jù)查詢，引導(dǎo)決策者進(jìn)行決策。

4? 結(jié)? 論

大數(shù)據(jù)技術(shù)正在成為推動(dòng)社會(huì)發(fā)展、進(jìn)步的新力量，基于大數(shù)據(jù)的高校畢業(yè)生就業(yè)決策支持系統(tǒng)利用大數(shù)據(jù)技術(shù)分析就業(yè)形勢(shì)和畢業(yè)生特點(diǎn)，不僅能幫助畢業(yè)生調(diào)整就業(yè)預(yù)期/找準(zhǔn)就業(yè)定位，還可以為高校的專業(yè)設(shè)置和招生計(jì)劃的決策提供指導(dǎo)。

參考文獻(xiàn)：

[1] 中華人民共和國(guó)教育部.教育部關(guān)于做好2019屆全國(guó)普通高等學(xué)校畢業(yè)生就業(yè)創(chuàng)業(yè)工作的通知[EB/OL].https：//www.ncss.cn/tbch/2019jycytz/，2019-06-01.

[2] Sprague R H，Jr. A Framework for the Development of Decision Support Systems [J].MIS Quarterly，1980，4（4）：1-26.

[3] 百度百科.Hadoop簡(jiǎn)介 [EB/OL].https：//baike.baidu.com/item/Hadoop/3526507？fr=aladdin，2019-06-01.

[4] 王振.基于Hadoop的大數(shù)據(jù)處理關(guān)鍵技術(shù)研究 [D].南京：南京郵電大學(xué)，2014.

[5] 任建新.基于Hadoop平臺(tái)的大數(shù)據(jù)應(yīng)用系統(tǒng)架構(gòu)的研究與實(shí)現(xiàn) [D].北京：北京郵電大學(xué)，2014.

[6] [奧地利]維克托·邁爾-舍恩伯格.大數(shù)據(jù)時(shí)代 [M].盛揚(yáng)燕，周濤，譯.杭州：浙江人民出版社，2013.

[7] 張亮.大數(shù)據(jù)時(shí)代下的大學(xué)生就業(yè)指導(dǎo)工作研究 [J].石家莊職業(yè)技術(shù)學(xué)院學(xué)報(bào)，2014，260（6）：60-62.

[8] 李鵬，蔡治廷.大數(shù)據(jù)時(shí)代的大學(xué)生就業(yè)工作探析 [J].黑龍江高教研究，2015（5）：86-88.

[9] 楊銳，夏紅.大數(shù)據(jù)時(shí)代下大學(xué)生就業(yè)數(shù)據(jù)信息的應(yīng)用研究 [J].中國(guó)電力教育，2014（20）：119-120.

作者簡(jiǎn)介：段薇（1974.12-），女，漢族，湖南祁陽人，副教授，碩士，研究方向：數(shù)據(jù)挖掘。