高職院校大數據專業崗位技能分析與課程體系建設的研究

于洋

摘?要：從傳統IT的業務驅動到大數據DT時代的數據驅動，大數據得到了前所未有的發展，相應的人才需求也變得越來越迫切。本文從大數據人才需求出發，分析各崗位的技能要求，按照大數據的“采、存、用、管”全生命周期，構建高職院校大數據專業的課程體系。

關鍵詞：高職院校大數據專業;崗位技能分析;課程體系

1 背景

隨著大數據基礎設施的不斷完善，各類終端、各種系統和各種平臺產生積累了海量的數據。對這些數據的采集、處理、分析和發掘的大數據應用發展迅猛，大數據浪潮正在全球席卷而來。我國在2014年政府報告中首次提到大數據，起步較晚。但在過去的幾年中，大數據產業呈持續地高速增長態勢，尤其是2018年，在建設“數字中國”的大趨勢下，全國上下、由內到外、從政府到企業，正在打造建立和完善大數據全產業鏈生態系統。

截至2018年，麥肯錫大數據研究報告顯示，大數據相關人才需求達400萬之巨。我國人力資源專業機構數聯尋英在2018年7月發布《大數據人才報告》，報告顯示我國大數據人才僅46萬，未來3-5年內大數據人才缺口將高達150萬。正是考慮到大數據人才市場的需求潛力，我國教育部在2016年增補了“大數據技術與應用”高等職業教育專業。本文針對高職“大數據技術與應用”專業人才崗位技能需求，按照大數據生命周期，構建高職大數據專業的課程體系。

2 大數據生命周期技術體系

大數據在維基百科中定義為利用常用軟件工具捕獲、管理和處理數據所耗時間超過可容忍時間的數據集。它具有5V特點：Volume（大量）、Velocity（高速）、Variety（高速）、Value（低價值密度）、Veracity（真實性）。

大數據的全生命周期起始于數據源，經過數據獲取、清洗、加工、轉換等操作，進而進入到大數據分布式存儲系統，然后采用分布式數據分析框架對數據進行抽取、分析、建模、挖掘和可視化操作，為數據驅動提供決策依據實現數據資源的變現。

Hadoop是目前最為流行的大數據收集、存儲、計算、分析和挖掘的分布式系統架構[1]，它包含以下常用組件，如下圖所示。

3 大數據崗位及相關技能

按照大數據生命周期的不同階段，可以將大數據劃分為以下幾個崗位群：規劃設計崗位群、數據處理崗位群、平臺管理崗位群、分析挖掘崗位群、運營管理崗位群和大數據應用崗位群。通過對企業和用人單位的調研，以及高職院校對學生的培養定位，在以上崗位群中進行抽取，最終確定一下崗位群和崗位作為高職院校大數據專業人才培養對口的目標崗位[2]。

3.1 數據處理崗位群

（1）數據處理工程師：負責數據的抽取和預處理，從海量數據中提取有價值的信息;負責數據的全面處理工作，協助數據倉庫工程師處理數據。該崗位所要掌握的專業技能有：數據庫、爬蟲技術、Linux、Java/Python、Hadoop/Hive集群數據處理能力等。

（2）ETL工程師：負責數據的采集、加工、清洗、轉換;負責ETL程序的設計、開發、優化和維護。該崗位要求熟悉數據庫、Linux、Java/Python、大數據平臺及各組件的應用、ETL架構和常用開發工具等。

（3）網絡爬蟲工程師：負責各大網站和網頁數據的提取、采集及分析;負責分布式網絡爬蟲程序的設計開發、優化和維護。該崗位需精通網頁抓取原理及技術、精通正則表達式、從結構化和非結構化數據中提取信息、Linux、Java/Python等。

3.2 平臺管理崗位群

（1）大數據開發工程師：負責大數據平臺的設計、開發;負責集群的管理和性能調優。需具備：Linux、Java/Python、Hadoop生態組件、Strom流式數據處理框架、Spark內存計算框架等。

（2）數據倉庫工程師：負責數據倉庫的需求調研、分析、數據模型的設計;負責數據的采集、加工、清洗、轉換;負責數倉ETL規則的設計、開發、優化和維護。需具備的能力有：Linux、Java/Python、數據倉庫的分層架構、Hive/DB2/Teradata等原理知識、ETL工具等。

3.3 大數據應用崗位群

可視化工程師：負責數據的視覺設計和可視化展示;負責可視化組件的開發。需要熟悉主流可視化工具Tableau和Echarts等、理解數據庫應用、精通HTML5、CSS、JQuery、JS等技術。

4 高職院校大數據專業課程體系

基于以上各崗位職責和需要掌握的專業技能，將高職大數據專業課程體系分為：專業基礎課、專業核心課和綜合實訓課。

（1）專業基礎課：Java程序設計、Linux操作系統、數據庫原理與應用、網絡基礎、Web前端開發、大數據概論。

（2）專業核心課：Hadoop生態、爬蟲技術與應用、ETL架構和開發工具、MPP技術與應用、數據倉庫技術與應用、數據挖掘基礎、可視化工具應用。

（3）綜合實訓課：網絡爬蟲綜合實訓、大數據開發綜合實訓。

5 結論

本文從數據驅動下的人才需求出發，立足大數據崗位工作職責和崗位技能，從高職院校培養高素質技能型人才出發，確定大數據專業培養的目標崗位;并根據各個崗位技能，抽取、組建和成立高職大數據專業的主要課程，形成課程體系;最終，培養出合格的大數據專業技能人才，以滿足大數據各相關崗位的需要。

參考文獻：

[1]呂太之，畢家欽.基于Hadoop平臺的崗位分析和推薦系統的構建[J].河北軟件職業技術學院學報，2017，12（4）：1-4.

[2]陶碩，劉俞.基于高職院校大數據技術應用專業人才培養方案研究[J].河南科技學院學報，2017，12（12）：50-53.