我在傳統行業做大數據開發工程師

從業者：林曉晴

從業年限：2年

從業地點：廣州

一句話感受：我們的使命是挖掘數據的最大價值

對口專業：應用數學、軟件工程、計算機科學與技術、信息管理與信息系統等

從業門檻：本科及以上學歷

晉升路徑：大數據開發工程師→高級大數據開發工程師→數據架構主管→大數據架構師

薪資水平：10萬—15萬元/年

入職提醒：大數據開發對技術要求比較高，特別是在數據庫方面，需要精通各類常用的數據庫軟件

你了解大數據嗎？

想必大家對“大數據”這個名詞并不陌生，但要說起大數據相關工作具體是做什么的，很多人就不清楚了，甚至以為這個職業只存在于互聯網大廠中。現在，就讓我這個傳統制造業的大數據開發工程師給大家介紹一下這個職業吧！

從不同的維度和視角來看，大數據是一種技術、一種產業、一種資源，是一種理念和一種思維方式，也可以說是一個時代。如今大數據已經融入經濟社會發展的方方面面，許多工作都可以用大數據理念來指導。比如我們日常生活中涉及的一些服務，包括快遞、外賣、共享單車等，都用到了大數據技術；還有近段時間火遍全網的ChatGPT，也是大數據技術的運用和延伸。可以毫不夸張地說，大數據與我們的日常生活有著千絲萬縷的聯系，從衣食住行，到金融理財，還有我們的制造業，都可以瞧見它的身影。

“大數據人”的一天

雖然身處制造業，但我們“大數據人”的一天基本上也都圍繞“大數據”展開工作。每周一上午，按照慣例，我們部門會開例會，部門經理會根據各個項目的情況，為每個項目組分配本周的工作任務。我們大數據組的工作主要分為三大塊：一塊是大數據日常開發迭代工作，另一塊是大數據重點項目的開發工作，還有一塊是大數據相關軟件的日常運維工作。

我的職位是大數據開發工程師，主要工作是負責大數據倉庫和模型的建設，參與大數據項目中的數據采集、加工，維護大數據平臺的穩定。具體點說，就是根據公司的業務需求，從各大業務系統中抽取相應的數據，對其進行加工、分析，再制作出業務所需的報表。由于我們公司所在的行業是制造業，因此我們的工作涉及許多與制造業相關的系統，比如倉儲物流系統WMS、工廠制造執行系統MES……我需要從這些業務系統中抽取數據，制作生產數據看板，實時監控生產狀況，讓企業相關業務管理人員能夠清晰地了解各個車間的產能和生產狀況、貨物的發運情況，從而及時地發現問題、解決問題，提高公司的生產效率，推動公司業務的發展。

一般來說，我們大數據開發工程師接觸較多的工作是寫SQL。SQL即Structured Query Language（結構化查詢語言）的簡稱，是一種數據庫查詢和程序設計語言，主要用于存取數據以及查詢、更新和管理關系數據庫管理系統。寫SQL是一件非常令人頭疼的事情，因為我們日常工作中會面對各種類型的數據庫，也就會面對不同的數據庫語言，雖然其語法大致一樣，但所用到的函數有可能會不一樣，所以要格外注意。我就犯過好幾次類似的錯誤，因沒有注意到函數的差別，導致排查不出數據的問題。

此外，在做項目需求的時候，一定要加強溝通，存在疑惑時，也一定要與需求提出方溝通清楚，確定清楚后再開始執行。要知道，每個人對需求的理解都存在差異，比如我們理解的是A，而需求提出方想要的可能是B。

向優秀的“大數據人”進階

如何成為一名優秀的大數據開發工程師，這也是我一直在思考的問題。

目前我的工作大部分還停留在寫SQL、制作報表上，對大數據框架的建構方面涉及較少，在基礎開發語言的掌握方面較為薄弱，看不懂大數據框架的相關代碼。但從技術層面來說，大數據開發工程師也屬于軟件開發人員，需要有一定的編碼能力。為此，領導特地找了開發人員對我們大數據開發項目組進行基礎語言的培訓。若想讓自己的工作能力得到進一步提升，我們還需要精通一些常用的算法模型，這樣才能在面對海量的非結構化數據時，通過規劃算法與編寫程序去挖掘出有價值的數據。因此，我們需要不斷地充實自己，比如可以多加入幾個技術群，遇到問題時多向技術“大牛”請教。

從業務層面來說，大數據開發工程師要具備相關行業的業務知識，熟悉各自行業的業務指標和業務術語，畢竟大數據的最終目標是服務社會和企業。

從技術層面來說，大數據開發工程師需要掌握常用的數據庫以及數據可視化工具的使用，還需要掌握Java、python等基礎編程語言。

此外，從業者也可以利用網絡上的資源，如博客園、CSDN（中國專業IT社區）、多逛技術論壇等，參考行業前輩的學習路線和方法，并結合自己的實際情況，規劃學習周期，實現量變到質變的飛躍。

需要注意的是，大數據開發工程師一定要培養自己的語言表達能力和書面表達能力。在此再次提醒大家，大數據開發工程師的工作可不是單純寫SQL、寫代碼、做報表而已。

想成為大數據開發工程師嗎？

大數據相關職位對學歷與技術的要求比較高，一般來說，從業者需要具備本科及以上學歷，需要具備數據挖掘與數據分析等相關專業能力，這也要求從業者具備良好的學習能力。大數據開發行業目前正蓬勃發展，相關技術體系也非常龐大，對初學者而言具有一定的挑戰性。因此，想從事大數據行業的同學一定要做好不斷學習的思想準備，最好提前做好學習計劃，找到適合自己的學習方法。

一般來說，大數據入門學習即大數據開發技術的學習可以分成三個階段：第一個階段是編程基礎語言的學習，第二個階段是算法相關基礎知識的學習，第三個階段是結合相應場景進行實際運用。在學習過程中，興趣是最重要的動力源，因此在入門學習時，同學們最好結合自身的基礎以及感興趣的方向，為自己制定初步的學習路線。之后，我們就可以深耕大數據行業，為企業和社會發展貢獻自己的智慧啦！

后記

目前我國的大數據行業迎來了新的發展機遇，產業規模日趨成熟。2014年，“大數據”首次被寫進我國政府工作報告，大數據產業首次上升至國家戰略層面，國家大數據綜合試驗區如雨后春筍般在全國各地建立起來。同時，相關政策與標準體系也在不斷完善。

總而言之，大數據在未來的就業舞臺還是非常廣闊的，是一個比較熱門的就業方向。所以，想從事大數據行業的同學，請努力加油吧！