領域大數據應用開發與運行平臺技術研究

李紹楊

（吉林省促進中小企業發展服務中心 吉林 長春 130021）

領域大數據應用開發與運行平臺技術研究

李紹楊

（吉林省促進中小企業發展服務中心 吉林 長春 130021）

伴隨著當前大數據技術高速發展，對于大數據應用系統開發與運行平臺的開發工作也取得了重大突破，極大的降低了大數據技術推廣的門檻，使得大數據技術能夠得以被更多的行業領域所應用。但同時考慮到大數據天然存在的多樣性、復雜性與動態性特征，目前還確立出系統化的大數據軟件開發體系，在具體的領域應用方面還有待開展進一步的研究工作。對此，本文將重點針對領域大數據應用開發與運行平臺技術展開相關的研究工作。

領域需求；大數據；開發；運行；平臺技術

1 引言

要對數據展開計算處理，必然離不開軟件系統的支持，無論是在數據的搜集、存儲、處理還是實踐應用等方面都要用到軟件。尤其是在當前的大數據時代背景下，數據處理各環節可供選擇的軟件工具多種多樣，因此，這也對于面向領域的大數據應用系統建立、運行、優化工作均產生了巨大挑戰。本文對目前大數據維護管理成本高昂、軟件構件選型配置困難等問題，提出了研發大數據應用系統開發與運行一體化平臺，以期能夠為降低大數據應用開發及后期運維成本提供一些參考。

2 概述

大數據系統開發平臺是直接與用戶產生交互關系，要能夠將各用戶間的集群關系加以區分，并同時提供以便捷化的信息添加、刪減及查詢功能，因而，用戶模塊也是集成設計開發環境最為核心的一項構成內容，基于用戶模塊的控制影響，用戶在應用大數據系統開發與運行一體化平臺之時便應當具備有屬于自身的獨立賬戶，系統可基于對賬戶唯一性的辨別來確保每一名用戶都能夠在系統中獲得一處獨立空間，以確保所部署的大數據系統之間達到互為獨立且不發生影響的狀態。用戶所提出的需求描述應當能夠對系統內部各項資源與業務做出統一表達，所表述的范圍將會同時覆蓋典型大數據應用系統建立所需求的功能性需求。

3 系統性能優化

在運行大數據應用系統之時，相應的數據管理系統會將對各項數據信息內容進行實時性的搜集，并開展數據存儲及索引建立等工作內容，以便能夠最大程度的保障對運行數據管理需求的充分保障。在這一框架內部當中所存儲的數據信息也將會被一并輸入于參數推薦系統內，從而獲得詳盡的歷史數據信息。

借助于對系統在實時運行時所產生出的日志類型分析，同時由用戶需求以及系統本身的實用性上來展開考量，系統要搜集的信息內容通常包括了以下4種類型：

（1）系統內部各項集群項目的監控時序數據信息，具體包括了中央處理器的占用率、網絡輸出及輸出字節數、硬盤寫入與讀取字節數等三部分內容；

（2）大數據構件模型數據信息；

（3）大數據構件配置參數信息；

（4）Spark任務調度熟讀信息。

相應的數據構件信息均通過分布式任務劃分成最小單元，針對所獲取到的數據信息展開預處理分析，而后將所獲得數據信息存儲于MongoDB系統內部，相應的任務數據格式詳見表1。

表1 任務數據格式匯總

4 領域應用

對于大數據技術的應用，現已逐漸發展到了產業互聯網當中，在本次研究中將從大數據在天氣預報與物聯網中的應用來展開具體分析，前一種主要側重于跨分析與存儲層系統性能優化，后一種則側重于領域大數據應用功能的實現。

4.1 大數據在天氣預報中的應用

某其在開展內部管理信息化時，借助于工程機械傳感器數據來獲取大規模的數據信息，相應的信息也可實時性的經由移動網絡發送至M2M服務平臺，同時被存儲于系統數據庫內，平臺可獲取到企業在實際生產工作中，來自于各個環節的大量數據信息，在信息存儲級別達到百億級別后，查詢效率大大降低，難以滿足于實際工作需求，因此開展額一體化平臺建設，確定出了適當的大數據應用系統。借助于對工程機械易受損零部件的特征統計，同時應用遠程監測技術與定期維修技術來對較易受損的零部件損耗量及備用零件需求數量，展開預測分析，能夠有效降低12%左右的呆滯庫存，全年可節約庫存費用9800萬元。經過對產品的歷史工作狀態數據分析，有助于各專業找出導致質量問題出現的原因，降低因產品損壞而需投入的費用成本。

4.2 大數據在物聯網中的應用

具備高度通用性效果的數據平臺技術，是實現對數據信息系統專業化應用的一項基礎性技術手段。為應對在氣象預測領域內數據規模大、種類多、邏輯復雜等問題，基于一體化平臺開發出了專業性更強的氣象大數據管理系統。針對氣象數據存儲結構實施了優化調整，極大的提高了數據查詢效率，并且也可與原本的數據存儲系統和諧共存，借助于一體化數據處理流程的實施，數據應用效率也有了大幅度的提升，基于對標準格式的支持，實現了對數據處理流程的精簡優化，利用分布式處理手段，大大加快了數據分析速率，系統性能有了大幅度的提升。

5 結語

總而言之，面對當前快速化發展的大數據技術，如何實現對這一技術的高效化應用現已被人們所廣泛關注。大數據應用系統其中包括了對于數據信息內容的收集、存儲、處理、分析等多個焊接，其中每一環節都有著多種解決方案，致使大數據應用系統的建立面臨巨大考驗。本文就對大數據應用的開發與運行平臺技術展開了具體分析，探討了對大數據應用系統的性能優化，并最終就大數據的領域應用從天氣預報與物聯網兩個方面展開了深入研究。

[1]周志陽，陳飛.大數據實時計算平臺技術綜述[J].中國新通信，2017，19(4).

TP311.13 【文獻標識碼】A 【文章編號】1009-5624（2018）01-0046-02