大數據技術應用探究

查洋

摘要：通信技術從2G網絡時代發展到當今的5G網絡，各個行業信息傳遞不斷提速的同時信息量也呈現爆炸式增長。傳統的數據處理方法已經不能應對當下海量信息的分析要求。為解決海量信息的管理問題，大數據技術應運而生。大數據技術通過對數據采集、分析、處理及規律探究四個層面進行優化，助力各行業的發展。大數據技術的發展及其應用研究將成為行業的有力助手，變革行業運作模式和人類的生活習慣。

關鍵詞：大數據技術;海量信息;行業變革;數據處理

中圖分類號：TP393? ? ? 文獻標識碼：A

文章編號：1009-3044（2020）35-0211-03

開放科學（資源服務）標識碼（OSID）：

從個人的移動通信到國家的電信業務，從企業的商業管理到整個經濟社會的運作，數據的存儲量已經上升到新的量級。與此同時，數據的復雜度、管理難度也隨著數據量的激增變得棘手。作為智能化時代的產物，大數據技術是解決當下各行業處理海量數據瓶頸問題有效方法。大數據技術的應用，大大促進了對事物行為規律地探索進度，同時也為物聯網、“互聯網+”以及云計算技術注入了新的活力。

大數據技術不僅僅是一種對龐大數據的處理方式，更是為了探究數據背后的行為規律及事物的發展動向，通過數據鏈的基礎對未知時間的事物狀態進行預測，從而更好地對風險進行掌控，促進經濟社會平穩有序發展。本文通過對大數據技術的闡述及大數據技術的特征分析，對大數據技術的應用進行探究。

1 大數據特性

大數據的基礎定義是在有限時間內無法利用工具捕獲的數據合集，需要利用專業數據處理技術才能洞悉其信息價值的新一代數據資產。大數據的重點不僅僅在于數據量大，更重要的是數據分析=背后隱含的商業價值之大。總的來說，大數據具有以下“4V”特性[1]。

1.1 規模性

大數據是對傳統數據的擴容，二者的數據量級不在一個層次。大數據的規模在獲取、存儲、處理、分析方面已經超出了目前傳統數據工具能夠處理的范疇。

1.2 多樣性

大數據的數據涵蓋了各個方面的數據，其數據量不僅龐大而且元素眾多。多樣的數據結構令大數據異于傳統數據，用傳統分析工具無法處理。

1.3 高速性

由于數量量高于傳統數據，大數據技術要求對數據的存儲、分析、處理的速度要快，因此需要采用高速節點，高速網絡，高速存儲等技術來將大數據應用于現實生活中。

1.4 低價值密度

價值密度的定義為數據價值與數據總量的比值。由于大數據技術的數據量龐大，但是其中有用的信息就顯得十分渺小，導致了其低價值密度的特性。因此，如何對在龐大的數據量下對有用信息進行挖掘、探索也是大數據技術的核心問題。

2 大數據技術

2.1.大數據技術體系

大數據技術即挖掘大量數據中所潛在的行為規律及商業價值的信息技術手段。大數據的處理流程總體涵蓋了數據捕獲、數據的安全風險管控、數據存儲、數據處理、數據分析應用等階段，如圖1所示。

大數據技術一開始先對數據進行采集，分析信息的安全性除去不良信息。接著對數據進行存儲、處理。最終在處理后的數據內挑選出有價值意義的信息，對其進行分析，挖掘其潛在價值。

2.1.1 數據捕獲

數據捕獲技術作為大數據技術的基礎，其重要性不言而喻。在數據捕獲的過程中，還需要確保數據的可靠性與可信性。

一般來說，數據捕獲技術可以分為4種類型[2]：基于ETL（Extraction-Transformation-Loading）的技術、基于中間件的技術、基于數據流的技術，以及基于搜索引擎的技術。大數據技術常用的數據捕獲工具有：Flume、Time Tunnel、Kafka等。

2.1.2 數據安全風險管控

對數據進行安全風險管控旨在保護有用數據不受到不良數據威脅。信息世界，數據良莠不齊。數據漏洞、數據病毒、數據篡改等安全威脅時有發生。因此在收集完數據之后，需要對其進行安全風險管控。常用的安全風險管控技術有：防火墻技術、數據清洗技術、數據篩選技術等。

2.1.3數據存儲

數據存儲技術是數據捕獲和分析的中建橋梁，旨在滿足大量數據的快速存儲需求，并提供高魯棒性、高性能的數據訪問及管理方案。大數據技術常用的數據存儲方法有：分布式存儲、多級緩存、負載均衡等。

2.1.4 數據處理

數據處理技術作為大數據技術的關鍵一步，是將信息從多到少，從海量到專業，從數字信息到智慧信息的有效手段。大數據處理的手段包含流處理及批處理。流處理即對數據進行直接處理，而批處理是對數據進行批量存儲后再處理的方式。常見的大數據處理技術有：云計算、分布式計算、結構化數據、非結構化數據等。

2.1.5 數據分析應用

如何將大數據技術應用到目標場景中，是大數據技術的終極目標。數據分析作為大數據技術的核心，正是將數據信息轉化成有價值的商業資源的關鍵舉措。大數據技術的分析應用一般包括：采樣——建模—測試——檢驗等步驟。針對大數據的龐大數據量，其建模方式也需要相應地改進，將前沿知識不斷輸送到模型中，讓其學習，通過知識交互的方式推進大數據技術的應用。

2.2 大數據技術結構框架

通過對大數據技術處理流程的分析，可以發現無論大數據的體系多么復雜，所涉及的技術多么煩瑣，其總體的結構框架可以分為數據存儲、處理分析、應用研究三大部分。通過對三大部分的專業技術處理，則可以將大數據技術應用于各行各業中。

3 大數據技術的應用研究

大數據的應用研究作為大數據技術最直觀的表現形式，是從數據到信息、信息到知識、知識到智慧的最終體現。由于大數據技術尚未完全成熟，因此對大數據技術的應用研究也是在摸索地道路上。

3.1 大數據應用模型

總的來說，大數據的應用模型包含4個模塊。

1）目標數據存儲收集;通過對目標應用領域所涉及的數據進行收集，作為大數據應用研究的數據基礎。

2）數據清洗、過濾、選取價值信息;通過對收集的信息進行預處理，保留有用信息，減少需處理的信息量。

3} 數據挖掘;對信息進行挖掘，發現其潛藏知識。

4）智慧信息轉化，交互式學習;通過挖掘到的知識，與機器之間進行交互學習，讓數據應用變得更為智能化。

3.2 大數據技術應用框架

大數據的應用模型包含逐級遞增的分層關系。根據該特性，大數據的技術應用框架通用需要具備分層的概念，如圖2所示。

其中，數據整合凈化層對數據進行補貨、清洗、剝離。數字服務層將處理后數據存儲到所擁有的空間內，為分析應用做準備。分析應用層對所存儲的數據進行進一步的探索和挖掘。應用形式層將數據分析所得結果應用到各個層面中，實現大數據的潛在價值和實質內涵。

3.3 大數據應用分析

（1）大數據技術在通信網絡的應用

5G技術是當下移動通信網絡的先進技術，其高傳輸速率、優傳輸質量、穩傳輸功率的特點使其成為當代新型通信技術的代表。5G技術雙傳輸、高效率的特點帶來的是更為龐大的數據量[3]。海量數據嚴重限制了5G通信技術的發展。因此將大數據技術應用到5G通信網絡中，是形勢所趨，是發展必然。

要將大數據技術應用到5G網絡中，首先要借助5G網絡自身優勢，收集用戶數據，利用其高速傳輸的特點，為大數據技術做好數據基礎。其次，在通過對數據的篩選、凈化、整合之后，通過大數據的應用分析，考慮將5G網絡獲取到的數據進行數據挖掘，統計決策分析。最后將知識信息轉化到現實生活中的應用層面，例如移動支付、自動駕駛等。

（2）大數據在智能交通方面的應用

所有與交通相關的數據鏈路構成交通大數據集合。交通行業是大數據技術應用行業的典型代表。隨著交通管制的發展，圖像、聲音、數字監控渠道的增多，交通行業數據擴大到無法管理的局面。與傳統數據相比（如表1所示），交通數據的規模、種類、復雜度等方面更加難以處理。因此，合理處理交通大數據是交通行業的首要任務。

為了加強對交通數據的管理，實現智慧交通的目標，可以考慮將大數據技術應用到交通管制中去。以借助大數據技術實現交通違法行為的自動識別為例。首先，將諸如超速、闖紅燈、遇斑馬線不減速等圖像數據收集，建立對應的交通違法數據庫。通過對數據的篩選，選取各種違法行為的典型數據進行分析。利用大數據技術的分析決策、數據挖掘等技術，找到這些數據匹配特征點，在對其進行相應的模型轉化，變成機器學習的相關模型。接著，在利用已有的基礎數據進行適應訓練，加強機器學習的認知程度。當機器學習模型的判斷準確率能達到相關要求之后，將其投入到實際應用中，就能夠實現違法行為的準確判別。

（3）大數據技術在土木工程中的應用

土木工程為國家建設的根基。做好土木工程建設是實現經濟前進的助力法寶。但由于土木工程的工程量大，涉及項目眾多，因此，工程數據管理成為制約土木工程發展的瓶頸問題。因此，結合大數據技術，助力土木工程建設的推進是促進工程項目發展，實現智慧工程目標的重要舉措。

作為土木工程建設中的重要一環，工程造價數據隨土木工程建設的項目的推進不斷累積。龐大的造價數據加大了工程造價的計算難度，使得以往利用傳統的方式進行數據管理的方法不再適用。因此，若要解決工程造價的數據龐大問題，就需要將大數據技術融入土木工程造價的每一個環節當中去。

首先。利用大數據技術建立工程造價數據庫，增強數據查找的便利性以及數據管理的有效性。然后以這些數據為基礎，利用規則歸納、聚類分析等方法得到工程造價的具體表格。與此同時，考慮到土木建設材料價格受地區影響很大，波動幅度較大，因此在前序數據的基礎上，通過當前數據和歷史數據的對比，分析價格的趨勢走向，預測在不同階段的工程造價情況，做到心中有數?？紤]到地區對工程造價的影響問題，在建立工程造價數據庫需要考慮將造價以地區為分界線進行劃分，方便工作人員及時了解材料價格，避免不必要的資金浪費。

4 結語

作為工業4.0的代表技術，大數據技術能夠有效地對龐大數據進行處理、分析、應用。大數據所挖掘的潛藏信息是當下急需的數字資產。本文通過對大數據的技術流程、框架分析，對大數據的應用進行探究。以大數據技術在通信網絡、智慧交通、土木工程三個方面的應用進行分析，進一步證明了大數據技術的時代性及適用性。大數據技術在未來各行各業的發展中，有著更為廣闊的前景，是推進行業變革，經濟前進的實力推手。

參考文獻：

[1] 楊永斌，李笑揚.基于大數據技術的智能交通管理與應用研究[J].重慶工商大學學報（自然科學版），2019，36（2）：73-79.

[2] 孔德智，劉群興，王潁凱，等.大數據技術及其應用研究[J].電子產品可靠性與環境試驗，2013，31（z1）：90-95.

[3] 吳守成.5G通信網絡中大數據技術的應用研究[J].通訊世界，2020，27（5）：96-98.

【通聯編輯：光文玲】