張 蕊,趙蓮蓮
(山東華宇工學院,山東 德州 253034)
互聯網技術的快速發展,使人們的工作、生活、學習方式發生了很大變化,基于網絡產生的數據信息呈現出快速增長的趨勢。互聯網產生的數據信息龐大,繁雜,內容豐富,在很多領域有著較高的應用價值。數據處理是對數據進行收集、分析、存儲、傳輸的過程,將有價值的信息篩選出來,發揮其價值。傳統的數據處理方式精度不高,處理速度慢,不適應當前大數據分析的要求。大數據分析技術及云計算網絡技術在數據分析中的應用,可以大大提高數據分析速度和準確度。
基于互聯網絡產生的海量數據信息蘊藏著巨大的價值,通過對數據信息的處理分析,可以將有價值的信息挖掘出來。數據信息種類多,結構復雜,價值密度低,有可能部分數據的價值不是很大,要想在龐雜的數據信息中挖掘有價值的信息,只有通過加工整理,進行深度研究,才能使數據成為內容豐富、形式多樣、具有價值的重要信息。從這個角度來看,數據處理是對原始數據的重新整合利用,只有通過數據處理才能將數據的價值發揮出來,使數據信息具有利用價值。
數據分析為現代化的科學管理提供了重要的幫助。科學管理不僅要了解表面問題,更重要的是要更好地認識事物的本質,梳理好事物之間的關系,查找問題所在,提出針對性的解決對策。要想實現這一目標,要借助數據分析,透過事物表面分析其本質,將事物之間隱藏的規律挖掘出來,為科學決策提供參考依據。
基于互聯網產生的數據信息非常龐大,以幾何倍數增長,且數據信息之間排列雜亂無章,數據價值密度低,在部分數據信息中,可能只有一小部分數據信息有價值,需要將所有的數據信息整合到一起才能將其蘊藏的價值挖掘出來。這就要求高精度的數據處理分析,處理速度要快,才能滿足社會發展的需要。
傳統的數據處理技術存在著不足,主要是安全穩定性不足,無法對非結構數據進行有效處理。安全性一直是數據處理分析中的難題,海量的數據信息涉及個人隱私、企業機密,如果安全工作做不好,將導致數據信息泄露,可能引發嚴重的后果。如果將數據處理工作交由大數據分析公司來處理,將耗費大量的資金和時間,在一定程度上增加企業的運營成本。數據分為結構數據和非結構數據,結構數據是可以利用統一的結構來表示的數據,如數字、符號等;非結構數據沒有統一的結構,如圖像、音頻、網頁等。基于互聯網產生的大量數據大多是非結構的數據。傳統的數據處理技術主要是對結構化的數據進行處理,而無法對非結構數據進行處理,多數數據無法通過傳統數據技術進行處理,而對小部分數據進行傳統技術處理得到的分析結果往往不全面,不能很好地把握事物的發展規律,無法進行科學性的預測,不能為決策管理提供參考。
大數據處理流程可以分為數據采集、處理、分析、顯示幾個部分。在數據采集階段,由于數據來源廣泛,數據信息龐雜,對于數據的采集常用系統日志采集、網絡數據采集、數據庫采集等方法,可以在短時間內對海量數據信息完成采集工作,更好地為數據處理奠定基礎。在數據處理階段,要對收集到的原始數據進行預處理,讓數據結構統一起來,便于后續分析。根據實際需要,將無效的數據信息篩選掉,將保留的數據信息進行統一的格式轉化,在數據處理階段主要應用去噪、格式化等方式。在數據分析階段,要對預處理后的數據信息進行深度挖掘和分析。這個過程需要根據用戶的需求,結合數據的不同價值,在數據挖掘工具的應用下,對數據信息進行分析。實際應用中,多數的數據分析商有專業的服務軟件,借助分析軟件可以更好地對數據進行分析,提高分析效率和精度。數據的顯示主要應用可視化技術,因為海量的數據在進行分析后,分析結果利用傳統的模式無法展示出來,利用數據可視化技術可以讓數據分析結果更加直觀地展現出來,為用戶提供便利。
大數據分析的主要優勢是:其一,數據挖掘算法。數據挖掘算法是數據分析的核心,隨著互聯網技術的發展,有很多的數據算法被應用于數據分析中,以分析不同類型及不同格式的數據信息。常用的數據挖掘算法主要有決策樹算法、樸素貝葉斯算法、支持向量機算法等,這些算法都有各自的優勢及不足,在實際運用中,要科學選擇一種或幾種算法來完成數據挖掘工作。利用數據挖掘算法可以很好地將數據特點表現出來,將數據價值挖掘出來。其二,預測性分析。大數據是基于互聯網發展起來的,大數據分析可以借助模型來對某些事物未來發展趨勢進行科學預測。如生產企業可以借助產品的銷售信息來預測未來一段時間內產品的需求情況,為企業生產提供參考。其三,可視化分析。這是大數據分析中的一個重要功能,利用可視化分析技術可以使數據結構及特點展現得更加直觀。
數據傳輸安全。在數據分析中應用云計算網絡技術,可有效保證數據安全。在實際應用中,用戶端的數據越多,越容易遭受安全威脅,當病毒攻擊計算機系統時,云計算技術可以實現對病毒的攔截,確保計算機數據安全。通常利用云計算技術監控數據傳輸路徑,假如有病毒或黑客攻擊,就會預警,確保傳輸通道安全。
數據使用安全。為了更好地提升計算機用戶數據信息及系統安全,要加強對用戶身份的認證,利用實名制方式來認證用戶身份。這樣一旦出現網絡安全問題,可以有效鎖定可疑目標,減少惡意攻擊。用戶在登錄計算機時,可進行用戶名及密碼的核實,防止不法分子竊取數據信息。
云計算是傳統計算機與網絡技術融合的產物,在大數據分析中具有以下優勢:其一,降低運算成本。相比于傳統的計算機運算方式,云計算不需要硬盤,完全可以在云端進行運算,節省了大量的硬盤空間,降低了運行成本。其二,提升運行效率。云計算涉及的程序及進程少,確保了計算機的穩定安全運行,可以使計算機性能大大提升,提高了計算機的運行效率。其三,數據存儲更加安全。傳統的硬盤存儲空間有限,硬盤損壞會導致數據丟失。云端計算機的存儲空間幾乎是無限的,數據在云端的存儲相當于進行了備份,保證了數據信息的安全。
計算機網絡技術的發展,新媒體的應用,使人們的生活、工作方式發生了很大變化,由此產生了大量的數據信息。大數據分析技術及云計算網絡技術為數據分析提供了重要的技術支持。應根據具體情況選擇合適的數據處理方式,充分發揮數據分析和云計算網絡技術的優勢。