大數據時代網絡信息處理技術研究

孫也

摘 要：本文從大數據的定義和技術特征出發，分析了大數據環境下網絡信息處理技術的難點，進而概括了大數據時代網絡信息處理技術的發展。大數據的應用為網絡信息的處理帶來了機遇，同時也造成了技術困境。我們應當從基礎設施、存儲管理、分析算法等多個方面進行探索，為大數據環境中的網絡信息處理提供新的手段和方法。

關鍵詞：大數據;網絡信息;處理技術

中圖分類號：TP311.13 文獻標識碼：A 文章編號：1003-5168（2020）28-0048-03

Analysis of Network Information Processing Technology in Big Data Era

SUN Ye

（Tianjin Vocational and Technical College of Urban Construction Management，Tianjin 300134）

Abstract： Starting from the definition and technical characteristics of big data， this paper analyzed the difficulties of network information processing technology in big data environment， and then generalized the development of network information processing technology in big data era. The application of big data brings the opportunity for the network information processing， but also causes the technical predicament. We should explore from infrastructure， storage management， analysis algorithm and other aspects to provide new means and methods for network information processing in big data environment.

Keywords： big data;network information;processing technology

當前，大數據作為新生事物在各行各業得到了廣泛應用，引起了學術界、業界及政府部門的高度重視。人們通過對大數據進行有效管理，提取分析其價值，能夠為不同行業提供具有極高價值的服務，從而產生經濟效益和社會效益。但是，海量的信息使得傳統的網絡信息處理技術難以適用，因而，在大數據環境下，有必要探索更有效的技術手段來處理網絡信息，以創造更大的價值。

1 大數據的基本定義及其技術特點

1.1 大數據的定義

關于大數據的概念，學術界并未給出一個量化的界定，當前的有關概念都是從數據規模和支持軟件處理能力的角度所給出的定性說明。比如，有學者指出，大數據是指使用傳統技術和工具在一定時間之內難以獲取、保存和處理的數據集;有的學者認為，大數據意味著數據集在規模上已經超出了過去的數據庫工具的存儲、管理和分析能力。這些概念主要是從規模的角度對大數據進行界定的，但我們應當認識到，大數據還意味著人們從遠超以往想象的數據中快速獲取有價值信息的能力，這才是大數據對人類社會所具有的深層次價值。實際上，當前人們在各個行業使用“大數據”一詞已經不僅限于其龐大的數據規模，更代表著信息科技的進一步發展，意味著對網絡數據進行處理的新技術和手段。

1.2 大數據的技術特征

一是數據規模龐大。大數據一般指在10 TB（1 TB=1 024 GB）規模以上的數據量[1]。當前，跨國互聯網企業所儲存的數據量已達到了ZB量級。二是數據具有多樣性的特點，其包括結構化、半結構化/非結構化等多種格式，能滿足不同應用場景的需求。三是數據處理的及時性，即大數據利用具有時效性，其數據處理應當滿足一定的響應性能要求。四是數據處理結果的準確性，也就是說，不能為了確保數據處理的及時性而損失處理結果的精確性。五是深度價值，指的是大數據具有較大價值，需要根據具體需求對數據加以分析和挖掘。

2 大數據時代網絡信息處理的難點

2.1 技術綜合性、交叉性強

在大數據環境中，網絡信息處理一般可以看作是完整的技術棧，包括集成大規模硬件資源和基礎設施管理、分布式存儲管理、并行計算、分析和挖掘以及應用服務。因而，大數據環境中網絡信息處理具有較強的技術整合和學科交叉的特點。

2.2 傳統計算方法和系統失效

隨著大數據的普遍應用，傳統的計算技術受到了挑戰。海量的數據計算意味著要消耗大量的時間，因此，利用傳統的計算手段很難在短時間內完成對大數據的計算分析工作，而且對設備的性能提出了較高的要求。

2.3 應用需求驅動特性

當前，多數行業都應用了大數據，因此，在網絡信息處理過程中，應按照各個行業應用的現實場景，結合企業或個人的應用需求，解決網絡信息處理遇到的技術難題，以提升不同行業的信息處理能力，挖掘特定行業大數據所具有的深層次價值。

3 大數據時代網絡信息處理技術的探索

3.1 大數據時代網絡信息處理技術框架

第一，大數據處理基礎設施和資源管理。隨著新興信息技術的快速發展，數據呈現出爆炸性增長態勢，這使得各行各業對大規模計算和存儲資源的需求上升。因而，對大數據的網絡信息處理就需要配備大規模的基于集群的設施和設備。當前，多數企業為了在高效處理網絡信息的同時降低成本，一般采用通用化的硬件架構，基本上可以滿足自身大數據處理對計算和存儲資源的要求。普通企業利用價格低廉的商用服務器建立起集群系統，避免耗費大量資源用于建設大型并行計算系統。這已經成為大數據時代多數企業網絡信息處理基礎設施的共同選擇。有的企業為了滿足自身處理密集型任務的實際需要，還在系統中增加了GPU。

第二，大數據分布式存儲管理技術和系統平臺層。在大數據處理基礎設施和資源平臺建立之后，處理網絡信息首先要解決的是海量信息數據的存儲管理問題。在大規模集群的條件下，為了提升網絡信息的存儲和并發訪問能力，很多企業使用了可擴展的分布式存儲技術，這種技術能用于存儲和管理海量的信息數據。

第三，大數據并行計算方法和系統平臺層。在分布式存儲大數據管理問題解決之后，企業往往需要即時有效地計算分析已經存儲的網絡信息。而當前龐大的數據量使得過去所采用的串行計算方法難以在短時間內及時完成對網絡信息的處理。如果不采用新的方法，網絡信息處理效率就難以保證，因而，很多企業開始建設大規模的數據并行計算技術和系統平臺。為了提升網絡信息處理的效率，近年來，一些企業已經開發出各種類型的大數據并行計算模型和框架，如Apache Spark，其受到工商企業的大量應用，而且已經成為新一代主流的大數據并行計算系統。

第四，大數據分析方法和算法層。在解決分布式存儲和大數據并行計算問題之后，為了解決網絡信息的分析與應用問題，就需要確定信息分析的基本算法和包括機器學習基本算法在內的各種綜合分析模型和分析算法，開發出基于大數據框架的并行計算與數據挖掘并行算法，以及各種綜合復雜分析并行算法。由于行業的差異性，除了上述基礎數據分析算法之外，實踐中還需要使用更為貼近上層具體應用和領域問題的綜合分析模型和算法，以用于商業智能分析、社交網絡分析、自然語言處理等，滿足各個行業的需求。

第五，大數據分析應用層。在實際工作中，在基于大數據的存儲、計算、分析等主要技術方面，各種網絡信息分析應用的種類繁多，包括銀行所應用的金融信用分析、政府所應用的互聯網輿情分析和智能交通管理等。基于大數據的網絡信息分析應用系統能夠被用在不同的行業中。對于網絡信息處理來說，由于行業不同，就需要按照行業的差異提供不同的操作環境和工具平臺。而且，由于基于大數據的網絡信息處理具有較強的行業特性，還需要不同領域的專業人士歸納本行業應用大數據的具體需求，這樣才能建立網絡信息處理的不同商業模式。這些模型的構建離不開深厚的專業素養和職業能力，沒有特定行業領域專業人士的參與，一般是難以在短時間內完成的。只有工作人員充分掌握所在領域應用大數據存在的問題以及業務模型，技術人員才能按照具體的行業需求有效地設計和開發出有關的網絡信息處理系統。

3.2 大數據時代網絡信息存儲管理技術

在大數據環境中處理網絡信息先要解決信息的安全存儲管理問題。目前，在實踐中所使用的數據格式主要包括非結構化、結構化和半結構化等。按照數據存儲格式的差異，我們可以把存儲管理系統分為兩種類型，即分布式文件系統和分布式數據庫系統。前者針對的是非結構化數據，而后者則通常對半結構化/結構化數據進行存儲。相較而言，前者在工商業領域得到了較多的應用，促進了信息數據存儲和共享的安全性。在開發分布式文件系統時，設計者需要顧及多種因素，包括系統的易用性、計算框架的優化等。一般而言，分布式文件系統的設計需要重視下列幾方面技術的應用：可擴展性、可靠性、性能優化、易用性及高效的元數據管理。

第一，可擴展性，指的是分布式文件系統能較好地適應大規模的數據分布環境。為了在大數據環境下管理和維護大量的文件數據，這種文件系統一般要應用大量存儲節點來分散文件數據，因而出現故障的可能性較低。按照現有的技術條件，一個具有良好可擴展性的分布式文件系統可以在一個擁有數百甚至數千個節點的集群環境中運行。此外，分布式文件系統的可擴展性還包括支持動態添加或刪除一個或多個存儲節點，以實現動態擴展/減少和平衡負載的目的。

第二，可靠性，指分布式文件系統能提供具有較高可靠性的文件存儲和管理服務，用戶不需要擔心企業或個人的數據信息會出現丟失的現象。但需要注意的是，分布式文件系統的規模愈大，產生問題的可能性就愈高。因而，不同的分布式文件系統都有自己的容錯機制，可以在短時間內恢復丟失的信息數據。

第三，性能優化技術。分布式文件系統的數據讀寫訪問除了耗費正常的本地磁盤訪問時間之外，通過網絡傳輸信息數據也需要耗費一定時間。在開發這種系統時，讀寫訪問性能優化也是需要重點關注的技術問題之一，這對提升網絡信息處理的效率具有關鍵性作用。

第四，使用方便，指分布式文件系統便于各種類型用戶的使用，向用戶提供一個統一的文件系統名稱空間，隱藏底層的實現細節。與過去的單機文件系統比較，分布式文件系統應用的場景更加廣泛，因而系統一般會為用戶和應用提供多樣化的訪問方法及接口，從而實現在各種場景中的兼容性。

第五，高效的元數據管理。在分布式文件系統應用中，元數據的訪問性能是決定系統整體性能的關鍵。我們可以將元數據管理劃分為不同的架構，即分布式和集中式。前者是把元數據分布存儲放在不同的節點上，從而化解單元數據服務器可能存在的性能不足的問題。其中，有一種分布式元數據管理架構可以直接使用線算法或規則組織數據存儲，無須使用專門的元數據服務器。但這種架構也存在一定的缺點，其實現較為復雜，維護數據困難，操作效率相對較低，而且缺少對文件系統的全局監控和管理功能。而后者則采用單一的元數據服務器，系統構建較為簡單，維護比較方便，但相對于前者來說，更容易在運行過程中出現單點故障。

3.3 大數據時代網絡信息分析方法

對于大數據而言，其重要特征之一是深度價值，而分析算法和系統正是挖掘出數據深度價值的重要手段。在現有的分析算法和系統中，機器學習和數據挖掘算法是廣泛應用的基本算法，已經在企業和政府管理中得到了重視。在大數據環境中，過去的串行化機器學習算法難以在較短的時間內實現對網絡信息的處理，因而不易在較為復雜、多樣的應用場景中運行。在這種情況下，全部串行化機器學習算法都應改用并行設計。機器學習算法常用的并行化方式可以分為數據并行化和模型并行化。前者是網絡信息分析并行化應用較多的類型，對大規模訓練數據進行劃分，每個計算節點承擔一個子數據集的訓練。在訓練過程中，使用一定的同步模型對不同計算節點上的模型進行同步更新。而大數據機器學習系統則是機器學習算法設計和大規模系統的跨學科研究課題。為了建立這一系統，需要投入資源研究機器學習算法，如改進機器學習模型，以提高分析和預測結果的準確性。與此同時，因為數據具有規模巨大的特點，機器學習系統還應當應用分布式并行大數據處理技術，這樣才能高效率地完成整個計算過程。因而，大數據機器學習系統具有綜合性的特點，兼具機器學習和大規模并行處理能力。

4 結語

大數據的應用給網絡信息處理帶來了巨大的發展機遇和挑戰。一方面，海量的數據資源蘊含著巨大的商業價值和社會價值。有效地管理和利用這些網絡信息，挖掘網絡信息隱含的深層價值，將對社會治理、企業管理和個人生活產生深刻的影響。近年來，隨著工業界和學術界的積極推動和研究，基于大數據網絡的信息處理技術在各個層面都得到了廣泛應用。然而，面對日益快速發展的大數據應用需求，網絡信息處理技術仍然存在一些技術瓶頸需要解決。在互聯網世界中，大數據具有格式多樣、形式復雜、規模龐大的特點，僅僅依靠過去的網絡信息處理技術難以實現對數據的高校處理。因而，應當從信息處理技術的多個方面進行探索，為大數據環境中的網絡信息處理提供新的路徑。

參考文獻：

[1]耿冬旭.“大數據”時代背景下計算機信息處理技術分析[J].網絡安全技術與應用，2014（1）：21-23.