通信及互聯(lián)網(wǎng)技術(shù)在數(shù)據(jù)管理中的應(yīng)用研究

賀志朋

摘要：大數(shù)據(jù)背景下，越來越重視數(shù)據(jù)的管理。通信技術(shù)特別是移動通信技術(shù)的應(yīng)用，成為數(shù)據(jù)管理的重要工具，彌補了傳統(tǒng)的通信技術(shù)不足，在數(shù)據(jù)的收集、上傳中發(fā)揮重要作用，使數(shù)據(jù)管理對象范圍明顯擴大到了個人，實現(xiàn)個人數(shù)據(jù)的收集、傳輸、定制、查詢。互聯(lián)網(wǎng)技術(shù)高性能計算、分布式存儲技術(shù)為數(shù)據(jù)分析、存儲提供了途徑，互聯(lián)網(wǎng)中的多線程并發(fā)、數(shù)據(jù)預(yù)讀傳輸?shù)燃夹g(shù)方便了數(shù)據(jù)的傳輸，互聯(lián)網(wǎng)還可開展以云安全、虛擬防火墻、入侵檢測、流量過濾、虛擬機自動擴展等為代表針對數(shù)據(jù)管理綜合服務(wù)。文章概述了通信及互聯(lián)網(wǎng)技術(shù)在數(shù)據(jù)管理中應(yīng)用領(lǐng)域現(xiàn)狀和發(fā)展方向。

關(guān)鍵詞：互聯(lián)網(wǎng)技術(shù)；通信；數(shù)據(jù)管理

進入21世紀(jì)以來，人類社會信息技術(shù)飛速發(fā)展，以互聯(lián)網(wǎng)為代表的各種信息技術(shù)不斷涌現(xiàn)，并深入到人類社會的生產(chǎn)、生活、工作、學(xué)習(xí)之中，成為人類不可或缺的助手。各類信息充分交融、匯集，使數(shù)據(jù)滲透至每一個行業(yè)和職能領(lǐng)域，成為重要的職能要素，人類正進入大數(shù)據(jù)時代。大數(shù)據(jù)背景下，越來越重視數(shù)據(jù)的管理，數(shù)據(jù)管理是大數(shù)據(jù)時代的核心工作，包括數(shù)據(jù)的收集、處理、分析、價值挖掘等。數(shù)據(jù)管理水平的提高，反過來又深深影響通信、互聯(lián)網(wǎng)技術(shù)，本研究就通信及互聯(lián)網(wǎng)技術(shù)在數(shù)據(jù)管理中應(yīng)用領(lǐng)域現(xiàn)狀、發(fā)展方向進行概述。

1 大數(shù)據(jù)背景下的數(shù)據(jù)管理

大數(shù)據(jù)時代下，數(shù)據(jù)正呈現(xiàn)爆炸式增長，這些數(shù)據(jù)具有量大、類型繁多、價值密度低、速度快時效高等特征。大數(shù)據(jù)時代對數(shù)據(jù)管理提出了更高的要求，主要體現(xiàn)在以下幾個方面：（1）信息收集、處理速度加快，對信息收集、處理能力提出了更高的要求，大量應(yīng)用專業(yè)的技術(shù)，如數(shù)據(jù)收集工具，信息專業(yè)與計算機行業(yè)高度融合。（2）信息共享更加方便，這要求信息系統(tǒng)、管理專業(yè)人員更重視團隊合作，重視節(jié)點之間的通信，開發(fā)、利用更先進的與共享有關(guān)的能力，如即時通信、云端數(shù)據(jù)存儲與共享。（3）大數(shù)據(jù)下，更為重視數(shù)據(jù)的挖掘，重視互聯(lián)網(wǎng)中海量信息的挖掘，信息管理涉及的行業(yè)更加廣泛，信息管理在醫(yī)療衛(wèi)生、行業(yè)發(fā)展、企業(yè)戰(zhàn)略分析等領(lǐng)域作用越來越突出。總而言之，大數(shù)據(jù)背景推動了數(shù)據(jù)管理領(lǐng)域的發(fā)展，數(shù)據(jù)管理的發(fā)展離不開通信、互聯(lián)網(wǎng)技術(shù)的應(yīng)用，對后兩者提出了更高的要求，三者的融合程度進一步提高。

2 通信技術(shù)在數(shù)據(jù)管理中的應(yīng)用

前文提到為實現(xiàn)大數(shù)據(jù)背景下的數(shù)據(jù)管理，便需要更為高效、先進的通信技術(shù)，重視節(jié)點之間的通信，開發(fā)、利用更先進的與共享有關(guān)的能力。目前，與數(shù)據(jù)管理有關(guān)的通信技術(shù)，以微信、網(wǎng)絡(luò)電話等為代表。在中國手機網(wǎng)民的數(shù)量己超過7億人，移動網(wǎng)絡(luò)與互聯(lián)網(wǎng)的融合明顯增強，移動互聯(lián)網(wǎng)通信極大地推動了數(shù)據(jù)管理發(fā)展，并成為數(shù)據(jù)管理的重要工具，彌補了傳統(tǒng)的通信技術(shù)不足。需注意的是，移動通信技術(shù)也產(chǎn)生了海量的數(shù)據(jù)，如個人的網(wǎng)絡(luò)瀏覽數(shù)據(jù)、健康信息等，這推動了更多的數(shù)據(jù)服務(wù)業(yè)務(wù)發(fā)展。以健康數(shù)據(jù)管理服務(wù)為例，移動通信技術(shù)實現(xiàn)了數(shù)據(jù)的收集、上傳，使數(shù)據(jù)管理對象范圍明顯擴大到了個人，節(jié)約了數(shù)據(jù)收集的成本。移動通信技術(shù)也使數(shù)據(jù)管理的形式發(fā)生了明顯改變，移動通信使用者開始成為數(shù)據(jù)管理服務(wù)的使用者，移動通信工作者能夠通過移動通信技術(shù)發(fā)出指令，實現(xiàn)數(shù)據(jù)的收集、傳輸、定制、查詢等工作。

3 互聯(lián)網(wǎng)技術(shù)在數(shù)據(jù)管理中的應(yīng)用

近年來，IP數(shù)據(jù)網(wǎng)、互聯(lián)網(wǎng)、電信網(wǎng)、電視網(wǎng)等信息網(wǎng)絡(luò)的融合步伐明顯加快，產(chǎn)生了許多新的數(shù)據(jù)管理需求，推動數(shù)據(jù)管理發(fā)展。產(chǎn)生了許多新的網(wǎng)絡(luò)內(nèi)容，但這些網(wǎng)絡(luò)內(nèi)容包裝、傳送、操作、終端存在一定的差異，各有優(yōu)劣，如電信、電視網(wǎng)絡(luò)信息傳輸速度快，互聯(lián)網(wǎng)盡管應(yīng)用十分廣泛，但可分配地址少、信息傳輸速度慢，不同網(wǎng)絡(luò)的融合推動了通信技術(shù)的發(fā)展，實現(xiàn)了優(yōu)勢互補。目前已有利用互聯(lián)網(wǎng)實現(xiàn)遠距離控制電視網(wǎng)絡(luò)的技術(shù)，多網(wǎng)融合，能夠保障高話務(wù)場景下的通信，克服網(wǎng)絡(luò)載波擴容、增加應(yīng)急通信車等傳統(tǒng)手段負荷不足的缺陷。當(dāng)前，多網(wǎng)融合的技術(shù)儲備基本成熟，有關(guān)的數(shù)學(xué)、物理學(xué)、材料科學(xué)、行為科學(xué)、計算機編程等方面都發(fā)展迅速，以碼分多址（Code Division MultipleAccess，CDMA）技術(shù)、WiFi技術(shù)、LTE技術(shù)為代表的融合技術(shù)，豐富了多網(wǎng)融合的形式。以WiFi為例，具有較高的頻帶使用率，接入承載能力較好，成本低，安裝便捷，非常適合大量用戶移動終端接入，在無線傳感控制、遠程環(huán)境監(jiān)測、遠程視頻監(jiān)控等領(lǐng)域具有極高的應(yīng)用價值，固線、無線技術(shù)的融合，有效實現(xiàn)了移動設(shè)備的數(shù)據(jù)管理，可實現(xiàn)多點、遠程數(shù)據(jù)傳輸、遠程干預(yù)。

大數(shù)據(jù)時代下對數(shù)據(jù)管理的需求明顯提高，數(shù)據(jù)的計算量明顯增大，互聯(lián)網(wǎng)是實現(xiàn)高性能計算的途徑之一。基于互聯(lián)網(wǎng)的高性能計算，可以連接世界范圍內(nèi)的不同地區(qū)的計算機，分配計算任務(wù)，實現(xiàn)高性能計算，理論上可以實現(xiàn)成千上萬臺計算機共同計算。這種體系下，每個計算機都分配出處理器容量，如SETl@hom，F(xiàn)olding@home計劃，互聯(lián)網(wǎng)高性能計算主要用于宇宙物理學(xué)、大數(shù)據(jù)統(tǒng)計、遙感數(shù)據(jù)處理等領(lǐng)域。當(dāng)前，云計算技術(shù)飛速發(fā)展，成了基于互聯(lián)網(wǎng)的網(wǎng)絡(luò)數(shù)據(jù)分析的典范。網(wǎng)絡(luò)下高性能計算技術(shù)，根據(jù)節(jié)點能力，自適應(yīng)分配不同大小的數(shù)據(jù)，進行“異構(gòu)”計算，能極大地提高計算效率，甚至可利用移動計算設(shè)置。

互聯(lián)網(wǎng)也為數(shù)據(jù)管理提供了豐富的應(yīng)用途徑，以云存儲為典型的代表，這是一種分段式的數(shù)據(jù)存儲技術(shù)，海量的數(shù)據(jù)以分段的形式存儲在單獨的文件中，數(shù)據(jù)庫則負責(zé)管理這些文件的索引，采用系統(tǒng)可快速定位讀取數(shù)據(jù)文件，對于海量的數(shù)據(jù)而言，非常方便，使用者可根據(jù)數(shù)據(jù)的容量，不斷增加網(wǎng)絡(luò)中的計算機單元、存儲節(jié)點進行擴容。分布式的數(shù)據(jù)存儲將業(yè)務(wù)數(shù)據(jù)、元數(shù)據(jù)分開管理，將業(yè)務(wù)數(shù)據(jù)儲存在廉價的工作節(jié)點上、將數(shù)據(jù)存儲容量擴展，適合存儲海量數(shù)據(jù)的互聯(lián)網(wǎng)企業(yè)、電信業(yè)務(wù)等企業(yè)。分布式數(shù)據(jù)存儲技術(shù)以云存儲為核心，商業(yè)化的云存儲技術(shù)己得到應(yīng)用，如Amazon公司的簡單服務(wù)、Google公司推出的“Google storage”等項目，國內(nèi)百度云盤、QQ云盤等。以Amazon公司的簡單服務(wù)為例，這是一個強大的、可伸縮的、可靠的、按需使用的分布式存儲系統(tǒng)，用戶可以將程序調(diào)用所需要的相片、影像等文檔數(shù)據(jù)資料直接存儲到S3上，相當(dāng)于第三方硬盤驅(qū)動，實際上分布式存儲系統(tǒng)散布在各個地理位置許多機器上的存儲空間中，后者提供虛擬化存儲服務(wù)。目前為止，其內(nèi)部原理尚未被公開。

互聯(lián)網(wǎng)中的數(shù)據(jù)傳輸，可采用多線程并發(fā)、數(shù)據(jù)預(yù)讀傳輸技術(shù)，進行并行檢索，傳輸，利用網(wǎng)絡(luò)帶寬、服務(wù)器處理能力，預(yù)讀與緩存數(shù)據(jù)，能夠極大地提高數(shù)據(jù)傳輸效率。對于數(shù)據(jù)的組織，互聯(lián)網(wǎng)可采用金字塔技術(shù)結(jié)合索引，在服務(wù)器I/O、網(wǎng)絡(luò)帶寬使用與客戶端處理方面，可有效地提高效率。需注意的是，對于部分數(shù)據(jù)的處理，需要進行分類、變化、融合等處理，若采用集群處理，需要優(yōu)化空間才能實現(xiàn)數(shù)據(jù)調(diào)度。

基于互聯(lián)網(wǎng)的數(shù)據(jù)管理服務(wù)還包括云安全、虛擬防火墻、入侵檢測、流量過濾、虛擬機自動擴展等，這些服務(wù)都為數(shù)據(jù)管理提供了便利。可以為第三方應(yīng)用提供大吞吐的API存儲接口，可用于互聯(lián)網(wǎng)數(shù)據(jù)用戶提供數(shù)據(jù)接口，極大地拓展了數(shù)據(jù)管理服務(wù)內(nèi)容。

4結(jié)語

通信及互聯(lián)網(wǎng)技術(shù)的發(fā)展推動了數(shù)據(jù)管理的發(fā)展，通信、互聯(lián)網(wǎng)技術(shù)與各行各業(yè)的融合程度上升，產(chǎn)生了大量的數(shù)據(jù)管理服務(wù)，通信及互聯(lián)網(wǎng)技術(shù)為數(shù)據(jù)的收集、傳輸、存儲提供了解決方案。