網(wǎng)絡(luò)大數(shù)據(jù)應(yīng)用現(xiàn)狀與展望

陳東風(fēng) 時(shí)小麟 孔興

摘 要：隨著互聯(lián)網(wǎng)、云計(jì)算、大數(shù)據(jù)等領(lǐng)域的快速發(fā)展，數(shù)據(jù)的應(yīng)用范圍日益擴(kuò)大。網(wǎng)絡(luò)上每時(shí)每刻都在產(chǎn)生海量數(shù)據(jù)，網(wǎng)絡(luò)大數(shù)據(jù)的出現(xiàn)改變了人們的生活，也對(duì)企業(yè)的經(jīng)營(yíng)管理產(chǎn)生了極大的營(yíng)銷學(xué)，甚至還引起科學(xué)研究的改變。本文以目前網(wǎng)絡(luò)大數(shù)據(jù)的應(yīng)用情況為研究對(duì)象，并對(duì)大數(shù)據(jù)科學(xué)、數(shù)據(jù)計(jì)算需要的新模式與新范式等方面的發(fā)展趨勢(shì)進(jìn)行了展望。

關(guān)鍵詞：網(wǎng)絡(luò)大數(shù)據(jù)；應(yīng)用；數(shù)據(jù)挖掘；展望

DOI：10.16640/j.cnki.37-1222/t.2018.20.216

0 引言

通常大數(shù)據(jù)是指無法在一定時(shí)間內(nèi)用常規(guī)機(jī)器和軟硬件工具對(duì)其進(jìn)行感知、獲取、管理、處理和服務(wù)的數(shù)據(jù)集合。網(wǎng)絡(luò)大數(shù)據(jù)的存在著巨大的機(jī)遇，但是如何有效的應(yīng)用網(wǎng)絡(luò)大數(shù)據(jù)，逐步成為了熱門研究課題，具有了現(xiàn)實(shí)的研究?jī)r(jià)值。

1 網(wǎng)絡(luò)大數(shù)據(jù)研究的作用

1.1 捍衛(wèi)國(guó)家網(wǎng)絡(luò)空間數(shù)字主權(quán)

深入研究網(wǎng)絡(luò)大數(shù)據(jù)，可以捍衛(wèi)國(guó)家在網(wǎng)絡(luò)空間領(lǐng)域的數(shù)字主權(quán)，以保障社會(huì)穩(wěn)定，推動(dòng)社會(huì)經(jīng)濟(jì)健康平穩(wěn)發(fā)展。在信息技術(shù)高速發(fā)展的背景下，國(guó)與國(guó)之間的競(jìng)爭(zhēng)已經(jīng)蔓延到網(wǎng)絡(luò)大數(shù)據(jù)領(lǐng)域，一個(gè)國(guó)家對(duì)數(shù)據(jù)的解釋和靈活運(yùn)用能力凸顯出這個(gè)國(guó)家的這個(gè)國(guó)家的競(jìng)爭(zhēng)力。一個(gè)國(guó)家如果不重視網(wǎng)絡(luò)大數(shù)據(jù)的研究，輕則會(huì)導(dǎo)致其內(nèi)部產(chǎn)業(yè)失去戰(zhàn)略發(fā)展良機(jī)，重則會(huì)在網(wǎng)絡(luò)空間領(lǐng)域面臨嚴(yán)重的國(guó)家安全威脅。

1.2 國(guó)民經(jīng)濟(jì)核心產(chǎn)業(yè)信息化升級(jí)的重要推動(dòng)力量

在國(guó)民經(jīng)濟(jì)急需發(fā)展的背景下，國(guó)民經(jīng)濟(jì)核心產(chǎn)業(yè)迫切需要進(jìn)行信息化升級(jí)，而大數(shù)據(jù)可以為這一工作提供良好的助推力量。“人、機(jī)、物”三位一體的發(fā)展模式將會(huì)帶來大量數(shù)據(jù)。網(wǎng)絡(luò)大數(shù)據(jù)如何有效的運(yùn)用已經(jīng)是困擾業(yè)界的難題。要想要目前網(wǎng)絡(luò)大數(shù)據(jù)應(yīng)用中存在的問題，需要對(duì)網(wǎng)絡(luò)大數(shù)據(jù)的各種共性問題加以研究和解決。例如，分析非結(jié)構(gòu)化數(shù)據(jù)并對(duì)其進(jìn)行統(tǒng)一表示，這一方面目前還缺乏有效的工具和方法。通過對(duì)網(wǎng)絡(luò)大數(shù)據(jù)共性問題的分析研究，可以讓企業(yè)具備更強(qiáng)的大數(shù)據(jù)處理能力，以大幅降低這一過程當(dāng)中所消耗的代價(jià)和成本，進(jìn)而讓各個(gè)行業(yè)能夠順利邁入信息化和數(shù)字化的新的發(fā)展階段。

1.3 促進(jìn)新興產(chǎn)業(yè)發(fā)展

隨著網(wǎng)絡(luò)大數(shù)據(jù)不斷取得各種科技突破，由此也產(chǎn)生了數(shù)據(jù)材料、數(shù)據(jù)服務(wù)、數(shù)據(jù)制藥等新興產(chǎn)業(yè)，這些產(chǎn)業(yè)的出現(xiàn)和發(fā)展，為人們理解和分析以及管理數(shù)據(jù)提供了種種高效的方案，由于大數(shù)據(jù)本身數(shù)據(jù)量巨大，數(shù)據(jù)存在冗余，數(shù)據(jù)具有高度的復(fù)雜性。因此大數(shù)據(jù)的處理和分析必須要依賴于專業(yè)的企業(yè)，如此一來就催生出大量的新興產(chǎn)業(yè)，這些行業(yè)在網(wǎng)絡(luò)數(shù)據(jù)的驅(qū)動(dòng)下，不斷進(jìn)行大數(shù)據(jù)研究，以提高企業(yè)大數(shù)據(jù)利用效率、降低數(shù)據(jù)管理成本、提高生產(chǎn)力。

2 網(wǎng)絡(luò)大數(shù)據(jù)的特點(diǎn)

2.1 數(shù)據(jù)的不確定性

對(duì)于網(wǎng)路大數(shù)據(jù)而言，由于其原始數(shù)據(jù)存在不準(zhǔn)確的特點(diǎn)，且受數(shù)據(jù)集成和展示、應(yīng)用需求、數(shù)據(jù)采集處理粒度等因素的影響，不同數(shù)據(jù)之間普遍存在一定程度的不確定性。傳統(tǒng)的數(shù)據(jù)處理方法無法解決海量大數(shù)據(jù)的應(yīng)用。因此，數(shù)據(jù)的篩選和挖掘面臨著較多的難題，其中最大挑戰(zhàn)就源自數(shù)據(jù)的不確定性。

2.2 模型的不確定性

數(shù)據(jù)不確定性的客觀存在就要求人們?cè)谔幚頂?shù)據(jù)時(shí)能夠以更加靈活有效的方式，有效規(guī)避這種不確定性。因此，在模型構(gòu)建過程中，必須要保證模型能夠有效應(yīng)對(duì)數(shù)據(jù)不確定性和復(fù)雜性，從而得出良好的數(shù)據(jù)處理結(jié)果。由于數(shù)據(jù)處理和數(shù)據(jù)分析的需求不同，數(shù)據(jù)本身具有高度的復(fù)雜性和不確定性，在實(shí)際的數(shù)據(jù)管理所構(gòu)建的模型中，同樣存在復(fù)雜性和不確定性。對(duì)于不同的具體的應(yīng)用需求，模型具備獨(dú)特的結(jié)構(gòu)和特征也是不同的。

2.3 學(xué)習(xí)的不確定性

事實(shí)上，模型的參數(shù)個(gè)數(shù)以及復(fù)雜性不僅會(huì)受到的學(xué)習(xí)模型參數(shù)值的變化而變化，同時(shí)也會(huì)因?yàn)椴煌瑪?shù)據(jù)類型、不同領(lǐng)域、不同應(yīng)用需求而出現(xiàn)變化，因此，不確定性非常明顯。由于此類模型需要復(fù)雜的計(jì)算，如何將其并行地、分布式地在網(wǎng)絡(luò)大數(shù)據(jù)領(lǐng)域中運(yùn)用，還有待進(jìn)一步研究和探索。

3 網(wǎng)絡(luò)大數(shù)據(jù)的應(yīng)用

3.1 基于內(nèi)容信息的數(shù)據(jù)挖掘

隨著社會(huì)媒體的出現(xiàn)和壯大，互聯(lián)網(wǎng)信息搜索面臨著新的問題。相關(guān)研究的重點(diǎn)也不再集中于抓取海量數(shù)據(jù)、優(yōu)化索引結(jié)構(gòu)、分析查詢等領(lǐng)域，而是變成提高檢索質(zhì)量、排序?qū)W習(xí)算法等方面。借助排序?qū)W習(xí)模型，可以將普通文檔轉(zhuǎn)化為特征向量，然后根據(jù)特定的損失函數(shù)對(duì)其加以優(yōu)化，當(dāng)前被廣泛運(yùn)用的模型難以滿足用戶需求多樣性、相關(guān)性以及重要性等各種目標(biāo)的排序需要。

3.2 基于結(jié)構(gòu)信息的社會(huì)計(jì)算

所謂社會(huì)網(wǎng)絡(luò)，就是將社會(huì)媒體的用戶當(dāng)作節(jié)點(diǎn)，以用戶之間的關(guān)系為連邊所形成的巨大網(wǎng)絡(luò)。它不僅能夠反映出用戶的社會(huì)關(guān)系，也可以承擔(dān)用戶間的交流和信息交互任務(wù)。在整個(gè)社會(huì)網(wǎng)絡(luò)當(dāng)中，不同的用戶個(gè)體往往會(huì)因?yàn)橛H緣關(guān)系以及相同愛好等原因而出現(xiàn)各種緊密聯(lián)系的圈子，這種圈子也被稱為社區(qū)。社會(huì)網(wǎng)絡(luò)中的社區(qū)結(jié)構(gòu)是非常常見的，社區(qū)結(jié)構(gòu)有助于網(wǎng)絡(luò)的信息擴(kuò)散、網(wǎng)絡(luò)演化以及高效搜索。

3.3 網(wǎng)絡(luò)大數(shù)據(jù)在搜索引擎的應(yīng)用

對(duì)于搜索引擎而言，在大數(shù)據(jù)平臺(tái)的出現(xiàn)和快速發(fā)展的背景下，其更能夠做到對(duì)數(shù)據(jù)的深度處理和加工，從而有效的掌握用戶的搜索意圖。在此基礎(chǔ)上，用戶將不必自行去篩選信息，搜索引擎可以直接為用戶做到這一點(diǎn)，將用戶所需要的、有價(jià)值的信息呈現(xiàn)在用戶面前。由此可見，大數(shù)據(jù)平臺(tái)正在深刻影響著不同行業(yè)，合理有效的運(yùn)用大數(shù)據(jù)平臺(tái)，將會(huì)令人們的生活更加高效和便捷。

4 結(jié)論

網(wǎng)絡(luò)大數(shù)據(jù)的海量數(shù)據(jù)具有巨大的應(yīng)用價(jià)值，但同時(shí)網(wǎng)絡(luò)大數(shù)據(jù)呈現(xiàn)出較大的復(fù)雜性，數(shù)據(jù)的內(nèi)容和關(guān)系更加的繁雜，應(yīng)用的難度更高。需要對(duì)網(wǎng)絡(luò)大數(shù)據(jù)進(jìn)行分類和針對(duì)性的挖掘，通過多種工具應(yīng)用網(wǎng)絡(luò)大數(shù)據(jù)的信息，提升網(wǎng)絡(luò)大數(shù)據(jù)的應(yīng)用價(jià)值。

參考文獻(xiàn)：

[1]王元卓，靳小龍，程學(xué)旗.網(wǎng)絡(luò)大數(shù)據(jù)：現(xiàn)狀與展望[J].計(jì)算機(jī)學(xué)報(bào)，2013（06）.

[2]李文蓮，夏健明.基于“大數(shù)據(jù)”的商業(yè)模式創(chuàng)新[J].中國(guó)工業(yè)經(jīng)濟(jì)，2016（05）.

[3]王珊，王會(huì)舉，覃雄派，周烜.架構(gòu)大數(shù)據(jù)：挑戰(zhàn)、現(xiàn)狀與展望[J].計(jì)算機(jī)學(xué)報(bào)，2011（10）.

[4]孟小峰，慈祥.大數(shù)據(jù)管理：概念、技術(shù)與挑戰(zhàn)[J].計(jì)算機(jī)研究與發(fā)展，2013（01）.

[5]莊昌武.大數(shù)據(jù)在廣電網(wǎng)絡(luò)運(yùn)營(yíng)工作上的應(yīng)用[J].西部廣播電視， 2016（21）.