基于大數(shù)據(jù)背景探討信息處理技術(shù)

文/程欣

（湖北省天門職業(yè)學(xué)院，湖北天門 431700）

當(dāng)今的網(wǎng)絡(luò)數(shù)據(jù)呈現(xiàn)出爆發(fā)性的增長趨勢，因此只有迅速升級信息處理技術(shù)，才能滿足大量數(shù)據(jù)的處理需求，同時必須借助可靠的網(wǎng)絡(luò)安全技術(shù)手段，保證大數(shù)據(jù)平臺的整體安全。這正是當(dāng)今的大數(shù)據(jù)背景。

1.大數(shù)據(jù)挖掘技術(shù)的常用方法總結(jié)

1.1 分類

所謂分類，主要目的是對數(shù)據(jù)庫中的特別組別數(shù)據(jù)的共同特點進行挖掘，并且依照特定的分類方法進行類別區(qū)分。分類的原理是，將數(shù)據(jù)庫中的數(shù)據(jù)項，借助特定的分類模型映射到特定類別范圍中。這一技術(shù)適用于電商等多個系統(tǒng)，此處以電商平臺為例。電商平臺利用分類方法，可以進一步明確平臺用戶的不同屬性特征，進而明確平臺用戶的分類，發(fā)現(xiàn)平臺用戶的購物習(xí)慣，分析平臺用戶的滿意度，等等，例如平臺用戶的年齡段、消費額區(qū)間等。

1.2 特征

所謂特征，主要是指從數(shù)據(jù)庫中提取某個組別數(shù)據(jù)中能夠表述該數(shù)據(jù)集整體特征的特征式，這些特征式是數(shù)據(jù)特征的最直接表述。例如，電商平臺通過提取平臺用戶數(shù)據(jù)庫中平臺用戶流失因素的特征，能夠更快地發(fā)現(xiàn)平臺用戶流失的特征（或自主注銷，或長期無購物記錄）、規(guī)律與原因，例如優(yōu)惠力度不足、商品不全、商品提價等。在整理特征信息的基礎(chǔ)上，平臺能夠得出更具針對性的用戶挽留措施，開展有針對性的挽留活動。

1.3 聚類

所謂聚類，主要是指將某個組別數(shù)據(jù)區(qū)，依照數(shù)據(jù)的異同性分為若干不同類別，體現(xiàn)出雷同性的數(shù)據(jù)要確保處于同一類別范圍；反之對于差異性的數(shù)據(jù)，則要納入不同類別中。這一技術(shù)的主要適用范圍是，對平臺用戶群體進行類別劃分，并且完成用戶的信息整理，進而開展相關(guān)信息的分析，包括平臺用戶的市場歸類、購買情況等。

1.4 回歸分析

回歸分析主要是指將特定數(shù)據(jù)映射到實值預(yù)測變量函數(shù)，進而探索數(shù)據(jù)屬性或變量關(guān)聯(lián)的方式。其原理是利用數(shù)據(jù)的映射去闡述事項在數(shù)據(jù)庫中的屬性值或在時間上的特征，其主要體現(xiàn)數(shù)據(jù)序列中數(shù)據(jù)的關(guān)系以及數(shù)據(jù)序列的預(yù)測、趨勢特征等信息。在電商銷售過程中，這一技術(shù)能夠了解平臺用戶的網(wǎng)購需求等趨勢信息，防范平臺用戶的流失，進而方便開展有針對性的銷售活動。[1］

1.5 關(guān)聯(lián)規(guī)則

所謂關(guān)聯(lián)規(guī)則，主要是指結(jié)合某個事項中部分項的出現(xiàn)，關(guān)聯(lián)了另一些項，在同一事項中出現(xiàn)。這一規(guī)則能夠映射出數(shù)據(jù)之間隱藏的關(guān)聯(lián)，或是潛在的關(guān)系。其主要用于支持電子商務(wù)平臺的平臺用戶管理工作，通過數(shù)據(jù)庫中大量平臺用戶相關(guān)數(shù)據(jù)的整理，以及對不同數(shù)據(jù)項之間的關(guān)系連接，能夠找出數(shù)據(jù)潛在的規(guī)律，發(fā)現(xiàn)對市場營銷成果產(chǎn)生影響的相關(guān)因素。這一規(guī)則不但能夠提供基本的銷售決策支持，同時也能夠幫助發(fā)現(xiàn)營銷風(fēng)險，做好風(fēng)險評估，規(guī)避詐騙行為。

1.6 Web頁挖掘

隨著網(wǎng)絡(luò)的普及，網(wǎng)絡(luò)技術(shù)的迅猛發(fā)展，Web平臺的信息量越來越大，信息類型、形式也越發(fā)呈現(xiàn)出多樣化的趨勢。經(jīng)營單位通過對Web平臺的海量數(shù)據(jù)進行挖掘與分析，能夠廣泛獲取金融、市場供需以及平臺用戶的許多相關(guān)信息。不同的信息有著不同的價值，對于不同信息的集中整理與分析，有利于加深相關(guān)單位對內(nèi)部經(jīng)營環(huán)境與外部市場環(huán)境的了解，以及明確內(nèi)部經(jīng)營信息，繼而預(yù)知經(jīng)營風(fēng)險。

2.分布式數(shù)據(jù)庫的實現(xiàn)原理

2.1 分布式并發(fā)控制

分布式數(shù)據(jù)庫的事項管理基本任務(wù)之一便是并發(fā)控制。并發(fā)控制主要包括樂觀并發(fā)、加鎖并發(fā)與時間戳控制三種模式。這一控制方式的實際應(yīng)用，是為了確保數(shù)據(jù)庫中不同事項的同步、精準(zhǔn)、迅速推進。這種控制方式能夠保證事項并行的透明性，其運行原理主要是在多個事項并發(fā)執(zhí)行的前提下，對于串行執(zhí)行的次序進行決策。

2.2 分布式查詢處理

分布式的查詢處理，主要的應(yīng)用目標(biāo)是保證各個節(jié)點上查詢動作的合理分布以及有序運行。這一處理方式的主要運行原理，是對數(shù)據(jù)庫當(dāng)中高層次查詢的映射，將其轉(zhuǎn)化為本地數(shù)據(jù)庫操作。在查詢解析的過程中，平臺需要首先做好拆分處理，生成關(guān)系運算序列，用于支持代數(shù)查詢，同時要將相關(guān)數(shù)據(jù)定位在各個節(jié)點，完成查詢結(jié)果的匯總。

2.3 數(shù)據(jù)分片

數(shù)據(jù)分片的方式主要是指對數(shù)據(jù)進行有邏輯的、全局性的劃分，形成多個有關(guān)聯(lián)的邏輯片段。其適用于數(shù)據(jù)庫的信息寫入過于頻繁，且數(shù)據(jù)量過大的情況。在這種情況下，數(shù)據(jù)庫受限于設(shè)備的條件而難以擴展，因此數(shù)據(jù)處理便很難依靠一臺單獨的主機去支持。而將數(shù)據(jù)分散存儲于多臺設(shè)備，則能夠提升整體性能，在切分數(shù)據(jù)的同時可以提高系統(tǒng)整體的可用性。數(shù)據(jù)切分的方式主要包括垂直、混合與水平切分三種，不同的切分方式適用于不同的情境。

2.4 分布式數(shù)據(jù)庫的目錄管理

分布式數(shù)據(jù)庫的目錄，其主要內(nèi)容包括訪問方式的描述、分級模式的描述、一致性信息以及統(tǒng)計數(shù)據(jù)等。數(shù)據(jù)庫當(dāng)中存放著大量的元數(shù)據(jù)信息，這些數(shù)據(jù)有助于系統(tǒng)更加精準(zhǔn)、高效地完成數(shù)據(jù)訪問。而且在處理數(shù)據(jù)，包括添加、去除、修正數(shù)據(jù)時，以及授權(quán)、安全管理過程中，平臺都要用到數(shù)據(jù)庫目錄。此外目錄也是多事項并行處理的基礎(chǔ)，目錄結(jié)構(gòu)會對其性能產(chǎn)生直接影響。其具體分類包括全局與本地混合目錄，以及分布式目錄。[2］

3.云計算技術(shù)的相關(guān)應(yīng)用

3.1 物聯(lián)網(wǎng)

在一般理解中，物聯(lián)網(wǎng)即是互聯(lián)網(wǎng)與實物之間的關(guān)聯(lián)路徑，通過傳感器、定位系統(tǒng)、掃描器等設(shè)備，實現(xiàn)對實物或是過程的連接、互動以及監(jiān)控。物聯(lián)網(wǎng)系統(tǒng)的構(gòu)建基礎(chǔ)，其一是互聯(lián)網(wǎng)，是基于互聯(lián)網(wǎng)的網(wǎng)絡(luò)信息渠道拓展與延伸；其二是用戶管理端在實物上的延伸，進而實現(xiàn)對于實物及其運行過程的監(jiān)管和信息的通信。物聯(lián)網(wǎng)的業(yè)務(wù)量會隨著其運行而呈現(xiàn)出不斷增多的趨勢，對于數(shù)據(jù)的大量計算與存儲需求，會使物聯(lián)網(wǎng)系統(tǒng)更加依賴云計算能力。

3.2 云安全

云安全是云計算的衍生概念，是基于云計算這一理念而產(chǎn)生的。其構(gòu)想是，隨著云平臺用戶的增加，使用過程中的異常便更容易被發(fā)現(xiàn)，因為隨著大量用戶的加入，無論哪個網(wǎng)站受到病毒的侵襲，入侵行為都會迅速被截獲。也就是說，云安全平臺的運行原理，是借助對于海量用戶形成的軟件行為網(wǎng)絡(luò)，密集篩查運行過程中的異常，捕捉病毒以及其他入侵行為的信息，傳送至服務(wù)器完成數(shù)據(jù)的分析與處理，并且第一時間分發(fā)處理策略。

3.3 云存儲

云存儲與云安全同樣是基于云計算這一概念所產(chǎn)生的概念，其主要的運行原理是借助網(wǎng)絡(luò)技術(shù)與集群應(yīng)用等功能，實現(xiàn)對網(wǎng)絡(luò)中的各個存儲節(jié)點進行整合，并且保證其協(xié)同運行。這一平臺能夠面向網(wǎng)絡(luò)上的海量用戶提供可靠的數(shù)據(jù)存儲以及訪問等服務(wù)，適用于網(wǎng)絡(luò)用戶產(chǎn)生了大量數(shù)據(jù)的情境，目的是滿足網(wǎng)絡(luò)用戶的信息存儲和管理需求。平臺可以將云計算平臺轉(zhuǎn)化為存儲平臺，進而滿足數(shù)據(jù)的存儲與管理需求。

4.網(wǎng)絡(luò)安全技術(shù)

網(wǎng)絡(luò)安全技術(shù)主要適用于網(wǎng)絡(luò)環(huán)境的，用于維護網(wǎng)絡(luò)系統(tǒng)數(shù)據(jù)、軟件乃至硬件安全的防范技術(shù)。其功能實現(xiàn)目標(biāo)包括漏洞的掃描、入侵行為的檢測與預(yù)警、病毒防護、數(shù)據(jù)過濾等。大數(shù)據(jù)這一概念指代的是網(wǎng)絡(luò)數(shù)據(jù)在規(guī)模、形式、類別上的拓展。在此背景下，數(shù)據(jù)的安全防護也必定面臨著更高的要求。隨著大數(shù)據(jù)的產(chǎn)生與發(fā)展，網(wǎng)絡(luò)安全技術(shù)的創(chuàng)新是必然趨勢，并且應(yīng)當(dāng)作為一個關(guān)鍵問題來探討。[3］

5.結(jié)語

在大數(shù)據(jù)背景下，信息處理技術(shù)發(fā)展的加速是必然趨勢。隨著網(wǎng)絡(luò)數(shù)據(jù)的爆炸式增加，以及數(shù)據(jù)形式、類別的多樣化，只有不斷提升數(shù)據(jù)處理技術(shù)水平，拓展數(shù)據(jù)處理系統(tǒng)的功能，才能保證數(shù)據(jù)處理的高效性、精準(zhǔn)性。因此，本文基于大數(shù)據(jù)背景，對計算機處理技術(shù)發(fā)展趨勢進行了總結(jié)，希望通過針對信息處理技術(shù)的廣泛探討，集思廣益，從而找到技術(shù)開發(fā)與應(yīng)用的新方向，體現(xiàn)技術(shù)優(yōu)勢，滿足新時期的數(shù)據(jù)管理需求。