物聯(lián)網(wǎng)環(huán)境下大數(shù)據(jù)流中有效信息過(guò)濾算法研究

瞿霞 華建祥

摘要：針對(duì)常規(guī)有效信息過(guò)濾算法對(duì)數(shù)據(jù)間關(guān)聯(lián)規(guī)則識(shí)別能力較弱等問(wèn)題，提出物聯(lián)網(wǎng)環(huán)境下大數(shù)據(jù)流中有效信息過(guò)濾算法。該算法根據(jù)數(shù)據(jù)權(quán)重向量維度，通過(guò)余弦?jiàn)A角構(gòu)建目標(biāo)相似的大數(shù)據(jù)推薦模型;設(shè)置表層關(guān)聯(lián)與隱含關(guān)聯(lián)預(yù)測(cè)規(guī)則，利用預(yù)測(cè)函數(shù)確定數(shù)據(jù)間的關(guān)聯(lián)程度;按照數(shù)據(jù)間的銜接性質(zhì)，將數(shù)據(jù)集合劃分成若干子集，模糊聚類物聯(lián)網(wǎng)中的有效信息;根據(jù)用戶主觀傾向設(shè)置偏好函數(shù)，以協(xié)同過(guò)濾方式，得到有效信息過(guò)濾算法。實(shí)驗(yàn)結(jié)果表明，與常規(guī)有效信息過(guò)濾算法相比，該算法對(duì)數(shù)據(jù)關(guān)聯(lián)規(guī)則識(shí)別能力提升14.97%，滿足當(dāng)前物聯(lián)網(wǎng)大數(shù)據(jù)流中對(duì)有效數(shù)據(jù)的過(guò)濾要求。

關(guān)鍵詞：物聯(lián)網(wǎng);大數(shù)據(jù)流;有效信息過(guò)濾算法

DOI：10.11907/rjdk.201413 開(kāi)放科學(xué)（資源服務(wù)）標(biāo)識(shí)碼（OSID）：

中圖分類號(hào)：TP312文獻(xiàn)標(biāo)識(shí)碼：A 文章編號(hào)：1672-7800（2020）006-0214-04

0 引言

物聯(lián)網(wǎng)利用局部網(wǎng)絡(luò)或互聯(lián)網(wǎng)等通信技術(shù)，將傳感器、控制器、機(jī)器、人員和物品之間建立有效連接，形成一個(gè)人與物、物與物之間相關(guān)聯(lián)的智能化網(wǎng)絡(luò)信息通訊平臺(tái)，產(chǎn)生了數(shù)量龐大的網(wǎng)絡(luò)數(shù)據(jù)信息。現(xiàn)階段稱之為大數(shù)據(jù)，其本身具有體量龐大、運(yùn)行處理快速、類型多樣、價(jià)值密度低及真實(shí)性高等特點(diǎn)。因此，針對(duì)大數(shù)據(jù)中的海量信息，按照順序?qū)⑦@些數(shù)據(jù)設(shè)置為只讀數(shù)據(jù)序列，形成規(guī)律性的大數(shù)據(jù)流。

圍繞相關(guān)問(wèn)題，很多學(xué)者進(jìn)行了研究。文獻(xiàn)首先分析聚類算法具體過(guò)程，判斷結(jié)果是否有效，并表達(dá)數(shù)據(jù)集，根據(jù)數(shù)據(jù)集構(gòu)建多維高斯核密度估計(jì)方法，使其能夠分析數(shù)據(jù)集本身特性，然后結(jié)合聚類有效性分析方法，進(jìn)行聚類結(jié)果探討，最后驗(yàn)證其方法合理性與有效性;文獻(xiàn)提出基于Storm的P-HT并行化算法，該算法以滿足Storm流處理平臺(tái)為基礎(chǔ)，首先設(shè)置滑動(dòng)窗口機(jī)制，然后替代子樹(shù)機(jī)制，進(jìn)行并行化處理，體現(xiàn)出較好的靈活性和通用性，利用物聯(lián)網(wǎng)進(jìn)行數(shù)據(jù)處理與分類時(shí)具有更大吞吐量和更快處理速度。但以上算法對(duì)數(shù)據(jù)之間關(guān)聯(lián)規(guī)則劃分能力不足，數(shù)據(jù)隱含關(guān)聯(lián)挖掘能力較弱，因此過(guò)濾后的信息并不理想。為此，對(duì)文獻(xiàn)算法予以優(yōu)化，提出物聯(lián)網(wǎng)環(huán)境下大數(shù)據(jù)流中有效信息過(guò)濾算法。本文算法從文獻(xiàn)算法中存在的問(wèn)題人手，著重研究大數(shù)據(jù)流內(nèi)數(shù)據(jù)之間的關(guān)聯(lián)規(guī)則，過(guò)濾方式更加詳細(xì)，滿足當(dāng)前物聯(lián)網(wǎng)對(duì)有效信息的過(guò)濾要求。

1 物聯(lián)網(wǎng)大數(shù)據(jù)流有效信息過(guò)濾算法

1.1 目標(biāo)相似的大數(shù)據(jù)推薦模型構(gòu)建

考慮到物聯(lián)網(wǎng)中大數(shù)據(jù)流類型的多樣性，構(gòu)建一個(gè)推薦模型，該模型主要對(duì)類型不同、目標(biāo)相似的數(shù)據(jù)信息實(shí)施推薦。模型構(gòu)建需要考慮不同數(shù)據(jù)之間的目標(biāo)相似程度，該程度可用余弦?jiàn)A角衡量。假設(shè)大數(shù)據(jù)流中的數(shù)據(jù)類型有a₁，a₂，…，a_n，每一數(shù)據(jù)的權(quán)重指數(shù)分別為q_a1，q_a2，…，q_an，權(quán)重向量維度用T表示，則數(shù)據(jù)之間的目標(biāo)相似度如式（1）所示。

式中，i表示大數(shù)據(jù)流數(shù)據(jù)量，f_i（a_n）表示i個(gè)數(shù)據(jù)量下的類型函數(shù)，g_i（q_an）表示i個(gè)數(shù)據(jù)量下的權(quán)重函數(shù)。此時(shí)，數(shù)據(jù)之間的目標(biāo)相似度曲線如圖l所示。

圖1中的曲線是3個(gè)類型完全不同的目標(biāo)相似數(shù)據(jù)，根據(jù)曲線走向及曲線弧度可知，雖然數(shù)據(jù)類型完全不同，但這些數(shù)據(jù)之間具有共同目標(biāo)，因此其走勢(shì)相似，只是作用價(jià)值不同，產(chǎn)生了價(jià)值差異。根據(jù)式（1）得出相似度結(jié)果，設(shè)置大數(shù)據(jù)推薦模型，該模型計(jì)算表達(dá)式如式（2）所示。

1.2 數(shù)據(jù)關(guān)聯(lián)程度預(yù)測(cè)

根據(jù)上述得到的推薦數(shù)據(jù)F_m，預(yù)測(cè)F₁，F(xiàn)₂，…，F(xiàn)_m之間的關(guān)聯(lián)性，預(yù)測(cè)規(guī)則如圖2所示。

通過(guò)上述預(yù)測(cè)規(guī)則可知，根據(jù)多個(gè)預(yù)測(cè)條件，設(shè)置不同的預(yù)測(cè)方式，抓住其中表層關(guān)聯(lián)及隱含關(guān)聯(lián)，得到分化詳細(xì)的關(guān)聯(lián)程度值。建立一個(gè)集合R，令該集合R={F₁，F(xiàn)₂，…，F(xiàn)_m};設(shè)置k₁，k₂，…，k_m是與推薦數(shù)據(jù)F₁，F(xiàn)₂，…F_m相對(duì)應(yīng)的預(yù)測(cè)條件，則預(yù)測(cè)系數(shù)計(jì)算表達(dá)式如式（3）所示。

式中，K_n表示設(shè)置的n個(gè)預(yù)測(cè)系數(shù)，ω_m表示預(yù)測(cè)約束條件，g_m（F_m）表示對(duì)推薦數(shù)據(jù)F_m的m次預(yù)測(cè)，g_m-1（F_m-1）表示對(duì)于預(yù)測(cè)數(shù)據(jù)F_m的m-1次預(yù)測(cè)，k_s表示每次預(yù)測(cè)時(shí)，在預(yù)測(cè)強(qiáng)度s影響下的調(diào)整指標(biāo)。根據(jù)計(jì)算所得預(yù)測(cè)系數(shù)，對(duì)推薦數(shù)據(jù)的關(guān)聯(lián)程度進(jìn)行預(yù)測(cè)，當(dāng)該結(jié)果為正數(shù)時(shí)，說(shuō)明得出的關(guān)聯(lián)性指標(biāo)可靠，該關(guān)聯(lián)預(yù)測(cè)表達(dá)式如式（4）所示。

式中，pred（F_m）表示對(duì)推薦數(shù)據(jù)的預(yù)測(cè)函數(shù)，IDEN（u，v）表示關(guān)聯(lián)規(guī)則鑒別函數(shù)，ζ表示調(diào)和指數(shù)，ζ表示調(diào)和平均值，u表示表層關(guān)聯(lián)指標(biāo)，v表示遞進(jìn)的隱含關(guān)聯(lián)指標(biāo)。根據(jù)上述預(yù)測(cè)表達(dá)式，得到不同類型數(shù)據(jù)之間的關(guān)聯(lián)規(guī)則，根據(jù)關(guān)聯(lián)規(guī)則取值不同，可以確定物聯(lián)網(wǎng)中大數(shù)據(jù)之間的聯(lián)系強(qiáng)度。

1.3 有效信息模糊聚類

將具有關(guān)聯(lián)規(guī)則的數(shù)據(jù)，按照一定順序排列，利用模糊聚類分析方法獲取數(shù)據(jù)特征，匹配并劃分客觀有效的數(shù)據(jù)。該數(shù)據(jù)劃分形式以圖3所示的劃分集合為例，按照數(shù)據(jù)特征，將不同類型的關(guān)聯(lián)數(shù)據(jù)分配到不同集合中。

由圖3可知，原始數(shù)據(jù)集只有一個(gè)，不利于數(shù)據(jù)之間的特征分析，因此利用模糊聚類，將原有集合轉(zhuǎn)換成圖3（b）所示的分類子集，通過(guò)數(shù)據(jù)分類，提取出數(shù)據(jù)特征量。將集合及模糊聚類，得到n個(gè)數(shù)據(jù)子集，用r_n表示。將子集中的數(shù)據(jù)按照銜接性質(zhì)分類，該分類規(guī)則如式（5）所示。