海量交易數(shù)據(jù)抗干擾推薦算法仿真

蔡 娟

(天津商業(yè)大學(xué)寶德學(xué)院，天津 300384)

1 引言

網(wǎng)絡(luò)信息的爆發(fā)式增長與種類的復(fù)雜以及新型電子商務(wù)服務(wù)的出現(xiàn)，導(dǎo)致用戶因種類繁多的信息無法做出有效選擇。這種多樣性的選擇不會(huì)出現(xiàn)經(jīng)濟(jì)效益，反而會(huì)影響用戶的滿意度。推薦系統(tǒng)被證明是一種非常有效解決信息過載問題的工具。推薦系統(tǒng)對(duì)海量數(shù)據(jù)進(jìn)行挖掘，為用戶展示該用戶不熟悉且滿足用戶當(dāng)前需求的信息。但在推薦過程中容易出現(xiàn)外界干擾，導(dǎo)致推薦出的數(shù)據(jù)，不是最優(yōu)信息，不能有效滿足用戶的全部需要，導(dǎo)致降低用戶的體驗(yàn)。

為了解決這種問題，國內(nèi)學(xué)者提出如下解決方案。文獻(xiàn)[1]首先把遺忘曲線與記憶周期作為時(shí)間元素引入算法中，使艾賓浩斯遺忘曲線融合指數(shù)函數(shù)，從而取得時(shí)間和興趣衰減的函數(shù)關(guān)聯(lián)度，以此優(yōu)化用戶項(xiàng)目的測(cè)評(píng)分?jǐn)?shù)，讓目標(biāo)用戶對(duì)待預(yù)測(cè)的項(xiàng)目評(píng)分更為精準(zhǔn)。但是與其它方法相同，該算法在特定的交易平臺(tái)能夠很好完成對(duì)數(shù)據(jù)的推薦，但是大環(huán)境中抗干擾能力相對(duì)較差。文獻(xiàn)[2]首先憑借用戶測(cè)評(píng)矩陣和商品種類信息，建造用戶針對(duì)種類的用戶興趣偏好矩陣，然后使用K-Means算法對(duì)項(xiàng)目集進(jìn)行聚類，并基于用戶編號(hào)矩陣搜索預(yù)估值所對(duì)應(yīng)的臨近用戶，然后結(jié)合項(xiàng)目相似度的加權(quán)算法在所有項(xiàng)目種類中對(duì)稀疏矩陣進(jìn)行填充，進(jìn)而對(duì)用戶的編號(hào)矩陣聚類，最后，通過填充后的測(cè)評(píng)矩陣，在所有用戶類別中使用協(xié)同過濾算法對(duì)商品測(cè)評(píng)分?jǐn)?shù)預(yù)測(cè)，并與用戶矩陣融合，從而達(dá)到目的。但是該方法需要對(duì)用戶偏好、用戶編號(hào)、商品測(cè)評(píng)分?jǐn)?shù)設(shè)置矩陣，而計(jì)算這些矩陣需要消耗大量的時(shí)間，導(dǎo)致該算法的推薦效率降低。文獻(xiàn)[3]首先從交易數(shù)據(jù)中提取出用戶偏好信息，并將其作為類似鄰居的選擇指標(biāo)，然后使用top-k算法確定服務(wù)的類型與用戶近似鄰居集合，最后將連通類似鄰居的偏好比值與經(jīng)調(diào)整的皮爾遜相關(guān)系數(shù)算法估算用戶的Qos值，從而偏好信息推薦給用戶。但是該方法缺少對(duì)干擾元素的抑制，導(dǎo)致推薦給用戶的商品不一定是用戶的偏好商品。

針對(duì)上述問題，本文提出了一種海量交易數(shù)據(jù)抗干擾推薦算法，該算法首先使用決策樹和自適應(yīng)門限算法對(duì)用戶偏好進(jìn)行抗干擾處理，抑制其干擾因素，然后通過融合聚類與協(xié)同過濾算法對(duì)用戶偏好和商品類型分類，最后將兩種算法融合構(gòu)建模型，實(shí)現(xiàn)將最優(yōu)信息推薦給急需用戶。

2 海量交易數(shù)據(jù)抗干擾推薦算法

2.1 隨機(jī)決策樹與自適應(yīng)門限變換的抗干擾模型

2.1.1 模型期望信號(hào)

在交易數(shù)據(jù)檢測(cè)過程中，首先使用交易數(shù)據(jù)決策樹進(jìn)行群體搜索，計(jì)算決策節(jié)點(diǎn)的誤差率，利用ef或ei表示，以此對(duì)臨近的兩個(gè)檢測(cè)周期結(jié)果分析Δe=ef-es，其存在三種狀況：①若Δe≤T1，表示目前沒有監(jiān)測(cè)到交易數(shù)據(jù)；②若Δe≥TH，表示存在網(wǎng)絡(luò)交易[4]中含有概念交易數(shù)據(jù)，利用當(dāng)前獲取的樹構(gòu)造更新劣質(zhì)子樹；③反之證明Δe的產(chǎn)生是因?yàn)楦蓴_元素，調(diào)整ef與es為接下來的檢測(cè)提供依據(jù)，重復(fù)運(yùn)行上述環(huán)節(jié)知道完成交易數(shù)據(jù)的訓(xùn)練。利用當(dāng)前數(shù)據(jù)塊的分類精度es，來更新每一個(gè)歷史數(shù)據(jù)的平均分類精度。

利用FLMS自適應(yīng)算法對(duì)交易數(shù)據(jù)中出現(xiàn)的干擾因素進(jìn)行過濾，該算法將陣元1作為主天線自適應(yīng)處理的期望信號(hào)，其它M-1個(gè)輔助陣元[5]作為干擾因素抑制信號(hào)，自適應(yīng)的調(diào)節(jié)權(quán)值矢量W，進(jìn)而對(duì)準(zhǔn)干擾信號(hào)的射入方向?qū)崟r(shí)檢測(cè)。設(shè)定w1代表未授權(quán)1向量，因此期望信號(hào)是

(1)

(2)

(3)

所以FLMS的迭代過程使用式(4)、(5)計(jì)算，其中n代表迭代次數(shù)

e(n)=d(n)-wH(n)x(n)

(4)

w(n+1)=w(n)+2μx(n)e*(n)

(5)

FLMS算法計(jì)算量較小，并且容易被實(shí)現(xiàn)，但是該算法會(huì)被延遲抽頭的數(shù)量所影響，隨著延遲抽頭的總數(shù)增加，其收斂的速度會(huì)大幅度降低，無法達(dá)到實(shí)時(shí)處理的效果。在延遲抽頭[6]數(shù)量增加時(shí)，需要快速收斂的自適應(yīng)算法才可以實(shí)現(xiàn)實(shí)時(shí)跟蹤，并抑制相關(guān)的干擾因素。

2.1.2 模型干擾抑制過程分析

為了提高海量交易數(shù)據(jù)的抗干擾性，本文通過自適應(yīng)門限的變換干擾抑制方法對(duì)交易數(shù)據(jù)中的干擾因素進(jìn)行處理，保證網(wǎng)絡(luò)上的順利交易。憑借DFT的變換域技術(shù)抑制窄帶干擾的原理構(gòu)造，用圖1表示。

圖1 變換或抑制干擾的原理構(gòu)造圖

首先通過加窗操作對(duì)輸入的交易數(shù)據(jù)處理，進(jìn)而改進(jìn)DFT引發(fā)的頻譜[7]泄露問題，利用合適的濾波算法對(duì)干擾譜線進(jìn)行降低操作或歸零，然后將約束操作的頻域分量轉(zhuǎn)換為時(shí)域，再進(jìn)行后續(xù)的處理。但是加窗操作會(huì)使交易數(shù)據(jù)出現(xiàn)衰減的情況，所以需要將交易數(shù)據(jù)進(jìn)行重疊操作，進(jìn)而修正。

約束操作可以利用自適應(yīng)算法憑借干擾的波動(dòng)情況擬定適合的自適應(yīng)門限，進(jìn)而保證系統(tǒng)能夠更加準(zhǔn)確的過濾相關(guān)的干擾因素，保證有價(jià)值的信號(hào)可以順利的傳輸。如果噪聲為高斯白噪聲，則白噪聲干擾信號(hào)用e描述，T表示分析門限。其監(jiān)測(cè)門限的確定指標(biāo)是

Rr{|S(k)+G(k)|≤T}=1-e-T22Nδ

(6)

式中，S(k)，G(k)分別為使用在描述噪聲譜線和信號(hào)譜線，N表示FFT的點(diǎn)數(shù)，σ為使用在描述高斯噪聲方差。若式(6)的交易數(shù)據(jù)流小于門限T，則能夠降低高于門限的價(jià)值信號(hào)產(chǎn)生的干擾。利用式(6)時(shí)需要單獨(dú)預(yù)測(cè)σ，但是在現(xiàn)實(shí)情況中其擁有一定的限制性。經(jīng)常可以憑借譜線幅值獲取平方Ck=(S(k)+G(k))2(k=1，2，…，N)來確定門限。首先擬定一種較大的固定門限Tm，保證Ck(k=1，2，…，N)的最大值Cmax小于Tm，再檢測(cè)門限可以按照下列公式自適應(yīng)設(shè)置為

(7)

式中，H為門限優(yōu)化因子。應(yīng)選擇適合的門限優(yōu)化因子確保式(7)的概率最大化。運(yùn)行FPGA操作前應(yīng)當(dāng)明確FFT的點(diǎn)數(shù)N，根據(jù)利用的FPGA部件資源的排序和快速博里葉轉(zhuǎn)換[8]獲取相關(guān)的邏輯資源，通過MAT-LAB獲取Tm和H。FPGA中的轉(zhuǎn)換域操作的數(shù)據(jù)在A/D轉(zhuǎn)換前能夠利用自助增益管理進(jìn)行處理，使相關(guān)的信號(hào)波動(dòng)轉(zhuǎn)換區(qū)域擁有穩(wěn)定性。此類情況下分析網(wǎng)絡(luò)交易數(shù)據(jù)在沒有干擾條件下，輸入的信噪比范圍與數(shù)據(jù)塊長度，能夠獲取不同信噪比時(shí)的Cmax。因此對(duì)于一個(gè)交易快從不同的數(shù)據(jù)碼元進(jìn)行FFT處理，獲得的Cmax存在一定的差異性，需要以最大的Cmax保證Tm值，本文設(shè)定Tm=3.8×1011。H的取值可以經(jīng)過下式計(jì)算

(8)

考慮到一定的冗余度，可以選擇H=20。這樣，自適應(yīng)門限就可以經(jīng)過式(8)確定了。利用上述分析的方法可以實(shí)時(shí)的對(duì)交易數(shù)據(jù)中存在相關(guān)的干擾因素進(jìn)行處理，并確保網(wǎng)絡(luò)交易的順利運(yùn)行。

2.2 海量交易平臺(tái)的個(gè)性化信息推薦

在購買商進(jìn)行商品交易時(shí)，主要利用交易對(duì)象以及需求交易的商品種類進(jìn)行推薦的，不過由于商品交易存在選擇性。因此，需要將所有經(jīng)過聚類技術(shù)的預(yù)推薦交易信息進(jìn)行分組。

所有的商品交易信息平臺(tái)都是從事各種行業(yè)的購買商獲取商品的主要途徑，同時(shí)可以及時(shí)、有效且精準(zhǔn)的將信息推薦至所需用戶。其商品信息的交易平臺(tái)推薦模塊，其主要是利用算法分析、數(shù)據(jù)采集以及信息推薦所組成，具體如下圖所示。

圖2 信息推薦模塊結(jié)構(gòu)示意圖

推薦模塊主要是利用待測(cè)用戶所需求的精準(zhǔn)性、數(shù)據(jù)的相關(guān)性、各個(gè)需求層次的順序、分類精準(zhǔn)性等進(jìn)行考慮。與此同時(shí)還要考慮推薦信息吸引度以及多樣性等。

本文將聚類思想引進(jìn)協(xié)同過濾算法中，首先需要對(duì)購買商所存在的交易信息分?jǐn)?shù)進(jìn)行評(píng)測(cè)，然后分類，并估算標(biāo)準(zhǔn)用戶和普通用戶間的相似度，對(duì)交易信息中所觸碰到的用戶進(jìn)行估算，最后能夠?qū)δ繕?biāo)商家與該交易用戶之間的類似度進(jìn)行排序。

2.2.1 待推薦內(nèi)容信息項(xiàng)目測(cè)評(píng)矩陣

首先擬出相關(guān)的定義S={U，V，N，Tij}，其中U={u1，u2，…，un}、V={v1，v2，…，vn}、Bi={x1，x2，…，xn}、N={n1，n2，…，nn}、Tij={tn，m，1≤n，1≤m}。

U代表用戶推薦集合，V為內(nèi)容數(shù)據(jù)的推薦集合，Bi表示第i種推薦對(duì)象憑借待推薦的內(nèi)容信息測(cè)評(píng)集合，N是Bi的中心向量集合，而Tij為用戶對(duì)待推薦內(nèi)容的數(shù)據(jù)測(cè)評(píng)聯(lián)系，即測(cè)評(píng)矩陣。矩陣內(nèi)容如表1所示。

表1 待推薦內(nèi)容信息項(xiàng)目測(cè)評(píng)矩陣

在交易系統(tǒng)中，vm代表購買商和交易需求的信息評(píng)測(cè)關(guān)系，即指購買商un相對(duì)交易所需求信息tn，m的測(cè)評(píng)數(shù)據(jù)。

2.2.2 用戶相似度計(jì)算

(9)

商品交易信息集合Vij，那么ui，uj即購買商共通測(cè)評(píng)的關(guān)系程度集合，再以式(9)為基礎(chǔ)，對(duì)用戶ui，uj之間的相同項(xiàng)目類數(shù)關(guān)系值進(jìn)行相似度計(jì)算，其公式如下

(10)

在式(10)中，sim(ui，uj)為購買商ui，uj在商品交易信息集合Vij上的類似值。

2.2.3 加權(quán)平均值的預(yù)測(cè)測(cè)評(píng)

在使用計(jì)算而得到的購買商相關(guān)業(yè)務(wù)集合。再經(jīng)過交易信息推薦給類似的購買商。設(shè)置預(yù)推薦購買商ui有K中從事相關(guān)業(yè)務(wù)的用戶，憑借式(9)、式(10)的關(guān)聯(lián)度的計(jì)算，待推薦的購買商以及待推薦內(nèi)容中沒有測(cè)評(píng)信息集合關(guān)系公式如下所示，就是對(duì)P進(jìn)行測(cè)評(píng)

(11)

式中，Qi代表用戶ui的K種鄰居的集合。tip代表購買商ui在沒測(cè)評(píng)數(shù)據(jù)集合p上的預(yù)測(cè)具體分值。

對(duì)待測(cè)評(píng)的交易數(shù)據(jù)分值計(jì)算，接著能夠得到分值相對(duì)比較高的交易數(shù)據(jù)項(xiàng)目，然后推薦至用戶。將以上的商品交易信息平臺(tái)與實(shí)際的情況進(jìn)行融合，接著利用聚類思想把協(xié)同過濾的推薦算法，其關(guān)鍵的環(huán)節(jié)為定義并重新敘述。然后再融入聚類計(jì)算，以此將用戶推薦速度提高，聚類思想的關(guān)鍵性，也可以提升交易平臺(tái)中的推薦算法精準(zhǔn)度。

憑借式(11)，計(jì)算目標(biāo)購買商ui，uj相對(duì)于沒有測(cè)評(píng)分?jǐn)?shù)項(xiàng)目的評(píng)分。對(duì)比測(cè)評(píng)分?jǐn)?shù)的閾值，以此生成項(xiàng)目的推薦集合。故加權(quán)平均值的預(yù)測(cè)的測(cè)評(píng)，即為用戶個(gè)性化數(shù)據(jù)推薦函數(shù)。為檢驗(yàn)本文方法的有效性及可行性，需對(duì)其進(jìn)行仿真。

3 仿真證明

3.1 仿真環(huán)境及參數(shù)

仿真環(huán)境為Intel Celeron Tulatin1GHz CPU和384MB SD內(nèi)存的硬件環(huán)境和MATLAB6.1的軟件環(huán)境。在進(jìn)行仿真的過程中，利用表1的待推薦內(nèi)容數(shù)據(jù)項(xiàng)目測(cè)評(píng)矩陣，結(jié)合本文上述算法進(jìn)行計(jì)算，再把計(jì)算結(jié)果和傳統(tǒng)方法計(jì)算結(jié)果對(duì)比。

3.2 誤碼率分析

在上述參數(shù)設(shè)置的基礎(chǔ)上，進(jìn)行算法的誤碼率檢測(cè)。為檢驗(yàn)本文方法的優(yōu)越性能，本文的誤碼率檢測(cè)將在多因素干擾環(huán)境下進(jìn)行，本文將在多址干擾、單音干擾以及三音干擾的情況下，分析數(shù)據(jù)推薦過程中的誤碼情況。通常情況，誤碼率大小介于10E-8～10E-11之間，表示數(shù)據(jù)推薦性能最優(yōu)。

通過分析圖3可知，在不同干擾條件下，本文推薦算法的誤碼率均處于10E-8～10E-11之間，說明本文算法具有較高的抗干擾性能。這是由于本文算法利用FLMS自適應(yīng)算法對(duì)交易數(shù)據(jù)中出現(xiàn)的干擾因素進(jìn)行過濾，此外，本文算法還考慮延遲抽頭數(shù)量，采用快速收斂的自適應(yīng)算法，提高算法收斂速度，實(shí)現(xiàn)實(shí)時(shí)處理，提高抗干擾性，降低算法誤碼率。

圖3 不同干擾條件下的數(shù)據(jù)誤碼率

3.3 數(shù)據(jù)推薦的準(zhǔn)確率

檢驗(yàn)本文方法推薦精度。在進(jìn)行實(shí)驗(yàn)時(shí)，對(duì)和目標(biāo)購買商關(guān)聯(lián)度較高用戶排序。將用戶數(shù)量從1增加至100，間隔每10個(gè)用戶進(jìn)行采集一次，就可以得到本文算法與文獻(xiàn)算法在海量交易數(shù)據(jù)中對(duì)用戶進(jìn)行商品推薦效果，以誤差值為指標(biāo)，判斷用戶意圖數(shù)據(jù)的推薦效果。在用戶總數(shù)的變化中，其算法的TIC分析具體實(shí)驗(yàn)結(jié)果如下所示。

表2 需求與推薦

圖4 推薦情況分析曲線圖

根據(jù)上述實(shí)驗(yàn)，可知本文算法的推薦準(zhǔn)確率高。本文方法使用在海量交易數(shù)據(jù)中，能夠有效的為購買商推薦其有興趣或急需的商品交易數(shù)據(jù)信息，使得用戶在最短時(shí)間接受到最有用的信息，并且本文方法不會(huì)受到其它干擾因素的影響，能夠精準(zhǔn)的為用戶推薦感興趣的商品。

4 結(jié)論

本文提出的海量交易數(shù)據(jù)抗干擾推薦算法，基于決策樹節(jié)點(diǎn)對(duì)海量交易數(shù)據(jù)歷史數(shù)據(jù)平均分類準(zhǔn)度進(jìn)行更新，并通過自適應(yīng)門限變換算法對(duì)交易數(shù)據(jù)干擾因素進(jìn)行抑制，最后使用融合聚類算法和協(xié)同過濾算法將交易數(shù)據(jù)干擾抑制算法、加權(quán)平均值測(cè)評(píng)分?jǐn)?shù)和用戶相似度融合，獲取模塊，利用模塊內(nèi)的用戶聚類分析算法對(duì)交易數(shù)據(jù)分組，以此通過協(xié)同過濾可以將交易數(shù)據(jù)推送至效用較高的用戶，進(jìn)而實(shí)現(xiàn)海量交易數(shù)據(jù)的抗干擾推薦。仿真結(jié)果證明，本文方法能夠有效的將干擾因素抑制，并且本文方法的推薦效率較高，不會(huì)出現(xiàn)推薦誤差。