數(shù)據(jù)挖掘技術在Web預取中的應用研究

崔鎮(zhèn)濤 內蒙古師范大學計算機學院

數(shù)據(jù)挖掘技術在Web預取中的應用研究

崔鎮(zhèn)濤 內蒙古師范大學計算機學院

本文通過對數(shù)據(jù)挖掘技術的深入研究，將數(shù)據(jù)技術應用在Web預取中，以期減少網絡的延遲。本文的重點就是介紹數(shù)據(jù)挖掘中的相關算法在Web預取中的應用。

數(shù)據(jù)挖掘 關聯(lián)算法 Web預取 互聯(lián)網

隨著互聯(lián)網用戶的急劇增加，以及原有的Web服務和天然存在的網絡延遲，我國互聯(lián)網正在變得越來越擁擠，需要進一步提升技術水平才能夠更好的滿足日益龐大的需求。將數(shù)據(jù)挖掘技術應用到Web預取中，就是通過相關算法首先對用戶需求進行預判，然后將用戶可能瀏覽的網頁存儲到本地緩存中，當用戶真正需要瀏覽這些內容時，可以直接調取緩存中的網頁信息，或者只需要緩存之前沒有預定的內容，如此就可以大幅度減少緩存時間，提升用戶體驗。

1 數(shù)據(jù)建模前期準備

要想將數(shù)據(jù)挖掘技術應用在Web預取中，第一步要做的就是對用戶行為以及興趣進行分析。也就是說，將關聯(lián)規(guī)則算法應用到分析用戶以往的Web使用日志上，以用戶的互聯(lián)網使用記錄為基礎進行建模，增加機器學習，最終達到預測用戶行為的目的。

Web使用日志就是指用戶使用互聯(lián)網的數(shù)據(jù)記錄，以此為基礎應用數(shù)據(jù)挖掘技術，建立相關的關聯(lián)模型，發(fā)現(xiàn)用戶的互聯(lián)網使用規(guī)律和瀏覽興趣，就可以此為依據(jù)建立起具有相當準確性和價值的用戶分析模型，為后續(xù)的Web預取打下基礎。Web使用日志數(shù)據(jù)挖掘處理的對象其實是所有用戶與互聯(lián)網的交互記錄，用這種技術處理Web使用日志，就能夠挖掘出其中的規(guī)律，然后建立起相匹配的模型，然后進行用戶行為預測，去互聯(lián)網上尋找與用戶興趣相匹配的內容，進行預取，加快用戶瀏覽互聯(lián)網的速度，減少不必要的時間浪費。

在這一階段，一般使用Aprior算法，找出在一個固定的周期內，用戶在服務器上訪問特定網頁的次序，然后將信息進行篩選和處理，儲存起來。這一算法的工作流程如下圖所示：

2 數(shù)據(jù)建模

在進行正式的建模工作之前，需要得到上一步收集的各種數(shù)據(jù)，也就是Web使用日志。日志文件并不能夠直接處理，需要對格式進行轉換，因此就首先需要日志文件的預處理工作，包括對數(shù)據(jù)進行篩選，去掉無意義或者重復的數(shù)據(jù)，得到簡練、爭取的用戶使用記錄數(shù)據(jù)，接下來就可以進行數(shù)據(jù)建模了。

建模過程就是使用數(shù)據(jù)挖掘技術中的關聯(lián)算法，對預處理后的數(shù)據(jù)進行計算分析，從數(shù)據(jù)中發(fā)現(xiàn)特殊的模式集合。數(shù)據(jù)挖掘技術是計算理論、計算技術和計算機硬件不斷發(fā)展之后產生的一種新興技術，使用數(shù)據(jù)挖掘技術，可以在規(guī)模龐大的數(shù)據(jù)中分析出隱藏的、不被人所察覺的，同時又對科學決策和預測起到重要參考意義的知識和規(guī)則，根據(jù)這些成果，就可以科學合理預測用戶行為。本文建模使用的是關系規(guī)則算法，分析用戶的興趣關聯(lián)規(guī)則。興趣關聯(lián)規(guī)則體現(xiàn)出的是用戶使用互聯(lián)網的興趣之間的遞進關系，通過對數(shù)據(jù)模型中的緩沖數(shù)據(jù)刪繁就簡，表明不同網頁之間的鏈接關系，使用這種算法能夠直接表現(xiàn)出用戶興趣之間的遞進關系。為了提高數(shù)據(jù)挖掘的效率，減少不必要的資源浪費，再簡化緩存區(qū)數(shù)據(jù)之時，要對一些低價值或者無價值數(shù)據(jù)進行清除，比如各種留存下來的靜態(tài)和動態(tài)圖片，還有頁面中的腳本程序。為了節(jié)省資源以及降低算法復雜程度，在建立數(shù)據(jù)模型之時，不需要考慮用戶興趣之間的傳遞關系，同時對于一些簡單的興趣關聯(lián)規(guī)則模型，關聯(lián)分析法一般會比較合適。因為數(shù)據(jù)挖掘技術是在巨量的數(shù)據(jù)之中挖掘規(guī)則和信息，因此一般需要較長的處理時間，因此并不適合用于在線預測用戶的行為，其解決辦法就是預先預測。

為了保證所預測的用戶行為模式正確性高，需要在預測過程中不斷對模型的參數(shù)和算法細節(jié)進行調整。當?shù)玫揭欢ǖ念A測結果之后，就可以將這些結果儲存起來，放入庫中，并且使用用戶其他的使用數(shù)據(jù)進行進一步驗證，進行模型的驗證和測試，如果驗證結果超過了預定要求，就可以判定為可用。上述過程可以用下圖來表示：

上述數(shù)據(jù)建模過程，就是根據(jù)用戶的Web使用日志進行數(shù)據(jù)挖掘分析，找出用戶興趣與行為方式，并且根據(jù)用戶使用習慣，對用戶的行為進行預判的過程。

3 模型改進與機器學習

當一個瀏覽器加入了數(shù)據(jù)挖掘算法后，就可以進行有效的Web預取，因此就以現(xiàn)有瀏覽器為基礎對其實現(xiàn)機制進行改進，改進的方向有提供用戶的Web使用日志以及訪問記錄到專門的數(shù)據(jù)存儲位置，在用戶使用互聯(lián)網的空閑時間，啟動分析模型，對用戶接下來使用的網頁進行科學合理的預測，找到最有可能訪問的一個或者少數(shù)幾個網頁進行預先緩存，當用戶真的是用了預先緩存的這些網頁之后，就可以從緩存之中直接調取，供用戶使用以減少時間，如果用戶沒有訪問這幾個網頁，那么就記下用戶的這次行為，以便后期對模型進行修改進行數(shù)據(jù)儲備。經過這個過程，就可以大幅減少因為網絡延遲和服務器延遲帶來的使用卡頓現(xiàn)象，從而減少用戶等待時間內，提升用戶的使用體驗。具體的過程如下圖所示：

將數(shù)據(jù)挖掘技術應用到Web預取之中，就是機器的自我學習與調整。但是應當注意到的是，由于算法目前還存在著很大的局限性，同時人與人之間的差異性極大，而用戶使用互聯(lián)網的隨意性非常高，在使用關聯(lián)算法進行用戶行為預測之時，初期產生的誤差可能會非常巨大，一開始預測的準確性可能會很低，甚至有可能會造成緩存數(shù)據(jù)無用而占用存儲空間影響系統(tǒng)運行效率或者是對網絡帶寬的浪費。鑒于此，改進機器學習算法，改進關聯(lián)算法，改進所有的數(shù)據(jù)挖掘算法就會是一項長期的、艱巨的工作，目的就是要不斷提升結果的準確性。可以預見的是，當預測結果的精確度達到一定程度之后，數(shù)據(jù)挖掘技術在Web預取中的地位會越來越重，應用范圍會越來越廣，同時也會給用戶帶來越來越好的用戶體驗。

4 Web預取技術的應用

現(xiàn)在的市場上，已經有很多Web預取軟件，比如Netsonic瀏覽器加速軟件，這種軟件就會預先讀取與用戶正在讀取的網頁相連接的網頁中的文字信息，這樣就可以節(jié)省帶寬緩存下一個網頁中占帶寬較多的軟件，節(jié)省用戶的時間。但是這種軟件的缺點就是會預先緩存很多對用戶無用的信息，浪費帶寬和存儲空間。

數(shù)據(jù)挖掘技術在電子商務中起到的作用越來越高，尤其是像淘寶、京東之類的電商平臺，和在線金融，網上醫(yī)療等服務行業(yè)，同時很多的政府部門也對這項技術有很大的興趣。

5 總結

本文介紹了數(shù)據(jù)挖掘技術在Web預取中的應用，可以看到的是，這項技術有著非常廣闊的應用前景，能夠為提升用戶體驗，節(jié)省互聯(lián)網資源提供巨大的幫助。

[1]張為.基于Web日志的數(shù)據(jù)挖掘及其在Web預取中的應用研究[D].華中科技大學,2006.

[2]謝怡文.試分析數(shù)據(jù)挖掘技術在Web預取中的應用[J].電腦編程技巧與維護,2017,(07):66-67+74.[2017-09-12].

10.16184/j.cnki.comprg.2017.07.027

崔鎮(zhèn)濤（1992.04），男，內蒙古包頭市人，碩士研究生，研究方向：軟件工程。