基于python的WEB數據挖掘技術實現與研究

齊慧

摘? 要：文章首先對web數據挖掘技術進行概括，分別從數據挖掘技術概念、技術應用優勢與技術原理三方面進行論述。其次，重點探討基于python基礎上的web數據挖掘技術開發設計方法，對數據挖掘過程中的各類爬蟲技術應用優勢進行對比，可以作為數據挖掘系統構建過程中的理論參照。

關鍵詞：python語言;數據挖掘技術;仿真實驗

中圖分類號：TP309? ? ?文獻標識碼：A

Abstract：This paper firstly summarizes web data mining technology，discussing the concept，application advantages and principles of data mining technology.Secondly，it mainly discusses the development and design methods of web data mining technology based on python，and compares the application advantages of various crawler technologies in the process of data mining，which can be used as a theoretical reference in the construction of data mining system.

Keywords：Python;data mining technology;simulation experiments

1? ?引言（Introduction）

運用web數據挖掘技術，能夠模擬出用戶基于網絡環境中的瀏覽過程，并根據用戶操作過程中的使用功能需求，自動跳轉至指定的信息頁面。通過數據挖掘，將無序并且數量龐大的信息自動提取存儲，將其整理成為結構化的信息形式[1]。一方面，方便用戶在信息瀏覽過程中對自身需要的數據進行存儲，另一方面也能夠根據數據挖掘對各類功能進行表達，滿足用戶信息瀏覽過程中的不同需求。數據挖掘技術使用范圍十分廣闊，能夠用于不同區域，并且在功能整合過程中也能夠根據最終的綜合控制能力，判斷接下來的數據挖掘方向[2]。數據挖掘技術是存儲功能實現不可缺少的基礎，也具有極強的整合能力，能夠與其他技術方法相結合，高效便捷的完成數據捕捉和存儲。數據挖掘技術在不同領域均充當著重要角色，將web數據挖掘技術，與學習型匯編語言相結合，在程序設計過程中更能夠體現出人性化功能，也能處于網絡環境下，對數據信息進行高效定位，實現安全便捷的數據挖掘以及功能指令傳輸。

2? 數據挖掘技術發展優勢（Development advantages of data mining technology）

隨著網絡信息技術不斷發展進步，數據挖掘技術也具有廣闊的應用前景。網絡環境中的各類數據信息資源，并沒有固定結構存在。瀏覽網絡信息中對于其中的有用數據提取往往會消耗過多時間。通過互聯網技術普及，數據挖掘技術的應用能夠將零散的信息進行整合，并根據用戶不同使用功能選擇自動或手動的挖掘存儲[3]。數據挖掘技術在信息整合速度上十分快，具有極強的技術適應能力，應用該技術能夠體現出不同挖掘項目之間的統籌能力，并根據挖掘過程中體現出的多角度問題[4]。新型技術應用方向調整，基于python語言基礎上的網絡系統設置，能夠明顯降低數據傳輸過程中的誤差，并幫助查找遺漏，對遺漏數據自動填補。尤其是面對統計任務量較大的數據時，能夠快速完成信息分類對接，并根據用戶使用過程中的各類規則，對程序進行調整，糾正程序中存在的錯誤。數據挖掘過程中，能夠確定數據傳輸的最佳路徑，從而在傳輸過程中節省時間。由此可見，數據挖掘技術具有明顯的發展優勢，未來技術發展中，也將進入到更理想的狀態中，通過不同匯編語言之間的相互結合，達到理想的設計效果。

3? 數據挖掘技術應用原理（Application principle of data mining technology）

數據挖掘技術在應用過程中的功能實現，通過對用戶基于網絡環境中瀏覽信息的腳本捕捉，自動進行有效數據信息排序，并根據用戶所發出的功能指令對有用信息進行子集合構建，并對信息系統中的數據進行訪問。訪問wed頁面內的相關內容后，根據反復的信息驗證。數據挖掘功能原理如圖1所示。

確定最終的有用信息結合范圍，從而實現子頁面內的各類數據結合，進行切實有效的數據信息分類與整合。信息分類整合同樣是實現模塊化管理的基礎，也是數據挖掘功能實現的原理，在數據挖掘過程中，會涉及不同爬蟲算法的使用，選擇的爬蟲算法直接關系到數據信息挖掘，提取速度與最終的數據集合構成穩定性。數據挖掘技術在功能實現方面，需要對不同爬蟲算法進行對比，從用戶登錄web頁面后的起始頁至最后一頁進行連續的數據提取逐漸向外層延伸，并構建多角度信息獲取鏈接，自動實現信息的捕捉[5]。數據挖掘與數據提取是相對應的功能，挖掘后并確定數據的來源范圍，才能進行下一步功能構建。提取數據后并將其發送到指定的功能層，在頁面功能實現過程中，篩選有用信息并進行結構化整合，經過數據搜索與分析最終確定挖掘對象，實現一系列數據提取功能。

4? 數據挖掘技術中的算法比較（Comparison of algorithms in data mining）

4.1? ?廣度優先算法

數據挖掘技術應用過程中，算法的比較研究內容比較多，首先是廣度優先的算法策略，在計算過程中從起始頁到最終的頁面，要進行由內而外的延伸運算。并對多鏈接信息進行整合，在數據挖掘過程中自動進入到下一集層的深度中，確保數據挖掘在web網絡環境中的廣度。在挖掘分析過程中，對不同目錄進行深入分析，確保挖掘過程中的分析內容涵蓋整體目錄。其優勢在于廣度優先策略，在運算過程中精準度十分高，其劣勢在于挖掘過程中對目錄分析將會耗費大量時間。廣度優先算法主要是針對目錄精準排查，實現鏈接的提取與扣件。能夠進行算法的并行處理，同時在Web信息的挖掘，提取出多少也會有所提升。如果挖掘數據信息涉及到深層目錄，最終的功能將會受到影響。

4.2? ?深度優先算法

深度優先算法應用在數據挖掘技術中，注重在同一區域范圍內的深層次數據捕捉。根據用戶的瀏覽內容在當前頁面訪問時，會進行深層次數據挖掘，直到在當前頁面的最深點數據挖掘成功后，視為完成一個分支任務。并返回到最初的訪問界面，從而進入到另一個爬行分支中進行相關數據的挖掘整理，直到對所有鏈接的深層次分析結束后，完成整體爬行任務。算法流程語言如下：

該種分析方法，能夠確保挖掘信息的深度，但如果在挖掘過程中，需要對更深層次的數據進行捕捉，將會消耗大量的分析資源。深度優先算法對于低層站點的數據挖掘和統計，這種效果并不理想，并且在最終的數據對比分析中，容易在某一鏈接范圍內產生誤差。因此該種技術手段應用，還需要進行技術方法之間的相互結合，達到最佳控制效果。

4.3? ?數據結構化存儲

數據結構化存儲也是數據挖掘過程中最常使用的技術手段，結構性存儲能夠針對原本雜亂無序的數據信息進行歸類整合，并達到最佳的結構化存儲形式。通過無結構信息的提取，并將其整合成為另一種鏈接形式，存儲到本地文檔中。能夠確保數據信息的存儲形式得到規范統一，并在執行過程通過人工整合達到最理想的場景構建模式。在存儲過程中，結構化處理需要確保準確度與速度，既要滿足多鏈接數據挖掘需求，同時也能夠根據存儲結構的調整，快速實現各鏈接之間的相互結合。結構化存儲功能對于數據的綜合處理能力十分快，處于Web環境下能夠實現數據信息的自動結構調整，并通過結構之間的相互轉換，減少人工操作帶來的數據誤差，結構圖見圖2。

結構僅僅作為數據存儲中的一種形式，在統一結構的同時，還需要考慮不同數據信息類型。自動選取最為高效便捷的存儲方式，保證數據信息在存儲過程中的安全性與使用效率。數據結構化存儲對數據挖掘技術精準度要求極高，不僅在穩定性與速度上要達到使用標準同時還需要滿足自動歸類功能，能夠在歸類過程中增強綜合控制能力，實現數據結構化的自動存儲，在結構化存儲過程中自動生成二維表格，達到最佳功能整合效果。

5? 基于python的WEB數據挖掘設計（Design of WEB data mining based on python）

5.1? ?爬蟲功能設計

基于python語言技術基礎上的web數據挖掘設計，首先需要對爬蟲功能進行選擇，根據用戶日常使用過程中對于功能的特殊性需求，對比不同爬蟲方法之間的優勢與劣勢。借助python技術的分析功能，在計算過程中對數據的廣度進行擴增，并根據不同數據以及關鍵詞在網絡信息瀏覽中的出現次數，進行自動分析定位，確定接下來的語言擴增形式。數據結構設計過程中，不僅需要對穩定性進行對比，還需要根據數據抓取過程中的鏈接分析，進行最終的匹配鏈條確定。爬蟲功能根據瀏覽頁面的實際情況，對腳本內容進行構建，通過應答服務體系以及構建過程中的超鏈接獲取，實現對數據信息的快速篩選。但在最終的數據信息獲取和整合過程中，根據所分析的內容進行最終的數據整合。并在挖掘過程中對所涉及的各類功能進一步調整，針對數據挖掘設計中的功能在強化過程中體現出多元化整合能力。數據分析時對頁面的源代碼進行提取，在源代碼分析基礎上進入到更穩定的數據整合階段，并根據場合得到的各類結果，采取多元化調整措施，提升數據信息之間的相互配合能力。

5.2? ?數據表達設計

數據表達設計過程中，一方面要考慮數據挖掘與最終使用的穩定情況，另一方面也需要根據數據的具體表達能力。在設計過程中體現出最佳的表達方法，對數據的構建形式加以完善。數據表達中需要考慮不同頁面訪問的過程調整，并根據元數據體系最終的判斷，在表達形式上體現出控制指令之間的對接能力。對于數據表達過程中不同方法理念之間的選擇以及構建，更需要多元化的融合角度體現出數據表達的綜合控制能力，尤其是在數據表達設計階段，各個功能方法之間的相互結合，充分體現出元數據的多元化控制能力，以及最終的數據綜合挖掘情況。在不同功能頁面，采用多種結構的形式對數據進行表達，數據表達后才能進入到接下來的有用信息捕捉與自動存儲階段。數據表達設計階段，同樣需要借助python語言來進行模擬設計，實現數據表達過程中的爬蟲功能，以及在數據挖掘提取階段不同功能之間的相互控制能力。運用多元化數據整合模式，進行分層結構完善以及結構化功能的實現，完成數據挖掘、數據提取和結構構建多元化功能之間的融合。數據表達設計期間的綜合控制能力提升，以及最終的運行狀態調整，還需要在管理階段體現出數據的綜合表達能力，對表達流程和表達形式進一步設計，實現數據表達與數據提取一體化模式。

5.3? ?仿真功能檢驗

仿真功能檢驗是指在功能應用過程中，對于所構建設計的全部系統以及數據信息提取形式進行仿真功能驗證，觀察是否在仿真功能上能夠達到預期效果，以及最終的仿真能力是否與開發設計中所確定的功能目標保持一致。對于開發設計階段所確定的各類功能，需要通過仿真實驗后確定其可行性，才能在接下來的系統中制定進一步的綜合控制目標。仿真實驗需要模擬網絡環境中潛藏的風險隱患，對所構建的系統結構進一步整合，觀察系統結構的綜合控制能力。模擬病毒對系統進行攻擊，從而判斷系統開發設計中需要進一步完善的內容。仿真功能檢驗過程中，對于所存在的問題，需要將其劃分到同一集合中。腳本仿真實驗程序如下：

6? ?結論（Conclusion）

在接下來的開發設計階段，重點針對現存問題部分加以完善，并通過仿真功能檢驗對問題進行拓展，觀察是否存在系統之間的相互影響。并通過干擾分析增強最終的仿真功能穩定性，根據所得到的仿真功能檢驗結果，確定系統在網絡環境中運行使用的薄弱環節，通過數據挖掘技術，增強最終的功能穩定性。

參考文獻（References）

[1] 王雪峰.基于Python的數據挖掘——陽光集團的具體數據挖掘項目[J].電腦知識與技術，2018，14（23）：15-20;36.

[2] 邢娜.淺析基于Web數據挖掘應用于電氣自動化技術對社會經濟發展促進作用的研究[J].青春歲月，2017（12）：427.

[3] 李巖松.集成Vissim和Python的車聯網仿真平臺研究[J].計算機仿真，2018，35（12）：159-162;421.

[4] 唐琳.基于Python的自然語言數據處理系統的設計與實現[J].電子技術與軟件工程，2018，138（16）：176-178.

[5] 黃雪華.基于Python的決策樹算法在學生招生錄取數據中的應用研究[J].電腦知識與技術，2018，14（29）：22-23.