基于Python語言的Web數據挖掘與分析研究

摘? 要：現如今，互聯網技術和大數據處于更新換代階段，而在巨大數量數據庫當中及時收集有用的信息便顯得尤為重要。同時，這也是目前計算機技術領域迫切需要解決的問題。Python屬于一類高級編程語言。通過多個角度對Python語言功能優勢進行闡述，并對Python語言在挖掘Web信息中具體的應用方法進行分析，旨在發揮Python語言的潛在優勢，進而完善與優化Web信息的挖掘和處理。

關鍵詞：Python語言;Web數據;挖掘與分析

中圖分類號：TP311.13? ? ? 文獻標識碼：A 文章編號：2096-4706（2019）23-0063-03

Web Data Mining and Analysis Based on Python Language

YANG Ying

（Beijing Information Technology College，Beijing? 100018，China）

Abstract：Nowadays，internet technology and big data are in the stage of updating，and it is especially important to collect useful information in a timely manner in a huge number of databases. At the same time，this is also an urgent problem in the field of computer technology. Python belongs to a class of high-level programming languages. This article expounds the advantages of Python language from multiple angles，and analyzes the specific application methods of Python language in mining Web information. The purpose is to make full use of the potential advantages of Python language to improve and optimize Web information mining and processing.

Keywords：Python language;Web data;mining and analysis

0? 引? 言

伴隨著互聯網技術發展速度的不斷提升，Web作為一種互聯網用戶共享數據發展而來的Internet應用，所承擔的信息量呈指數增長，Web的運用和發展給人們的現實生活與工作帶來了很大的益處，已經成為用戶獲取所需數據的最佳途徑。現如今，Web信息處于急劇膨脹階段，要實現信息的有效篩選和運用面臨著很大的挑戰。并且Web內容的特征在于非結構性與多樣性，使得數據的獲取變得更加困難。借鑒Python技術來進行Web信息的提取與挖掘，能夠在諸多領域發揮效用，進而促進數據的分析與搜集效率的最大化提高，進一步提高社會生產力。

1? Python語言的特征

Python語言屬于一種新型語言，由第四代程序編制，所面對的是交互性及解釋性對象，其使用Web技術和非Web技術所發揮的作用是無法比擬的。譬如，Google代碼的編寫就使用了Python語言，國內豆瓣網也運用了Python技術。Python不失為一類腳本型語言，其具有較高的代碼開發率，通過對第三方數據庫的運用，可利用對簡單代碼的閱讀描述其強大的性能。

Python語言中很少有可讀性代碼，同樣性能的代碼C語言占據1/5。另外，還呈現在其無花括號或是begin…end…分割語句語塊，運用Python語言之中的冒號能夠將代碼合理地進行分層，如書寫的條件語句：ifTrue：print“Yes”當中的if語句尾端使用的就是冒號，顯示第二行print語句即為下層語句，需滿足相應條件才可以繼續執行。

2? Python語言Web的運用

Python語言的另外一方面的優勢就是跨平臺和開源性，在使用了Web程序進行設計后優勢更大。此種語言所使用的WSGI這一模型隸屬于Python服務器范圍，所運用的程序與中間層二者屬于官方標準，其主要限制在于對異步模型不予支持。同時Python語言還逐漸變成網游行業編程流程中一種主流的語言，替代了原有的C/C++。

Python語言用于云計算中時，可以使大部分基層朝虛擬化的方向發展。云計算給用戶提供了優質化的資源服務，其中涵蓋了Saas/Paas/Iaas等等，譬如，易度Paas平臺就使用了Python語言。Python可以運用標準化數據庫對大數據當中出現的一系列問題進行妥善的解決，良好地處理、轉換、分析大數據工作，最后提取大數據特點并將呈現其結構方式的相關需要。

3? Wed數據的設計框架

3.1? Django

Django屬于常見的Python Web設計框架。其Web設計框架屬于開源性，具體涵蓋諸多組件，能夠保證對儲存、界面、映射關系等性能實施動態管理。開發Django使用了DRY原則，同時具備單獨且立輕量級的Web服務器，并能夠迅速開發運用Web技術。

Django設計需要遵守MVC模式的原則，具體涵蓋三部分，如控制、視圖、模型。模型層在使用程度的最基層，其重要責任就是對數據有關的事宜進行妥善處理，比如說數據的驗證及儲存等事宜。因Django當中用戶輸入的控制模塊全權交由基本的框架進行處理，還被稱作模板層。此層負責呈現數據，負責存取模板和對模板的合理調用等有關業務流程。程序專員在使用模板語言對HTML頁面進行渲染的過程中，給模板體現出需要的數據，使用特殊的模板獲取相應的渲染結果。視圖層構成應用程序的業務思維，其重要責任就是體現頁面或其他類文檔之中的相關數據。

Django的操作過程：

（1）瀏覽器向Web服務器傳送HTTP請求。

（2）Web服務器在接收到請求之后轉至使用Django。

（3）Django請求中間層按照URLconf模型實施匹配及映射到合適的函數;此種函數使用模板和模型，按需求形成響應;中間層再把這種響應包裝成HTTP響應，并將其退回至Web服務器。

（4）用戶瀏覽器接收Web服務器發送的響應。

3.2? CherryPy

CherryPy鑒于Python面向對象的HTTP構架，適用于Python的開發者。使用CherryPy技術進行Web技術的開發運用與設計，但CherryPy沒有提供相關的語言機制。其本身內置相應的Web服務器，用戶不需要另外搭建Web服務器，就能直接運行于內置程序之中。服務器的職責：其一，轉換基層TCP的套接字信息傳輸方式為HTTP請求，并傳送至處理程序之中;其二，將上層由軟件傳送而來的數據封裝為HTTP響應，并為下層的TCP套接字進行傳遞。

3.3? Flask

Flask適合應用于輕量級Web中。此類服務器網關接口正在運用Werkzeug，模板引擎也要使用jinja2，Flask運用BSD授權。Flask本身并不具備抽象的數據庫與驗證表單的基礎性能，其依靠的是第三方數據庫將相關工作妥善完成。Flask結構具有可擴展性特征，容易為其增加所需的功能。

3.4? Pyramid

Pyramid是一個開源構架，執行工作的效率非常高，無須花費大量的設計時間。其還包括Python/Perl/Ruby特征，以及快速的開發性能。

3.5? TurboGear

TurboGear需要建立在別的構架的基礎上，其正試圖集結框架的優秀部分。其可以讓設計人員從簡單的文件服務方面進行設計，慢慢延伸至全棧式服務。

3.6? Django與Pyramid、Flask的比較

Flask主要面向簡單要求的小應用，即微框架，但Django與Pyramid則是面向一些大型功能。后二者具備不一樣的靈活性與拓展性。Pyramid比較重視靈活性，設計者在具體的工作當中可以對使用工具進行合理的選取，比如說在URL結構、數據庫、模板品質等選擇流程中。Django為Web設計人員供應并設計了有效的處理方法，其涵蓋諸多模板。

Django中涵蓋單純的ORM模塊，設計Pyrami和dFlask的相關人員可自行選取存儲數據的工具，ORM中SQLAIchemy屬于很流行的一類模塊，或選取MongoDB與Dynamo等。

Django屬于一站式處理構架，設計者無須消耗很長時間應用于選擇基礎的設備構架方面。其涵蓋管理基本的模

板、表單、路由、驗證及數據庫等內層的建設性能。Pyramid性能包含驗證和路由，而管理模板和數據庫應當運用需第三方即可完成，或是運用Pyramid和Flask才能有效運用和建設，只有設計人員自行構建選擇，才能顯得其更具靈活性。

4? 基于Python語言Web數據的挖掘與分析

目前，Python語言在實踐設計環節腳本的使用率最廣泛，通過自身良好的交互性、解釋性及面向對象有關特征，讓Python語言使用腳本編寫出的程度代碼具有很好的可讀性，同時使用此種腳本語言所編寫的結構代碼還可以使開發程序與維護程序變得更加高效。另外，Python腳本語言對于初學者來說，簡單易懂的使用環境更具活躍性，這樣才能讓Python語言快速成為當前比較熱門的設計語言。

4.1? 挖掘web數據的定義

Web信息的挖掘又稱挖掘Web信息、開發Web信息以及挖掘網絡技術等，基于實質角度而言，指的是將挖掘數據與Web領域相結合后的新型技術產物。此種技術具體從大量蕪雜網頁數據中迅速獲得與整理出高價值性數據，并通過對數據的轉換、分析和處理模型，對信息進行有效的分析與處理，然后按照研究成果來預測與評估其實際情況，所以Web數據的挖掘具有很大的科研價值和商業價值。此外，挖掘Web數據主要利用模擬用戶正常瀏覽的行為，并設置有效的規章，從而獲得指定的Web數據頁面。Web數據挖掘的最終目標就是將非結構化信息從大量信息中提取出來并通過綜合CSV、JSON、XML等方法進行存儲。在這樣的流程當中，牽涉到數據化網絡爬蟲結構及正則表達技術。

4.2? 應用挖掘數據技術的優勢

伴隨著我國互聯網的不斷普及與發展，網絡數據資源逐漸豐富化，但多數信息以非結構形式存在著，使信息的采集和分類顯得非常困難。在進行數據挖掘前，廣大用戶所采集與分類的信息需選用手動的方式進行復制粘貼，這樣不但耗時耗力，并且數據的質量不高，無法實現自動化分析與收集數據。而基于Python語言的網絡爬蟲技術，優勢在于準確高、速度快，可促進分析與數據采集效率的有效提高，從而提高采集而來的數據的品質。同時手動式操作無法避免發生數據遺漏以及錯誤數據的問題，在實際統計大量數據的過程中，具有很大的糾錯難度，而借鑒網絡化爬蟲技術，數據的準確率就會大大提高，就算存在問題，用戶也可以通過對程度的適當調整就能讓完成糾錯，具備不可比擬的應用優勢。

4.3? 比較不同的爬蟲算法

目前網絡爬蟲的核心算法包含優先廣度、優先深度、Opic、Partial PageRanK爬蟲算法、不同的爬蟲算法優勢各有不同，需要將實際的應用場景結合起來進行合理的選擇。

（1）廣度優先措施。這種措施具體使用web內容中的目錄級別，首先爬取首頁同樣級數的頁面信息。然后將爬取鏈接置于隊列之中，進而逐漸向外伸展，盡量獲得更多鏈接的信息，提升抓取Web數據的速率，所以在爬蟲算法中使用最廣泛的就是廣度優先措施。然而，這種計算方法的問題就是在對目錄進行深層挖掘時需耗費大量時間。

（2）深度優先措施。此種措施指的是網絡爬蟲按順序對目前Web頁面進行直至最深層次的目錄，并在完成一個分支的訪問之后返回，之后爬到另一分支實施訪問，待遍歷全部鏈接之后，才算爬蟲任務完成。這種方法能夠對爬蟲信息進行深層次挖掘，但在對深層站點消息進行挖掘中需要耗費很多的系統性資源。

（3）Partial PageRank措施。這種計算方式屬于爬蟲開始爬取首頁后，按照計算Web層面上Partial PageRank的值確定爬取該頁面的潛在價值，并優先爬取PageRank的最大值頁面。進而促進爬蟲效果的全面提高，還能得到很高的遍歷效果，很但可能與具體的遍歷結果偏差較大，進而降低數據的準確率。

（4）Opic措施。此種計算方式還能被當成完善后的一種PageRank計算方式，開始前階段，各個頁面都被賦予同等值，下載完待完成此頁面之后，其最大值可以均勻地分配在鏈接頁面上，爬蟲依照該值的大小確定其優先級，并優先下載最大值頁面。此種方法無須迭代計算，適用于具體的計算。

（5）數據儲存的結構化。很多信息需要儲存在非結構文本當中，要想直接分類和應用必定會非常困難，而通過結構化的儲存方式進行儲存，即為抽取Web頁面上沒有結構的信息，利用結構化方式存儲于本地，從而將Web數據進行規范存儲。該流程可以自動執行，無須人工干預，用戶可以結合使用場景自主選擇CSV、XML、數據庫等儲存方法。例如，使用數據庫方程的儲存方式時，Web數據以二維表結構方式實施存儲，此種方式具有速度快、準確度高等優勢，正好滿足挖掘多線程信息中存儲數據的需要。

（6）正則表達方式。Web頁面通常以Html的格式存在，而Html頁面主要由各類語義的對象組建，不同對象具有不同的標識，通過分析Html頁面，并配置相應的正則表達形式，能夠實現對指定字符串數據的有效查詢和提取。比如，在爬取Web頁面包括“is”數據源代碼時，可通過matchObj=re.match（r（.*）is（.*？）.*，line，re.MIre.I）的方法來提取信息。進而自行匹配包括“is”字符串并將相關內容進行輸出。在此案例中，（r（.*）is（.*？）.*，line，re.MIre.I）就是正則表達式的匹配，可以為提取數據供應有效方式。此外，為了符合網站頁面的升級需要，保證穩定的匹配，客戶可以自主運用Python語言帶有的第三方數據庫與相應模塊，有效分析和提取Python頁面上的內容。

4.4? Web Scraping的工作原理和作用

基于工作原理來講，Web Scraping計算程序在網絡傳輸層，具體利用TCP協議和Web服務器來傳輸數據，應用層需使用HTYP協議與服務器進行交互數據。基于功能角度來講，此種程序主要分HTML解析與HTTP交互模塊兩個模塊。在具體的抓取流程中，表示利用交互模塊將TCP鏈接向Web服務器端口進行發送，待建設出有效的鏈接之后，交互模塊才可以向Web服務器端口發送GTTP請求報文，交互模塊接收服務器發送應答報文后將HTTP進行拆封，從中提取HTML信息，然后利用相應的模塊對數據進行提取與解析，最后將提取數據通過格式化方式在數據庫中儲存或存儲在簡單結構的文本文件當中。Internet屬于發展快速重大信息的數據庫，這些資源存在的方式通常以無結構文本方式，這就給歸類網絡資源造成了很大的困難。

5? 結? 論

總之，本文重點分析基于Python語言來對Web數據的原理及方式進行挖掘，并對網絡爬蟲的計算方式特征以及應用使用環境進行分析，并就數據的儲存方法、正則的表達方法、抓取數據的流程、分析方式等進行闡述。通過上述分析我們了解到，基于Python語言的網絡化爬蟲技術在抓取數據使用優勢比較顯著，可以自動提取個性數據，最大化提高分析與搜索數據的質量。在實際爬取數據中，用戶應考慮調整過后和優化性的數據爬蟲算法，與Python多線程技術進行結合，進而使下載緩存得到優化，提升挖掘數據的功能。

參考文獻：

[1] 吳爽.基于Python語言的Web數據挖掘與分析研究 [J].電腦知識與技術，2018，14（27）：1-2.

[2] 劉熠.基于Python的Web數據挖掘技術研究與實現 [D].荊州：長江大學，2018.

[3] 齊亞莉，張磊.基于Python的圖像搜索系統的設計與實現 [J].北京印刷學院學報，2010，18（2）：48-51.

[4] 黃雄偉.基于Web數據挖掘的客戶行為分析研究及應用 [D].武漢：武漢理工大學，2011.

[5] 楊國志，江業峰.基于Python的聚焦網絡爬蟲數據采集系統設計與實現 [J].科學技術創新，2018（2）：73-74.

[6] 李彥.基于Python的數據挖掘——陽光集團的具體數據挖掘項目 [J].電腦知識與技術，2018（2）：15-20，36.

[7] 白雪麗.淺析基于Python爬蟲技術的特性及應用 [J].山西科技，2018，33（2）：53-55.

[8] 代廣珍，徐超.基于Web的數據挖掘研究綜述 [C]//2005年“數字安徽”博士科技論壇論文集.安徽合肥，2005：319-323.

作者簡介：楊迎（1979-），女，漢族，北京人，講師，碩士，研究方向：信息安全。