基于網絡爬蟲的京東電商平臺數據分析

魏倩男 賀正楚 陳一鳴

摘 要 以京東平臺的網頁數據抓取為例，研究如何提高網絡爬蟲技術對網頁數據的抓取效率，進而對抓取到的數據進行數據挖掘和數據分析.該網絡爬蟲技術主要建立在分布式系統的基礎上，多臺計算機多線程同時運行，使數據抓取效率顯著提高.分析京東平臺的網頁信息，統一分類，抓取分類下的商品信息，獲取到網頁內容后，利用解析器重建網頁DOM樹，通過JQUERY選擇器，針對選擇不同的標簽名稱和標識名稱獲取商品信息，把獲取到的數據進行過濾、整合，然后進行數據挖掘和數據分析，對電商行業走勢進行預測，進而指導電商運營團隊決策.

關鍵詞 電商平臺;數據分析;分布式系統;AJAX;MapReduce;Jumony Core

中圖分類號 F424，F716，F724.6文獻標識碼 A

Abstract Taking the data web Jingdong platform as an example， this paper researched how to improve the efficiency of data capture of web crawler technology， and to crawl into data for data mining and data analysis. The crawler technology is mainly built on the basis of distributed system， and multiple computers run simultaneously at the same time， so that the efficiency of data capture is significantly improved. After analyzing Web information， Jingdong platform unified classification， grasping under the category of commodity information， and the access to web content， DOM tree was reconstructed by using parser， and through the JQUERY selector， different commodity information was selected according to the label name and logo name， and the obtained data was filtered， integrated， and then data mining and data analysis were carried out to predict the trend of the e-commerce industry， and then to guide the decision-making of the e-commerce operations team.

Key words electronic business platform;data analysis;distributed system;AJAX;MapReduce;Jumony Core

1 引 言

2017年1月，中國互聯網絡信息中心（CNNIC）發布第39次《中國互聯網絡發展狀況統計報告》，根據報告顯示，截至2016年12月，中國網民規模相當于歐洲人口總量，高達7.31億，全年新增網民共計4229萬人.互聯網普及率達53.2%，較2015年底提升了2.9個百分點.其中在商務交易應用類發展方面，截至2016年12月，中國有99.0%的企業使用計算機辦公.在電子商務方面，開展在線采購、在線銷售的比例分別為45.6%和45.3%，大約有38.7%的企業利用互聯網開展營銷推廣活動.中國的互聯網行業整體向價值化、規范化的方向發展，同時，移動化聯網推動了共享化、設備智能化和場景多元化的消費模式[1].

圖1為CNNIC中國互聯網絡發展狀況統計調查結果.圖1顯示截至2016年12月全國有45.3%的企業開展在線銷售業務.“十二五”期間，中國電子商務市場發現迅速，交易額翻了兩番.2016年，“十三五”的開局之年，電子商務市場規模的增速依然保持穩定，企業的參與程度越來越深入，開展在線銷售的企業數量也大幅增加.隨著企業對品牌推廣意識的提升、電子商務的日益普及，以及中國互聯網的廣告市場逐步規范化，互聯網的營銷市場仍然有很大的增長空間.但是近幾年來電商行業的各大網站為搶占市場經常采取的策略是打價格戰，紛紛通過促銷、甚至降價等方式來吸引客戶.據KPCB的調查報告顯示，2009年到2016年全球移動端新用戶的增長率持續下滑，可以預測在2017年這一增長率將繼續放慢，用戶增長將更加乏力，這就意味著人口增長帶來的流量紅利正在逐漸消退.那么，單純地通過價格戰來吸引新用戶的方式已不容樂觀.嚴峻的市場競爭形勢迫使企業思考，在不依靠價格戰這種野蠻增長的方式下，當企業面臨增長困境，該如何應對？2017年11月在北京舉辦的“第三屆中國行業互聯網大會”為這一問題指出了解決思路，即在互聯網時代下“新動能，新模式”將助推企業轉型升級，優化要素配置，促進新經濟轉型.因此，對電商平臺來說，數據是電商分析問題的基礎，面對不斷增長的海量信息，如何高效的獲取數據、挖掘信息是電商企業精細化運營和數據驅動決策中亟待解決的問題.網絡爬蟲技術在電商信息來源方面和其他領域都有很廣泛的應用.

2 網絡爬蟲技術的發展現狀

隨著Internet規模的不斷擴大的和Internet技術的迅速發展，Web信息量呈指數增長，數據呈現出數據量大、種類多、實時性強、價值大等特點，大數據的應用已經蔓延到各個領域[2].數據挖掘是從海量數據中尋找其規律和聯系的技術，是統計學、數據庫技術和人工智能技術的綜合.目前，在數據挖掘的領域范疇中，相關研究機構（如：Google、百度等）已經給出了較為成熟穩定的大型網絡爬蟲解決方案，由于涉及商業化利益和機密，相對成熟的搜索引擎技術不會被公開化，網絡中的相關資源也只是膚淺的描述和概括，而且這些方案大都只能為一般用戶提供一種不可定制的搜索服務，大部分公司并不提供相關的技術方案支持.開源在網絡爬蟲方面，也已經有一些相對成熟的網絡爬蟲項目，但很多并不能被廣泛采用，并且可能會存在一些問題，如：不穩定、體驗效果差、配置繁瑣等.在開源爬蟲項目中，大部分都是單機版的，無法應用于海量數據的采集等其他情況，因此，針對電商平臺研究出一套配置簡單、穩定性強、效率高的爬蟲是很必要的.

網絡爬蟲追求的方向是如何盡可能及時、全面、有效地獲取互聯網上的數據索引，主要包括以下方面的研究：發展大規模分布式系統、提高系統的性能[3].一是分布式系統有效地推動了搜索引擎技術的發展.搭建一套擴展性強、性能穩定、成本低廉的分布式集群系統，多臺機器并行運算，可以有效地解決多個網間訪問速度過慢對網頁信息獲取的影響，加快數據的計算速度，提高網絡爬蟲的性能[4];二是網絡數據抓取內容越來越多元化.人們對網絡資源的需求不僅僅是單純的文字，需求正朝著多元化的道路發展，例如，視頻搜索，圖片搜索以及各類文檔搜索，因此網絡爬蟲面對這些也應該能夠準確的解析并且準確的獲取;三是更多的個性化服務.當前抓取內容需要具備個性化搜索，人們關心的并不是所有的電商平臺網站和其他品類網站，而只是滿足自己所需要的一些電商網站等站點，因此就需要網絡爬蟲有針對性的去獲取，不同的站點對應不同的權值;四是AJAX數據獲取[5].AJAX框架有大量的表現層代碼，由于網絡和其他的反爬蟲因素在一定程度上降低了網絡爬蟲的效率.因此，開展支持AJAX框架站網絡爬蟲的研究，對解決AJAX站點地址（URL）獲取以及檢索隱藏在其中大量數據的問題，具有重要的理論意義與實用價值[6].

事實上，在網絡爬蟲領域，學術界以及商業界都已有一些研究，其中包括：網絡爬行策略、海量數據存儲方式、海量數據索引方式、網頁評級分類等.隨著網絡信息資源的快速增長以及網絡信息資源動態的變化，傳統的爬蟲技無法滿足人們對個性化服務的需求，以何種方式訪問網絡，提高爬蟲效率，已成為近幾年來網絡爬蟲研究的主要問題之一.但大多數研究僅著眼于某一個方面的改進，因此對于一個完整的爬蟲系統來說，或多或少的會存在著某些不足.本文在已有研究成果基礎上，設計一個高效可行的網絡爬蟲方案，進而對爬取到的數據進行數據分析和數據挖掘，為企業決策提供指導.

本文主要基于MapReduce分布式系統實現了網絡爬蟲在電商中的應用，提高了網爬蟲性能，加快頁面信息獲取速度[7].針對海量信息無法存儲的問題，采用非結構化分布式存儲技術，它是一種全新的非關系型的分布式存儲技術，采用新的數據模型，具有海量數據存儲、高性能、高可用性、強伸縮性等特點，可以有效地解決數據存儲的問題.針對頁面通過AJAX異步請求獲取后臺數據，呈現到網頁信息無法獲取的問題，采用Selenium技術，它可以通過調用瀏覽器的方式，加載頁面自身內容和通過AJAX異步請求展現的內容，完全加載后，Selenium可以獲取到所有頁面內容，Selenium還可以模擬鼠標單擊、雙擊、右擊等一些操作，解決隱藏數據無法獲取的問題[8].

3 相關理論基礎

3.1 MapReduce

MapReduce是Google在2004年提出的一個用于處理大規模數據集合的分布式計算架構.該構架的提出是由編程函數中常用的Map，Reduce函數啟發結合而來，通過這個架構，可以幫助對分布式計算不太了解的程序員完成分布式計算程序的編程，實現對問題的分解與合并[9].

分布式計算是將整個任務先分割成很多小的子任務到子節點處理，再將子節點處理得到的結果進行合并整理，獲取最終結果[10].在MapReduce的執行任務的過程中主要分為Map和Reduce兩個步驟：當用戶輸入一條指令后，Map程序首先把任務分割成不相關的小任務塊，這些小的任務塊會被分配到不同的計算機進去處理，得到的結果通過Reduce程序整合.MapReduce的一般運行結構如圖2所示.

“Map”過程：Master節點接收到輸入的數據后會將數據分割成許多小的數據塊并把它們分給不同的Worker節點.Worker節點可能會再次重復上面內容;或者Worker節點調用用戶自定義的函數，將處理得到的鍵值數據對寫入到本地磁盤中.

“Reduce”過程：在Worker節點上執行Reduce函數，整理Map函數處理好的全部數據，把鍵名相同的數據通過用戶提交的指定的方法合成不同的數據集合，保存到磁盤中.

3.2 AJAX

Ajax并不能說是一種新的研發技術，而是提取的Java、XML與JavaScript等技術的特點，創建了交互式網頁應用的Web開發技術，其中包括這些技術：使用HTML和CSS定義呈現給用戶的頁面內容和媒體信息;使用DOM實時動態修改頁面顯示內容和加載效果;使用XML和XSLT進行數據交換獲取和結構化處理;使用XMLHttpRequest方法進行異步數據的查詢和獲取;使用JavaScript綁定和處理以上部分.

AJAX Web應用模型如圖3所示.

客戶端與Web服務器之間增加了Ajax引擎，客戶端接口與Ajax引擎交互，而Ajax引擎再通過HTTP傳輸協議與Web服務器端交互.Ajax Web應用采用了異步交互模式，比傳統的Web應用體驗效果更佳，更加受用戶的喜愛，有5個方面的優點[11]：①Ajax能在不刷新整個頁面的前提下更新頁面信息和頁面數據，網頁加載的速度更加快速，用戶等待頁面加載的時間更短.在等待服務器響應的過程中，用戶可以在已加載頁面進行任何操作，縮短可感知時間.②通過異步調用模式，可以帶來更好的用戶體驗，用戶可以更加直觀感覺到豐富、動態的頁面內容.③Ajax采用的原則是“按需按量取數據”，可以最大程度的減少冗余請求和大量數據的一次性加載，優化服務器和客戶端的傳輸，從而提高網絡帶寬的利用率，減輕服務器負擔.④Ajax不但可以調用本地資源，還可以加載外部數據，非常具有靈活性.⑤Ajax技術應用非常簡單，沒有任何插件和程序的安裝，操作簡單，能被開發者廣泛支持.

3.3 Jumony Core

Jumony Core是一個非常真實的HTML引擎.目前的HTML解析器加上簡單的正則表達式已經可以滿足用戶操縱HTML文檔的需求，但對于Jumony Core，它更加強大.Jumony Core解析結果和瀏覽器的解析結果相似度非常高，無論是無結束標簽的元素，可選結束標簽的元素，或是標記屬性，或是CSS選擇器和樣式，一切合法的，不合法的HTML文檔，瀏覽器解析成什么樣式和內容，Jumony Core出來的效果幾乎和瀏覽器一樣.Jumony Core包含的封裝方法及作用如表1所示.

4 本研究對爬蟲技術的設計

4.1 設計思想

目前，爬蟲在抓取數據上，一般采取兩種策略：廣度優先策略與深度優先策略[12].廣度優先是指爬蟲沿著樹進行橫向遍歷，直到抓取完起始網頁中連接的所有網頁為止，然后再選擇其中的一個網頁鏈接，循環這個過程.此方法可以讓爬蟲并行進行，提高了抓取速度.深度優先是指爬蟲沿著樹進行縱向遍歷.深度優先策略是一個遞歸的過程，因此在程序執行的時候會大量消耗計算機的內存，很容易使爬蟲陷入問題，甚至是電腦死機.另外，遞歸與多線程是無法兼容的，因為多線程可以一次運行多個任務，但每個線程都要有自己的堆棧.而在遞歸時，當一個方法調用它自身時，它們需要使用同一個堆棧.因此，本爬蟲程序采用廣度優先策略.具體實現方式為：首先，統一不同電商平臺的分類信息，通過比較判斷找出不同電商平臺的公共分類信息，分類信息還分為一級分類和二級分類，一級分類下面包含多個二級分類;其次，整合所有二級分類，獲取所有二級分類所對應的商品列表URL，初始化URL，直到對應的URL沒有商品為止;最后，把獲取到的產品信息存儲到數據庫，存儲到數據庫中的數據經過清洗過濾得到標準化的數據，然后進行數據統計分析，從而把握電商行業的銷售趨勢.圖4為本程序對商品數據獲取及保存示意圖.

4.2 操作流程與實現

圖5清晰地展示了程序的主要流程.收集網絡中不同的電商平臺進行分析對比，獲取不同電商網站針對的不同分類的側重點，對于相似的分類，可以關聯分類后統一化名稱.對于每個分類下面的商品，需要不斷的初始化對應URL，從而獲得不同分頁下面的商品信息，獲取商品信息的時候，對信息不完整的商品進行舍棄.在數據整理的時候，過濾不符合規則、異常的數據.

4.3 統一分類

當前網絡電商平臺眾多，其中國內比較知名的主要有淘寶、天貓、京東等，但這些電商平臺的一級分類和二級分類，甚至更深層的分類錯綜復雜[13].把這些電商平臺的所有分類整合，挑選出其中具有代表性的一級分類，在一級分類的決斷中，盡可能的要包含人們生活的各方面.對于二級分類的確定，通過與一級分類的關聯度和常識去決定.最終，可以得到基于不同電商平臺下的一套相對統一的標準化分類.

4.4 初始化URL

不同電商平臺的二級分類下面可能會有更細的小分類，但不是商品列表，要盡可能完整的獲取到所有分類下面的信息就需要把這些更小的分類下面的商品列表對應的URL也存儲到數據庫，這些小的分類應該與其父級分類建立關聯外鍵.每個URL對應的商品列表只有一頁，一般要想獲取更多的頁面列表就需要改變URL中對應頁碼的數值.尚待訪問URL隊列可以被構造為一個先進先出（FIFO）隊列，信息搜索的下一個將要爬行的頁面來自隊列頭，新的URL被加入到隊列尾.每一步都是從隊列頭中選出下一個URL供爬蟲抓取，直到爬完此隊列中所有URL為止.

4.5 頁面信息提取

在提取頁面信息時，首先必須先判斷頁面的編碼方式，目前的字符集種類非常多，其中主要以“UTF-8”，“GBK”，“GB2312”為主，具體可以在網頁頭部可以看到，例如：.在讀取頁面內容時，先要判斷獲取內容的類型，如果是多媒體數據，則可以下載存儲到網頁數據庫中，如果是無結構或半結構化的網頁文本，則需要繼續分析.在獲取URL頁面內容時，如果出現超時、頁面丟失、獲取錯誤等現象時，就認為此網頁失效，對應的URL就被存儲到相應的錯誤列表中，如果能正常獲取，則需要解析網頁內容.

4.6 解析頁面內容

網頁解析主要是內容分析和鏈接提取.獲取頁面內容后，根據頁面內容去解析提取所需要的信息，并通過標簽，CSS名稱或者標簽ID獲取目的標簽路徑.一般情況下，元素會包含很多屬性，其中具有唯一性的屬性就是元素的ID，這樣能更快更精確的找到需要的內容，其次就是元素的CSS名稱，CSS名稱可以存在有很多，可以通過下標或者結合元素其他屬性來準確獲取，最后就是通過元素的標簽獲取，一個頁面內容會包含很多這樣的標簽，想確定唯一想要的就要逐步的查找該元素的父級，通過不同的父級元素來獲取唯一的子級元素.獲取到的元素內容文檔可以提取到如下信息：

1）文檔標題：通過文件頭標簽可以得到元素title里面的字符串內容，一般元素title里面的內容就是當前頁面的標題，展示了當前頁面的主要信息和性質.

2）商品鏈接：鏈接一般都是元素里面的屬性“href”的值，通過鏈接可以得到商品的詳情頁面，獲取更多的商品信息.

3）商品標題：商品標題一般可以在兩個地方獲取，第一，商品列表中有標題的信息，第二，在商品詳情頁面中可以獲取商品的標題信息.

4）圖片：電商平臺中商品幾乎都是存在圖片的展示，圖片的信息可以通過命令符或里面的屬性“src”或”background”的值獲取，屬性值代表了商品圖片的鏈接地址，并不能直接下載存儲在數據庫中.網頁圖片的獲取要通過程序解析圖片的二級制字符流，把這些字符再在程序中下載并保存到本地數據庫.

5）多窗口頁面：通過命令符