大數據處理對電子商務的影響研究*

陳云海，黃蘭秋

（1.中國電信股份有限公司廣東研究院 廣州 510630；2.華南師范大學經濟與管理學院 廣州 510006）

大數據處理對電子商務的影響研究*

陳云海1，黃蘭秋2

（1.中國電信股份有限公司廣東研究院 廣州 510630；2.華南師范大學經濟與管理學院 廣州 510006）

鑒于傳統的IT基礎設施難以對電子商務系統中日益增長的數據進行有效管理及利用，本文在云計算的時代背景下，對大數據處理技術進行分析闡述，并在此基礎上，探討了大數據處理對電子商務發展的影響。

大數據；電子商務；云計算

1 引言

隨著“巨無霸電子商務（以下簡稱電商）”的出現，并發訪問量級大大增加，數據呈爆炸性增長，數據類型多樣化，淘寶和天貓在2012年11月11日“雙十一”的總交易額高達191億元，共吸引了2.13億名獨立用戶訪問。春運時期，鐵道部售票網站日點擊量在5億次以上，伴隨著業務量的劇增，電商平臺每秒鐘都在生成海量的非結構化、半結構化數據（如文本、應用、位置信息、圖片、音樂、視頻等）。高并發和大數據量訪問成為當前電商系統發展的瓶頸，根據調查，46%的人認為處理大量數據是其最大的挑戰[1]。這些大數據量往往以 PB（1000 TB）、EB（106TB）或ZB（109TB）為計量單位，稱為大數據。傳統的分布式計算、并行計算和數據庫集群等技術由于技術上的局限性，長期存在擴展性低、成本高、硬件復雜等問題，電商的大數據處理客觀上要求引入具備高容錯性、高擴展性、低成本、易使用性的新的架構和大數據處理技術。

2 大數據時代電商IT基礎設施的變革

后互聯網時代，PC服務器成為電商企業最廣泛使用的IT基礎設施，隨著業務量的發展，電商企業大量使用了PC服務器集群技術和小型機技術，用于滿足日益增長的在線業務交易量。同時，企業必須投入大量人/財/物等資源對IT基礎設施進行常規性的維護、升級、擴容、更新。

2.1 電子商務中數據倉庫系統的發展

當前，電子商務的數據大規模存在且持續增長，表現為大規模、分布式、異構性，使得電商數據倉庫系統發生了顯著變化：數據量由TB級升至PB級，并仍在持續爆炸式增長。有關調查顯示，2015年最大數據倉庫中的數據量將逼近100 PB，其增長速度遠超摩爾定律；分析需求由常規分析轉向深度分析；硬件平臺由高端服務器轉向由中低端硬件構成的大規模集群平臺，并行數據庫的規模增大，成本急劇上升[2]。電商數據分析的兩大趨勢和挑戰是：數據量的膨脹；數據深度分析需求的增長[3]。

目前僅具備傳統數據處理技術和信息分析能力的數據倉庫和BI工具難以完成PB級大數據的數據管理和分析工作。

2.2 大數據的IT基礎云計算架構

云計算是新型分布式網絡計算架構，特別適合向各種網絡應用提供計算、存儲、網絡、軟件等在線服務，NIST認為這種架構具有5個關鍵功能、3種服務模式和4種部署方式[3]，如圖1[4]所示。

云計算的特征主要有：按需自助服務（on-demand self-service）、泛在網絡訪問（broad network access）、虛擬池化的資源（resource pooling）、快速可伸縮性（rapid elasticity）、可度量的服務（measured service）[5]，這些能力對當前電商的基礎IT設施來說，都是必須要滿足的要求。

3 大數據處理模式

大數據處理模式從傳統的數據庫集群演進到云計算MapReduce大規模并行處理架構，實現任務的分解處理和結果合并，從而實現對可處理數據規模的無限擴展，大數據處理技術已被認為是繼云計算、物聯網之后IT產業又一次顛覆性的技術變革。

3.1 數據庫集群模式

集群是指通過協同工作方式運行同一套應用程序，針對客戶端及應用程序提供單一系統映像，使用特定的連接方式，將硬件設備結合起來，構成的松散耦合的計算節點集合，具備以下優勢：性能提升、擴展性提升、可靠性提升。數據庫集群是將集群技術引入數據庫[6]。

數據庫集群在技術上具備一定的局限性，具體介紹如下：

·采用PC服務器作為功能節點，系統線纜眾多，硬件復雜度過高，實施架設難度較大，可擴展性受限；

·高速互聯設備必須通過主機的PCI插槽與主機相連，而PCI的傳輸速率無法滿足并行數據庫集群節點間的數據通信要求；

·數據庫安全性和數據集可擴展性提升空間極小，全面提升速度、數據同步、安全保證、可擴展性4個技術指標是一大難題；

·隨著設備量的增加和應用的復雜化，需要迅速追加投入以解決所引起的兼容性和可靠性等各類問題；

·并行數據庫主要采用shared-nothing結構，在擴展性、容錯性、成本、對異構環境的支持能力等方面有所欠缺并相互影響，因此擴展性非常有限，目前尚未有數千節點規模的應用案例[2,7]。

圖1 NIST云計算參考模型

3.2 MapReduce框架

云計算架構由大規模低端服務器組成服務器集群，提供海量存儲空間和大規模數據的處理能力，具備可靠性、擴展性以及高可用性，因此中國科學院計算所、中國移動、百度和淘寶、網易等電子商務平臺都使用主流云計算平臺Hadoop架構進行Web搜索、大數據分析等[2,8,9]。MapReduce框架包括：分布式文件系統 （HDFS）、并行編程模型MapReduce、并行執行引擎。

從HDFS角度來看，Hadoop的節點由存儲并提供定位塊服務的數據節點（data node）和管理分布式文件系統命名空間的命名節點（name node）組成，HDFS主從結構的體系架構設計大大簡化了分布式系統架構。其文件系統的設計特點是：元數據集中管理、數據塊（64 MB）分散存儲以保證數據的安全性，數據復制（每份數據至少3個備份）實現高度容錯[3]。傳統的數據庫系統實時響應能力較高，但對于TB級或PB級別的大數據集，數據挖掘的檢索速度則急劇下降，但引入HDFS與RDBMS相結合的機制可以充分利用兩者的優勢，實現高效率的數據挖掘與決策支持[9]。

MapReduce由Google設計，用于對集群上的大數據集進行并行計算處理，是非關系型數據管理和分析技術的典型代表。MapReduce將數據處理任務抽象為一系列的map（映射）和reduce（化簡）操作對，分別完成數據的過濾和聚集操作，并通過簡單的界面進行管理。其計算流程和基本原理簡單地說，就是將大數據集分解為成百上千個小數據集，每個（或若干個）數據集分別由集群中的一個節點進行處理并生成中間結果，這些中間結果又由大量的節點進行合并，形成最終結果，如圖2所示。

基于MapReduce計算模型編寫分布式并行程序的主要編碼工作就是實現 map和 reduce函數，其他的分布式存儲、工作調度、負載平衡、容錯處理、網絡通信等復雜問題均由MapReduce框架負責處理。MapReduce原理簡單、技術簡潔、數據處理效率高，在系統層面解決了數據庫集群難以解決的擴展性、容錯性等問題，MapReduce免費開源，基于異構廉價服務器搭建可彈性伸縮的大規模集群，并行、分布式地處理和分析大規模數據，其構建成本遠低于數據庫集群所采用的并行數據庫[9]。幾種大數據處理模式的比較分析見表1，可見，MapReduce大數據處理模式具有相對顯著的優勢。

4 大數據處理對電子商務業務的影響

在IT基礎設施上，淘寶率先引入云計算技術，阿里云成為我國第一家專門從事云計算服務的公司，淘寶的所有交易系統都為自建，通過電商平臺集成海量數據，以下主要以淘寶為例，分析引入MapReduce大數據處理模式給電商業務帶來的革命性影響。

4.1 強大的信息檢索服務

商品的豐富性直接影響電商的競爭力，而海量的商品數目、繁雜的分類體系以及復雜的非結構化的商品屬性數據等都需要IT基礎設施具備足夠的靈活性和強大的檢索能力。

圖2 MapReduce并行計算流程[3]

表1 大規模數據處理模式的比較分析

云平臺架構提供的超大規模計算能力和大數據處理能力能夠提供強大的個性化信息檢索功能，即根據用戶的個體差異、個人興趣和需求特征進行智能海量檢索，并高效率返回高查全率和查準率檢索結果[9]。另外，還能實現信息推送服務、熱點信息推送、信息推薦等新型信息檢索服務[9]。

云計算的技術優勢使得信息檢索和服務可以很好地解決長期存在的人類自然語言理解、知識推理等問題，充分發揮深度數據挖掘和知識發現的功能，以迅速準確地分析處理用戶信息行為、理解用戶自然語言表達并進行相應智能檢索，得出符合用戶需求的信息和產品，提高用戶服務的速度和精準度[10]，最大限度地提升客戶滿意度。

淘寶商品具備數十種屬性，還包括視頻、圖像等多媒體數據，淘寶用戶可以通過顏色、價格、品牌等幾十種屬性在海量數據中進行智能檢索和過濾，檢索的實時性和準確率很高。2010年淘寶注冊用戶數達到3.7億戶，在線商品數達到8億件，最多每天有6000萬人訪問淘寶網，平均每分鐘出售4.8萬件商品[14]，實時呈現訂單結果。

4.2 快速的彈性處理能力

電商系統必須具備無以倫比的快速彈性處理能力，能夠處理突發的訪問量、海量訂單和客戶瀏覽請求，而且需要根據需求和業務量的上漲不斷擴容服務器和增加數據存儲設備。

基于云計算技術的云存儲平臺擁有理論上無限的海量存儲和超大規模計算等資源，能夠存儲和處理TB級乃至PB級的海量數據[11]，企業不用安裝硬件，就可以廉價、快速地部署應用系統并實現彈性伸縮，以提高資源的管控能力和促進優化利用。這種豐富的IT基礎設施和彈性處理能力能夠廉價、快捷地輸出給中小企業。淘寶和天貓2012年中國互聯網時尚消費數據顯示，淘寶在線銷售的原創商品每日更新超過100萬件，由于淘寶的成功營銷，2010年、2011年、2012年的11月11日，淘寶單日交易額分別為9.36億元、52億元、191億元[12]，銷售額的激增和“雙十一”營銷的成功，驗證了淘寶云計算平臺的運轉效率及快速的彈性處理能力。

4.3 精準的海量數據分析

實時性的海量數據分析越來越成為電商的核心競爭力，大數據的價值關鍵在于信息分析和利用。云計算可在極短時間內對海量數據和大數據進行收集、存儲、分析和處理，極大地提高了企業的信息分析能力，使得電商需要的實時精準的海量數據挖掘和大數據深度分析等成為可能。淘寶每天數以千萬計的交易產生大量的交易時間、商品價格、購買數量等交易數據和利益相關方的年齡、職業、地址等個人特征信息，從這些海量數據中，淘寶實時準確地進行各類店鋪排名和個性化智能推薦；進行用戶行為數據分析，得到電商用戶所需的個性化信息與產品，便于開展精準營銷；商家根據歷史信息和“淘寶指數”進行生產、進銷存計劃；買家得以獲得更符合個性化需求的商品信息，提高客戶滿意度。

4.4 云化的信息安全服務

信息安全是電商企業業務可持續的最關鍵保障。在大數據時代，大數據成為國家和企業的核心資產，大數據藍海成為未來競爭的制高點。但是，大數據往往更復雜、更敏感，更易成為網絡攻擊的顯著目標，加大了隱私泄露風險，大數據深度分析技術讓黑客的攻擊更精準。電商系統不可能防止外部數據商挖掘個人信息，各社交網站均不同程度地開放用戶所產生的實時數據，外部數據提供商能夠通過收集、監測、分析這些數據得出用戶的信息體系，常規的安全方案與措施無法滿足大數據時代數據非線性增長的需求，用戶隱私安全問題將更為顯著。例如，能夠通過智能手機定位分析精確鎖定個人位置。

另一方面，大數據處理技術能夠全面、及時、精確地監測并獲取各類網絡異常行為或網絡攻擊行為的結構化和非結構化數據，實時進行安全分析和預防性分析，以便度量企業安全級別和安全風險，更有針對性地設計、實施信息安全方案，應對安全風險，尋找攻擊源，識別釣魚攻擊，防止詐騙和阻止黑客入侵等。

云計算技術能夠把專業可靠的信息安全方案封裝為云服務，為用戶提供優質、廉價、全面的安全和備份服務。所有信息資源都托管在云端，由云計算強大的服務器集群和虛擬化技術提供冗余、災備、數據備份和自動故障恢復等功能，專業的IT管理團隊負責維護電商企業數據，提供專業化的信息安全與保密方案[9,13]。

淘寶網構建了系統的安全體系，包括支付安全、信用評價、店鋪評分、物流保障、網絡安全、風險控制、消費者保障等，并且不斷加強自身系統安全、打擊各類網絡欺詐行為、開展用戶安全教育，2012年淘寶安全中心共攔截592萬個釣魚網站，攔截木馬1477萬次，引導超過2400萬名淘寶用戶綁定二次驗證、淘寶安全中心等安全產品[14]，這些安全舉措較為成功地凈化了網購環境，保障了電商的規模發展。目前淘寶網的消費投訴率不到1%，低于實體零售商。

5 結束語

云計算、大數據已被公認為信息技術的熱點和趨勢，本文主要探討如何借助云計算和大數據處理技術改善電商系統的IT基礎設施、轉變服務理念、創新商業模式、發展電子商務。筆者認為，大數據處理在電子商務上的未來發展趨勢主要有以下幾方面。

（1）專業化數據處理服務與產品日益豐富

超大規模電商企業（集團、聯盟）、政府、公益機構、盈利機構等在云環境下得以協同工作，免費或收費地提供專業化數據處理服務或產品，并可輸出給沒有足夠IT能力的中小電商企業。

（2）大數據定制化系統

大數據定制化系統成為超大規模電商的商機和趨勢，并可作為IT能力輸出給中小電商企業，目前，浪潮集團等企業已發布了定制化、專業化的大數據系統或產品。

（3）構建新型電商的商業模式

云計算帶來的規模經濟效應、個性化服務、長尾效應、藍海、眾包等，不僅變革了IT基礎設施，更重要的是重塑了經濟學概念，促進了企業業務模式的改變，從而使得可以快速邁進服務經濟時代[14]。傳統商業模式和業務模式得以徹底變革和創新，隨著技術與營銷思想的良性互動，將涌現出越來越多的新模式、新思路、新方法。

（4）IT基礎設施成為核心競爭力

云計算架構和大數據處理的巨大可擴展性，為海量計算資源、存儲資源的整合管控能力和7×24 h的高可靠性，提供更加卓越的計算處理性能、簡單方便的部署使用方案和全方位的監控管理措施，可以顯著提高數據中心和高性能計算中心的生產率和工作效率，最大限度地降低IT運營和管理維護成本，給傳統IT基礎設施帶來革命性變革。這種技術優勢突破了電商交易規模的發展瓶頸，在技術的基礎上提升了電商行業的發展上限，使得IT基礎設施逐漸成為電商企業的核心競爭力。

1 億邦動力網.零售商認為大數據有利于電子商務.http://www.ebrun.com/20121018/58764.shtml,2013

2 王珊,王會舉,覃雄派等.架構大數據:挑戰、現狀與展望.計算機學報,2011(10):1741～1752

3 覃雄派,王會舉,杜小勇等.大數據分析——RDBMS與MapReduce的競爭與共生.軟件學報,2012(1):32～45

4 Liu F,Tong J,Mao J,et al.NIST cloud computing reference architecture.http://www.nist.gov/customcf/get_pdf.cfm?pub_id=909505.pdf,2011

5 Mell P,Grance T.The NIST definition of cloud computing.http://csrc.nist.gov/publications/nistpubs/800-145/SP800-145.pdf,2012

6 董旭,葉劍,劉煜.數據庫集群技術淺析.郵電設計技術,2012(10):23～25

7 數據庫集群技術.http://blog.csdn.net/sillybanny/article/details/532583,2013

8 趙春雷,喬治·納漢.“大數據”時代的計算機信息處理技術.世界科學,2012(2):30～31

9 黃蘭秋.基于云計算的企業競爭情報服務模式研究.南開大學博士學位論文,2012

10 于曉燕.基于網格的數字圖書館模式構建研究.南開大學博士學位論文,2010

11 趙海峰.檔案館應用云計算技術的可行性分析.蘭臺世界,2012(20):23～24

12 中國電子商務研究中心.2010年淘寶雙11總銷售額9.36億元.http://www.100ec.cn/detail—6071538.html,2012

13 孔楠.基于云計算平臺的商業服務模式研究.上海外國語大學碩士學位論文,2010

14 中國電子商務研究中心.淘寶網發布2013春節網購安全寶典.http://www.100ec.cn/detail—6082154.html,2012

15 CIO時代網.從經濟學的角度來看云計算.http://www.ciotimes.com/cloud/cjs/59434.html,2012

16 李滿意.大數據安全.保密科學技術,2012(9):71～72

17 新浪科技.淘寶宣布注冊用戶達到3.7億.http://tech.sina.com.cn/i/2011-01-06/20285067308.shtml,2012

Study on the Impact of Big Data Processing in Electronic Commerce

Chen Yunhai1,Huang Lanqiu2
(1.Guangdong Research Institute of China Telecom Co.,Ltd.,Guangzhou 510630,China;2.School of Economic and Management,South China Normal University,Guangzhou 510006,China)

It is difficult for traditional IT infrastructure to manage and use the growing massive data in electronic commerce effectively.In view of it,the impact of big data processing on the development of electronic commerce was discussed based on discussing the big data.

big data,electronic commerce,cloud computing

10.3969/j.issn.1000-0801.2013.03.004

* 中國民航信息技術科研基地開放課題基金資助項目（No.CAAC-ITRB-201206））

陳云海，男，中國電信股份有限公司廣東研究院信息業務研發室主任、工程師，主要研究方向為視頻編解碼算法、互聯網應用、虛擬化、云計算、自然語言處理、知識管理及應用。

黃蘭秋，女，博士，華南師范大學經濟與管理學院講師，主要研究方向為云計算、數據挖掘、情報學。

2013-03-04）