一種基于方差分析的電子商務銷售數據分析系統

葉長青

摘要：該系統為電子商務網站提供一個銷售數據分析解決方案。系統保存電子商務網站的銷售數據，可以隨時對數據進行統計計算，快速獲得結果。系統采用方差分析算法對數據進行分析，利用分布式結構和內存數據庫進行算法的計算，提高了計算的速度和便利性。

關鍵詞： 商務統計;分布式;方差分析

中圖分類號：TP311.5? ? ? ? 文獻標識碼：A

文章編號：1009-3044（2021）36-0048-03

開放科學（資源服務）標識碼（OSID）：

1 現狀和本系統的特點

隨著電子商務的發展，對分析工具的需求也在快速增長。本文通過分析銷售數據，電子商務網站可以分析顧客的偏好，從而決定開發、營銷何種產品，反過來用戶可以隨時隨地查看、分析自己的數據，并且可以通過電腦、手機、平板等各種終端。只要能連上網絡，用戶就可以使用分析工具的功能。

盡管存在很多銷售數據分析工具，但是一般只是對某個數據的縱向比較，例如，將過去一年的銷售量以折線圖、餅圖等形式表示，僅可以將不同數據顯示在一張圖表上，不能指示各個數據間的關系。市面上缺少一種可以將各個數據橫向比較、分析各個銷售數據間關系的工具。目前，如果要做這樣的分析，分析人員只能將銷售數據導出，借助于專門的數學工具進行計算。這種方法非常不便，而且門檻過高，該系統致力于簡化步驟、拉低門檻。

現有方法的另一個缺點是，統計學分析軟件如SPSS是桌面程序，計算過程需要在本機實現，因此計算速度受到用戶計算機性能的限制。并且，它只能在特定的操作系統下運行，沒有平臺擴展性，更不必說在手機、平板等移動設備上運行。

該系統是一個便于使用的、一站式的銷售數據橫向比較工具。用戶通過系統提供的API，將該系統與電子商務網站整合，當用戶需要分析時，指定需要分析的相關數據，系統就在后臺計算出結果。通過分布式的結構，將算法的計算工作分發到多個節點進行同時運行，提高同一時間能運行的計算數量。響應速度則對算法本身進行優化，提高單個算法的運行速度。

2 系統架構與開發技術介紹

2.1 系統架構設計

系統大致分為三個部分：Web部分、計算部分、數據庫部分。Web部分提供對外（客戶端）的接口，計算部分處理算法的運算操作，數據庫部分存儲電子商務網站的原始銷售數據和分析后的數據。每個部分可以是單個服務器，也可以是服務器集群，如圖1所示。

客戶端調用Web服務器提供的接口，導入、添加數據，并且發出數據分析請求。Web服務器將原始數據寫入數據庫，并且將計算任務交給計算服務器。計算服務器從數據庫獲取數據，計算完成后，再將結果寫入數據庫。計算服務器不通知Web服務器計算完成，客戶端向Web服務器請求結果時，Web服務器向數據庫查詢，如果有結果則返回給客戶端，否則返回提示信息正在計算中。

2.2 開發環境介紹

2.2.1 Python

本系統主要采用Python語言開發，Python是一種解釋型、面向對象、動態數據類型的高級程序設計語言，它具有很多專用的科學計算庫，比如：NumPy、SciPy和matplotlib，它們分別為Python提供了快速數組處理、數值運算以及繪圖功能，十分適合本系統的開發和維護[1]。Python語言及其眾多的擴展庫所構成的開發環境十分適合工程技術、科研人員處理實驗數據、制作圖表，甚至開發科學計算應用程序[2]。

2.2.2 MongoDB

MongoDB是一個開源的、高性能、無模式的文檔型數據庫，它是介于關系數據庫和非關系數據庫之間的產品，是非關系數據庫中功能最豐富的。它支持的數據結構非常松散，是類似json的json格式，因此可以存儲比較復雜的數據類型。它在許多場景下鍵/值可用于替代傳統的關系型數據庫或存儲方式[3]。Mongo是使用C++開發，特點有高性能、易部署、易使用，存儲數據非常方便。Mongo最大的特點是它支持的查詢語言非常強大，其語法類似于面向對象的查詢語言，可以實現類似關系數據庫單表查詢的絕大部分功能，而且還支持對數據建立索引。

3 系統總體結構設計

3.1 系統流程

系統流程如圖2：

（1）客戶端通過HTTP Basic方式提交密碼信息。

（2）Web服務器查詢數據庫，驗證密碼是否正確。

（3）如正確，返回一個token，否則返回錯誤信息，后續的請求都要包含這個token。

（4）客戶端發出請求，指定要分析的數據。

（5）Web服務器立刻返回一個地址，客戶端稍后可以去這個地址查詢結果。同時，Web服務器對計算服務器發出計算請求。

（6）計算服務器計算完成后，將結果寫入數據庫。

3.2 計算結構圖

計算服務器由一個控制器和若干個節點組成，如圖3，節點從控制器獲取任務后，計算并將結果寫入數據庫。同時，節點會記錄每個算法的運行時間，包括CPU時間與IO時間，以便于以后的調度。

控制器起到橋梁的作用，用來連接Web服務器和計算節點。其本身不進行運算，它將Web服務器發來的計算請求，分發給各個運算節點，由各個節點進行具體運算。

計算節點將包括兩個功能：

（1）任務調度（節點內）。

（2）對算法進程使用資源情況進行記錄。

控制器起到橋梁的作用，用來連接Web服務器和計算節點。其本身不進行運算，它將Web服務器發來的計算請求分發給各個運算節點，由各個節點進行具體運算。分發任務時，控制器需要考慮各個節點間的負載平衡，并且要保證實時要求比較高的任務先得到執行?？刂破骱凸濣c、Web服務器之間的接口使用RMI的方式實現?？刂破靼l布一個Control對象，節點和Web服務器可以連接到這個對象。

計算節點將包括兩個功能：

（1）任務調度（節點內）。由于算法可能涉及很大的數據量傳輸和計算，要充分利用計算節點的資源，把算法分為CPU密集型和I/O密集型。當CPU空閑，優先調度CPU密集型算法;當CPU負載不高，調度I/O密集型算法;當CPU負載過高，等待已有算法計算結束。

（2）對算法進程使用資源情況進行記錄。

4 數據分析算法

根據數據類型，算法需要分成很多種類，雖然目的類似，但算法完成過程不同。影響算法種類的因素很多，如參數的個數、參數的屬性（獨立的或是不獨立的，可衡量的或是不可衡量的）、數據的丟失等，目前該系統實現了一種算法，方差分析（Anova）[5]。

4.1 方差分析原理

本系統采用了方差分析來進行銷售數據的計算分析，其原理闡述如下：

數據說明：數據有二列，第一列為固定因素A，第二列為觀察值Y，固定因素A有p個水平，每個水平重復試驗了m次。

計算中間值PQR：

[P=1pm（i=1pl=1my2il）]，[Q=1mi=1p（l=1my2il）]，[R=i=1pl=1my2il]

計算SA、SE和ST：

[SA=Q-P]，[SE=R-Q]，[ST=R-P]

計算自由度和顯著性：

[fa=p-1]，[fe=p（m-1）]，[ft=pm-1]，[Se=Se/fe]，[Sa=SA/fa]

[F=Sa/Se]，[p=1-fcdf（F，fa，fe）]

返回結果（result）：

[來源 平方和 自由度 均方 F值 顯著性 A [SA] [fa] [Sa] [F] [p] Error [Se] [fe] [Se] Total [ST] [ft] ]

4.2 算法實現

本系統首先數據存儲在MongoDB數據庫，依靠數據庫自身攜帶的查詢函數，快速準確地計算出中間變量。最后，再對中間結果進行運算，計算出最終結果，并且存入數據庫，然后讓服務器處理用戶請求。MongDB數據庫自身帶有find、distinct、count函數，尤其是mapReduce函數，這是計算中間變量的關鍵，該算法在計算中間變量P、Q、R時，并不將數據讀取到本地計算，而是采用數據庫的mapReduce方法，直接由數據庫計算出這三個中間變量。

5 小結

本系統目的是為電子商務網站提供一個一站式、易于使用的銷售數據分析工具。用戶可以向系統中導入過往的銷售數據、實時添加新的數據，并且能發出數據計算請求，分析某幾項數據中的內在關系。用戶還可以指定監控某個分析結果，系統會定時根據新數據重新計算，一旦結果達到用戶的要求，便通知用戶。當系統的運算力不足時，可以添加一臺或多臺服務器作為運算節點，通過分布式計算的方式提高響應速度。采用方差分析作為數據分析的算法，并使用MongDB來進行方差分析計算，提高系統的速度。

參考文獻：

[1] Wes McKinney.利用Python進行數據分析[M].北京：機械工業出版社，2010.

[2] Eric Matthes，Bradley N Miller. Python編程從入門到實踐[M].北京：人民郵電出版社，2012.

[3] 張雯杰，蔡佳玲.MongoDB從入門到商業實戰[M].北京：電子工業出版社，2019.

[4] 李智慧.大型網站技術架構核心原理與案例分析[M].北京：電子工業出版社，2013.

[5] 王松桂.線性統計模型線性回歸與方差分析[M].北京：高等教育出版社，2009.

【通聯編輯：代影】