基于數據挖掘的在線數據分析系統的設計

李星熠 吳小勇 韓龍 姜發健 陳子康

摘? ?要：隨著信息時代的到來，數據量日益膨脹，尋找一種能夠有效分析、處理數據的手段的需求也日益迫切，在當今社會生產活動中，數據分析可視化正成為一種越來越普遍的需求。因此數據分析軟件也隨之成為各行各業從業人員的標配，本文將介紹的ZoomIn數據分析系統，采用簡單易懂的Web操作界面來為用戶提供將復雜數據可視化和使用模型對數據深度挖掘的功能，讓用戶能夠通過對數據進行清洗、統計分析、訓練相應的機器學習模型之后挖掘出隱藏在數據中的潛在價值。

關鍵詞：數據挖掘? 數據分析? 數據可視化

中圖分類號：TP311.1? ? ? ? ? ? ? ? ? ? ? ? ? ? ? ?文獻標識碼：A? ? ? ? ? ? ? ? ? ? ? ? 文章編號：1674-098X（2020）03（a）-0133-02

現今大數據時代下，不少中小企業已經積累了大量本行業的數據，但是由于沒有專業數據分析能力，或是未配備數據分析人員，導致并不能將數據轉化為生產力。

現有市面上的數據分析工具如：Tableau、Spss等軟件操作門檻較高，對專業能力有著一定的要求，需要數據分析師進行技術支持，成本過高。而且，市面上的數據分析軟件大部分是PC端，鮮有Web端應用，這就造成使用不便、系統配置成本大等問題[1]。如何才能讓大數據分析變得友好和易于理解，可視化無疑是最有效的途徑。

ZoomIn數據分析系統是一款智能數據分析產品，把抽象數據的可視化功能和專業的數據挖掘模型科學整合，系統采用Web應用的方式呈現給用戶，在使用后可導出可視化分析報告、輔助決策等。

1? 系統架構

本系統將目標需求按數據分析思路劃分為五個模塊，其中包括創建任務模塊、數據預處理模塊、數據分析模塊、數據挖掘模塊和任務發布模塊。

在任務發布后，用戶對于同一任務可以進入任意模塊進行迭代與改進，以保證分析結果的準確性和靈活性。

ZoomIn數據分析系統各組件均采用開源技術，這些技術具備成熟度高、性能穩定與可擴展性高等諸多優勢。系統組件包括：Web后端框架Django搭配前端框架Vue、前端數據可視化工具E-Charts、進行數據處理與清洗的Pandas、繪圖工具庫Seaborn、機器學習算法庫Scikit-learn以及結構化數據庫MySQL等。

2? 數據挖掘與展示

2.1 數據挖掘

Python語言近幾年來在數據挖掘、數據分析等領域的使用率與熱度持續上升，這主要得益于其豐富且強大的庫以及其優雅簡潔的語法特性。本系統中主要使用到的Pandas是Python中一種數據分析的包，可以用來做科學計算，從而為數據挖掘提供預先數據清洗和處理的環境。

數據挖掘階段，我們就會使用Scikit-learn包，運用其中封裝好的機器學習與數據挖掘算法構造挖掘模型。其中我們的數據挖掘模塊將不同字段組合放在不同算法模型進行關聯分析、相關性分析、預測分析、聚類分析等挖掘其隱藏的信息。

2.2 數據可視化

本系統做為一個數據分析平臺，其主要功能就是為了在Web端通過用戶的簡單交互操作，將復雜的數據源進行整理并將數據分析圖表或是數據挖掘結果進行多維度展示。在數據挖掘階段，我們將準備的各種挖掘模型的可調參數暴露給用戶，讓用戶可以通過反復的調參配合圖表進行不同角度的觀察與分析。

本系統的數據可視化部分采用兩種不同展示方案，首先在數據預處理與數據分析階段，由于用戶需要拖拽字段和數據列來做直觀處理，我們采用在前端使用E-Charts進行支持。而后在數據挖掘階段，由于涉及大數據量的模型運算，會大大造成運算服務器的壓力，所以我們使用SeaBorn將模型運算后的視圖直接傳送到前端展示。

3? 應用價值

本系統不僅填補了Web端數據分析軟件的空白，并且操作門檻低。專業的數據分析功能解決了有數據但無分析能力的中小用戶的痛點，具有很高的應用價值，非常適合非數據挖掘專業方向的用戶進行使用。借助數據挖掘模型[2]從大量原始數據中發掘出隱含的、有用的、尚未發現的信息，幫助決策者尋找數據間潛在的關聯，發現被忽略的因素。

4? 實驗與應用

4.1 數據源

數據來源是由用戶提供，由于Pandas的強大功能可以將目前主流的數據文件類型統一處理比如csv、txt文件等，這些都屬于中、小規模數據量，如果是大數據量處理的話，系統會選擇高速通道傳輸文件。

4.2 學生成績分析

智能教育是人工智能、大數據等智能技術與教育深度融合和創新發展形成的教育新模式[3]，隨著它的普及，教育愈發從傳統的經驗式把控逐漸向著數據量化控制方向靠攏。而成績分析與預測就是其中的一環，結合中小學生升學過程中不同階段的考試為數據源，進行趨勢把控，嘗試去預測其后面的成績變化方向。我們依靠某市所有初、高中的學生入學與升學成績數據為數據源，進行分析挖掘和展示。

如上圖所示是將學生成績做線性回歸的結果展示，系統成功地將復雜的分析結果通過Web應用的媒介直觀地展示給用戶，并且會在最后的結果發布模塊給出相關的模型誤差參考與分析建議。

5? 結語

本文提出了一種基于數據挖掘的在線數據分析系統，針對于非數據分析方向的相關從業人員，解決其在低學習成本要求下進行專業數據挖掘和分析的硬性需求。系統有效的滿足了用戶簡單交互、多維度分析數據并獲取專業且直觀的分析結果的訴求。

目前系統主要是進行中小規模的數據挖掘與處理，為滿足進一步擴大的數據量規模，在后續工作中，我們將引進分布式計算框架，用來支持大數據的分布式計算，更好地優化系統，使其可以應對更高水平的需求。

參考文獻

[1] 閆龍川.基于開源軟件的數據分析與可視化應用[A]. 中國電機工程學會電力信息化專業委員會、國家電網公司信息通信分公司.2016電力行業信息化年會論文集[C].中國電機工程學會電力信息化專業委員會、國家電網公司信息通信分公司：人民郵電出版社電信科學編輯部，2016：268-271.

[2] 朱家元，張恒喜，虞健飛.在數據挖掘中基于SOM網絡的數據分析可視化設計[J].計算機應用與軟件，2003（2）：15-16，41.

[3] 劉邦奇.智能教育的發展形態與實踐路徑——兼談智能教育與智慧教育的關系[J].現代教育技術，2019，29（10）：20-27.