煙草地市局的大數據可視化研究及應用

劉頌 王俊峰 李懷立 矯大鵬 高明

關鍵詞 煙草 大數據 可視化

1引言

可視化（visualization）是研究數據處理、數據表達、決策分析等一系列問題的綜合性技術，也是利用圖像處理技術和計算機圖形學把數據轉換成圖像或圖形顯示在屏幕上，再進行交互處理的方法、理論和技術。

近年來，隨著人工智能的興起，以數據為工具、以可視化為手段描述的真實數據內涵在各類報表和說明性文件中被大量應用。設計制作科學、操作便捷的可視化數據可以把繁雜無序的數據從冰冷的數字轉換成直白簡潔的圖形，帶給使用者的不僅僅是視覺上的沖擊，還能夠揭示蘊含在數據中的發展變化規律和現狀，包括發現、探索、分析、解釋、學習和決策等諸多含義。數據可視化的最終目標是促進行動，用直觀的圖表展現數據，讓制定政策和行動的決策者看懂數據、使用數據[1] 。

2建設目的

為使煙草地市局信息化的發展目標與企業發展戰略緊密配合，本項目以“數為理”“術促管”為理念，通過搭建“數據可視化、分析智能化、過程管控化”的經濟運行綜合管控平臺，以解決煙草企業目前存在的相關問題。

當前，已完成建設的各個信息化獨立子系統并非相互依存，開發環境與數據標準沒有統一。因此，每一個子系統都保存了大量的行業數據，多個子系統無法互通互聯，海量的數據更無法整合，無法實現統一的數據分析和處理，從而大大限制了這些數據的使用范圍，造成了嚴重的數據資源和硬件資源浪費。

缺少一個有效的可視化平臺，各個子系統僅僅提供了原始數據界面，使管理層不易快速理解數據的規律和含義。當前，迫切需要將數據以可視化和最自然的方式對數據的深層次含義和變化規律進行展現。

由于面向市公司領導層、管理層、計劃部門的過程決策分析系統缺失，因此決策統計分析沒有系統支撐。目前，主要依靠人工從各個系統進行匯集分析，一方面使得數據采集工作量較大、數據質量不高、分析結果滯后。另一方面使得數據價值不高，數據利用手段單一，以定制化報表為主，影響了決策層和領導層對業務運營的把控，不利于針對市場變化快速決策。

3技術手段

3.1主要框架

根據需求建設的大屏展示（首頁大屏、卷煙營銷、專賣管理、物流配送、煙葉經營、創新管理、資產數據管理六類業務主題屏）參考了各個科室提出的展示指標，初步擬定大屏展示模板呈現可視化內容的頁面布局結構。

使用Vue 單頁面框架根據頁面的布局和美工繪制的詳細頁面精確編寫網頁代碼，以生成可供用戶訪問的HTML 網頁。同時，協同CSS3 層疊樣式表以及jQuery 等JavaScript 框架和插件對HTML 頁面內的元素進行格式化，形成基本網頁布局和近似V6 系統的主體風格。在Vue 框架中調用Echart 數據可視化圖表庫、Element UI 前端圖形框架、百度地圖和地市地圖的JavaScript 腳本文件，將可視化圖表及地圖呈現在HTML 頁面中，從而構建煙草地市局經濟運行管控平臺。

3.2前后端分離模式

采用前后端分離的開發模式可以使代碼結構更加清晰、代碼管理更加方便;采用前端頁面和后臺服務端相分離的低耦合設計原則，根據頁面數據展現需求，在規定好數據接口之后，不同的終端只需按照規定的數據接口編寫程序解析接口數據，后端也按照同樣的接口進行設計，從而提高接口的復用率和開發人員的工作效率。

3.3組件化和模塊化

本平臺采用了主流的組件化和模塊化設計理念。模塊是指包含多個組件的集合，獨立使用組件可以完善業務功能。業務平臺根據業務需求和業務領域的不同，將代碼分為不同的業務模塊與業務組件，主要包括儲存公共樣式的模塊和各個業務功能模塊以及對特定業務邏輯進行查詢的組件。

根據業務需求的不同而靈活使用不同模塊的組合，可以簡化的代碼、提高代碼的編寫和運行效率，從而提高使用性能。由于不同模塊間的代碼相互獨立，有利于及時發現和修改代碼問題，解除各個模塊間的耦合性，從而提高平臺的整體質量。此外，采用模塊化編程可以提高系統的復用性和可植入性，方便系統的升級和維護，減小了系統升級的代價;方便業務拆分與組合，使系統更加靈活、高效、可靠。

3.4Lamboo Rest后端組件

按照業務和組件的不同以及模塊間的耦合性將系統劃分為如下模塊：大屏首頁、公共服務、營銷、專賣、煙葉、物流、數據資產。將復雜計算功能放在前端可以增加SQL 的查詢效率。從系統方面來看，去代碼化設計可以提高前后端的工程化水平、代碼質量、平臺的規范性，為平臺開發帶來了良好的可擴展性、重用性以及穩定性。

3.5集成帆軟報表和單點登錄系統

集成帆軟報表系統、智能生成業務報表，可以為開發和客戶閱讀提供便利，也給后續修改降低了難度;通過部署全新的BSP 登錄組件，實現了煙草地市局經濟運行管控中心的單點登錄目標;在不脫離V6系統的前提下，實現了使用V6 賬號的全新的單點登錄。

3.6煙草地市局的數據中心

在煙草地市局部署本地關系型分布式數據庫GreenPlum，它在開源的POStgreSQL 的基礎上采用MPP 架構，具有強大的大規模數據分析任務處理能力。通過開源的Kettle 工具對各個系統中濰煙草地市局地區的數據進行捕獲抽取以及在本地的GreenPlum數據庫進行本體化存儲，不僅方便集中統一管理，也為大數據的本地分析提供了基礎。

4大數據可視化研究及應用

4.1可視化轉換

圖形圖像承載的信息量相比于語言文字有著天然的優勢，人類從外界獲得的信息約有80%以上來自視覺系統。可視化借助人眼快速的視覺感知和人腦的智能認知能力，可以起到清晰有效地傳達、溝通并輔助數據分析的作用。現代的數據可視化技術綜合運用計算機圖形學、圖像處理、人機交互等技術，將采集或模擬的數據轉換為可識別的圖形符號、圖像、視頻或動畫，并以此向用戶呈現有價值的信息。用戶通過對可視化的感知，使用可視化交互工具進行數據分析、獲取知識，并進一步提升為智慧口[2] 。

煙草地市局經濟運行綜合管控中心對數據倉庫中海量的數據進行針對性篩選和處理后，通過大屏形式將結果展示給用戶，幫助用戶挖掘數據價值，且圖形化的界面使用戶可以方便地進行操作。用戶根據自己的業務需求查看相關內容，可以通過二級菜單逐步縮小業務范圍。通過后端Rest 服務從數據倉庫中獲取數據，完成數據的預計算。

營銷首頁對煙草地市局所轄各個區縣的銷量排名以及單箱值是否高于平均值，以煙草地市局地圖可視化形式直觀地展示出來，用戶可以自由選擇不同的區縣進行查詢、對比、分析。各個區縣的銷量水平一目了然，不同分值的城市以深淺不同的藍色表示，分值越高則顏色越淺，分值越低則顏色越深。將鼠標移動到地圖的不同區縣上，地圖會以黃色高亮突出顯示該城市，并展示區縣銷量排名的具體值。同時，對營銷部門提出的主要指標進行展示，主要以年為時間維度展示以下模塊。

4.1.1銷售指標模塊

銷量、銷額、單箱值以及同比增幅、同比增量、全年計劃值和年計劃完成百分比;魯產煙銷量、單箱值及其同比增量、同比增幅，同期與本期的可視化圖形對比;一二類煙的銷量、同期銷量、同比增幅和一二類煙在總銷量中所占的比重;人均條數、同比增量、同比增幅，同期與本期的可視化圖形對比;各價類卷煙的銷量占比。

4.1.2終端建設模塊

以3D 餅圖的形式對終端建設進行展示，明確了精品店、普通店、標準店、品牌店的占比關系以及每種終端類型所包含的戶數。其中，包括農村戶數和城鎮戶數的數量以及云POS 客戶數及其占比。

4.1.3誠信互助小組模塊

以圖表形式展示小組個數;小組戶數;小組覆蓋率;有效戶數;城鎮、鄉村戶數及其占比。

4.1.4文明吸煙環境建設、客戶經理拜訪情況模塊

文明吸煙環境展示了本市的吸煙室和吸煙區建設情況;客戶拜訪數展示了客戶經理的拜訪情況;以客戶檔位為維度展示了本市所有零售戶所在檔位的數量及占比，鼠標懸浮時可以展示具體的檔位數和占比信息。

4.2基于時間和空間維度的數據分析

卷煙消費行為分析將通過模型計算得到的卷煙消費結構以熱力地圖及圖表的形式為用戶進行展示，使用者可以根據日期、營銷部、零售戶來查看該零售戶的消費者的消費行為習慣、消費結構。若填寫空間維度信息，增大輻射半徑數據，則可以查看以該店鋪為中心，以用戶填寫的數值為半徑的輻射范圍內所有零售戶的銷量、銷額、單箱值以及客戶行為習慣、消費結構。

熱力地圖可以層次分明、清晰地將零售戶的銷量結構根據不同維度進行可視化展示，以空間區域進行繪制，將零售戶的銷量、銷額、單箱值轉換為熱力點繪制在地圖上。結合柱狀、折線組合圖以時間為維度，展示了不同日期零售戶的銷售情況及變化幅度，點擊相應的時期可以查看當天各個時段的銷售情況，清楚揭示該零售戶不同日期、不同時間段的銷售高峰;同時，使用表格根據公司對銷量和銷額進行區分，展示了該區域內零售戶對各個中煙公司旗下卷煙的銷售及占比情況。使用柱、折線組合圖展示了當前區域的消費結構，根據卷煙價位段的不同進行區分，展現此區域消費者的消費結構，從而對后續貨源投放的決策提供幫助。

4.3地理空間與對象的可視化結合

基于圖標的多維可視化技術，其基本思想是用具有多個可視特征的圖標來表達多個維度信息，圖標的每一個可視特征都可表示多維信息當中的一個維度，適用于為數不多但是某些具有特別含義維度的數據集，用戶可以根據多維信息的顯示更準確、更形象地理解這些維度的意義[3] 。

為了便于識別，客戶分析模塊利用查詢對象的經緯度信息在地圖上通過百度地圖API 使用二維圖形實現標識。當只有一類查詢對象時，可以使用顏色區分其內在屬性。顏色和屬性值的關系通過映射函數來定義，并在一旁提供形象的圖例進行說明。為了提高頁面的加載及響應速度并優化用戶使用體驗，當查詢對象的數量較多時，平臺使用海量數據點的模式進行展示。當用戶使用鼠標點擊某個點時，以下鉆窗口或是聯動其他模塊的方式列出所有屬性值。顏色映射直觀地反映了不同屬性的查詢對象在地理空間中的分布，信息窗口的交互方式適合詳細了解具體對象位置的詳細信息。

客戶分析功能可以將零售戶的位置信息和地圖相結合，對全市零售戶的分布情況進行集中統一展示。將零售戶根據終端類型的不同，劃分為橙、綠、藍、紅四種不同顏色，便于用戶區分。根據零售戶的基礎信息、屬地信息、訂貨信息作為查詢條件進行篩選。點擊地圖零售戶的點位可以彈出下鉆頁面，以查詢零售戶的具體信息，包括零售戶的基本信息、卷煙訂購信息、檔位變動信息、零售戶圖片、客戶經理拜訪情況及規范經營情況。與地理空間的可視化相結合，方便決策層對某一區域的零售戶情況進行整體把握，從而進行決策部署。

4.4基于現代終端大數據的終端分析可視化

卷煙零售終端作為連接煙草商業和消費者的紐帶，是煙草產業鏈的重要組成部分，是“煙草行業未來良性發展的重要戰略性資源”，是煙草行業銷售的終端環節，是構建現代卷煙營銷網絡的關鍵環節。基于煙草地市局云POS 終端運行數據，將零消數據進行匯總處理，借助云計算強大的算力和先進的算法模型，對這些數據進行挖掘分析，可以全面提高市場感知能力和運營決策能力。

現代終端大數據分析將云POS 戶地理位置與地圖相結合，以熱力地圖的方式展示了云POS 戶的分布情況，以柱狀圖、折線圖、氣泡圖等形式對云POS 的掃碼情況、掃碼趨勢、會員發展趨勢、掃碼頻次分布等進行全面分析，可以了解現代終端的發展、運行情況。

現代終端畫像基于現代終端的運行數據，對終端的會員情況、銷售情況、周邊銷售情況、周邊人群的特征及周邊人群的卷煙喜好進行分析，為終端戶提供針對性指導，增強客戶服務水平。

消費者畫像采用聚類分析算法，將消費群體分為大客戶、高端客戶、中端客戶及普通客戶，從而分析各類消費群體的年齡結構、性別結構、消費結構、消費結構趨勢及消費偏好。

5結束語

煙草地市局經濟運行管控中心從海量的煙草行業數據中，經過數據分析、主題建模，有效提取出了需要的特征，并通過可視化方法將結果進行清晰展示。為公司決策層、管理層、計劃部門的過程決策提供了系統支撐，對決策結果的分析和研究提供了幫助。

為了實現煙草行業數據的實時監測、預警和智能化貨源投放決策，需要充分利用煙草行業大數據，基于煙草地市局經濟運行管控中心大屏可視化，實現減少用戶工作量、提高數據分析質量、提高分析效率、提升數據價值的目標;滿足常態下市公司決策層和管理層的決策需要;實現煙草信息從靜態、二維平面、孤立數據的展示方式到動態、三維立體、連續圖形的展示方式的轉變，從而全面提高決策層和領導層對業務運營的把控，進而更好地實現煙草地市局的安全、可靠、經濟、高效運行。