基于分布式搜索模式的線上用戶軌跡數據的支撐與應用

胡夢云

摘要：本文對互聯網渠道大流量營銷的支撐方案進行闡述，通過對系統底層架構的改造，引入分布式搜索，提高數據存儲和分析效率，實現百萬級用戶的數據管理能力。為線上運營提供數據經營分析，深度數據挖掘的能力，獲取用戶需求，打造線上運營精準高效的數據化營銷模式。為用戶提供智能高效的服務，提升營銷體驗，助力運營商數字化轉型。

關鍵詞：移動互聯網;大數據分析;電信行業;微信公眾號;業務支撐系統

中圖分類號：TP311? ? ? ? 文獻標識碼： A

文章編號：1009-3044（2021）06-0035-02

1 建設背景

隨著運營商全面互聯網化轉型，“湖北聯通”微信公眾號作為典型的互聯網輕觸點渠道，在傳統業務能力搭建的基礎上，不僅承載著公司線上渠道與用戶情感維系的窗口，更是助力渠道數字化轉型的重要觸點。作為X百萬粉絲的公眾號，基礎能力逐漸豐富，如何精準獲取用戶需求，為用戶提供更智能高效的服務，是我們進一步提升體驗的關鍵。同時，基于微信生態系統內大規模用戶的服務與支撐，對系統數據管理和分析能力的要求增強，數據分析與運營之間的依賴也越來越深。

2 建設方案

2.1 建設目標

為了加強公眾號系統對線上運營數據分析的能力，專研數據管理，我們引入當下互聯網最流行的系統框架，挖掘團隊能力，因地制宜，對數字化能力再研判，重構微廳數據結構。將業務的審核與決策點定位于業務流程執行的位置，高頻次溝通，提高數據分析效率，縮短迭代周期，減少信息溝通的渠道和時間，從而整體提高對顧客和市場的反應速度。

整體規劃系統的架構，以性能為目標，從底層強化系統大數據支撐的能力，實現前后端解耦，引入分布式數據搜索引擎框架（Elasticsearch），深化高可用高并發的改造成果，在支撐高并發營銷活動的同時，提供大數據深度挖掘的成果，全面覆蓋用戶行為軌跡，為全面數字化賦能。

2.2 建設方案

2.1.1 分布式索引數據分析，提升數據深度挖掘能力

通過實現系統前后臺分離，引入更高效率的數據分析框架，從底層增強系統對數據分析的支撐能力。基于Mysql+Mycat體量小、速度快、成本低的特點，實現數據庫讀寫分離，多節點協同作戰，支撐大規模用戶開展高并發營銷活動。引入Elasticsearch（后文簡稱“ES”）分布式底層數據架構，支撐大數據量（億級）的實時統計查詢的能力，提高數據分析效率。Es是分布式可擴展的實時搜索和分析引擎，分布式實時文件存儲，并將每個字段都編入索引中，使其可以被搜索。同時，其強大的可擴展性，可支撐上百臺服務器，處理PB級別的結構化或非結構化數據。

本項目在重構數據庫時，通過ES面向文檔型數據庫存儲方法，將微信公眾號粉絲User表設計成ES文檔，一條數據在這里就是一個ES文檔，用JSON作為文檔序列化格式，這個文檔會屬于一個User的類型，各種類型存在于一個索引當中（Es? 索引（Index） ? 類型（type） ? 文檔（Docments） ? 字段（Fields））。

為了提高搜索的性能，減少磁盤尋道次數，將多個值作為一個數組通過連續區間存放，一次尋道讀取多個數據，同時也降低樹的高度。

例如：粉絲綁定記錄表（Name、bandtime、Age），ES會為每一個field建立一個倒排索引，每一條數據的每一個信息都自己的索引ID。

| ID | Name | Bandtime | Age |

| -- |：------------：| -----：| -----：|

| 1? | 張三 | 2019/3/12 | 18

| 2? | 李四 |2020/1/10 | 24

| 3? | 王五 | 2020/9/3 | 24

Name下的名稱“張三”也會有索引編號，也就是Posting list。 Posting list就是一個int的數組，存儲了所有符合term的文檔id。ID是ES自建的文檔id，那么ES建立的索引如下：

Name：

| Term | Posting List |

| -- |：----：|

| 張三 | 1 |

| 李四 | 2 |

| 王五 | 3 |

Bandtime：

| Term | Posting List |

| -- |：----：|

| 2019/3/12 | 1 |

||2020/1/10 | 2 |

| 2020/9/3? | 3 |

Age：

| Term | Posting List |

| -- |：----：|

| 18 | 1 |

| 24 | [1，2] |

2.1.2 可視化搜索引擎工具，強化數據監控和檢索能力

為了能快速找到某個用戶綁定記錄term，將所有的term排個序，二分法查找，logN的查找效率就像是通過字典查找，這就是Term Dictionary。而ES通過內存查找term（記錄）和Term Index（索引頁），不讀磁盤，來減少磁盤尋道次數，從而提高查詢性能。然而，ES是一個大數據集群，本項目中微信公眾號系統在Linux的環境下，通過 Kibana 可視化界面來管理和監控數據文件存儲對服務器磁盤消耗的情況，以及監控文件的大小，見圖1。

通過 Kibana 可清晰看到Es某個索引占用磁盤的情況。Kibana提供了傻瓜式的數據檢索能力，可以直接通過查找，輸入你想檢索的任何內容， ES能迅速從PB級的海量數據里給出響應，如圖2。

傳統的數據庫存儲方式，百萬級數據統計及分析需要一周方能反饋結論，使用ES后的微廳數據分析可提高1-3天內完成，對用戶行為和營銷策略快速反應。

3 數據化的運用和成果

3.1 數據化運營模式創新，打造高效協同運營團隊

通過對數據化運營模式的思考，組建小快靈的協同運營團隊，高頻率地對粉絲群畫像，根據營銷的目的快速定位用戶。運營報表數據沉淀及數據處理的開發周期，從3周降低到5天完成;臨時統計分析由原本的2～3天縮短至10分鐘可反饋，效率提升90%。

通過微信公眾號粉絲結構的分析，根據綁定用戶年齡占比及趨勢、主套餐分類和占比、用戶ARPU和留存，以及用戶使用微信公眾號的情況，提煉用戶特征，形成用戶畫像。有針對性地為用戶設計標簽共7大類，其中包括業務標簽、套餐標簽、地市標簽等。

例如充值用戶畫像，可知：

1） 單筆充值金額，平均充值金額XX元/筆，同比增長XX%;

2） 活動規則引導，單筆充值XX元用戶中XX%通過“周周抽大獎-獲取更多抽獎機會”來充值，用戶中XX%是網齡2年以上的老用戶;

3） 小額充值用戶，單筆充值金額在XX元及以下的XX%;小額充值用戶群XX%是2I用戶，平均年齡32歲;

4） 用戶充值偏好，XX%用戶選擇固定金額[50-500元]的方式進行充值，微廳充值優惠對粉絲吸引力較大。從用戶選擇偏好來看，選擇充值頁面充費贈費獎勵用戶最多XX%。從充值金額來看，選擇單筆XX元用戶最多;

5） 用戶充值次數，XX%用戶每月充值一次，僅XX%用戶每月充值3次及以上。

通過數據分析提供運營優化策略，進一步對微信充值界面流程進行優化，賦能地市個性化能力，增加充值動態營銷浮窗，通過大數據手段，驅動運用對用戶價值的提升。

3.2 流量分析驅動運營，推進精準營銷與協同運營

為了能夠提供高價值的流量分析能力，深度提煉運營需求，強化數據歸納和分析能力，由數據驅動運營精準獲取用戶需求。在微信生態圈內，將模版消息分為主動營銷類和被動提醒類消息兩類，打造模版共計XX個，包括月度賬單、交費提醒、活動通知等，其中精準營銷類的 “活動通知”推送后轉化率高達XX%。

根據微信用戶標簽化的成果，在“為愛充值”活動中，針對目標用戶群體推送“活動通知”模板，模板消息共計推送XX萬人，共計XXXX名用戶進行話費充值，轉換率為XX%。整個為愛充值活動共計XXXX名用戶進行充值，模版消息帶來的用戶占總人數的XX%。模版消息的精準推廣不打擾用戶的同時，成功帶來有需求的用戶，使得認可率較高，也說明在推廣實惠型活動的時候，模版消息是有力的運營手段。

3.3 行為定位區隔屬性，內容運營精準送達

通過用戶行為軌跡的分析和定位，進行用戶畫像，不僅可以針對受益群體發送推文，更能對微信3*5菜單做有效的規劃提供幫助，有效提高內容運營的轉化率。

例如與湖北華盛商城合作的終端零售能力，經過多次數據分析和改進，菜單上線位置從三級到二級再到三級，結合圖文推送的宣傳，轉化率一直穩定上升。初期上線后僅銷售XX臺終端，通過行為定位后新發展注冊用戶XXXX個，占華盛商城湖北板塊用戶總注冊量的XX%。

在2020年湖北疫情期間，快速響應湖北人對互聯網服務的需求，加深軍營和研發的合作，在微信構建H5頁面10元10G流量包訂購營銷頁;并且為線上運營人員提供精細化推廣依據。10元10G流量包共進行過X次針對訂購過的用戶精準營銷，用戶轉化率XX%，在短信營銷中效果較好。

4 總結及展望

綜上所述，我們依托大數據分析，打造BPR創新團隊，以客戶為中心，堅持用戶畫像、行為分析、問題導向的工作方法，創新機制體制，提高工作效率。通過數據來驅動運營，以小快靈的數據化營銷模式，上下同欲、左右同頻、前后同心，敏捷支撐，確保渠道數字化項目保質保量順利轉型。面向業務流程，直擊痛點難點，使運營、數據分析和研發緊密合作，高效運轉，助力互聯網時代下的快速營銷推廣。

參考文獻：

[1] 趙宏田，江麗萍，李寧.數據化運營-系統方法與實踐案例[M]. 北京：機械工業出版社，2018.

【通聯編輯：梁書】