基于大數據技術的用戶行為分析平臺的設計與實現

吳榮燦　羅嘉龍　鄭伙群　陳正銘

摘要：在大數據時代普遍應用的背景下，多元化商業模式和細分市場得到快速發展，而眾多行業面臨著高昂獲客成本和高流失率的雙重挑戰。為了解決傳統存在的問題，通過對近期狀況研究與分析，本文提出了基于大數據分析技術的用戶行為分析平臺。該平臺采用無埋點自定義的監測方案采集用戶行為數據，并通過對數據進行統計分析，提供更精細和精準的運營與營銷方案。

關鍵詞：大數據;行為分析;無埋點

中圖分類號：TP393? ? ?文獻標識碼：A

文章編號：1009-3044（2021）12-0040-03

隨著互聯網大數據潮流的到來，多元化商業模式和細分市場得到快速發展。然而，機遇與風險并存，大多數行業面臨著昂貴的獲客成本和高流失率的雙重挑戰。如何規避風險，成為大數據時代商業發展的主流趨勢。常規的用戶行為分析是通過對這些數據進行統計、分析，從中發現用戶使用產品的規律。基于大數據技術的用戶行為分析則通過對這些數據進行更深入地統計、分析，從中挖掘用戶行為潛在的規律，并將網站的營銷策略、產品功能、運營策略與這些規律相適應，發現營銷、產品和運營中可能存在的問題，解決這些問題達到優化用戶體驗，實現更合理且準確的運營與營銷，讓產品得到更好的發展，助經營者獲得更大的利益。

1 傳統企業開發網頁系統問題描述

獲客成本高問題：傳統網頁開發為了存儲、分析網頁用戶行為數據往往有兩種方式：一是自行開發并實現此功能，這樣所需的成本更高;二是接入第三方服務進行用戶數據的存儲與分析，小企業的不可靠，大企業租用的費用也很高[2]。總的來說，企業傳統獲客模式的成本高昂，得不償失。

用戶高流失率問題：由于傳統網頁開發的存儲、分析網頁用戶的方式單一、煩瑣，不夠人性化，數據不夠精準，而且在數據統計視圖方面上，開發者為了快速完成一般沒有專業做得好，導致眾多數據眼花繚亂，讓決策者體驗感較差，統計的數據就會錯漏得多，用戶流失高問題就日漸顯露了[1]。

安全性問題：目前，有的行業可能采用第三方服務來進行用戶數據的收集，而用戶數據存放在第三方平臺的手上從而導致用戶數據不安全，泄露，數據備份等問題[5]。

2 傳統企業開發網頁系統問題分析

2.1 用戶行為分析平臺降低行業高昂獲客成本，精確定位獲客渠道

據統計，時至今日，互聯網廣告業已被盤石、阿里、百度幾大巨頭瓜分完畢。漲勢艱難的流量入口與日漸上升的獲客成本，是每個企業都在面臨的嚴峻挑戰。短短五年里，獲客成本大幅上漲，個別行業甚至翻了10倍。在互聯網金融行業，2013年到2016年，企業的平均獲客成本已經從300至500元上升到1000至3000元。在互聯網教育行業，類似“少兒編程”“英語四六級培訓”等關鍵詞，在百度上點擊售價高達100元/次，線下機構獲取有效用戶單價成本超過1000元/人。總的來說，互聯網教育公司的線上獲客成本占比高達30%，與線下的已經相差無幾。隨著各互聯網行業的獲客成本不斷提高，用戶行為分析數據平臺數據的重要性逐漸體現。本項目通過對用戶的行為進行深入統計、分析，精確定位獲客渠道，進而降低行業高昂獲客成本。

2.2 用戶行為分析平臺洞察客戶流失真實原因，降低行業用戶高流失率

用戶流失是指在特定時間段內離開產品的用戶數量。根據不同的產品及不同業務，時間段的確定也各不相同。用戶流失指標從側面表明產品留住用戶的能力[4]。企業會為用戶的大量流失而付出慘重代價。談到用戶流失的影響，有研究機構做過統計，獲取新用戶的成本是留住已有用戶成本的五倍。哈佛商學院的報告也指出，用戶留存率上升5%可以帶來25%～95%的利潤提升[6]。同樣有數據表明留存用戶是企業收入的主要貢獻者。根據美國咨詢公司高德納的數據，20%的留存用戶將貢獻公司未來收入的80%。同時，將產品成功銷售給留存用戶的概率是60%～70%，而成功銷售給新用戶的概率只有5%～20%。以上各種數據表明，減少用戶流失，提升用戶留存對企業（尤其是電商企業）來說最重要并且最有益。

2.3 用戶行為分析平臺減少接入第三方服務進行統計的風險

由于接入第三方服務進行統計（如諸葛IO，百度統計等），雖然成本較低， 但數據會存在不安全的風險，所有分析數據都暴露給了第三方平臺[3]，當前第三方平臺主要存在的問題：

A. 埋點成本高，且容易出錯;

B. 現有埋點功能對數據統計交互不友好;

C. 埋點日志量大，通常很難找到自己想測試的埋點;

D. 顯示一整條日志，系統無法判定埋點是否準確，全靠肉眼來看;

F. 接入第三方服務進行統計存在數據不安全。

3 具體實現思路

用戶行為分析平臺在 Internet 上架建，基于Java語言，運行于IDEA集成開發環境，IDE以“用戶行為分析”為主的網站功能平臺設計作為本平臺核心需求，在當前現有原有埋點方案上，提出無埋點創新監測方案，通過Lucene全文檢索交叉分析算法，實現快速并且準確的找出用戶的搜索的內容;采用SSM+Maven框架搭建與mysql一級緩存、二級緩存和ECaChe緩存機制，嚴格按照MVC思想，使代碼簡潔，方便后期維護的同時提高運行的速度，減少數據庫的訪問量并且命中率高;實現多維度時間平臺實時統計數據、多報表的實時分析數據（通過中國地圖展示訪問地、柱狀圖展示各個訪問者的終端數據、多折現圖實時多維度展示訪問者情況）全方面提升管理精細可視化體驗感[3]。

當前，第三方統計分析平臺的埋點方案總的來說有以下幾個方案：

初級：在產品、服務轉化關鍵點植入統計代碼，據其獨立ID確保數據采集不重復（如購買點擊率）。

中級：植入多段代碼，追蹤用戶在每個平臺上的系列行為，事件之間相互獨立（打開商品詳情頁，放大商品圖片，加入購物車，收藏等），這種方式的好處是數據采集準確，但是埋點成本高，工程量大，并且迭代成本高，維護困難。

高級：聯合公司工程，ETL采集海量的大數據，分析用戶全量行為，建立用戶畫像，還原用戶行為模型，作為產品分析、優化的基礎。這種方式的優勢是通過收集大數據，分析用戶全量行為可以規避用戶在使用產品產生的一些欺詐行為（即誤導分析系統的行為），提高了分析系統的準確性和通用性，而且還有助于發掘出一些未知的價值分析，但是技術復雜。

無埋點：又稱無埋點監測，即網站無須加入需要維護的特定的代碼來實現統計分析， 而是通過簡單加入少量的程序代碼（又稱監測代碼）等，使用第三方的通用統計分析平臺來實現對網站的監測。為了加強對數據的收集，網站還可以部署專用且通用的事件監測代碼，來加強數據的采集，為數據分析提供數據基礎。

同時，為了解決傳統統計平臺存在的問題，平臺使用了不同的技術解決：

（1）接入第三方服務進行統計存在數據不安全問題：平臺采用了數據存入自己的服務器，第三方平臺直接調用的方式，提高網站的整體安全性。

（2）埋點成本高，且容易出錯：采用了用戶自定義埋點方法，即用戶所填寫過的內容，平臺會根據他填寫內容通過a標簽埋點，按鈕埋點，input標簽埋點，獲取埋點的id屬性，label屬性，class屬性、提高了埋點的準確性，同時提供特殊屬性特點埋點方案，盡可能降低埋點錯誤。而且前期準備好了埋點方案，通過前后端一起埋點，減少了收集埋點的時間和次數，后期修改也比較方便，降低了成本。

（3）現有埋點功能對數據統計交互不友好：由于該項目使用了用戶自定義埋點，并且通過實時記錄，平臺還對數據庫優化，創作了一套根據小時、今天、昨天、一周、一個月、一整年多維度的實時統計算法，比以往的數據統計有了進一步的提升。

（4）埋點日志量大，通常很難找到自己想測試的埋點：使用全文檢索算法，可以根據埋點多維度交叉分析搜索出自己測試的埋點，速度快而且精度高

（5）展示一整條日志，系統無法判定埋點是否準確，全靠肉眼來看：平臺已經把用戶自定義的埋點標簽完整記錄，并且埋點是可以相互綁定，準確性在記錄時已經得到很大的提高。并且在頁面展示出來，對于是否正確，平臺還提供了一鍵檢測，即可知道是否準確無誤的記錄。

對于用戶行為分析平臺來說，數據采集是最核心的問題。統計分析的數據具有數據量大，產生的速度快，類型多，價值密度低的特點。為了獲得網站數據，埋點采集是如今網站分析中常用的數據采集方法。本項目致力于打造無埋點監控方案，主要內容包含：前端無埋點實時檢測模塊，通過前端js代碼無埋點監控;自定義監測模塊，實現專用綁用實時監控;后端定時檢測模塊以及特殊屬性特定監測模塊等，提高用戶體驗感。應用與用戶分析、訪客流量分析、終端分析、各類型的事件分析、報表分析等信息，用于決策分析。包含用戶分析、訪客流量分析、報表分析、終端分析、報表分析等商業渠道。

4 總結

項目應用價值巨大，從網絡檢測分布分析角度來看，具體體現在如下幾個方面：

網絡安全方面：實時監聽用戶在網絡行為，來進行垃圾信息和病毒檢測，并及時有效處理等;

網絡社交的研究方面：以用戶行為數據進行留存檢測，分析‘用戶是去還是留這一預測;

網絡市場方面：以用戶的屬性和行為，來推測用戶對哪一類商品、品牌感興趣，從而實現精準化營銷;

網絡日志方面：可以用戶自定義的埋點記錄，并能夠一鍵檢測準確性，提供更人性化更精確的記錄。

該項目的現實意義體現在，例如：社交網絡中分析群體關系從而挖掘出隱藏在其中的商機、以行為和屬性去定位用戶在產品中角色從而提高市場營銷的精準度、病毒傳播的監測有效遏制以及自定義更精確的埋點記錄，最大限度減少不必要損失。

弱勢：雖然本用戶行為分析平臺采用了無埋點方案，但是仍需將一些js腳本掛載到用戶想要監控的網站，導致訪問該網站的用戶平白無故加載不相關的資源，浪費不必要的流量，從而可能會導致用戶體驗感不佳，并且傳輸的過程中還可能會泄露用戶的重要信息。

進一步改善的思路：

精簡js腳本代碼，優化腳本請求頻率等，達到既保證了功能的健壯性，又給予用戶良好的體驗感。

添加預測功能，建立相關模型，通過用戶數據不斷訓練模型，在不同數據分析方面做出一定程度上的預測，給決策者提供有意義的參考， 做出更科學，更合理的決策。

參考文獻：

[1] 賴院根，劉敏健，王星.網絡環境下的信息用戶流失分析[J].情報科學，2011，29（11）：1736-1741.

[2] 耿爽爽，宋曉昭.移動互聯網時代下社交電商發展模式及典型代表分析研究[J].時代金融，2020（9）：109-111.

[3] 羅嘉龍，蘇毓洲，方健煒，等.基于大數據分析技術的用戶行為分析平臺設計與實現[J].電腦知識與技術，2019，15（35）：54-56.

[4] 郝增勇.基于Hadoop用戶行為分析系統設計與實現[D].北京：北京交通大學，2014.

[5] 王鵬.基于Hadoop全文檢索的研究與應用[D].重慶：重慶郵電大學，2017.

[6] 張顯達.基于樸素貝葉斯分類器的A公司的產品推薦方法的研究[D].蘭州：蘭州交通大學，2019.

【通聯編輯：梁書】