基于Hadoop的繳費(fèi)行為和網(wǎng)點(diǎn)布局優(yōu)化數(shù)據(jù)挖掘應(yīng)用研究

沈佳+李凱+鄒岳琳+郭江濤+劉昆

摘 要 近年來(lái)，隨著電力行業(yè)繳費(fèi)平臺(tái)的建設(shè)，實(shí)現(xiàn)了多種平臺(tái)的繳費(fèi)接入，方便了廣大用戶的用電繳費(fèi)，為了進(jìn)一步提高電力優(yōu)質(zhì)服務(wù)水平，采用了基于Hadoop的大數(shù)據(jù)分析挖掘技術(shù)，對(duì)現(xiàn)有營(yíng)銷(xiāo)類(lèi)系統(tǒng)的數(shù)據(jù)做了統(tǒng)一整合分析，結(jié)合用戶分布密集程度、用戶繳費(fèi)行為習(xí)慣、周邊營(yíng)業(yè)網(wǎng)點(diǎn)分布等關(guān)聯(lián)信息，為繳費(fèi)網(wǎng)點(diǎn)新增及現(xiàn)有布局優(yōu)化提供有力的數(shù)據(jù)支撐，提高了決策水平和優(yōu)質(zhì)服務(wù)水平。本文首先介紹了繳費(fèi)行為和網(wǎng)點(diǎn)布局優(yōu)化大數(shù)據(jù)分析應(yīng)用主要功能及技術(shù)路線選型，隨后就后續(xù)使用過(guò)程中取得的成效進(jìn)行了總結(jié)，最后對(duì)繳費(fèi)大數(shù)據(jù)分析挖掘的意義和前景做了展望。

關(guān)鍵詞 繳費(fèi)；網(wǎng)點(diǎn)布局；大數(shù)據(jù)

中圖分類(lèi)號(hào) TP3 文獻(xiàn)標(biāo)識(shí)碼 A 文章編號(hào) 1674-6708（2018）203-0081-02

近年來(lái)，隨著電力行業(yè)繳費(fèi)平臺(tái)的建設(shè)，實(shí)現(xiàn)了金融渠道（各銀行）、非金融渠道、電力POS終端、電力自助繳費(fèi)終端、95598互動(dòng)網(wǎng)站、手機(jī)等渠道的繳費(fèi)接入，這些繳費(fèi)渠道的接入運(yùn)行大大方便了廣大用戶的用電繳費(fèi)行為，也為深化繳費(fèi)渠道建設(shè)提供了良好的基礎(chǔ)和契機(jī)。

為了在繳費(fèi)渠道建設(shè)中避免經(jīng)驗(yàn)主義的主觀臆斷，更好的貼合實(shí)際情況，科學(xué)的指導(dǎo)新增和優(yōu)化繳費(fèi)網(wǎng)點(diǎn)建設(shè)，在實(shí)際操作中充分應(yīng)用大數(shù)據(jù)分析技術(shù)，考慮用戶分布密集程度、用戶繳費(fèi)行為習(xí)慣、周邊營(yíng)業(yè)網(wǎng)點(diǎn)分布情況等因素，提高決策水平和優(yōu)質(zhì)服務(wù)水平。

1 繳費(fèi)行為和網(wǎng)點(diǎn)布局優(yōu)化分析主要功能及技術(shù)路線

繳費(fèi)行為和網(wǎng)點(diǎn)布局優(yōu)化分析主要實(shí)現(xiàn)了以下幾方面功能：

一是網(wǎng)點(diǎn)展示，結(jié)合收費(fèi)網(wǎng)點(diǎn)及終端的地理位置信息，在地圖上對(duì)網(wǎng)點(diǎn)及終端的分布情況進(jìn)行展示。可采用分層、按區(qū)域等查看方式，按照類(lèi)別、范圍對(duì)各類(lèi)收費(fèi)網(wǎng)點(diǎn)即終端的分布情況進(jìn)行篩選、查看。

二是網(wǎng)點(diǎn)（終端）分布分析，依托繳費(fèi)渠道的基礎(chǔ)信息及地理位置信息，與客戶繳費(fèi)記錄進(jìn)行關(guān)聯(lián)，以半徑示意的方式進(jìn)行網(wǎng)點(diǎn)及終端的覆蓋能力展示，覆蓋能力可通過(guò)客戶繳費(fèi)密度參數(shù)進(jìn)行控制，以獲得實(shí)際有效的覆蓋范圍。根據(jù)網(wǎng)點(diǎn)類(lèi)型及地市、縣、鄉(xiāng)三類(lèi)區(qū)域進(jìn)行網(wǎng)點(diǎn)分布分析，分析結(jié)果可為10分鐘繳費(fèi)圈建設(shè)提供依據(jù)。

三是客戶繳費(fèi)渠道偏好分析，依托繳費(fèi)渠道的基礎(chǔ)信息及地理位置信息，與客戶繳費(fèi)記錄進(jìn)行關(guān)聯(lián)，按照客戶類(lèi)型、客戶繳費(fèi)頻率、渠道類(lèi)型、渠道滲透率等，進(jìn)行繳費(fèi)行為偏好的綜合分析，識(shí)別出當(dāng)前客戶最偏好、實(shí)際利用率最高的繳費(fèi)渠道，進(jìn)而對(duì)出渠道建設(shè)的投資方向提供依據(jù)。

四是繳費(fèi)渠道成本效益分析，基于繳費(fèi)渠道運(yùn)營(yíng)投入的成本，如：場(chǎng)地、設(shè)備、人員工資績(jī)效等信息，結(jié)合電費(fèi)回收額、電費(fèi)回收效率等客戶交費(fèi)信息，進(jìn)行繳費(fèi)渠道的成本效益綜合分析，從而對(duì)繳費(fèi)渠道的運(yùn)營(yíng)成本及效益進(jìn)行量化展示。

為了更好的為電力用戶提供優(yōu)質(zhì)服務(wù)，提高決策水平，在分析應(yīng)用技術(shù)路線選型上，確定了以Hadoop為基礎(chǔ)，廣泛使用開(kāi)源組件的大數(shù)據(jù)分析路線。

1）海量數(shù)據(jù)采集和清洗。滿足繳費(fèi)網(wǎng)點(diǎn)用戶檔案、用戶坐標(biāo)、用戶繳費(fèi)等數(shù)據(jù)分析，大數(shù)據(jù)系統(tǒng)采用Hadoop作為底層架構(gòu)，構(gòu)建Hive數(shù)據(jù)倉(cāng)庫(kù)，通過(guò)Sqoop實(shí)現(xiàn)跨數(shù)據(jù)的數(shù)據(jù)傳遞。

2）分布式海量數(shù)據(jù)存儲(chǔ)技術(shù)。分布式存儲(chǔ)（HDFS）解決了繳費(fèi)網(wǎng)點(diǎn)繳費(fèi)數(shù)據(jù)10G/年以上的基礎(chǔ)數(shù)據(jù)存儲(chǔ)問(wèn)題，容錯(cuò)性較好，能提供高吞吐量的數(shù)據(jù)訪問(wèn)，對(duì)部署環(huán)境要求較低。以往10GB、甚至TB以上的歷年繳費(fèi)、繳費(fèi)數(shù)據(jù)與網(wǎng)點(diǎn)交叉連接運(yùn)算在關(guān)系型數(shù)據(jù)庫(kù)中無(wú)法實(shí)現(xiàn)，在HDFS支持下海量數(shù)據(jù)延時(shí)數(shù)據(jù)分析具備可能性，可以支持歷年數(shù)據(jù)分析，匯總，并從中找到支撐運(yùn)營(yíng)管理的分析結(jié)論。

3）海量數(shù)據(jù)分析技術(shù)。網(wǎng)點(diǎn)規(guī)劃中，需要結(jié)合可視區(qū)域繳費(fèi)網(wǎng)點(diǎn)、繳費(fèi)網(wǎng)點(diǎn)歷年繳費(fèi)數(shù)據(jù)、繳費(fèi)網(wǎng)點(diǎn)GIS數(shù)據(jù)、繳費(fèi)網(wǎng)點(diǎn)客戶檔案數(shù)據(jù)、GIS距離運(yùn)算進(jìn)行即時(shí)數(shù)據(jù)運(yùn)算與輸出。技術(shù)選型選型采用Spark，支持交互式內(nèi)存運(yùn)算，比Hadoop運(yùn)算快100倍以上。

4）高可用集群自動(dòng)管控技術(shù)。繳費(fèi)網(wǎng)點(diǎn)大數(shù)據(jù)需要每天自動(dòng)采集增量數(shù)據(jù)，并提供延時(shí)和即時(shí)數(shù)據(jù)統(tǒng)計(jì)分析服務(wù)，為確保集群穩(wěn)定性，在用Zookeeper集群管理技術(shù)，監(jiān)控系統(tǒng)運(yùn)行，并提供Master-Slave自動(dòng)枚舉和分配技術(shù)，確保平臺(tái)高可用。

2 應(yīng)用成效分析

繳費(fèi)行為和網(wǎng)點(diǎn)優(yōu)化大數(shù)據(jù)分析場(chǎng)景在實(shí)際工作中取得了較好的應(yīng)用效果。

一是通過(guò)對(duì)數(shù)據(jù)的綜合利用，由表及里、由點(diǎn)及面，緊密結(jié)合實(shí)際，排除了主觀臆斷，“人、財(cái)、物”兼顧，為管理者的決策提供可靠有力的根據(jù)，縮短了決策周期，節(jié)省了投資成本，提高了決策的科學(xué)性和及時(shí)性。

二是有效減少了服務(wù)盲區(qū)，優(yōu)化了繳費(fèi)網(wǎng)點(diǎn)的設(shè)置。結(jié)合了渠道信息、區(qū)域信息、網(wǎng)點(diǎn)建設(shè)及服務(wù)能力信息、用戶信息、用戶繳費(fèi)習(xí)慣信息等進(jìn)行綜合分析，提高了對(duì)未有網(wǎng)點(diǎn)覆蓋的盲區(qū)的識(shí)別效率，

同時(shí)可根據(jù)數(shù)據(jù)分析結(jié)果，更加合理的調(diào)整人力及自主繳費(fèi)終端等資源，從而提高資源利用率。

三是減少了網(wǎng)點(diǎn)建設(shè)的人工工作量。對(duì)于繳費(fèi)網(wǎng)點(diǎn)的增改，將原本需要人工進(jìn)行現(xiàn)場(chǎng)勘查決策工作任務(wù)，通過(guò)線上全方位分析后，大大縮小了勘查范圍，降低了人工工作量，提高了工作效率。

四是提高了優(yōu)質(zhì)服務(wù)水平，通過(guò)對(duì)網(wǎng)點(diǎn)數(shù)據(jù)、用戶分布數(shù)據(jù)以及用戶繳費(fèi)行為習(xí)慣的分析，做出合理的網(wǎng)點(diǎn)布置建議、資源調(diào)配建議，從而以最快的速度滿足用戶需要，達(dá)到提升服務(wù)水平的目的。

五是通過(guò)使用基于Hadoop的大數(shù)據(jù)分析技術(shù)，提高了海量數(shù)據(jù)的分析計(jì)算水平，使得各類(lèi)數(shù)據(jù)匯集后能快速的得出分析結(jié)果，有力地支撐了業(yè)務(wù)分析決策。

3 結(jié)論

目前，繳費(fèi)行為和網(wǎng)點(diǎn)布局優(yōu)化分析已在實(shí)際生產(chǎn)環(huán)境中得到了廣泛的使用，并取得了一定的成果，為業(yè)務(wù)決策提供了堅(jiān)實(shí)的數(shù)據(jù)支撐。

后續(xù)，在持續(xù)擴(kuò)大該場(chǎng)景應(yīng)用范圍的基礎(chǔ)上，將進(jìn)一步發(fā)掘和探索如何使用大數(shù)據(jù)新技術(shù)進(jìn)一步提高服務(wù)水平，充分挖掘數(shù)據(jù)價(jià)值，實(shí)現(xiàn)用數(shù)據(jù)管理企業(yè)、用信息驅(qū)動(dòng)業(yè)務(wù)的宏偉目標(biāo)。

參考文獻(xiàn)

[1]盧艷艷.基于Hadoop的大數(shù)據(jù)存儲(chǔ)關(guān)鍵技術(shù)研究[D].北京：華北電力大學(xué)，2016.

[2]單士華，曹社香.基于Hadoop處理大數(shù)據(jù)分析[J].創(chuàng)新科技，2013（12）：66-67.

[3]華雋，胡宗山，閆利，等.基于大數(shù)據(jù)技術(shù)的電力繳費(fèi)渠道效能分析[J].2016.endprint