基于大數(shù)據(jù)的精準(zhǔn)推送分類信息發(fā)布平臺(tái)

韓雪松 林霞

摘要：目前校園內(nèi)信息的交換方式主要依靠QQ群、空間動(dòng)態(tài)、朋友圈等，這些方式在區(qū)域范圍內(nèi)會(huì)產(chǎn)生很多信息孤島，信息分散、利用率低。分類信息發(fā)布平臺(tái)通過(guò)網(wǎng)站、微信服務(wù)號(hào)、微信小程序等相關(guān)服務(wù)的部署，實(shí)現(xiàn)了失物招領(lǐng)、二手閑置信息、生活優(yōu)惠信息和招聘信息的精準(zhǔn)推送，極大地方便了用戶對(duì)信息的獲取。

關(guān)鍵詞：分類信息發(fā)布;機(jī)器人;精準(zhǔn)推送

中圖分類號(hào)：G642 文獻(xiàn)標(biāo)識(shí)碼：A

文章編號(hào)：1009-3044（2020）14-0086-02

1項(xiàng)目背景

大學(xué)區(qū)域內(nèi)在學(xué)習(xí)資源交流、失物招領(lǐng)、生活信息交流等方面均有信息發(fā)布的需求，這部分信息流通主要是在QQ群、微信群、空間動(dòng)態(tài)、朋友圈等平臺(tái)，這種平臺(tái)校內(nèi)存在很多，就像一個(gè)個(gè)“孤島”一樣，導(dǎo)致信息分散，信息利用率低。并且現(xiàn)有平臺(tái)瀏覽麻煩，信息重復(fù)率高。所以需要串聯(lián)“孤島”實(shí)現(xiàn)信息整合共享，并通過(guò)各項(xiàng)技術(shù)：機(jī)器人服務(wù)、微信小程序及大數(shù)據(jù)技術(shù)的應(yīng)用，將臨沂大學(xué)區(qū)域分類信息實(shí)現(xiàn)價(jià)值最大化。

2關(guān)鍵實(shí)現(xiàn)技術(shù)

2.1大數(shù)據(jù)技術(shù)

平臺(tái)將用戶上傳的數(shù)據(jù)或者通過(guò)機(jī)器人轉(zhuǎn)發(fā)的數(shù)據(jù)等信息作為數(shù)據(jù)源導(dǎo)人到大數(shù)據(jù)重要的組成部分：計(jì)算層，在這里我們采用了Hadoop平臺(tái)。Hadoop平臺(tái)所包含的兩大核心框架HDFS（分布式存儲(chǔ)）和MapReduce（分布式計(jì)算）對(duì)于信息發(fā)布平臺(tái)來(lái)講，這兩部分較為適合本項(xiàng)目信息整合的需求場(chǎng)景。具體體現(xiàn)在：Hadoop平臺(tái)適應(yīng)于一次寫入，多次讀取的場(chǎng)景，也就是數(shù)據(jù)復(fù)制進(jìn)去之后，長(zhǎng)時(shí)間在這些數(shù)據(jù)上進(jìn)行分析。同時(shí)Hadoop平臺(tái)還具有一大優(yōu)勢(shì)為高效性，這也是Hadoop平臺(tái)的核心競(jìng)爭(zhēng)優(yōu)勢(shì)所在。接收用戶的數(shù)據(jù)請(qǐng)求后，Hadoop可以在數(shù)據(jù)所在的集群節(jié)點(diǎn)上并發(fā)處理。這無(wú)疑提高了對(duì)于信息處理的效率。當(dāng)然它也存在一些不足，如在Mapreduce框架下，很難處理實(shí)時(shí)計(jì)算，作業(yè)都以日志分析這樣的線下作業(yè)為主。但對(duì)于這樣的信息發(fā)布平臺(tái)所需要的需求來(lái)講不會(huì)產(chǎn)生任何形象。

通過(guò)Hadoop平臺(tái)對(duì)信息資源進(jìn)行合理的分類整合后，會(huì)將信息內(nèi)容整合到對(duì)應(yīng)的模塊，為此我們?cè)谛畔l(fā)布平臺(tái)設(shè)立了切合實(shí)際需求的一些信息展示模塊。并通過(guò)機(jī)器人實(shí)時(shí)推送到有相關(guān)需求的群體當(dāng)中去。

2.2反爬蟲(chóng)技術(shù)

分類信息發(fā)布網(wǎng)站有可能會(huì)遇到黑客爬蟲(chóng)進(jìn)行的信息抓取盜用，市面上已有的反爬蟲(chóng)技術(shù)相對(duì)來(lái)講比較完善了，傳統(tǒng)反爬蟲(chóng)手段，像動(dòng)態(tài)頁(yè)面ajax請(qǐng)求，后臺(tái)對(duì)訪問(wèn)進(jìn)行統(tǒng)計(jì)，如果單個(gè)IP、session、userAgent訪問(wèn)超過(guò)閾值，予以封鎖。平臺(tái)在已有反爬蟲(chóng)的基礎(chǔ)上在某些代碼層增加SQL注入語(yǔ)句甚至XSS語(yǔ)句，使爬取的黑客爬蟲(chóng)數(shù)據(jù)庫(kù)被強(qiáng)行刪庫(kù)或被我方getshell達(dá)到另類反爬效果。

2.3靜態(tài)資源OSS存儲(chǔ)

通過(guò)OSS存儲(chǔ)技術(shù)將動(dòng)態(tài)資源與靜態(tài)資源分離，降低了服務(wù)器壓力，也同時(shí)提高了用戶的訪問(wèn)效率。通過(guò)對(duì)靜態(tài)資源的OSS存儲(chǔ)鑒權(quán)驗(yàn)證進(jìn)一步增強(qiáng)了網(wǎng)站的網(wǎng)絡(luò)安全防護(hù)能力，使得木馬文件即使繞過(guò)防火墻上傳到OSS服務(wù)器中也無(wú)法執(zhí)行。

2.4技術(shù)架構(gòu)前后端分離

為保證用戶數(shù)據(jù)安全，提升大數(shù)據(jù)調(diào)用性能，降低維護(hù)成本方便多平臺(tái)接入管理。平臺(tái)采用前后端分離，解耦思想。前后端分離中，傳輸?shù)氖菙?shù)據(jù)、Model。數(shù)據(jù)怎么展示，全部交給前端來(lái)處理，后端只負(fù)責(zé)提供數(shù)據(jù)。網(wǎng)頁(yè)之間有各種跳轉(zhuǎn)交互，在前后端分離中，跳轉(zhuǎn)的頁(yè)面控制全部是由前端來(lái)決定，跟后端完全沒(méi)有關(guān)系，這也從根源上杜絕了一些前端邏輯漏洞造成getshell的情況。管理上只要做到前端后端一起鑒權(quán)，Node層校驗(yàn)登錄態(tài)，后端校驗(yàn)登錄態(tài)，同時(shí)后端校驗(yàn)數(shù)據(jù)歸屬，這幾個(gè)層面就基本上能夠保證系統(tǒng)的軟件層安全，再將后臺(tái)管理服務(wù)器與數(shù)據(jù)庫(kù)分離，通過(guò)IP歸屬校驗(yàn)與強(qiáng)規(guī)則權(quán)限限制，可以保證程序數(shù)據(jù)的安全。

2.5機(jī)器人推送

通過(guò)QQ機(jī)器人功能，聯(lián)合平臺(tái)大數(shù)據(jù)分析中心將用戶與多個(gè)孤島平臺(tái)串聯(lián)，讓用戶通過(guò)與QQ機(jī)器人對(duì)話的形式參與平臺(tái)的使用，增加用戶便利性。QQ機(jī)器人通過(guò)酷Q調(diào)用安卓QQ協(xié)議登錄，并通過(guò)HTYP和WebSocket對(duì)酷Q的事件進(jìn)行上報(bào)以及接收請(qǐng)求來(lái)調(diào)用酷Q的DLL接口，實(shí)現(xiàn)平臺(tái)一系列架構(gòu)功能。

3平臺(tái)的設(shè)計(jì)與實(shí)現(xiàn)

3.1微信服務(wù)號(hào)

針對(duì)用戶行為分析，發(fā)現(xiàn)在微信公眾號(hào)中打開(kāi)這種方式相對(duì)于大眾來(lái)講更容易接受，免去程序安裝的麻煩。微信服務(wù)號(hào)也作為自媒體平臺(tái)運(yùn)營(yíng)的陣地之一，通過(guò)高質(zhì)量文章對(duì)平臺(tái)進(jìn)行引流。通過(guò)微信服務(wù)號(hào)用戶可以無(wú)感知微信登錄，并且可以收到來(lái)自微信公眾號(hào)的最新消息推送。

3.2分類信息網(wǎng)站

信息發(fā)布平臺(tái)的網(wǎng)站，設(shè)置了不同的信息類別模塊，包括生活優(yōu)惠信息、閑置信息、招聘信息以及租房信息等。不同的模塊的區(qū)分對(duì)不同信息進(jìn)行整合。

通過(guò)分類信息發(fā)布平臺(tái)可以一鍵發(fā)布需求或一鍵發(fā)布供應(yīng)信息，供求信息發(fā)布后在大數(shù)據(jù)模塊的響應(yīng)分析后自動(dòng)生成最優(yōu)解推送，以供用戶選擇。在分類信息發(fā)布平臺(tái)上用戶發(fā)布信息后，對(duì)相關(guān)信息感興趣的用戶即可發(fā)起線上咨詢，最新消息提醒將通過(guò)微信公眾號(hào)發(fā)布提醒消息，如圖1所示。

3.3推送機(jī)器人

以用戶為中心、滿足用戶正向需求為原則，我們開(kāi)發(fā)了針對(duì)信息發(fā)布平臺(tái)的推送機(jī)器人。它可以實(shí)現(xiàn)信息的精準(zhǔn)推送與校內(nèi)分類信息孤島平臺(tái)的聯(lián)結(jié)。也可以實(shí)現(xiàn)快速的信息上傳，如圖2所示。

通過(guò)與QQ機(jī)器人直接溝通交流可以獲得平臺(tái)最新信息以及所需的最優(yōu)方案解決方法，使用的方法也很簡(jiǎn)單，添加其好友或者加入機(jī)器人所在QQ群即可。

3.4小程序

在學(xué)校同學(xué)們對(duì)于失物招領(lǐng)的需求比較大，根據(jù)實(shí)際情況開(kāi)發(fā)的臨沂大學(xué)事物招領(lǐng)微信小程序，在功能上可實(shí)現(xiàn)對(duì)物品信息直接搜索查找，提高信息的利用率。

通過(guò)小程序來(lái)實(shí)現(xiàn)校內(nèi)失物招領(lǐng)，用戶在完善了資料之后就可以發(fā)布物品丟失或者撿到物品的信息，發(fā)布成功后將展示在首頁(yè)，用戶物品丟失后即可通過(guò)首頁(yè)上方的搜索功能搜索到與自己相關(guān)的物品信息，并通過(guò)“聯(lián)系我”功能聯(lián)系物品發(fā)布者，如圖3所示。

4平臺(tái)的優(yōu)勢(shì)

項(xiàng)目在傳統(tǒng)分類信息的基礎(chǔ)上大膽創(chuàng)新融人大數(shù)據(jù)思想，通過(guò)大數(shù)據(jù)+聊天機(jī)器人技術(shù)實(shí)現(xiàn)用戶信息的精準(zhǔn)有效交互，解決了傳統(tǒng)分類信息的內(nèi)容龐大繁雜，內(nèi)容真實(shí)性不可保證的缺陷。將大部分的人為因素通過(guò)技術(shù)、創(chuàng)造合約執(zhí)行自動(dòng)化的條件，保證了分類信息平臺(tái)誠(chéng)信環(huán)境的構(gòu)建。通過(guò)聊天機(jī)器人可將當(dāng)前已有的大多數(shù)分類信息平臺(tái)聯(lián)結(jié)起來(lái)實(shí)現(xiàn)孤島整合，信息共享。

用戶習(xí)慣方面不可一蹴而就，文化認(rèn)知方面更不是一朝一夕可以養(yǎng)成的。但大眾習(xí)慣歸根結(jié)底與大眾性格相關(guān)。在沒(méi)有國(guó)外交易文化的前提下想要讓用戶能夠?qū)Ξa(chǎn)品產(chǎn)生依賴，就需要產(chǎn)品自身能否給用戶帶來(lái)足夠的便利，平臺(tái)大基于大數(shù)據(jù)與聊天機(jī)器人的結(jié)合就可以完美解決該問(wèn)題，通過(guò)搜集用戶行為信息形成的人物畫像，可以實(shí)現(xiàn)信息精準(zhǔn)推送，同時(shí)也實(shí)現(xiàn)了串聯(lián)已有信息孤島，整合信息發(fā)布類平臺(tái)實(shí)現(xiàn)信息共享，且全程不會(huì)給用戶在操作上帶來(lái)任何其他的門檻，一切基于合約執(zhí)行自動(dòng)化的思想，無(wú)形中創(chuàng)造信息的價(jià)值。

將分類信息發(fā)布平臺(tái)與自媒體形式一體化產(chǎn)業(yè)化，校園為特殊的用戶群體范圍，自媒體平臺(tái)吸引學(xué)生流量從而吸引商家人駐與廣告投放，配合做好網(wǎng)站文化，自媒體平臺(tái)通過(guò)對(duì)產(chǎn)品的設(shè)計(jì)包裝，投放進(jìn)信息發(fā)布平臺(tái)內(nèi)，實(shí)現(xiàn)包裝宣傳、定位投放一體化、一條龍信息服務(wù)鏈。

依據(jù)功能優(yōu)勢(shì)與用戶群體特點(diǎn)專注區(qū)域信息發(fā)布，國(guó)內(nèi)已有的信息發(fā)布類網(wǎng)站因?yàn)橘Y本運(yùn)作問(wèn)題、用戶認(rèn)知問(wèn)題、用戶交易習(xí)慣等問(wèn)題，使得早已失去了原本c2c方向的分類信息發(fā)布方式。平臺(tái)基于大學(xué)校園這一特殊用戶群體實(shí)現(xiàn)的區(qū)域信息發(fā)布平臺(tái)，正是由于區(qū)域性與大學(xué)生的諸多特性不會(huì)重蹈國(guó)內(nèi)其他分類信息發(fā)布平臺(tái)的覆轍，也能使精準(zhǔn)投放功能更加優(yōu)秀地實(shí)現(xiàn)。

5總結(jié)

新形勢(shì)、新技術(shù)下分類信息參與到高校供求關(guān)系解決中來(lái)，為高校學(xué)生的生活帶來(lái)了新的機(jī)遇，也出現(xiàn)了前所未有的挑戰(zhàn)，為此，要結(jié)合大數(shù)據(jù)技術(shù)對(duì)信息分類推送進(jìn)行深入研究，探索構(gòu)建分類信息推送系統(tǒng)的具體途徑，最終實(shí)現(xiàn)高校分類信息推送系統(tǒng)完成新的架構(gòu)。