輿情大數(shù)據(jù)系統(tǒng)的設(shè)計(jì)與實(shí)現(xiàn)

陳舒枝

(浙江廣播電視集團(tuán)，浙江 杭州 310005)

1 項(xiàng)目設(shè)計(jì)背景

浙江廣播電視集團(tuán)建設(shè)中國(guó)藍(lán)融媒體中心，探索“中央廚房”常態(tài)化融合傳播機(jī)制，積極助推全省市縣融媒體中心建設(shè)。集團(tuán)中央廚房在節(jié)目生產(chǎn)過(guò)程中，一方面需要采集互聯(lián)網(wǎng)輿情，掌握并跟蹤熱點(diǎn)輿情，為節(jié)目生產(chǎn)提供線索；另一方面需要監(jiān)測(cè)輿情，將節(jié)目傳播效果反饋給節(jié)目生產(chǎn)。所以需要在集團(tuán)內(nèi)建立輿情大數(shù)據(jù)中心，利用搜索引擎技術(shù)和網(wǎng)絡(luò)數(shù)據(jù)挖掘技術(shù)，對(duì)互聯(lián)網(wǎng)中的海量輿情信息、行業(yè)專業(yè)數(shù)據(jù)進(jìn)行實(shí)時(shí)的采集分析，實(shí)現(xiàn)集團(tuán)內(nèi)部節(jié)目生產(chǎn)和對(duì)相關(guān)網(wǎng)絡(luò)輿情管控引導(dǎo)的需要。

2 設(shè)計(jì)目標(biāo)

集團(tuán)依托中國(guó)藍(lán)云提供的基礎(chǔ)資源，將建設(shè)一套全流程處置輿情數(shù)據(jù)從互聯(lián)網(wǎng)采集、聚類分析、用于節(jié)目生產(chǎn)到數(shù)據(jù)化展示的，具有廣電特色的浙江省內(nèi)權(quán)威的輿情大數(shù)據(jù)中心。

輿情大數(shù)據(jù)系統(tǒng)將與集團(tuán)中央廚房無(wú)縫銜接，最短時(shí)間內(nèi)發(fā)現(xiàn)關(guān)注的全網(wǎng)熱點(diǎn)信息，及時(shí)對(duì)節(jié)目編導(dǎo)、制作片人推送預(yù)警信息，及時(shí)做出有利的輿論引導(dǎo)，適應(yīng)集團(tuán)各頻道節(jié)目制作、播出、營(yíng)銷的需要。輿情大數(shù)據(jù)系統(tǒng)不僅能夠滿足集團(tuán)中國(guó)藍(lán)融媒體中心的業(yè)務(wù)需求，還能適配市縣租戶的生產(chǎn)要求。通過(guò)租戶化的建設(shè)，能夠?yàn)楦骷?jí)廣電提供個(gè)性化的功能，滿足不同單位的實(shí)際需求。通過(guò)建設(shè)該系統(tǒng)將實(shí)現(xiàn)以下目標(biāo)：

2.1 數(shù)據(jù)的采集、匯聚、分析與共享能力

具備互聯(lián)網(wǎng)新聞、論壇、博客、微博、微信、貼吧、客戶端等數(shù)據(jù)的采集能力，通過(guò)統(tǒng)一的數(shù)據(jù)格式和標(biāo)準(zhǔn)化的接口與各個(gè)業(yè)務(wù)體系下的數(shù)據(jù)進(jìn)行整合，為各應(yīng)用層面的數(shù)據(jù)分析奠定基礎(chǔ)。

2.2 熱點(diǎn)輿情事件的發(fā)現(xiàn)與分析能力

利用先進(jìn)的數(shù)據(jù)挖掘技術(shù)對(duì)數(shù)據(jù)進(jìn)行智能化分析，通過(guò)文本相似度比對(duì)、網(wǎng)頁(yè)信息抽取、語(yǔ)義研判等處理，智能識(shí)別熱門輿情事件、追蹤和分析熱點(diǎn)輿情事件，評(píng)估熱點(diǎn)輿情的全網(wǎng)影響力等，能夠?yàn)楦鳂I(yè)務(wù)領(lǐng)域提供極具參考性或指導(dǎo)性的數(shù)據(jù)結(jié)果。

2.3 展現(xiàn)與決策輔助能力

靈活運(yùn)用傳播力分析、話題關(guān)系分析、工具等多項(xiàng)組合條件進(jìn)行定制查詢，及時(shí)檢索出設(shè)定時(shí)間范圍內(nèi)的各項(xiàng)統(tǒng)計(jì)指標(biāo)，實(shí)現(xiàn)統(tǒng)計(jì)數(shù)據(jù)的多維度查詢和導(dǎo)出，生成各類統(tǒng)計(jì)數(shù)據(jù)報(bào)表或分析報(bào)告，實(shí)現(xiàn)統(tǒng)計(jì)、分析結(jié)果的PC端、大屏等多種渠道的可視化展現(xiàn)，能夠?yàn)槿譀Q策提供判斷科學(xué)的數(shù)據(jù)依據(jù)。

2.4 業(yè)務(wù)支持與優(yōu)化能力

按集團(tuán)各業(yè)務(wù)環(huán)節(jié)需求分別進(jìn)行定制化的數(shù)據(jù)采集和分析，為各類業(yè)務(wù)所涵蓋的產(chǎn)品及實(shí)際應(yīng)用提供及時(shí)和充分的數(shù)據(jù)結(jié)果，達(dá)到支持業(yè)務(wù)高效運(yùn)轉(zhuǎn)和優(yōu)化的最終目標(biāo)。

3 系統(tǒng)架構(gòu)設(shè)計(jì)

當(dāng)前浙江廣電集團(tuán)依據(jù)集團(tuán)節(jié)目制作形態(tài)，建設(shè)輿情大數(shù)據(jù)系統(tǒng)將采用“購(gòu)買服務(wù)+自建核心”的模式進(jìn)行，系統(tǒng)架構(gòu)如圖1所示。在第三方公有云上購(gòu)買互聯(lián)網(wǎng)輿情采集、定制推送、全網(wǎng)分析等服務(wù)。互聯(lián)網(wǎng)的網(wǎng)站、論壇、微博和微信等輿情信息經(jīng)采集、聚類、過(guò)濾、分析，存儲(chǔ)在互聯(lián)網(wǎng)輿情庫(kù)中。

在集團(tuán)中國(guó)藍(lán)云平臺(tái)上自建本地輿情定制內(nèi)容庫(kù)、收視庫(kù)，互聯(lián)網(wǎng)輿情庫(kù)推送的定制輿情內(nèi)容和央視索福瑞、浙江華數(shù)等收視數(shù)據(jù)分別存儲(chǔ)其中。統(tǒng)一接入服務(wù)平臺(tái)包括新聞線索、傳播分析和輿情引導(dǎo)等功能模塊，對(duì)存儲(chǔ)于本地輿情定制內(nèi)容庫(kù)、收視庫(kù)以及集團(tuán)內(nèi)部新聞生產(chǎn)系統(tǒng)的數(shù)據(jù)信息進(jìn)行分析處理，同時(shí)與中央廚房選題報(bào)題、全媒績(jī)效考核、大屏展現(xiàn)和云媒資庫(kù)實(shí)現(xiàn)數(shù)據(jù)對(duì)接。網(wǎng)評(píng)員能通過(guò)輿情引導(dǎo)和輿情管控對(duì)預(yù)警內(nèi)容進(jìn)行處理和管理。節(jié)目制作人員可以將輿情線索推送到云媒資庫(kù)和中央廚房報(bào)題選題用于節(jié)目生產(chǎn)[1]。

圖1 輿情大數(shù)據(jù)系統(tǒng)架構(gòu)

3.1 數(shù)據(jù)采集分析

數(shù)據(jù)采集的范圍主要以國(guó)家互聯(lián)網(wǎng)信息辦公室2016年公布的可供轉(zhuǎn)載新聞的新聞單位為數(shù)據(jù)源，還包括全國(guó)各級(jí)政務(wù)官方微博賬號(hào)、微信公眾號(hào)等可靠信源，以及浙江省內(nèi)各大主流網(wǎng)站、微博、微信公眾號(hào)、APP等。通過(guò)先進(jìn)的分布式云架構(gòu)采集技術(shù)，實(shí)時(shí)采集全網(wǎng)媒體數(shù)據(jù)，由定制分布式爬蟲(chóng)根據(jù)豐富的規(guī)則庫(kù)以及種子資源抓取數(shù)據(jù)[2]，數(shù)據(jù)通過(guò)ETL數(shù)據(jù)清洗系統(tǒng)清洗干擾信息(垃圾信息、敏感信息、重復(fù)信息等)，數(shù)據(jù)得到純凈化的同時(shí)對(duì)數(shù)據(jù)進(jìn)行結(jié)構(gòu)化處理。處理后數(shù)據(jù)推送至本地輿情定制庫(kù)。

3.2 本地輿情定制內(nèi)容庫(kù)

本地輿情定制內(nèi)容庫(kù)建在集團(tuán)云平臺(tái)上，系統(tǒng)擁有海量媒體數(shù)據(jù)做底層數(shù)據(jù)支撐，且數(shù)據(jù)均實(shí)現(xiàn)自動(dòng)采集與標(biāo)簽化、結(jié)構(gòu)化處理，并且不斷補(bǔ)充新的媒體來(lái)源。除了全網(wǎng)實(shí)時(shí)更新推送的信息，數(shù)據(jù)源還從中國(guó)藍(lán)云收集并預(yù)處理了數(shù)據(jù)信息。本地內(nèi)容數(shù)據(jù)庫(kù)已經(jīng)建立了一個(gè)分布式的全文本搜索引擎，該引擎支持上億級(jí)和PB級(jí)別的輿情數(shù)據(jù)的存儲(chǔ)和檢索。

3.3 收視庫(kù)

收視庫(kù)能夠根據(jù)央視索福瑞、浙江華數(shù)的收視數(shù)據(jù)進(jìn)行解析、對(duì)比，并存儲(chǔ)到中國(guó)藍(lán)云的數(shù)據(jù)庫(kù)供查詢和檢索。可以分析集團(tuán)各頻道的整體收視情況，按照時(shí)間、地區(qū)的收視率、收視份額等進(jìn)行具體呈現(xiàn)；也可以設(shè)定關(guān)鍵詞進(jìn)行分析，按照排名、實(shí)時(shí)收視、歷史收視、用戶喜好等進(jìn)行展現(xiàn)，并通過(guò)數(shù)據(jù)接口在大屏和中央廚房可視化呈現(xiàn)。根據(jù)融媒體中心、頻道的不同需要可以生成各種類型的分析報(bào)告，為產(chǎn)品評(píng)估和領(lǐng)導(dǎo)決策提供依據(jù)[3]。

3.4 統(tǒng)一接入服務(wù)平臺(tái)

統(tǒng)一接入服務(wù)平臺(tái)對(duì)接互聯(lián)網(wǎng)輿情庫(kù)、本地定制內(nèi)容庫(kù)和收視庫(kù)等數(shù)據(jù)，能夠?yàn)檩浨檎宫F(xiàn)、輿情引導(dǎo)、中央廚房、云媒資庫(kù)、第三方展現(xiàn)等應(yīng)用提供數(shù)據(jù)支撐，是一個(gè)承上啟下的應(yīng)用服務(wù)層。包括新聞線索、傳播分析和輿情引導(dǎo)等模塊。

3.4.1 新聞線索

新聞線索模塊將是新聞選題、節(jié)目制作的重要來(lái)源之一。為記者、編導(dǎo)推送浙江熱點(diǎn)、頭版頭條、全網(wǎng)熱點(diǎn)、地域熱點(diǎn)、醞釀熱點(diǎn)、媒體報(bào)道、行業(yè)新聞、新聞檢索進(jìn)行匯聚呈現(xiàn)，并可根據(jù)不同的需求進(jìn)行定制，所有數(shù)據(jù)均樹(shù)結(jié)構(gòu)展現(xiàn)，可以按照民生、經(jīng)濟(jì)、體育篩選標(biāo)簽，在約定熱點(diǎn)的提取方式后，可以按照分類標(biāo)簽提取熱點(diǎn)數(shù)據(jù)。基于系統(tǒng)龐大的數(shù)據(jù)中心，可以第一時(shí)間掌握全網(wǎng)傳播最快最廣的新聞線索。運(yùn)用大數(shù)據(jù)挖掘技術(shù)，綜合媒體權(quán)重和時(shí)間因素，實(shí)時(shí)監(jiān)測(cè)全網(wǎng)最新最熱的新聞熱點(diǎn)。從而實(shí)現(xiàn)對(duì)國(guó)內(nèi)主流媒體，包括媒體旗下的報(bào)紙、網(wǎng)站、微博、微信、新聞移動(dòng)客戶端稿件的監(jiān)測(cè)和熱點(diǎn)的挖掘。為了保證熱點(diǎn)新聞的時(shí)效性，針對(duì)媒體熱點(diǎn)發(fā)現(xiàn)的每個(gè)熱點(diǎn)新聞，系統(tǒng)每5 min都會(huì)更新一次熱度，熱度值受轉(zhuǎn)載媒體數(shù)量、媒體權(quán)重和時(shí)間等因素影響。

3.4.2 傳播分析

傳播分析主要是針對(duì)集團(tuán)各頻道播出的新聞、綜藝節(jié)目、影視劇或其他類型節(jié)目，在互聯(lián)網(wǎng)上引發(fā)的輿情傳播統(tǒng)計(jì)分析，及時(shí)發(fā)現(xiàn)輿情中反映出的觀眾心聲與疑問(wèn)，在節(jié)目的宣推中予以引導(dǎo)和回應(yīng)；并在當(dāng)中提取有效信息反哺節(jié)目的制作生產(chǎn)。具體包括了網(wǎng)媒報(bào)道分析、微博(官方微博)傳播分析、微信(微信公眾號(hào))傳播分析、APP傳播分析、用戶畫(huà)像、節(jié)目全網(wǎng)傳播力分析等。

3.4.3 輿情引導(dǎo)

輿情引導(dǎo)是對(duì)集團(tuán)各頻道節(jié)目在互聯(lián)網(wǎng)上新媒體平臺(tái)的傳播口碑進(jìn)行監(jiān)測(cè)，對(duì)不利輿情予以及時(shí)處置，應(yīng)及時(shí)建立有利于傳播的輿論，以擴(kuò)大其影響力。對(duì)于已經(jīng)發(fā)生的輿論和事件，掌握其在互聯(lián)網(wǎng)上傳播的特點(diǎn)和發(fā)展趨勢(shì)，跟蹤關(guān)鍵事件和敏感事件的輿論來(lái)源，進(jìn)行全面監(jiān)控，引導(dǎo)輿情管控決策，以保持集團(tuán)的健康和良好形象。

4 關(guān)鍵技術(shù)

(1)基于ElasticSearch分布式搜索分析引擎和ONEStor分布式對(duì)象存儲(chǔ)，實(shí)現(xiàn)互聯(lián)網(wǎng)數(shù)據(jù)匯聚、傳播分析、輿情監(jiān)測(cè)和收視統(tǒng)計(jì)。采用網(wǎng)絡(luò)爬蟲(chóng)、信息挖掘、文本分析等技術(shù)，對(duì)互聯(lián)網(wǎng)媒體信息、網(wǎng)絡(luò)輿情和行業(yè)收視率數(shù)據(jù)進(jìn)行采集、清洗、分析、聚類，建立覆蓋傳統(tǒng)媒體和新媒體的大數(shù)據(jù)中心。

(2)基于關(guān)鍵字相似度比對(duì)的觀點(diǎn)挖掘分析算法，通過(guò)情感要素抽取、情感分類和觀點(diǎn)檢索，解析網(wǎng)絡(luò)輿情事件的相關(guān)情感信息，識(shí)別主觀情感趨勢(shì)，建立一套完整的輿情監(jiān)測(cè)預(yù)警機(jī)制。

5 結(jié)語(yǔ)

輿情大數(shù)據(jù)系統(tǒng)建成后，陸續(xù)為集團(tuán)內(nèi)各頻道以及市縣臺(tái)提供全網(wǎng)輿情監(jiān)測(cè)、新聞選題、收視分析等服務(wù)。新冠肺炎疫情期間，集團(tuán)充分利用藍(lán)云大數(shù)據(jù)獲取和分析能力，實(shí)時(shí)展示各大官方媒體疫情防控進(jìn)展及輿情引導(dǎo)，助力浙江衛(wèi)視《中國(guó)藍(lán)云搜索》等節(jié)目生產(chǎn)。