大數據挖掘在電視節目效果評估中的研究與應用

劉丹 趙云飛

摘要：當今，在新媒體的猛烈攻勢下，傳統電視媒體受到了很大的沖擊。傳統媒體正開始尋求與新媒體的融合發展，媒介融合、臺網互動由學術概念發展到實際的業務當中。本文在對國內外研究成果梳理、總結的基礎上，結合自身的項目經歷，運用大數據、數據挖掘、文本情感分析等理論和方法，探索了大數據在互聯網電視節目效果評估中的應用。

關鍵詞：大數據;數據挖掘;電視節目

引言

大數據時代，每一檔電視節目，觀眾均會對其發表大量的網絡評論，這些評論帶有觀眾對電視節目的態度和觀點，通過研究這些網絡評論數據可以挖掘觀眾態度、喜好，電視工作者通過這些信息可以更好地進行節目內容的創作。

1 需求分析

本文研究的內容來源于實際項目的需要，研究電視節目在新媒體領域的傳播效果。系統主要功能包括：視頻網站中電視欄目的用戶評論的采集、海量用戶評論的存儲、用戶評論的分析。本次研究，將選取綜藝節目《奔跑吧兄弟》，采集其在愛奇藝、優酷、騰訊視頻平臺的評論數據，通過海量數據的數據挖掘，評估用戶對節目的情感傾向性。

2 系統設計與實現

2.1 系統總體設計

本系統的技術架構[1]：

（1）數據采集層：采集海量的用戶評論數據。采集后的數據經過抽取、轉換、加載的處理。

（2）數據存儲層：匯總存儲采集的用戶評價數據。

（3）數據挖掘層：由管理平臺負責整體任務的調度，MapReduce負責計算引擎，通過機器學習模型，實現海量用戶評論數據的文本情感分析，并將分析后的數據存儲到數據倉庫中。

（4）數據可視化層：接收用戶提交的各項分析任務請求，調用底層的分析引擎進行數據的分析任務，將底層分析結果返回給前臺界面顯示。

數據流的走向設計：

2.2 數據倉庫設計

本系統的數據倉庫基于數據立方體理論進行設計[2]，包含2-D數據表，以及3-D數據表：

2.3 大數據平臺設計

本次課題研究將選取Cloudera發行版作為大數據平臺。

基礎環境采用4臺機器的集群模式，單臺機器配置：

CPU：Intel（R） Core（TM） i7-6700 CPU @ 3.40GHz *4

內存：32G

硬盤：1T

操作系統：CentOS6.5

主機 Hadoop組件

CDH Node1 HBase Master、HBase RegionServer、HDFS NameNode、HDFS DataNode、YARN NodeManager、Zookeeper Server

CDH Node2 HBase RegionServer、HDFS DataNode、HDFS SecondaryNameNode、YARN NodeManager、YARN ResourceManager、Zookeeper Server

CDH Node3 HBase RegionServer、HDFS DataNode、Oozie Server、YARN NodeManager、Zookeeper Server

CDH Node4 HBase RegionServer、HDFS DataNode、YARN NodeManager

2.4 數據采集模塊的設計與實現

本系統涉及的數據源包括優酷、愛奇藝、騰訊三個視頻網站的綜藝節目《奔跑吧兄弟》的用戶評論數據。

用戶評論數據表，共分為三個數據庫表comment_youku、comment_iqiyi、comment_qq，MySQL數據庫表設計

數據采集模塊的工作流程：獲取用戶評論數據URL->解析URL數據->將數據暫存到MySQL數據庫。

2.5 數據存儲模塊的設計與實現

數據存儲模塊，定期從數據庫表comment_youku、comment_iqiyi、comment_qq同步數據到HBase中。

使用ETL工具將MySQL數據庫中的用戶評論數據定期、增量導入到HBase，處理流程：配置MySQL/HBase數據源->MySQL中的數據表與HBase中的數據表進行映射和規則轉換->配置每天零點定時執行的計劃任務。

2.6 數據分析模塊的設計與實現

本文將采用基于機器學習的情感分析方法。為了能針對海量評論數據進行大規模的情感分析，需要基于MapReduce計算引擎完成。

本系統將使用Java開發實現MapReduce的過程：連接HBase數據庫->創建MapReduce任務->Map過程：調用機器學習模型完成每條用戶評價的情感傾向性判斷->Reduce過程：實現電視節目評價分析的數據匯總。

2.7 數據可視化模塊的設計與實現

數據可視化模塊，使用Web交互模式，用戶可以通過瀏覽器查詢分析結果。采用MVC設計模式。在頁面展示方面，圖表展示基于ECharts框架進行開發。

數據可視化模塊的處理流程：互聯網電視節目評價分析查詢->根據用戶選擇的不同維度匹配不同的分析引擎->查詢數據倉庫相應的維度數據->頁面呈現。

3 結語

大數據挖掘技術應用于電視節目效果評估，本文進行了研究及系統設計實現。我們可以基于此系統，進行非常廣泛的實際應用，例如通過獲取觀眾對電視節目的評論信息，分析觀眾對電視節目的喜好，及時調整電視節目的制作。

參考文獻

[1]曹佳豪. 基于Hadoop的報文數據挖掘研究與應用[D]. 武漢郵電科學研究院，2018.

[2]丁青松. 基于Hadoop平臺的大數據增量處理技術的研究[D]. 東北大學，2014.

作者簡介：劉丹（1980-），女，漢族，遼寧沈陽人，碩士，軟件工程師，研究方向：大數據技術