大數據時代廣電數據中心研究與設計

孟令紅

（河北廣播電視臺 河北省石家莊市 050031）

1 引言

隨著5G通信技術、光纖通信技術的快速發展，廣電作為一個大型的電視節目運營商，已經開始為用戶提供高清晰度及4K 超高清晰度視頻服務，大大的豐富了人們娛樂文化生活。據工信部統計，目前我國電視用戶高達1.3 億，每年拍攝和錄制的廣播電視節目數億小時，為人們提供了電視劇、電影、綜藝、體育、文化、新聞、農業、軍事等各領域的視頻內容，具有重要的作用和意義[1]。廣播電視數據中心的存儲容量大、訪問用戶多，因此為了提高這些數據資源的服務能力，需要引入更加先進的數據服務技術，包括云計算、大數據和MapReduce 等技術，進一步提高廣電數據中心的并發性、容錯性、健壯性和可移植性，具有重要的作用和意義。

2 大數據時代廣電數據中心功能研究

大數據時代廣電數據中心的功能需要滿足幼兒、少年、青年、老年等多種年齡階段收看者的需求，利用“互聯網+”為用戶提供一個高清晰視頻、多終端接入、多業務綜合等信息服務。廣電數據中心的各個對外業務都可以使用多個類型的終端接入，比如手機、平板電腦、PC 電腦等，因此廣電數據中心建設需要提供一個多終端、并發接入需求，可以采用云計算技術，該技術能夠為用戶提供強大的操作接口，具有重要的作用[2]。本文通過對廣電數據中心進行調研，結合新時期的應用需求，建模了平臺的主要功能，包括資源的交流互動、資源分享、資源推送、直播點播服務等功能[3]。

2.1 資源推送功能

平臺可以利用人工智能技術從海量的視頻資源中挖掘潛在的、有價值的、滿足實際應用需求的資源，將這些資源推薦給不同年齡段用戶，滿足用戶的實際需求。同時，資源推送還可以記錄推薦歷史，以便能夠幫助用戶分析興趣愛好，比如可以根據學齡兒童的年齡段和學習階段定制課程。資源推送過程中引入了人工智能技術，可以實現用戶興趣的分析、瀏覽歷史的分析等，基于大數據分析和模式識別，從海量的視頻資源中，挖掘用戶潛在的視頻內容需求，實現視頻資源智能化的推薦，為用戶精準推送視頻內容。

2.2 交流互動功能

廣電數據中心可以引入微信平臺、QQ 平臺等，能夠為用戶提供一個溝通和交流的功能，將具有相同愛好或興趣的用戶劃分到一個組，探討娛樂生活過程中遇到的問題，同時可以增加電視劇、電影、綜藝、紀錄片等節目推廣程度。

2.3 資源分享功能

廣電數據中心構建了一個社交網絡，使用微信、QQ、微博等構建朋友圈，在朋友圈中推廣視頻資源，還可以訪問其他視頻資源，比如愛奇藝、騰訊等平臺，利用第三方平臺的視頻資源提升廣電數據中心節目容量，并且可以利用微信進行視頻內容分享以及節目直播，提供一個友好的視頻資源分享功能。

2.4 直播點播服務

廣電數據中心可以為用戶提供直播和點播服務，構建一個直播平臺，可以在線實時觀看各種電視節目。視頻點播能夠為用戶提供一個在線點播服務，平臺定期發布視頻資源，用戶可以根據自己的需求選擇是否點播，如果選擇之后，用戶進入視頻進行觀看。

3 大數據時代廣電數據中心設計

3.1 廣電數據中心架構設計

廣電數據中心架構采用先進的云計算架構，該架構可以將數據中心劃分為三個層次，分別是基礎設施即服務（IaaS）、平臺即服務（PaaS）和軟件即服務（SaaS），每一個層次之間都是用虛擬化技術，包括軟件虛擬化和硬件虛擬化，廣電數據中心采用虛擬化技術多屬于硬件虛擬化技術，能夠引入輪轉方法、分片方法和多任務操作處理方法進行操作，實現對存儲空間、CPU、通信帶寬的資源池化，進一步提高計算機硬件設備的共享服務能力。虛擬化可以共享和擴展物理存儲空間，確保多用戶共享CPU 或通信帶寬資源，基于按需服務機制實現大數據平臺操作，實現基礎設施即服務，這樣就可以提高云計算的并發性，實現數以億計的用戶并發訪問平臺。

3.1.1 MapReduce技術

MapReduce 可以為廣電數據中心提供并行處理的計算模型，更適用于集群平臺高性能計算，允許數以億計的節點進行分布式集群，可以實現分布式操作服務。MapReduce 提供一個龐大的、設計精良的并行計算軟件，自動化地完成計算任務，分配大數據存儲空間資源，實現數據分布存儲、通信和容錯處理。MapReduce 能夠提供一個簡單的、便捷的程序設計方法，更有利于程序員進行編程和處理。MapReduce 能夠處理海量的半結構化數據，利用并行的結構解決特定的、復雜的數據處理問題，比如在一個關系數據庫中，其可以使用SQL 語言執行數據插入、查詢、修改和刪除操作，還可以使用傳統的C++語言、Java 語言等解決這個問題，實現數據庫操作語言與傳統程序語言的有效結合，實現一個功能更加強的數據處理功能。

3.1.2 數據遷移技術

數據遷移技術可以采用優先級算法，把光纖陣列存儲單元劃分為不同的優先級，從高到低進行排序，優先級較高的存儲訪問頻次較多的數據，優先級較低的存儲訪問頻次較少的數據。首先，廣電數據中心的數據訪問頻次不同，因此可以設置一個計數器，每訪問一次計數器就增加1，這樣計數器數值越高，表示數據訪問的次數越多，因此為了提高這些數據的訪問效率，可以將其轉移到優先級較高的位置。同時，數據遷移需要與Cache 調度算法進行集成，可以確保Cache 滿負荷運載，因此可以提高廣電數據中心存儲平臺應用效率。

3.2 廣電數據中心業務處理流程設計

廣電數據中心為用戶提供一個并發接入功能，實現數據存儲和智能化遷移服務，為幼兒、少年、青年、中年和老年等不同年齡的群體提供視頻共享服務[4]。廣電數據中心還可以實現數據存儲、傳輸和共享功能，同時還可以根據數據訪問頻次設置優先級，提高對數據的訪問效率。廣電數據中心實現存儲資源的并發響應操作功能，業務處理流程如圖1所示。

廣電數據中心的業務處理流程包括四個步驟，分別是設置平臺操作系統、構建Hadoop 集群、數據整合和預處理、數據存儲，進一步提高了視頻大數據應用效能。

3.2.1 設置平臺操作系統

廣電數據中心面臨的數據資源非常多，為了提高對這些視頻、文本、圖像等數據資源的組織管理效率，需要使用與之匹配的操作系統，本文選擇RedHat 作為操作系統，盡可能地實現大數據的優先級訪問、熱點數據存儲，管理大數據的物理存儲空間，實現對資源的調度和分配。廣電數據中心RedHat 可以為不同的用戶群體提供一個界面化操作模式，同時該系統可以加強各個資源的組成，進一步提高數據服務的性能，比如可以為用戶提供一個集群的操作系統，該系統能夠加強不同客戶之間的信息共享功能和交流溝通功能。

3.2.2 構建Hadoop 集群

Hadoop 是一個軟件平臺，其可以運行廣電數據中心視頻、文本、圖像等處理軟件，最核心的技術為MapReduce，能夠將大量的計算機組成一個集群，實現海量數據分布式計算。Hadoop 吸引了很多商業公司研發和設計，已經構建了各種開源組件，包括Sqoop、Hbase 和Spark 等。Hadoop 包括很多的組成元素，最底層的組成元素就是Hadoop Distributed File System（HDFS），其可以Hadoop 集群平臺中的所有存儲節點文件，HDFS 的上一層就是一個MapReduce 引擎，這個引擎包括兩個組成部分，分別是JobTrackers和TaskTrackers，利用Hadoop 可以實現數據處理和操作，進一步滿足分布式數據操作。本文數據存儲平臺采用Hadoop 集群平臺，可以滿足數以千計的用戶同時訪問廣電數據中心數據存儲平臺的需求，還可以針對視頻點播軟件、直播服務軟件、信息資源服務系統、廣電交互接口系統、系統管理系統等軟件進行集成，為用戶提供一個集成化的操作界面。

3.2.3 數據整合和預處理

廣電數據中心保存的資源非常多，比如文件日志、關系數據、對象數據等，這些有結構性數據也有非結構性數據，因此在把數據整合在一起時需要進行預處理，以便能夠利用企業服務總線進行通信傳輸，提高數據的一致性和可靠性。數據預處理可以利用Impala、SparkSQL 和HiveSQL 等工具。本文選擇使用HiveSQL 作為數據整合軟件，該軟件能夠實現大規模的信息加工，進一步加強對廣電數據中心數據資源的管控。

圖1：廣電數據中心平臺

3.2.4 數據存儲

廣電數據中心最重要的功能就是存儲。數據存儲可利用HBase和Kudu 等存儲管理工具，建立一個生態存儲圈，不斷地提高大數據平臺的存儲和管理水平，還可以降低訪問延遲，提高數據分析能力。目前，廣電數據中心還引入了更加先進的數據庫，比如Oracle數據倉庫，數據倉庫不僅可以實現普通數據的處理功能，還具有數據智能分析、優先級存儲等功能，一旦某一個數據對象訪問頻次上升，就可以為這些數據賦予較高的優先級，將其轉移到高速緩存中，提高用戶的訪問效率。

4 結束語

隨著移動通信、光纖通信、大數據、云計算等技術的快速發展，人們已經進入到了大數據時代，開發了許多的應用軟件，比如金融銀行、物流倉儲、電力通信、政務辦公、醫療教育等。廣電數據中心是一個集成化的信息服務系統，其可以實現豐富的視頻服務功能，根據用戶的需求實現資源內容的推薦、分發，及時的將用戶關注的信息分發到位。廣電數據中心采用軟件工程技術、多媒體技術、網絡通信技術等，還可以為不同興趣愛好的用戶提供在線直播、視頻點播、視頻回放等功能。廣電數據中心還是一個大型的學習資源數據庫，其可以查詢各類型的學習資源，平臺可以超越時空限制，沒有時間和空間的限制，隨時隨地都可以登錄到廣電數據中心學習。