分布式視頻處理框架及基于Hadoop的參考實現

［丁圣勇 樊勇兵 陳楠］

分布式視頻處理框架及基于Hadoop的參考實現

［丁圣勇 樊勇兵 陳楠］

隨著互聯網、智能終端以及APP的快速發展，視頻數據成為極其重要的數據來源，視頻中包含了大量文本無法承載的信息。由于視頻數據具有量大、高度非結構化特點，大規模視頻數據處理非常困難。文章提出一種基于大數據平臺的視頻處理系統，該系統充分利用大數據平臺的能力實現視頻處理的分布式調度，使得開發者僅需要關注算法部分，從而大幅度提升開發效率。

大數據 視頻處理 視頻解碼 Hadoop

中國電信廣州研究院，2001年本科畢業于中國科技大學，2015年獲中山大學計算機博士學位，長期從事云計算和大數據技術及應用研究。

樊勇兵

中國電信廣州研究院。

陳楠

中國電信廣州研究院。

1 引言

隨著互聯網以及智能終端的發展，視頻數據規模呈現爆炸式增長。有報告指出[1]：“智能視頻監控、視頻內容分析和視頻分析每年處理數萬億小時的視頻監視圖像”。而據鄔賀銓院士報告指出：“在線視頻將成為消費者互聯網流量的主導，網絡視頻流量比例將從2015年的37.4%增長到2019年的52%；網絡視頻流量占消費者互聯網流量比例從2015年66%增長到2019年80%。2019年以電視機為終端的互聯網視頻將比2014年增長4倍”。

文本、語音、圖像以及圖像的序列視頻是自然界最重要的信息載體，文本往往用來表達概念，圖像和語音則往往記錄更為真實的場景，彼此互補而又不可替代。由于圖片的攝取更為方便，隨著移動互聯網的發展，用戶越來越傾向于使用圖片或視頻記錄場景。……