論基于大數據技術的網絡視頻處理系統

韓永亮

摘 要：結合當前大數據信息化時代背景的發展，在分析了MapReduce 計算模型的基礎上，提出了基于大數據技術的海量網絡視頻處理系統結構，希望能有效結合新時代的網絡發展特點來有效處理網絡視頻，符合新時代背景下的視頻處理要求。

關鍵詞：大數據技術;網絡視頻;視頻處理;關鍵技術

1 引言

在信息化時代背景下，多媒體信息則是互聯網信息中不可或缺的重要內容。隨著人們越來越關注網絡直播商業化的發展，移動視頻直播平臺則是網絡技術發展的重點方向，這也給傳統的網絡視頻采集以及識別處理帶來一定的問題[1]。這里結合實際的情況，從多方面論述了如何借助于新型互聯網技術來滿足視頻數據的處理需求。這里結合基于大數據技術，提供了如何有效進行海量網絡視頻處理的方案，在此系統中，應該采用多機集群并行方式來開展有效處理相應的視頻數據，以便高效處理網絡視頻問題。

2 ?MapReduce 計算模型

這里選擇的MapReduce算法則是能有效進行大規模數據集處理的模型，能有效實現自動化的實現并行性的要求，能符合普通商用計算機的集群組成運行的要求。針對MapReduce算法的過程，主要算法思想為：通過客戶機所提出的計算任務則是結合Master 管理要求，能夠進行往下分配處理到多臺機器進行相應的處理以及執行，在此基礎上，通過Master進行結果收集者能夠將多臺機器的收集結果來實現將其發送給提出請求的客戶機，這就基本完成了Map 階段的任務分配以及Reduce階段中的收集執行結果的基本流程。

3 海量網絡視頻處理系統結構

結合實際的需求，系統主要涉及到客戶機集合以及分布式計算機集群兩部分。前者的數量不固定，且主要是進行視頻數據的采集工作;后者則是進行視頻數據處理以及分析，具有上述的MapReduce 算法模型。其中，數據輸入以及視頻數據處理界面都在每個客戶機上進行配置，Master節點主要是能實現客戶機的交互活動，全力保障能滿足Worker節點的資源分配任務要求;而Worker節點則是負責進行視頻數據的相應處理內容。

3.1 系統功能

系統能滿足通過關鍵詞的形式來進行海量視頻內容的檢索功能，在此過程中，能結合實際情況來進行人物以及事物的特征提取、特征設定以及相應的對比位置追蹤等工作。相比傳統的工作來看，這種方式能夠有效提升處理速度，滿足新時代背景下的互聯網上呈現出幾何式增長速度的視頻數據的要求，同時表現出較強的可擴展性的要求[2]。

3.2 系統處理內容

（1）視頻輸入

結合相關的網絡多媒體數據來源情況，可以具體涉及到Ftp Server、Web Server和Media Server等模塊中，并能結合相關的輸入視頻的類型，保障滿足多種格式的支持要求。在進行視頻數據系統中，這里選擇分布式的存儲管理結構，并進行相應的Worker節點存儲。

（2）視頻片段幀提取

在此模塊中，能夠實現特定的幀提取的操作，這樣能為后續的目標識別奠定良好的基礎工作。在此環節中，結合實際需求來預先指定相應的特定位置。

（3）目標特征識別和提取

相關內容在Worker 節點滿足實現，則是通過自定義的Map函數來實現，能夠有效進行特征信息的識別提取，則是檢測中的重要內容。具體來說，涉及到對于數據時間、來源、地域等方面的外部特征提取;以及數據文件大小、固定圖幀、偏移數據片等內部特征的提取情況;以及信息指紋、特征向量方面的工作，這樣有利于提升視頻檢索效率。

（4）視頻內容重復性檢測

結合實際需求來看，還應該重視視頻內容的重復性檢測工作，避免出現重復的視頻情況。這里主要是采用視頻特征向量的重復檢測算法，并結合實際確定相關的相似度，給予重復內容進行必要的標注處理。

（5）視頻片段信息量計算

結合系統的整體要求，選擇視頻數據信息量的計算方式，有效能夠搜索預期的目標視頻。這種算法中，能夠把視頻中的事件、地點、時間以及人物等關鍵屬性進行作為描述視頻的一個維，在此過程中，結合實際進行相應的權重賦值，利用相關的數據庫中的視頻各維的屬性與該維上預設屬性的相似程度進行判斷，并給定相關的數值，并通過合理的計算判定得到這個視頻的信息量。通過信息量的計算以及比較，能夠體現出視頻的重要程度，如果其數值越高則說明前越符合目標視頻的要求[3，4]。

3.3 內容識別

（1）文字識別

通過文字識別技術，能將視頻中文字進行有效的提取處理，這部分主要涉及到字幕以及圖上文字等部分，一般來說，處理的方法主要為：針對字幕情況來說，采用分離于視頻文件的情況進行處理;如果難以進行分離處理，則可以開展相應的方法提取;當存在難以識別的情況，則應該開展圖片的截取處理。

（2）人識別

針對視頻中的人部分內容來說，先識別出在進行處理。在具體的識別環節中，主要是通過人臉識別以及人身體姿態的識別。這里系統僅對于視頻中的人進行識別，并沒有能夠分清楚識別者的身份，所以，選擇基于人臉特征點的識別算法，同時，進行人身體識別的過程中，則融入相應的特定算法內容。整體系統中則是通過人臉識別為主，且身體識別為輔的方式。

4 結束語

綜上所述，這里結合大數據技術而提出了有效的海量網絡視頻處理方案，結合MapReduce模式的視頻處理并行算法的優勢，能保證系統符合實際的項目需求，能實現一定的容錯性以及可擴展性要求，能更加符合時代發展的特點，性能優于集中式的處理系統，具有一定的推廣應用的前景。

參考文獻：

[1] 韓麗杰， 邢偉華， 蘇志恒. 基于無線網絡設計視頻監控系統[J]. 數碼世界， 2019年9期.

[2] 李強. 基于Blackfin處理器的網絡視頻服務系統實現[J]. 電子技術與軟件工程，2016年013期.

[3] 劉鴻雁， 楊超， 崔旭. 網絡軟視頻系統常見故障分析與處理[J]. 電力信息與通信技術，2015年10期.

[4] 李輝， 吳強， 凌志祥，等. 基于卷積神經網絡的視頻會議內容與質量檢測系統[J]. 福建電腦， 2018年5期.