以Hadoop平臺為依托設計海量視頻檢索系統

王紀萍

(南京審計大學 金審學院，江蘇 南京 210023)

以往視頻數據存儲和檢索平臺功能較為單一，性能低效，容量有限，較多地應用在科學計算領域，在數據處理領域應用較少。設計一款以Hadoop平臺為依托的海量視頻檢索系統所需硬件、軟件環境造價低，但功能卻很豐富，具有極高的拓展性和包容性，可根據視頻數據處理需要拓展功能，且性能高、容量大，在視頻數據處理方面優勢明顯。

1 系統需求分析

1.1 現實需求

隨著智能安防技術的發展，智能視頻監控系統的運用愈發普遍，遍布大街小巷的“天網”系統和分布在不同場所的監控攝像頭，每時每刻都在不停錄像，捕捉視頻圖像。當需要從這些視頻圖像中檢索跟蹤某一特定目標時，就需要從存儲的海量視頻中，分析、檢索、提取特定對象，這無異于大海撈針。設計一套能夠智能快速進行海量篩選檢索的系統就顯得尤為重要。以往視頻圖像檢測的方法有很多，如顏色分類法、幀差法等，在這些方法基礎上開發出的視頻檢索系統，雖然可以進行人車分類、視頻濃縮等處理，但并不能完成對特定目標的檢索，實際應用存在諸多局限，必須要設計一款功能強大、拓展性強的海量視頻檢索系統。

1.2 功能需求

(1)強大的存儲需求

海量視頻檢索系統必須要具有強大的存儲功能，要能夠存儲海量視頻，因此，存儲系統功能必須要足夠強大。一是要具有較強的包容性，要能夠存儲各種類型的視頻文件；二是要有較強的寫入性能。要能夠同時滿足KB級的人臉或車輛圖像文件的讀寫、GB級的高清視頻文件的讀寫，并能夠快速讀取并批量存儲數據三是要具備動態拓展性，要在存儲各種原始數據信息的同時，支持動態拓展，為存儲各種目標圖像和視頻提供強大支持；四是要滿足跨平臺數據讀寫的需求，海量視頻檢索系統涉及到不同數據的操作處理，而這些處理是由不同的平臺完成的，系統必須要滿足跨平臺進行數據讀取和寫入的需求。

(2)分布式轉碼需求

海量視頻檢索系統中，視頻和各種圖像數據每天以指數級的速度增長，會不斷消耗系統內存，對系統運行產生壓力。過去的海量視頻檢索系統多采用的是單節點的轉碼方式進行視頻檢索，但這種方式不但效率低，還會加重系統運行負擔，使其出現宕機的情況，影響海量視頻數據檢索的實現。因此，要設計的海量視頻檢索系統需要滿足分布式轉碼需求，可通過系統將視頻轉碼任務分布到多個計算機上，由他們共同完成數據轉碼，實現多個節點的聯動作業，提高視頻檢索系統的檢索效率。

2 Hadoop海量視頻檢索系統架構

采用Hadoop進行設計，可滿足海量視頻檢索系統的現實需求和功能需求，Hadoop最大的特色就是對視頻數據進行分布式的存儲和轉換處理，能夠實現海量視頻檢索的高效運行，并能實現在海量視頻中快速提取某一目標。

2.1 系統核心組件架構

以Hadoop平臺為依托建構的海量視頻檢索系統包含多個組件，但其中最主要的核心組件有三，分別為HDFS、MapReduce、HBase，它們各自承擔不同的分布式海量視頻數據處理任務，是支撐系統穩定運行的核心組件，如圖1所示。

圖1 Hadoop系統核心組件架構

(1)HDFS系統架構

在Hadoop海量視頻檢索系統設計中，將HDFS架構在最底層，它的功能是連接獲取Hadoop平臺上傳輸過來的視頻數據，對其進行副本復制、出錯處理等一系列存儲管理工作。該系統具有強大的分布式存儲管理優勢。即便是幾百GB或幾百TB的超大型視頻文件，HDFS系統都可以輕松存儲。利用該系統的流式數據訪問優勢，可輕松提升數據吞吐量，并能根據Hadoop集群的存儲需要隨時刪除或增加節點。在架構HDFS系統系統時，可按照Hadoop遠程過程調用協議實現各個節點之間的通信，確保HDFS系統各個節點之間的協調運作。若用戶需存儲文件，就可以通過客戶端啟動HDFS系統，然后調用create方法。此時在遠程通信機制的支持下，可以實現HDFS各節點間的網絡通訊，用戶只需要在節點域名空間內新建地址文件，就可以獲得相應存儲地址，即可進行數據寫入存儲操作[1]。

(2)HBase系統架構

這個面向列的存儲系統，其作用是對以表的形式存儲的視頻數據進行增刪查改、調整和故障恢復等操作。在架構該系統時，需要運用多個區域服務器，通過服務器來響應用戶提出的視頻存儲需求，然后與HDFS之間進行交互協作，從后者讀寫數據。

(3)MapReduce系統架構

MapReduce系統架構的目的是為了完成對視頻數據的分布式計算和調度任務。其架構主要包括JobTracker和TaskTracker兩部分，前者屬于任務控制節點，負責發布和調度任務，后者屬于任務的執行節點，執行JobTracker指派的任務，并在任務完成后，將結果反饋給JobTracker。整個系統的運行流程為：JobTracke任務提交——任務初始化——TaskTracker任務執行——Map輸出——Reduce分配——結束[2]。

2.2 系統整體框架架構

如圖2所示，基于Hadoop系統的海量視頻檢索系統共分為六層：第一層是硬件層，這一層是服務器集群層，采用一臺主服務器Master和三臺從服務器Slave進行架構的方式，將它們布局在同一局域網中。服務器內存為8GB，硬盤為120GBSATA；第二、三、四層分別為分布式數據存儲管理層、數據庫處理層和分布式數據計算層；第五層為業務邏輯層。負責通過對目標視頻進行預處理和特征提取等工作，實現視頻精準檢索；第六層為用戶層，為用戶提供視頻檢索的接口和查詢服務。

圖2 Hadoop系統整體框架架構

2.3 系統運行流程

Hadoop系統的前端運行極為簡捷高效，用戶只需要進入系統視頻檢索界面，提供需要檢索的目標圖像，系統就會自動對目標圖像進行特征提取。同時，數據庫底層會自動運行，在海量數據中層層篩選，最終選定相似目標圖像，并進行相似度匹配。最終通過比對結果確定獲得的圖像是否是目標圖像，至此，系統運行結束，用戶完成檢索。如圖3所示。

圖3 Hadoop系統運行流程

3 Hadoop海量視頻檢索系統的實現

Hadoop海量視頻檢索系統實現的關鍵在于圖像特征的提取和匹配，這其中需要用到先進的提取算法，本文在系統中嵌入了兩套不同的算法，這兩種算法都具有精確檢索的特征，用戶可根據實際需要選擇任一算法進行視頻檢索。

3.1 待檢索目標圖像的特征提取

Hadoop海量視頻檢索系統在待檢索目標圖像特征提取時采用的是分布式提取方法，提取的特征主要包括目標圖像的RGB顏色、目標圖像的邊緣直方圖、目標圖像的紋理特征等。提取。

(1)利用Hu不變矩算法獲得目標圖像的特征向量

該算法的優點在于不受圖像變換的影響，無論是旋轉還是縮放圖像，都不會影響其對圖像特征的提取。同時，該方法對噪聲不敏感，能夠準確描述目標圖像的形狀特征，在海量視頻檢索領域應用廣泛[3]。其公式表示如下：設二維數字圖像為f(x,y),圖像高度為n，圖像寬度為m，圖像水平方向的重點為x0,垂直方向重心為y0。那么(p+q)階的普通矩和中心矩公式分別如下：

(1)

(2)

在此公式的基礎上，對圖像的中心距歸一，歸一公式如下：

(3)

利用這個公式可以獲得7個不變矩，它們就可以作為目標圖像的特征向量，有了圖像的特征向量，就可以將其轉換成相應函數。

(2)采用Gabor小波變換法對目標圖像紋理特征進行提取

Gabor小波變換法具有多尺度、多層次分析和描述待檢索目標圖像的優點，采用這種方法進行圖像紋理特征提取,可以最大程度降低圖像紋理信息冗雜度，獲得有效紋理信息[4]。

第一步要獲取目標圖像的紋理特征向量。設圖像函數為g(x,y),按照Gabor小波變換可將圖像表述為：

Wmn(x,y)=?g(x,y)fmn*(x-x1,y-y1)dxdy

(4)

在式(4)中，*表示的是共軛復數，通過這個公式，可以得出目標圖像Gabor小波變換的均值和方差，其均值和方差分別用μmn、σmn表示，可以得到二者的值，即如下：

μmn=?|Wmn(x,y)|dxdy

(5)

(6)

通過以上公式可計算目標圖像的紋理特征在水平、垂直等不同方向及尺寸上的能量分布，得到圖像的紋理特征。如圖4所示。

圖4 Gabor小波變換法紋理特征提取

3.2 待檢索目標圖像與視頻圖像相似度匹配

設待檢索目標圖像數量為N幅，待檢索目標圖像就可以用In表示，n指的是1,2,3,…，N。海量視頻數據中對應的圖像的顏色、紋理及邊緣特征等分別用Cn、Tn、En來表示，那么待檢索目標圖像I1的特征相應在海量視頻圖像中對應的就是C1、T1、E1[6]。待檢索目標圖像與海量視頻數據中圖像顏色、紋理和邊緣相似度分別用DCN、DTn、DEn表示，然后按照以下公式分別計算他們的相似度：

(7)

(8)

(9)

3.3 待檢索圖像檢索流程

利用Hadoop平臺的MapReduce分布式數據計算系統設計Map任務、Reduce任務。先將目標圖像的特征值存儲到HBase的圖片表列中，然后選擇其中的行來執行數據輸入任務，同時，將Rowkey作為key，圖片數據列則作為value，然后執行Map任務，獲得待檢索圖片的關鍵參數和相應特征值，并自動生成特征函數和向量[7]。然后按照上述相似度匹配公式，對待檢索目標圖像與海量視頻庫中的圖像進行三種特征的比對和匹配，最終可以獲得較為準確的檢索結果。圖5為用戶在Hadoop海量視頻檢索系統中輸入待檢索目標圖像獲得的結果。

圖5 Hadoop海量視頻檢索效果

4 結語

本文以Hadoop平臺為依托設計海量視頻檢索系統硬件布局較為簡單，采用的算法也并不復雜，但是依托于Hadoop平臺良好的性能和高效的數據存儲及分布式處理優勢，可以達到在海量視頻數據庫中快速高效檢索目標圖像的目的。本文的研究也表明，相較于單機節點的海量檢索系統，分布式的集群運算系統更能滿足當下海量視頻存儲及檢索的需求。未來應加大對這一技術的運用，將Hadoop海量視頻檢索系統應用到更多領域，造福社會。