云計算平臺中監(jiān)控視頻摘要任務(wù)調(diào)度方法研究

許 彬 張海濤 胡豆豆

1(北京郵電大學(xué)智能通信軟件與多媒體北京市重點實驗室 北京100876)2(中國電信股份有限公司上海研究院 上海 200122)

?

云計算平臺中監(jiān)控視頻摘要任務(wù)調(diào)度方法研究

許 彬1張海濤1胡豆豆2

1(北京郵電大學(xué)智能通信軟件與多媒體北京市重點實驗室 北京100876)2(中國電信股份有限公司上海研究院 上海 200122)

隨著視頻監(jiān)控系統(tǒng)的大量部署，產(chǎn)生了大量的監(jiān)控視頻數(shù)據(jù)，視頻摘要技術(shù)應(yīng)運而生。如何優(yōu)化大量的視頻摘要算法服務(wù)器的工作效率，高效的視頻摘要任務(wù)調(diào)度方法成為關(guān)鍵。提出一種基于視頻摘要任務(wù)執(zhí)行時間預(yù)測模型的分布式任務(wù)調(diào)度方法。該方法對視頻摘要處理過程中的監(jiān)控視頻數(shù)據(jù)塊所需的服務(wù)器處理時間進行預(yù)測，從而合理調(diào)度任務(wù)，使服務(wù)器負(fù)載均衡，提高了云服務(wù)器的資源利用率，降低了視頻摘要任務(wù)的分布式處理時間。

視頻摘要 任務(wù)調(diào)度 分布式計算

0 引 言

隨著電信全球眼產(chǎn)品在行業(yè)客戶中得到了廣泛應(yīng)用，僅上海電信企業(yè)監(jiān)控系統(tǒng)規(guī)模在2萬路以上，在全國范圍內(nèi)更是有超過1 000萬個監(jiān)控攝像頭用于城市監(jiān)控與報警系統(tǒng)。攝像頭的增加帶來了大規(guī)模防范的可能，但是隨之而來的是大量監(jiān)控視頻數(shù)據(jù)，如何從大規(guī)模監(jiān)控視頻中獲取人們關(guān)心的信息成為了巨大的挑戰(zhàn)。研究結(jié)果表明，人在盯著視頻畫面22分鐘之后，人眼將對視頻畫面里95%以上的活動信息視而不見。同時由于監(jiān)控視頻的特殊性[1]，其本身存在大量的冗余數(shù)據(jù)，例如一段凌晨1點至3點的監(jiān)控視頻，其中人們關(guān)心的內(nèi)容則很少。由此產(chǎn)生了視頻摘要服務(wù)，可以將一段長時間的監(jiān)控視頻，壓縮成幾分鐘長度而不損失任何有價值的信息。

視頻摘要[2]是指由一系列靜態(tài)圖像按時間順序或空間分布規(guī)則組合得到的圖像集，同時視頻摘要不僅對原始視頻進行分析，還綜合考慮了伴隨著視頻有意義的音頻流和文本流等多媒體信息，進行語義理解，并對視頻流或多媒體流進行摘要。就具體的應(yīng)用場景，視頻摘要技術(shù)可以將大量的監(jiān)控視頻進行濃縮，將監(jiān)控視頻中人們不感興趣的冗余背景分割掉，生成精短摘要視頻，大大減輕用戶的查閱監(jiān)控視頻的時間成本?；蛘咄ㄟ^對相似主題的視頻庫提取摘要信息并進行匹配，從而完成主題事件的關(guān)聯(lián)型活動不同場所安防視頻的摘要信息進行匹配，可以對異常事件進行檢測、搜索和回溯，如圖1所示。

圖1 視頻摘要效果圖

面對海量監(jiān)控視頻數(shù)據(jù)，如果僅僅單機處理不僅花費巨大，而且難以及時獲取有價值的信息。因此基于云平臺的分布式視頻處理方案成為當(dāng)下一個熱門的研究方向。例如文獻[5]中提出的基于hadoop的視頻云平臺管理系統(tǒng)，文獻[6]提出的分布式的視頻編碼方案以及文獻[7]對分布式視頻編碼架構(gòu)的研究等等。任務(wù)調(diào)度是云計算的關(guān)鍵技術(shù)之一，其主要目標(biāo)是盡可能實現(xiàn)系統(tǒng)資源的負(fù)載均衡[9]。傳統(tǒng)的分布式任務(wù)調(diào)度算法主要的應(yīng)用對象集中在文本類型的數(shù)據(jù)，如文獻[10-11]等。由于視頻摘要過程中視頻數(shù)據(jù)需要的處理時間是不可知的，傳統(tǒng)的分布式任務(wù)調(diào)度算法并不完全適用，由此本文結(jié)合監(jiān)控視頻數(shù)據(jù)塊的特性提出了一種基于視頻摘要任務(wù)處理時間預(yù)測模型的分布式任務(wù)調(diào)度算法。該算法能夠使視頻摘要服務(wù)器負(fù)載均衡且高效運行，從而縮短視頻摘要任務(wù)的總執(zhí)行時間。

1 電信全球眼智能視頻監(jiān)控平臺

電信全球眼視頻監(jiān)控平臺為用戶提供了視頻摘要與濃縮、周界報警、遺留物檢測、二維碼智能巡檢、人臉識別、安防報警等智能功能的智能管理平臺。

1.1 電信全球眼視頻監(jiān)控平臺架構(gòu)

全球眼視頻監(jiān)控平臺針對用戶不同的需求，為用戶提供了一系列的增值服務(wù)。全球眼智能視頻監(jiān)控平臺的算法模塊采用了分布式計算架構(gòu)，為大規(guī)模視頻智能分析和處理提供了基礎(chǔ)，日后可根據(jù)用戶需求平滑擴容[3]。視頻智能分析管理平臺架構(gòu)如圖2所示。

圖2 電信全球眼智能視頻監(jiān)控平臺架構(gòu)

1.2 視頻摘要應(yīng)用分布式計算架構(gòu)

用戶通過電信全球智能管理平臺管理界面，向視頻摘要算法服務(wù)器提交視頻摘要服務(wù)請求，視頻摘要算法調(diào)度服務(wù)器按照任務(wù)調(diào)度算法分配任務(wù)至視頻摘要算法服務(wù)器集群中的節(jié)點上，最后將處理結(jié)果保存到云存儲上，如圖3所示。

圖3 視頻摘要應(yīng)用分布式計算架構(gòu)

2 視頻摘要分布式任務(wù)調(diào)度算法

本節(jié)我們基于電信的全球眼智能視頻監(jiān)控云平臺，結(jié)合監(jiān)控視頻數(shù)據(jù)塊的屬性特征，以及根據(jù)視頻摘要算法服務(wù)器的反饋信息，提出一種基于視頻摘要任務(wù)執(zhí)行時間預(yù)測模型的分布式任務(wù)調(diào)度算法。

本節(jié)將首先介紹視頻摘要任務(wù)執(zhí)行時間預(yù)測模型，然后介紹分布式任務(wù)調(diào)度算法。

2.1 視頻摘要任務(wù)執(zhí)行時間預(yù)測模型

通過實驗分析，我們發(fā)現(xiàn)影響視頻摘要任務(wù)執(zhí)行時間的主要因素有視頻幀率、視頻分辨率和視頻時長3個主要因素。

我們將監(jiān)控視頻數(shù)據(jù)塊的采集地點、視頻質(zhì)量等基本屬性分別量化為T={t1,t2,…,tl}、S={s1,s2,…,sm}和Q={q1,q2,…,qn}，其中l(wèi)、m、n分別為T、Q、S的劃分粒度，我們定義一個基本屬性劃分BP，每個BP(tα,sβ,qγ)的tα、sβ、qγ屬性滿足以下條件：tα∈T、sβ∈S、qγ∈Q。我們稱這樣的一個劃分為基本屬性劃分。同時我們稱BPw(tα,sβ,qγ)為基本劃分BP(tα,sβ,qγ)的權(quán)重。

為了更好地描述問題，我們將視頻監(jiān)控數(shù)據(jù)塊定義為VDB(Video Data Block)，并且定義VDBt為VDB在集群中進行視頻摘要時所需要的處理時間。假設(shè)一個VDB起止時間分別為ts和te，空間屬性劃分為sβ，視頻質(zhì)量劃分為qγ，則：

VDBt=∑diBPw(ti,sβ,qγ)

(1)

其中i是該VDB包含的第i個基本劃分，ti∈T，di=min(ti,te)-max(ti-1,ts)，BPw(ti,sβ,qγ)為第i個基本劃分的權(quán)重。

考慮到用戶的實際需求，例如需要將多個VDB摘要成一個濃縮視頻，為了方便調(diào)度算法調(diào)度，我們引入一個Job的概念，用戶一次摘要任務(wù)請求包含一個或多個Job，一個Job包含一個或多個VDB。由式(1)，我們可以得到每個Job的在集群中所需要的運行時間Jt：

Jt=∑VDBt

(2)

為了能夠準(zhǔn)確預(yù)測每個視頻摘要任務(wù)的在集群中的執(zhí)行時間，我們必須去確定每個基本劃分BPw(tα,sβ,qγ)的準(zhǔn)確值，我們通過以下兩種方式計算：

(1) 模型初始化

當(dāng)模型第一次在集群中運行時，我們可選取一些測試樣例，每個測試樣例僅包含一種基本劃分且每個測試樣例的基本劃分都不同，測試樣例包含了所有的基本劃分。我們把這些測試樣例放到視頻摘要算法服務(wù)器集群中運行，我們通過式(3)計算：

(3)

其中，Cαβγ是基本劃分，BPw(tα,sβ,qγ)是在集群中實際運行時間。

(2) 模型更新

隨著大量視頻摘要Job的完成，根據(jù)式(1)、式(2)我們可以得到以下多元一次方程組：

D·BPw=C

(4)

當(dāng)r(D)=r(D,C)=k時該方程組存在唯一解，通過解多元一次方程組可以計算出每個基本劃分的準(zhǔn)確值然后更新模型中的值。

2.2 根據(jù)時間預(yù)測模型調(diào)度任務(wù)

上面我們建立了視頻摘要任務(wù)執(zhí)行時間預(yù)測模型，當(dāng)視頻摘要算法調(diào)度服務(wù)器接收用戶請求后，將用戶請求解析成一系列的視頻摘要任務(wù)(Job)，然后我們計算所有Job所需要的執(zhí)行時間Jt，并按照從大到小的順序放到任務(wù)隊列Que中，依次將Que中的任務(wù)分配給此時負(fù)載最小的服務(wù)器，直到Que中的所有任務(wù)分配完畢，如圖4所示。

圖4 視頻摘要分布式任務(wù)調(diào)度流程圖

3 實驗結(jié)果

3.1 實驗配置

本實驗基于中國電信的全球眼智能管理平臺，視頻摘要算法服務(wù)器采用12臺物理機，每臺服務(wù)器CPU核心數(shù)為32，內(nèi)存為32 GB，硬盤容量為5 TB，操作系統(tǒng)為Ubuntu04.1 LTS(GNU/Linux 3.13.0-32-generic x86 64)。

3.2 結(jié)果分析

為了驗證基于視頻摘要任務(wù)執(zhí)行時間預(yù)測模型的分布式任務(wù)調(diào)度算法的效果，我們選取了4個數(shù)據(jù)集，每個數(shù)據(jù)集所包含的基本劃分的種類是相同的，4個數(shù)據(jù)集包含的VDB的數(shù)量是遞增的，其中數(shù)據(jù)集1包含120個數(shù)據(jù)塊，數(shù)據(jù)集2包含160個數(shù)據(jù)塊，數(shù)據(jù)集3包含190個數(shù)據(jù)塊，數(shù)據(jù)集4包含220個數(shù)據(jù)塊。分別用基于反饋預(yù)測模型的調(diào)度算法和FIFO算法在四個數(shù)據(jù)集上進行實驗，實驗結(jié)果如圖5所示，縱坐標(biāo)軸表示處理整個數(shù)據(jù)集所需的時間，單位為秒。橫坐標(biāo)表示4個數(shù)據(jù)集。虛線代表傳統(tǒng)的FIFO算法，實線表示視頻摘要任務(wù)執(zhí)行時間預(yù)測模型的分布式任務(wù)調(diào)度算法?？梢钥闯觯啾菷IFO調(diào)度算法，基于視頻摘要任務(wù)執(zhí)行時間預(yù)測模型的分布式任務(wù)調(diào)度算法提高了大約40%左右的時間。

圖5 實驗結(jié)果對比圖

4 結(jié) 語

隨著大量的高清監(jiān)控攝像頭不斷部署，每天都在產(chǎn)生大量的監(jiān)控視頻數(shù)據(jù)，傳統(tǒng)的單機處理已無法滿足人們更加快速有效地從大量監(jiān)控視頻中摘要出關(guān)鍵信息的需求。本文通過對監(jiān)控視頻數(shù)據(jù)塊的原始屬性進行分析，將原始視頻采集時間段、采集地點、視頻質(zhì)量三個特征進行量化并劃分為區(qū)間段，作為計算視頻監(jiān)控數(shù)據(jù)塊權(quán)重的依據(jù)。結(jié)合用戶需求引入了邏輯數(shù)據(jù)塊的概念，通過算法服務(wù)器的反饋信息建立并不斷更新預(yù)測模型，按照規(guī)則依據(jù)預(yù)測模型調(diào)度任務(wù)，使視頻摘要算法服務(wù)器集群中的服務(wù)器負(fù)載均衡且高效的工作，提高了云服務(wù)器的資源利用率，降低了視頻摘要任務(wù)的分布式處理時間。

[1] 黃凱奇，陳曉棠，康運峰,等.智能視頻監(jiān)控技術(shù)[J].計算機學(xué)報，2015，38(6): 1093-1118.

[2] 王娟，蔣興浩，孫錟鋒. 視頻摘要技術(shù)綜述[J]. 中國圖象圖形學(xué)報，2014, 19(12): 1685-1695.

[3] 宋飛斌. 電信全球眼業(yè)務(wù)智能化部署方案探討[J]. 電信技術(shù), 2015(7): 75-80.

[4] 單莘, 祝智崗, 張龍,等. 基于流處理技術(shù)的云計算平臺監(jiān)控方案的設(shè)計與實現(xiàn)[J]. 計算機應(yīng)用與軟件, 2016,33(4): 88-90,121.

[5] Liu X, Zhao D, Xu L, et al. A Distributed Video Management Cloud Platform Using Hadoop[J]. Access IEEE, 2015, 3: 2637-2643.

[6] Sun M, Wang Y, Yu H, et al. Distributed cooperative video coding for wireless video broadcast system [C]// IEEE International Conference on Multimedia and Expo. IEEE, 2015: 1-6.

[7] Lei C W, Tseng F S. Study for Distributed Video Coding Architectures[C]// International Symposium on Computer, Consumer and Control. 2014: 380-383.

[8] Wang J, Yang L T, Zhu X, et al. Dynamic Scheduling for Emergency Tasks on Distributed Imaging Satellites with Task Merging [J]. IEEE Transactions on Parallel & Distributed Systems, 2013, 25(9): 2275-2285.

[9] 張愛科, 謝翠蘭. 基于公平性和負(fù)載均衡的云計算任務(wù)調(diào)度算法[J]. 計算機應(yīng)用與軟件, 2015,32(2): 268-271.

[10] 徐俊, 湯庸, 劉道余. 基于混合粒子群分布估計算法的Hadoop任務(wù)調(diào)度優(yōu)化策略[J]. 計算機應(yīng)用與軟件, 2015, 32(11): 261-263,272.

[11] 顧宇隆, 杜明, 劉振宇,等. 基于本體的云測試資源分配與任務(wù)調(diào)度方法[J]. 計算機應(yīng)用與軟件, 2015, 32(11): 14-17,35.

RESEARCH ON TASK SCHEDULING ALGORITHM OF SURVEILLANCE VIDEO SYNOPSIS ON CLOUD COMPUTING PLATFORM

Xu Bin1Zhang Haitao1Hu Doudou2

1(BeijingKeyLaboratoryofIntelligentTelecommunicationsSoftwareandMultimedia,BeijingUniversityofPostsandTelecommunications,Beijing100876,China)2(ShanghaiResearchInstituteofChinaTelecomCorporationLimited,Shanghai200122,China)

With the wide deployment of video surveillance systems, a large number of surveillance video data is produced. Video synopsis technology can get valid information in a fast and efficient way. Therefore, the optimization of the efficiency of a large number of video abstraction jobs and the video abstraction task scheduling method has become important factors. In this paper, a video abstraction task scheduling method based on the execution time prediction model in cloud computing platform is proposed. This method predicts the execution time of the video abstraction jobs in the computing platform based on the video data block’s information and the server running state information. Then it schedules the video abstraction jobs appropriately so that it balances the server load, improves the level of resources utilization of the cloud server and reduces the distributed processing time of the video abstraction jobs.

Video synopsis Task scheduling Distributed computing

2016-08-22。國家自然科學(xué)基金項目(61300013)，高等學(xué)校博士學(xué)科點專項科研基金項目(20130005120011)。許彬，碩士生，主研領(lǐng)域：云計算，多媒體信息處理。張海濤，副教授。胡豆豆，工程師。

TP3

A

10.3969/j.issn.1000-386x.2017.07.002