高動態舞蹈視頻中特定動作片段檢索系統設計

李丁辛

摘 要： 為了實現高動態舞蹈視頻的分析和管理，需要對視頻中特定動作片段檢索系統設計方法進行研究。當前基于鏡頭內容的高動態舞蹈視頻特定動作片段檢索系統設計方法存在檢索效率較低的問題。為了減少檢索系統運行時間，提高查準率，提出一種基于相似性計算的高動態舞蹈視頻特定動作片段檢索系統設計方法。首先對高動態舞蹈視頻中特定動作片段的背景進行初始化處理和更新，獲取特定動作片段前景圖像，實現其特征檢測；然后依據特征檢測結果，計算特定動作片段的密度分布、緊密程度和離散程度，以及特定動作片段的活躍塊比率和它們之間的相似性；最后在此基礎上設計特定動作片段的檢索系統框架。實驗結果分析證明，所提方法能夠提高查全率和查準率，且減少了檢索系統運行時間。

關鍵詞： 高動態舞蹈視頻； 相似性計算； 初始化處理； 離散程度計算； 特定動作片段； 檢索系統設計

中圖分類號： TN911.73?34； TP391 文獻標識碼： A 文章編號： 1004?373X（2018）05?0097?05

Abstract： In order to analyze and manage the high?dynamic dance video， it is necessary to study the design method of retrieval system for specific action fragments in video. The current lens content based design method of specific action fragments retrieval system for high?dynamic dance video has the problem of low retrieval efficiency. In order to shorten the running time of the retrieval system and improve the precision ratio， a similarity calculation based design method of specific action fragments retrieval system for high?dynamic dance video is put forward. The initialization processing and update were performed for the specific action fragments background in high?dynamic dance video to acquire the foreground image of the specific action fragments， and realize its feature detection. According to the results of the feature detection， the density distribution， close degree and discrete degree of the specific action fragments， as well as active block ratio and similarity of the specific action fragments are calculated. On this basis， the framework of the specific action fragments retrieval system was designed. The experimental results show that the proposed method can improve the recall ratio and precision ratio， and shorten the running time of the retrieval system.

Keywords： high?dynamic dance video； similarity calculation； initialization processing； dispersion degree calculation； specific action fragment； retrieval system design

0 引 言

隨著計算機視覺技術以及視頻圖像處理技術的發展，視頻信息已經在眾多領域得到廣泛應用[1?2]。面對浩如煙海的高動態舞蹈視頻信息，用戶希望能夠像查詢文字信息那樣便捷、快速地對高動態舞蹈視頻中的特定動作片段進行檢索和查詢，最終獲得感興趣的特定動作片段并進行播放與瀏覽[3?4]。然而，一方面由于當前視頻數據庫容量逐漸趨于海量化，視頻數據結構越來越復雜，使得高動態舞蹈視頻中特定動作片段的檢索工作量相當龐大；另一方面，由于當前硬件設備的局限性，想要對高動態舞蹈視頻中特定動作片段進行快速、準確的檢索具有一定難度，暫時只能利用高動態舞蹈視頻數據中本身所包含的固有視頻信息進行特定動作片段檢索[5?6]。為了實現高動態舞蹈視頻的分析和管理，需要對視頻中特定動作片段檢索系統設計方法進行研究。傳統的基于嵌入式的高動態舞蹈視頻特定動作片段檢索系統設計方法[7]主要將嵌入式的平臺和相似性匹配技術進行有機結合，實現高動態舞蹈視頻特定動作片段的提取和檢索。為了提高高動態舞蹈視頻中特定動作片段檢索的查準率和查全率，已經有越來越多的專家人士展開了相關研究，為此提出了許多經典方法。

文獻[8]提出一種基于語義概念的高動態舞蹈視頻特定動作片段檢索系統設計方法。首先設計包括高動態舞蹈視頻特定動作片段鏡頭分割、特定動作片段的關鍵幀提取以及特定動作片段語義概念檢測和特定動作片段用戶檢索三個模塊的系統模型；然后采用特定動作片段鏡頭分割與特定動作片段關鍵幀提取法對特定動作片段進行層次分割并提取出有效動作片段的低層特征；最后利用支持向量機進行特定動作片段的概念檢測，針對概念內容進行特定動作片段的檢索。但該方法的視頻瀏覽效率較低。文獻[9]設計了一種基于運動目標分類的高動態舞蹈視頻特定動作片段檢索系統，主要包括特定動作片段分析和檢索兩個模塊，首先利用特定動作片段分析模塊對特定動作片段進行分類標注，形成目標片段類別描述文件；然后利用特定動作片段檢索模塊通過輸入的目標片段類別，快速檢索到相應的特定動作片段。該方法存在目標片段分類準確率較低的問題。文獻[10]設計了一種基于鏡頭內容的高動態舞蹈視頻特定動作片段檢索系統，該系統利用相鄰尺度小波變換乘機的鏡頭檢測法檢測高動態舞蹈視頻中的特定動作片段；然后采用多特征自適應閾值檢測法提取出特定動作片段，依據提取結果實現特定動作片段的檢索。但該方法存在計算量較大，查準率和查全率較低的問題。endprint

針對上述方法產生的問題，本文提出一種基于相似度計算的高動態舞蹈視頻特定動作片段檢索系統設計方法。實驗結果證明，所提方法能夠提高檢索的查準率和查全率。

1 高動態舞蹈視頻中特定動作片段檢索系統設計

1.1 高動態舞蹈視頻中特定動作片段的特征檢測

對高動態舞蹈視頻中特定動作片段的背景進行初始化處理和更新，從而獲取經過二值化處理的特定動作片段前景圖像，完成特征檢測，具體描述如下：

1） 高動態舞蹈視頻特定動作片段的背景圖像初始化

將高動態舞蹈視頻幀轉化為灰度圖像并進行分塊處理，每塊大小表示為16×16。如果高動態舞蹈視頻中連續兩幀特定動作片段對應塊變化小于5%，則認定該特定動作片段塊沒有發生變化；如果連續10幀均沒有發生變化，則將該特定動作片段塊數據填充至背景相應部分，獲得高動態舞蹈視頻特定動作片段初始背景圖像。

2） 高動態舞蹈視頻特定動作片段的背景圖像更新

建立一個大小為的高動態舞蹈視頻幀緩沖池，存儲幀表示為且以幀為間隔采樣更新幀緩沖池中的特定動作片段幀。將當前高動態舞蹈視頻特定動作片段的背景與高動態舞蹈視頻幀緩沖池中的幀，共幀中特定動作片段的像素按照灰度強度進行排序，選取中值更新高動態舞蹈視頻背景圖像中特定動作片段的相應像素。

3） 獲取高動態舞蹈視頻特定動作片段的前景圖像

當前幀高動態舞蹈視頻圖像其特定動作片段分量分別表示為由分別計算獲得高動態舞蹈視頻特定動作片段前景圖像和并利用背景差分法進行二值化處理：

式中：代表高動態舞蹈視頻中特定動作片段的像素位置；代表高動態舞蹈視頻中特定動作片段位置的亮度值；&代表加在上的權重值。高動態舞蹈視頻中特定動作片段的高維特征向量與低維特征向量按照以下公式計算獲得：

式中：代表高動態舞蹈視頻中特定動作片段的二值化閾值；代表特定動作片段圖像的長度；代表特定動作片段圖像的高度。

則最終的高動態舞蹈視頻特定動作片段前景圖像的計算表達式為：

1.2 高動態舞蹈視頻中特定動作片段的相似度計算

依據1.1節高動態舞蹈視頻特定動作片段的特征檢測結果，首先計算特定動作片段的密度分布、緊密程度和離散程度；然后計算特定動作片段的活躍塊比率和特定動作片段之間的相似性；最后根據相似性計算結果實現高動態舞蹈視頻中特定動作片段的檢索。具體描述過程如下：

假設高動態舞蹈視頻中的一個特定動作片段中有1個顏色對象的像素點集合為：

根據式（5）進行以下定義：

1） 高動態舞蹈視頻特定動作片段的密度分布計算表達式為：

式中表示高動態舞蹈視頻特定動作片段的像素總數。

2） 高動態舞蹈視頻特定動作片段的緊密度分布計算公式如下：

式中，表示在集合中4連接都有像素點的高動態舞蹈視頻特定動作片段的像素點總數。

3） 高動態舞蹈視頻特定動作片段的離散度計算公式為：

式中：和表示高動態舞蹈視頻中4連接都有像素點的特定動作片段像素點總數。其關系表達式如下：

為了定義高動態舞蹈視頻特定動作片段的第四個特征，將高動態舞蹈視頻特定動作片段分割成大小相同的16×16的塊。如果這些分割的塊中包含一些的子集，則認定這些塊是活躍的。假設在高動態舞蹈視頻中特定動作片段的活躍塊數量為，則高特定動作片段的活躍塊比率的計算表達式為：

根據上述計算，分別取高動態舞蹈視頻中特定動作片段空間特征的平均值，用和代表高動態舞蹈視頻特定動作片段中的1個顏色對象的平均特征值，則一個高動態舞蹈視頻特定動作片段中2個顏色對象和的空間分布差異計算公式如下：

根據上述計算結果，利用Canny邊緣檢測算子對高動態舞蹈視頻特定動作片段中大小相同的的塊進行邊緣檢測。如果塊中特定動作片段的邊緣點個數大于設置的閾值，則認定該特定動作片段塊具有紋理。然后計算每個特定動作片段的紋理塊的比率和在1個特定動作片段中的平均值。2個特定動作片段中的紋理相似性由這兩個特定動作片段平均值的最小值計算獲得。

假設和分別代表高動態舞蹈視頻特定動作片段和中的所有顏色對象，給定特定動作片段顏色對象對應在中滿足的相似性顏色對象，其中，代表和在HSV顏色空間中的歐氏距離；代表特定動作片段的閾值。此時代表高動態舞蹈視頻特定動作片段中的1個相似性顏色對。

如果高動態舞蹈視頻特定動作片段和的平均直方圖分別表示為和則高動態舞蹈視頻特定動作片段和之間的相似性計算表達式如下：

式中：和分別表示高動態舞蹈特定動作片段和的紋理塊的平均比率；和表示高動態舞蹈特定動作片段的權重函數。其中高動態舞蹈特定動作片段的權重函數為Sigmoid函數，其表達式為：

式中和是特定動作片段的兩個參數。

如果高動態舞蹈視頻中的兩個特定動作片段分別表示為：

式（15）、式（16）分別包含個特定動作子片段和個特定動作子片段。則高動態舞蹈視頻中的兩個特定動作片段和之間的相似度計算表達式為：

式中：代表高動態舞蹈視頻特定動作片段中第幀和第幀的相似度；表示特定動作片段的歸一化參數；表示高動態舞蹈視頻中降低位置上不對應的特定動作子片段的相似度權重。

根據式（17）計算選取匹配高動態舞蹈視頻特定動作子片段相似度值的平均值作為特定動作片段的相似度，在保證特定動作片段在高動態舞蹈視頻中時序順序的基礎上完成檢索。

1.3 高動態舞蹈視頻中特定動作片段檢索系統設計框架

根據上述計算，設計高動態舞蹈視頻特定動作片段檢索系統框架，主要包括特定動作片段的特征檢測模塊和特定動作片段的檢索模塊。整體框架如圖1所示。endprint

根據圖1可以看出，高動態舞蹈視頻中特定動作片段檢測模塊主要由三部分組成：特定動作片段的背景初始化、特定動作片段的背景更新和特定動作片段的前景圖像獲取。高動態舞蹈視頻中特定動作片段的檢索模塊主要由四部分構成：特定動作片段的密度分布、緊密程度、離散程度和特定動作片段之間的相似度計算。

2 實驗結果與分析

實驗采用500段網絡下載的高動態舞蹈視頻數據，共計120 h。實驗環境為Xeon E5410 3.2 GHz，4 GB內存，Windows 8操作系統。將本文方法與文獻[8?9]方法進行對比分析，測試了200個高動態舞蹈視頻中特定動作片段的檢索請求，記錄了特定動作片段的查全率、特定動作片段查準率以及特定動作片段檢索系統的運行時間。

為了驗證本文所提方法的有效性，首先定義高動態舞蹈視頻中特定動作片段的查準率和查全率，然后以此作為衡量檢索系統性能的標準。

根據上述定義，繪制三種不同系統設計方法的特定動作片段檢索查全率和查準率曲線圖，如圖2、圖3所示。

分析圖2、圖3可知，本文方法的特定動作片段檢索查準率始終保持在80%左右，而文獻[9]方法的特定動作片段檢索查準率在查全率上升時卻明顯下降；文獻[8]方法的特定動作片段檢索查全率不斷提高時，查準率卻不斷下降，說明文獻[8]方法的特定動作片段檢索無法兼顧查準率和查全率；而本文方法的特定動作片段檢索查準率和查全率呈現同步上升趨勢。由于本文方法計算了高動態舞蹈視頻中特定動作片段之間的密度分布、緊密程度、離散程度以及相似性，使得檢索系統的查準率和查全率均有所提高，具有良好的實用性能。

為進一步驗證本文方法的有效性，采用文獻[8，10]方法和本文方法的檢索系統運行時間進行對比分析，實驗結果如圖4所示。

從圖4中可以看出，文獻[8，10]方法的檢索運行時間明顯高于本文方法的檢索運行時間，其中，文獻[8，10]方法的檢索運行時間隨舞蹈視頻個數的增加，其運行時間不斷增加，運行總體時間較長，檢索系統性能并不理想；而本文方法的檢索運行時間隨著高動態舞蹈視頻個數的不斷增加而趨于平穩，且總體運行時間較短，明顯優于其他兩種對比方法，具有良好的性能。

3 結 語

采用當前方法對高動態舞蹈視頻中特定動作片段進行檢索時，運行時間較長，且檢索準確率較低，為此提出一種基于相似性計算的高動態舞蹈視頻特定動作片段檢索系統設計方法。通過實驗證明，所提方法由于計算了高動態舞蹈視頻中特定動作片段之間的密度分布、緊密程度、離散程度以及相似性，使得檢索系統的查準率和查全率均有所提高，具有良好的實用性能。

參考文獻

[1] 梁俊杰，熊亞軍，余敦輝.一種基于本體的視頻檢索技術研究[J].計算機工程與科學，2015，37（10）：1940?1946.

LIANG Junjie， XIONG Yajun， YU Dunhui. A video retrieval technique based on ontology [J]. Computer engineering and science， 2015， 37（10）： 1940?1946.

[2] 魯建飛，謝振平，劉淵，等.融合多重Bayesian決策的多視角視頻車輛快速檢索算法[J].小型微型計算機系統，2015，36（5）：1122?1126.

LU Jianfei， XIE Zhenping， LIU Yuan， et al. Multi?view video vehicles fast retrieval algorithm integration of multiple Baye?sian decision?making [J]. Journal of Chinese computer systems， 2015， 36（5）： 1122?1126.

[3] 楊曼，何鵬，齊懷琴，等.基于Map/Reduce的海量視頻圖像檢索系統設計[J].電視技術，2015，39（4）：33?36.

YANG Man， HE Peng， QI Huaiqin， et al. Huge amounts of video image retrieval technology research based on Map/Reduce [J]. Video engineering， 2015， 39（4）： 33?36.

[4] 余時強，張錚，張為華.近似重復視頻檢索方法研究[J].電子技術應用，2016，42（5）：24?26.

YU Shiqiang， ZHANG Zheng， ZHANG Weihua. Research of near?duplicate video retrieval [J]. Application of electronic technique， 2016， 42（5）： 24?26.

[5] 袁慶升，張冬明，靳國慶，等.視頻檢索中圖像信息量度量[J].通信學報，2016，37（2）：80?87.

YUAN Qingsheng， ZHANG Dongming， JIN Guoqing， et al. Image information measurement for video retrieval [J]. Journal on communications， 2016， 37（2）： 80?87.

[6] 于蕭榕，席屏，黃健榮.監控系統預警視頻的分布式檢索設計與實現[J].計算機測量與控制，2015，23（7）：2511?2514.

YU Xiaorong， XI Ping， HUANG Jianrong. Design and implementation of distributed retrieval in video monitoring system [J]. Computer measurement & control， 2015， 23（7）： 2511?2514.endprint

[7] 張波，王穎.大數據視頻圖像關鍵幀的檢索模型優化仿真[J].計算機仿真，2016，33（9）：446?449.

ZHANG Bo， WANG Ying. Big data video image retrieval model optimization simulation of key frames [J]. Computer simulation， 2016， 33（9）： 446?449.

[8] 梁曼，徐肖豪，周建，等.基于粗糙集的航路飛行沖突智能解脫系統案例檢索方法[J].科學技術與工程，2015，15（3）：289?294.

LIANG Man， XU Xiaohao， ZHOU Jian， et al. Fuzzy rough set based case retrieval in automated en?route flights conflict resolution CBR system [J]. Science technology and engineering， 2015， 15（3）： 289?294.

[9] 伍振興，曾令偉，汪文彬.基于概念格特征分區的多源信息檢索優化[J].科技通報，2015，31（8）：174?176.

WU Zhenxing， ZENG Lingwei， WANG Wenbin. Optimization of multi?source information retrieval based on concept lattice feature partition [J]. Bulletin of science and technology， 2015， 31（8）： 174?176.

[10] 龐敏.基于Web的電子產品信息分布式檢索系統的設計與實現[J].電子設計工程，2016，24（21）：82?84.

PANG Min. The design and implementation of electronic pro?duct information retrieval system based on Web [J]. Electronic design engineering， 2016， 24（21）： 82?84.endprint