視頻檢索專利技術分析

朱 琦

（國家知識產權局專利局專利審查協作湖北中心，湖北 武漢 430070）

視頻檢索專利技術分析

朱 琦

（國家知識產權局專利局專利審查協作湖北中心，湖北 武漢 430070）

近年來，隨著多媒體編碼、計算機多媒體處理和網絡傳輸技術的飛速發展，人們可通過互聯網實時查詢、欣賞和產生豐富多彩的視頻信息。互聯網逐漸成為一個巨大的視頻倉庫，如何有效地組織和和檢索視頻信息已成為數據庫領域中研究的關鍵性問題。本文通過對視頻檢索技術相關的專利數據進行統計，然后從專利文獻的視角對視頻檢索技術的發展進行全面的分析，進而對視頻檢索領域內的重要專利進行總結。

視頻；檢索；運動；紋理；語義

1　視頻檢索概述

在現有技術中，傳統的基于文本的視頻檢索方法利用文本信息對視頻內容進行注釋，通過對關鍵字進行抽取來描述視頻內容的語義特征，但是由于目前的技術還不能對視頻內容的語義特征進行自動描述，仍需要手工的方法對視頻進行解釋和注釋。

于是為了能快捷地對海量視頻信息進行過濾、瀏覽和檢索，人們提出了基于內容的視頻檢索技術，并取得了一定的進展，根據視頻的內容和上下文的關系，鬼大規模視頻數據庫中的視頻數據進行檢索。它在沒有人工參與的情況下，自動提取并描述視頻的特征和內容。現有的視頻內容檢索大多是非語義層面的，由于低層特征和高層語義概念之間存在語義鴻溝，在語義概念層析進行視頻內容的描述和操縱面臨巨大困難。如何從視頻內容中提取人類思維的語義概念成為視頻內容檢索研究的新重點。

本文將基于專利文獻分析，對現有的視頻檢索技術做綜述性介紹，并對視頻檢索技術的關鍵內容，以及重點企業進行一定的分析。

2　視頻檢索技術專利分析

下面通過附圖的形式對視頻檢索專利進行分析。圖1顯示視頻檢索技術專利申請量隨年份的變換情況。自2003年至2013年，視頻檢索專利申請基本保持穩步增長的態勢。

圖1　

圖2則是對視頻檢索技術專利主要申請人進行的分析。相關專利申請共涉及70個企業或院校。其中不乏知名IT企業與研究所，比如中星微電子公司、北京北大方正技術研究院有限公司、上海交通大學、浙江大學、公安部第三研究所。在本文第4部分，我將中星微電子公司作為重點企業進行了概要性的分析。

在瀏覽大量專利文獻的基礎上，我對視頻檢索專利從關鍵幀的提取的方面進行研究，并對相關專利進行進一步的分析。

3　視頻檢索專利技術的研究

視頻檢索技術可以分為低層和高層特征的檢索技術，低層特征即是識別和描述圖像的顏色、紋理、形狀或空間關系等基本技術，高層特征即是基于高層語義的檢索，是目前研究的新焦點。

①人工標注：傳統的視頻檢索方法主要是通過對視頻資料的內容進行一定的文本標注，形成索引，然后利用基于關鍵字的方法來進行檢索。例如：【發明名稱】基于多媒體分析的視頻事件檢測方法。本發明是基于多媒體分析的視頻事件檢測方法，其包括：利用文本分析對視頻進行分析，得到少量的自動標注視頻數據；建立時間模型，根據事件模型，對視頻的內容進行語義分析，得到視頻中事件的位置信息。

②運動特征、顏色、紋理、形狀或空間關系等檢索：對視頻進行標注會花費大量的人力物力，接著提出一種基于運動特征、顏色、紋理、形狀或者空間等低層次的檢索，例如：【發明名稱】集成顏色和運動特征進行鏡頭檢索的方法。本發明直接在壓縮域上提取鏡頭的運動特征，然后構造鏡頭的運動直方圖度量兩個鏡頭的運動相似度。從關鍵幀中提取顏色運動等低級的特征，用于鏡頭的索引和檢索。這樣就把基于內容的鏡頭檢索轉化為基于內容的圖像來進行檢索。另一種情形則是可以根據特征的融合來判斷壓縮視頻的相關性。例：【發明名稱】一種視頻檢索的方法和裝置。然而依據運動特征、顏色、紋理、形狀或者空間來進行檢索，有針對性強且準確的優勢。然而這種方式存在局限性，應用領域較窄。

圖2　視頻檢索技術分支

③關鍵幀提取：在技術發展初期，基于內容的視頻檢索與挖掘，就是根據視頻的內容的上下文關系等低層特征，對大規模的視頻數據庫中的視頻數據進行分析和檢索。目前基于內容的視頻檢索與挖掘，除了識別和描述圖像的顏色、紋理、形狀和空間關系等基本技術外，主要集中研究視頻鏡頭檢測和關鍵幀提取技術，例如：【發明名稱】海量視頻內容檢索方法、系統及移動終端。本發明公開了海量視頻內容檢索方法、系統及移動終端。其中所述方法為通過對視頻切分，切割成鏡頭，實現對各個鏡頭的特征提取，得到一個能夠充分反映視頻鏡頭內容的特征空間，這個特征空間將作為海量視頻精確檢索的依據和基礎。它能夠處理海量視頻數據，同時能滿足用戶的精確檢索的視頻應用特點。

④基于關鍵幀的快速檢索：正如之前提到的，基于用戶關鍵幀提取然后進行視頻檢索存在實時性弱的缺陷。例如用戶有一小段視頻文件，想要獲得該視頻的對應的完整視頻就要進行快速檢索；例如：【發明名稱】一種視頻檢索方法及裝置。本發明公開了一種視頻檢索方法，用于基于視頻內容的快速視頻檢索，該方法包括：預先建立倒排文檔，倒排文檔中包括標準特征分類與標準特征分類中對應的標準視頻的索引該文章建立倒排索引。【發明名稱】實現海量視頻快速檢索的方法。本發明涉及一種實現海量視頻快速檢索的方法，在空間特征向量中提取關鍵特征向量；根據視頻庫中所有視頻文件的關鍵特征向量建立分布式存儲索引庫；提取待檢索視頻的關鍵特征向量集并提取該待檢索視頻的視頻索引文件；根據待檢索視頻的索引文件在分布式存儲索引庫中進行視頻相似度檢索并輸出相似度大于系統預設值視頻檢索結果。

⑤基于高層語義的視頻檢索與MPEG-7標準：利用視頻幀中的對象語義描述進行檢索，因語義更能直觀的描述視頻對象。特別是隨著MPEG4和MPEG7的推廣與應用，基于視頻對象的編碼方式得到了應用。例如：【發明名稱】對視頻數據進行管理的方法和裝置。利用本發明，可以得到視頻數據的幀圖像的深度信息，從而可以基于該深度信息提取出視頻數據的高層語義信息，并基于高層語義信息對視頻數據進行有效地管理。

4　總結

近年來，隨著視頻檢索的快速發展，其專利申請量也隨之增加，為了對視頻檢索技術有全面的了解，本文通過對中文專利庫的相關專利的統計分析和對重要申請人的相關專利的分析，得出了以下結論：

傳統的視頻檢索技術主要通過人工的方法進行標注，形成索引，然后利用關鍵詞進行檢索。發展到中期通過對視頻的低層次特征（運動、紋理、顏色、空間關系等）進行檢索，其中這些檢索的關鍵即為關鍵幀提取的研究。目前許多技術方面已取得了一定的進展，由于低層特征和高層語義概念之間存在語義鴻溝，在語義概念層析進行視頻內容的描述和操縱面臨巨大困難。如何消除“語義鴻溝”，從視頻內容中提取人類思維的語義概念成為視頻內容檢索研究的新重點。

［1］朱愛紅，李連.基于內容的視頻檢索關鍵技術研究［J］.情報雜志，2004（1）：45-47.

［2］何立民，萬躍華.數字圖書館中基于內容的視頻檢索關鍵技術［J］.中國圖書館學報，2003（2）：52-56.

［3］蘇新寧.視頻信息索引技術研究進展［J］.信息可視化與知識管理——2003信息與信息資源管理學術研討會論文選，21-29.

［4］Barrow H G.Parametric Correspondence and Chamfer Matching［C］.Proc.5th Int.Joint Conf.Artificial Intelligence，1977：659-663.

［5］Tekalp A Murat.Digital Video Processing［M］.北京：清華大學出版社，1998.

［6］Patel Nilesh V，et al.Video Shot Detection and Characterizationfor Video Databases［J］.Pattern Recognition，1997，30：112-116.

Analysison thePatent Technology of VideoRetrieval

Zhu qi
（Patent Examination Cooperation Hubei Center of the Patent Office，State Intellectual Property Office，Wuhan Hubei 430070）

In recent years，with the rapid development of multimedia coding，computer multimedia processing and network transmission technology，people can query，enjoy and produce colorful video information in real time through the Internet.The Internet has gradually become a huge video warehouse.How to effectively organize and retrieve video information has become a key issue in the field of database research.Through patent data statistics related to video retrieval technology，a comprehensive analysis on the video retrieval technology development is carried out from the perspective of patent literature，and the important patents in the field of video retrieval are further summarized in this paper.

video；retrieval；motion；texture；semanti

TP319.3

A

1003-5168（2015）12-0004-3

2015-12-5

朱琦（1987.3-），男，研究生，專利審查員，研究方向：圖像識別與計算機信息檢索。