視頻和圖像檢索分析工具（VIRAT）綜述

李麗，方秀花

（裝備學院，北京01416）

視頻和圖像檢索分析工具（VIRAT）綜述

李麗，方秀花

（裝備學院，北京01416）

美國國防高級研究計劃局（DARPA）正在為視頻和圖像檢索分析工具（VIRAT）項目尋求解決方案。該項目的總體目標是開發一個系統，用來視頻數據開發，使分析人員能夠從數據庫中迅速找到感興趣的視頻內容，并在對視頻內容現場操作分析中，為分析人員提供警報信息。本文主要從該項目的背景情況、關鍵技術、主要任務以及項目階段做了詳細的闡述。

視頻和圖像檢索分析工具（VIRAT）；圖像視頻；檢索和分析

目前，文字搜索技術已經十分成熟，而且隨著文字識別算法的改進，在圖像上進行文字搜索也變得更加容易。但是當前搜索視頻在技術上實現起來難度極大，主要是由于視頻事先未經預覽，而且也沒有附帶可進行搜索的文字標簽。然而，目前美國國防高級研究計劃局（DARPA）已經解決了這一技術難題中的部分問題。DARPA正在為視頻和圖像檢索分析工具（VIRAT）項目尋求解決方案。該項目的總體目標是開發一個系統，用來視頻數據開發，使分析人員能夠從數據庫中迅速找到感興趣的視頻內容，并在對視頻內容現場操作分析后，為分析人員提供警報信息。

1 VIRAT項目概述

從大量現有視頻數據和實時監控視頻數據中快速搜索具體活動或事件的能力對于美國軍方和情報機構來說是十分重要的。目前，捕食者無人機和其它空中監控平臺的視頻分析非常耗費人力，并只限制于元數據的查詢以及“手動注釋”和“快進”的剪輯檢查。VIRAT項目開發的軟件工具將從根本上提高對海量視頻數據的分析效率。其主要有兩種途徑：一是，當特定的事件或活動發生在特定地點或超出特定地點范圍時將對操作者發出警報；二是，實現對現有視頻數據庫快速、基于內容的搜索。DARPA正在尋求一種創新的算法用來顯示、匹配和識別活動，以支持索引和檢索，VIRAT項目的重點是基于活動和動態信息[1]。

美國軍方和情報部門對實時監控視頻和從大容量視頻數據庫中搜索有價值內容的需求不斷增長。與此同時，相同視頻視角范圍內的動態活動數目大量增加。當前的解決方案是分配更多的分析員同時觀看相同的實時動態視頻。每個分析員被分配視頻的一個部分，如果發現任何可疑對象或活動，立即向有關當局發出警報。然而在軍隊和情報部門，視頻或圖像分析員的數量是有限的。而且，未來動態視頻的范圍將大于25平方公里，有限的分析員通過觀看視頻流更加難以有效地監測和發現所有可疑活動。顯然，運用自動化的活動搜索和檢測能力，能夠提高有效性并提高實時報警效率。VIRAT系統的目標是能夠在幾分鐘內對包含數千小時視頻數據的視頻庫完成搜索。檢測概率要高，以確保所有可能感興趣的活動被發現。

2關鍵技術

VIRAT項目在以下領域尋求技術創新，包括：魯棒的事件和活動的顯示、高效率的全動態視頻檔案庫索引以及交互式精細化的檔案檢索查詢。

2.1 魯棒的事件和活動的顯示

該VIRAT項目的關鍵技術是魯棒的發展，對事件和活動的數字顯示可以在變化的條件下被用在多部視頻中。這些顯示將會形成VIRAT系統的技術核心，可以為實時警報和事件發生的檔案檢索提供技術支撐。技術解決方案必須能夠處理以下內容：

（1）傳感器設置的變化，如空間和時間分辨率；

（2）背景條件的改變，如光照的變化、天氣和大氣發生的變化；

（3）算法可以處理低分辨率視頻；

（4）平臺和視角的變化；

（5）動態事件和活動自身的變化；

（6）其它場景實體的事件或活動元素。

此外，視頻數據周圍的整體環境也是豐富的附加信息來源，對檢索的準確性有幫助。這些信息可以包括空間地理信息和平臺及傳感器元數據。VIRAT正在尋求技術去建立魯棒的事件和活動的顯示。

2.2 交互式精細化的檔案檢索查詢

VIRAT系統將允許用戶對檢索到的數據提供反饋。用戶將可以在優化迭代查詢的過程中提供正面和負面的信息反饋。該VIRAT項目尋找新的技術來實現這種反饋，以迅速達到高性能水平。特別令人感興趣的是利用優化技術開發視頻數據[2]。

3項目階段

該VIRAT項目將分成三個階段進行。每個階段將陸續成熟VIRAT的組件算法，系統性能將會在一個集成的、終端到終端的系統中達到頂峰，對于軍事終端用戶將具有明確和顯著的價值。

（1）第一階段——原型算法開發和系統設計

第一階段的目標是進行系統設計、原型算法開發，評估初步的VIRAT系統。為了支持算法開發，政府將從已經應用在捕食者無人機傳感器上的系統，提供電視和紅外數據。第一階段的系統設計必須將原型軟件組件整合成一個統一的系統體系結構，并與其他軍事系統兼容和可互操作。PET將對第一階段系統進行中期和最終的性能評估。第一階段的性能目標側重于動態警報的準確性和檔案檢索。從軍事用戶和PET的反饋將納入第二階段的目標。

（2）第二階段——算法的細化和優化以及系統集成

第二階段的目標是提高第一階段的準確率和效率，同時適應一個更大的事件和活動設置，提高的視頻速率，以及一個規模擴大的存檔。第一階段的成果將被納入一個更加穩定和成熟的從終端到終端的VIRAT系統集成實施。第二階段的性能目標是強調動態警報和檔案檢索的準確度和速度。這一階段將包括來自控制收集項目工作的晝間電視和紅外數據，以及來自多個無人機平臺收集的實時數據。PET將會對第二階段系統進行中期和最終的性能評估。從軍事用戶和PET的反饋將納入第三階段的發展目標[3]。

（3）第三階段——整合、示范與過渡

第三階段的目標將是改進第二階段系統的性能和準確率，查詢結果快速細化顯示以及適應復雜的搜索，包括在單個查詢中包括多樣和動態的事件。第三階段系統還必須證明具有較大的數據集性能和精度，其中包括：更大數量的事件和活動，更快的視頻流速度，以及更大的錄像檔案。PET將會對第三階段系統進行中期和最終的性能評估。第三階段的性能目標的重點是精度和速度，以及最終用戶需求的滿意度。這個階段將會使用真實的來自無人機平臺的晝間電視和紅外數據。該項目的這個階段還將包括對實際使用效果的比較，人們使用VIRAT系統和人們利用現有的技術的效率的比較[4]。

4結束語

VIRAT項目屬于美國大數據研究發展計劃一部分，通過該項目的實施能夠有效促進數據訪問、組織、處理、分析工具的開發和技術的提升，從而提高政府部門或軍事用戶從大量視頻數據中提取所需信息的能力和水平。未來應用于情報領域，將大大提高情報獲取的時效性和準確性，使對手面臨的形勢更加嚴峻。

[1]DARPA INFORMATION PROCESSING TECHNIQUESOFFI CE（IPTO）Video and Image Retrieval and Analysis Tool（VIRAT）BAA 08-20.

[2]王麗紅，張桂蕓，賈花萍.一種基于顏色特征的視頻鏡頭邊界檢測方法[J].計算機工程與科學，2008（10）：21-23.

[3]馮馳，甘泉福.圖像視頻檢索的研究和應用[J].應用科技，2006，3（6）：17-19.

[4]張揚奇，肖學福，陳祥軍，等.大數據時代基于中文標記的圖像視頻綜合檢索方法研究[J].物聯網技術，2013（10）：29-30.

Study about the Video and Image Retrievaland Analysis Tool

LILi，FANG Xiu-hua
（Equipment Academy，Beijing 101416，China）

The Defense Advanced Research Projects Agency（DARPA）is seeking innovative solutions for the Video and Image Retrieval and Analysis Tool（VIRAT）program.The overall program goal is to develop and demonstrate a system for video data exploitation that enables an analyst to rapidly find video content of interest from archives and to provide alerts to the analyst of events of interest during live operations.The program motivation，key technology and technology areas are introduced in this text.

VIRAT；video and image；retrieval and analysis

TP391

B

1672-545X（2016）12-0127-02

2016-09-15

李麗（1985-），女，江蘇人，研究生，館員，研究方向：情報學；方秀花（1965-），女，江西人，研究生，研究館員，研究方向：情報學。