視頻結構挖掘方法改進模擬仿真培訓系統

摘 要:不同類型的視頻具有不同的內容和不同的內容組織結構。針對視頻類模擬仿真培訓系統的開發現狀及存在的問題，提出通過引入視頻結構挖掘思想方法，對培訓系統的視頻數據進行進一步挖掘，以解決培訓系統中人機交互智能化問題。首先對培訓系統的視頻結構進行規范化定義，結合視頻結構挖掘的概念框架，提出改進模擬仿真培訓系統的視頻結構框架，最后闡述了應用該結構框架進一步對培訓系統的視頻數據進行挖掘的基本方法。改進方案的分析過程表明，該改進方法應用于培訓系統可以優化此類系統的視頻單元結構，進一步挖掘其高層語義信息，提升培訓系統的智能化，對此類系統培訓方案的制定和培訓質量的改善具有理論指導意義。關鍵詞:視頻數據; 視頻結構挖掘; 模擬仿真; 培訓系統

中圖分類號:TN941-34文獻標識碼:A

文章編號:1004-373X(2010)16-0146-03

Improvement of Simulation Training System by Video Structure Mining Method

CHEN Zhen1， CHENG Jia-cheng2

(1. College of Information and Control Engineering， China University of Petroleum， Dongying 257061， China;

2. Petrochina Beijing Marketing Company， Beijing 100101， China)

Abstract: The content and the structure of the video vary with the video type. The video data of the training system can be further mining by introducing the idea of video structure mining to solve the human-computer interaction problems for the present state and the problems of simulation training systems. The video structure of the training system was defined and the improvement of the video structure framework of the available simulation training systems is proposed in combination with the concept framwork of the video structure mining. Under this framework， the improvement methods can optimize system structure， obtain the high level semantic information，make the system more intelligent andprovide the instruction for dicision of the training approach or improvement of the training quality.Keywords: video data; video structure mining; analog simulation;training system

0 引 言

計算機仿真技術和可視化技術的應用[1-2] 在模擬仿真培訓系統中可以帶來巨大的社會效益和經濟效益。隨著計算機的發展和圖形技術的進步，模擬仿真培訓系統要求仿真可視化更加直觀、逼真和具有良好的人機交互能力。本文嘗試以基于視頻的模擬仿真培訓系統為研究對象，通過挖掘其視頻結構中語法模式和語義規則，合理優化培訓系統視頻單元結構，為提升培訓質量提供理論指導。

原始視頻是一種非結構化時基媒體，通過視頻的結構化可以實現計算機的有效管理、訪問和檢索。傳統基于視頻的模擬仿真培訓系統采用常規的視頻結構化方法，即僅采用視頻的基本結構，而缺乏視頻的結構語義描述，這種視頻結構化存在高層信息處理方面的缺點，難以提升此類系統的人機交互智能化水平。

通過視頻挖掘方法發現，原始視頻所蘊含的基本結構、鏡頭語法、場景語法表征視頻的語法模式;通過抽取的視頻特征類關聯規則和與時間相關的事件關聯規則表示視頻包含的結構語義。這些視頻結構知識可以用于視頻數據庫的組織與管理、基于內容的個性視頻推薦、基于語法和語義的視頻摘要等視頻數據的處理當中，因盯以可有效解決人機交互的智能化問題。

1 視頻結構挖掘的概念框架[1-2]

視頻的基本結構(如圖1所示)是由幀、鏡頭、場景、視頻組成的基本層次結構，在基本層次結構之上，還有視頻語法結構(如視頻編輯語法、視頻單元之間的關聯語法等)和視頻語義結構(如視頻中的精彩鏡頭、事件、戶內/戶外場景等)，以及視頻中的主要對象。結合視頻語法和語義，視頻結構一方面是由幀、鏡頭、場景、視頻組成的層次關系，同時更重要的是隱藏在基本結構之中的語法結構知識和語義結構知識(系統總體框架如圖1所示)。

圖1 視頻挖掘系統總體框架

2 基于視頻結構挖掘技術的培訓系統框架

2.1 培訓系統視頻基本結構挖掘

對于模擬仿真培訓系統，結合需求及功能，考慮定義其視頻基本結構(如圖2所示)如下:

(1) 視頻V。定義為一個完整的培訓系統，由n個場景組成，具有表征整個視頻V的m個屬性特征;

(2) 場景C。定義為培訓系統(即視頻V)中包含的培訓項目，每個場景C針對不同培訓類型的培訓人員;

(3) 鏡頭S。定義培訓項目(即場景C)中包含的培訓操作內容，每個鏡頭S針對相同培訓類型的培訓人員。

(4) 關鍵幀F。定義培訓操作內容(即鏡頭S)中包含的操作步驟所對應的特征幀F。

圖2 基于視頻結構挖掘技術培訓系統框架

2.2 培訓系統視頻語法挖掘[1-5]

視頻語法挖掘方法是根據前面視頻基本結構的相關定義，從視頻基本結構中挖掘出視頻結構構造模式的過程，探索視頻結構和特征(指表征視頻V的m個屬性特征)的關系，主要有鏡頭S(即培訓操作內容)的構造模式、場景C(即培訓項目)的構造模式和整個視頻V(即培訓系統)的構造模式。挖掘過程主要包括:

(1)根據需求制定的培訓方案進行視頻鏡頭分割;

(2) 根據分割的鏡頭挖掘并抽取特征;

(3) 根據特征進行鏡頭聚類;

(4) 根據鏡頭聚類結果進一步挖掘視頻結構語法模式。

具體的語法模式挖掘方法可以采用關聯規則挖掘算法對視頻字符串序列進行關聯規則挖掘，挖掘視頻鏡頭中的頻繁關聯模式，得到視頻的結構語法，并對視頻結構語法進行識別和分析。圖3給出了視頻結構語法挖掘框架。

視頻語法結構根據視頻表達信息內容和視頻目的運用多種視頻鏡頭的組合方式，即通過將各種鏡頭以特定的方式組合在一起，表達一定的語義含義。而這種鏡頭組合方式會重復地出現，從而形成視頻中的“結構語法模式”。

圖3 視頻結構語法挖掘框架

對于模擬仿真培訓系統來說，視頻語法挖掘方法既可以用于實現仿真模塊的智能化提取，又可以用于個性化培訓方案的指定。針對模擬仿真培訓系統的視頻特性，對一些相對簡單的模式、組合的鏡頭可以用幾個字符串來表達，語法模式匹配簡化為字符串匹配，通過比較輸入字符串與模式字符串，判斷其屬于哪一類模式。對一些相對復雜的問題，目標是確定鏡頭字符串所匹配一個或更多的語法結構模式。

2.3 培訓系統視頻語義挖掘[1-2，5-6]

視頻語義挖掘是根據前面視頻基本結構的定義，從視頻基本結構中挖掘出包含的含義和事件模式的過程，探索視頻結構特征之間的關系(語義挖掘框架如圖4所示)。分析視頻中的語義事件，需要事先知道視頻中各個鏡頭的類型，而對于培訓系統來說這是可以實現的。

圖4 視頻結構語義挖掘框架

語義概念生成和事件推理都是以鏡頭為基本單位的，鏡頭語義概念是對事件進行推理的要素，它是低層特征與高層事件之間的中間層次。具體應用如下:

(1) 在將原始視頻數據分割為鏡頭后，從各個鏡頭中抽取若干與培訓事件密切相關的語義概念，構造各培訓事件模型，用于融合概念和進行事件推理。

(2) 將培訓過程中生成的視頻流分割為鏡頭序列，然后從每個鏡頭中根據語義挖掘結果生成各種線索，最后根據視頻序列進行事件推理，得到高層語義事件。

將視頻語義挖掘應用于模擬仿真培訓系統可以用于發現并分析判斷被培訓人員的操作問題、心理狀態，以及培訓過程的實時跟蹤分析等培訓功能擴展。

2.4 培訓系統視頻結構模式(知識)挖掘[1-2，5-6]

通過關聯規則、圖形界面等形式表現視頻結構挖掘結果，便于用戶對挖掘結果加以解釋和說明。結構模式包含視頻基本結構、語法結構、語義結構模式。具體實現如下:

(1) 首先對視頻進行鏡頭分割，得到視頻鏡頭層結構。包含所有鏡頭、鏡頭關鍵幀及相關特征。

(2) 根據這些特征采用時間約束的聚類算法，對鏡頭進行聚類得到場景，從而獲得視頻層次結構，這樣有利于存儲。

(3) 對語義和語法知識大部分以關聯規則的形式表示。

對培訓系統挖掘結果的合理解釋及挖掘知識的不斷存儲，有助于進一步完善和優化培訓方案，提高培訓質量。

3 結 語

通過視頻結構挖掘方法改進的模擬仿真培訓系統可以實現用戶培訓內容的隨機提取，而且可以是視頻、場景、鏡頭、關鍵幀各個層次的隨機提取。由此可以有針對性地制定智能化培訓方案。視頻結構挖掘中發現的高層結構知識，又可以用來組建培訓摘要系統及指導培訓方案的制定。創新點將視頻結構挖掘思想方法引入基于視頻的模擬仿真培訓的開發中，提出了針對此類系統的視頻結構挖掘框架。通過挖掘高層語義知識，合理優化系統結構，提升培訓系統的智能化，對培訓方案的制定具有指導意義。

參考文獻

[1]付暢儉，李國輝，代科學.視頻結構挖掘的概念及應用[J].計算機應用研究，2007，24(2):20-23.

[2]付暢儉.基于內容的視頻結構挖掘方法研究[D].長沙:國防科學技術大學，2008.

[3]原野，沈鈞毅，宋擒豹.自動視頻分類中的數據預處理[J].計算機工程，2004，30(4):129-131.

[4]代科學，武德峰，付暢儉，等.視頻挖掘技術綜述[J].中國圖像圖形學報，2006，11(4):451-457.

[5]雷夏.基于特征的視頻挖掘技術研究與應用[D].大連:大連理工大學，2007.

[6]胡軍濤.視頻高層結構分析和挖掘[D].長沙:國防科學技術大學，2002.

[7]劉宇馳，欒悉道，謝毓湘，等.新聞視頻中非新聞段的去除[J].小型微型計算機系統，2007，10(10):1837-1841.

[8]韓冰.基于智能軟計算的視頻鏡頭分割算法研究[D].西安:西安電子科技大學，2006.

[9]柳偉，代科學，盧鑫，等.監控視頻聚簇模式挖掘及其應用[J].數據采集與處理，2008，23(4):459-466.

[10]曹加恒，舒風笛，張凱.基于多媒體數據庫的數據挖掘系統原型[J].武漢大學學報，2000，46(5):569-570.