基于語義關聯的視頻元數據庫構建

凌 堅，蔡國炎，練益群

（1.浙江傳媒學院 電子信息學院，浙江 杭州 310018；2.浙江廣播電視集團，浙江 杭州 310005）

責任編輯:哈宏疆

0 引言

當前，廣電行業普遍都在進行視頻內容管理系統的建設，大量視頻被數字化和編目后進入內容管理系統，隨著系統規模不斷擴大，視頻信息的檢索、過濾和提取技術已成為媒體內容管理方面的研究熱點。然而，利用計算機技術直接從數據中理解視頻內容十分困難，建立視頻數據的描述數據（即元數據）的視頻檢索和分析被普遍認為是現階段最有效的解決方案，視頻數據的元數據庫構建變得十分重要，一個結構良好、內容合理的元數據庫成為視頻數據管理的基礎。由于現有的媒體內容管理系統中缺乏數據語義方面的信息，大部分系統的搜索引擎僅僅利用關鍵詞的直接匹配或詞頻統計作為檢索依據，對關系型需求的查詢缺少支持；其次，在自然語言中，可能用不同詞匯來表達同一個概念，僅依靠關鍵詞匹配和詞頻統計，可能造成檢索錯誤。要克服上述問題，一個有效的方法是利用元數據的語義建立關鍵詞或標簽（tag）之間的語義關聯，為搜索引擎提供語義信息。本文提出了一個利用語義關聯信息的視頻元數據數據庫構建方法，利用該語義信息的檢索方法可有效改善系統搜索準確性。

1 語義關聯網絡模型

元數據編目使關鍵詞和視頻之間建立了對應關系，但關鍵詞本身并不僅僅是一個符號，而是具有一定的語義，在實際中，人們是使用關鍵詞不是使用符號本身，而是其包含的實際意義。因此僅僅記錄關鍵詞和視頻之間的關系對計算機理解視頻是不夠的。語義關聯的目的是在關鍵詞數據庫中引入類似人類具有的“知識”，使計算機能理解關鍵詞的詞義。在概念網絡模型（Conceptual Network Model，CNM）中，用概念來表示詞匯在自然語言中的實際意義。一個詞往往對應著多個概念，即一詞多義，比如“病毒”這個詞，可以是指計算機中一類能復制自我的惡意程序，也可以表示生物學意義上的一類低等生物。同樣，也存在著不同的詞匯表示相同的概念，例如:成都還可被稱為蓉城、錦城、錦官城；世博會的同概念詞匯還有世界博覽會、國際博覽會、萬國博覽會、世博會、世博、萬博等。

概念雖然表達了明確的語義，但人對視頻的檢索等操作仍然會采用包括關鍵詞等自然語言方式，因此，需要在元數據庫中建立詞匯和代表語義的概念之間的關聯。

另一方面，由于視頻數據數目十分龐大，具有相似關鍵詞但不同類型的視頻在內容上可能相去較遠。為了改善語義關聯的元數據庫在檢索方面的性能，在關聯網絡中引入視頻的多重分類，如圖1所示。

元數據語義關聯數據庫中的視頻分類，可按照時間、地點、人物、知識屬性等角度提供多重分類體系標準，用于對視頻進行分類編目。知識屬性分類體系分類可參考國家廣電總局的《廣播電視音像資料編目規范-電視資料部分》中對視頻節目分類建議和《中國新聞信息分類標準》相關規范和標準等，其構建原則是保證類別之間重復少（唯一性）和類別集合的總體完備性。

2 詞匯表管理

在具體實現中，概念和關鍵詞類似，用詞或詞組表示，語義詞表管理提供對詞匯和概念詞匯進行定義、維護的能力，包括基本詞匯管理和用戶自定義詞匯管理。在基本詞表管理方面，從知識屬性、題材和節目形態等方面考慮常用的詞匯和語義，匯集基本詞匯和語義關聯作為基本詞庫。在基本語義關聯詞庫的基礎之上，概念詞匯可以進行動態更新，包括新詞匯的增加和舊詞匯的去除。由于概念詞匯屬于相對固定、封閉的詞匯體系，它的動態更新需要管理者審核后方可正式納入到編目系統中。

在用戶自定義詞庫管理方面，主要包括關鍵詞分析以及具有相同語義的關鍵詞庫（即同義詞）管理兩部分。通過關鍵詞統計分析，可以得到關鍵詞的使用頻率，在不同視頻中的使用情況等多方面信息，從而為關鍵詞的自動推薦以及更新提供依據。具有相同語義的詞匯庫主要關注的是關鍵詞間的關聯信息。一定數量的編目之后，數據庫會積累大量的關鍵詞，這些詞匯中會有許多詞匯具有相同的語義或同一詞匯具有不同語義的情況出現。由于詞庫的建設和維護需要較大的工作量，視頻庫編目系統可以設有專職詞庫管理員，該管理員借助同義詞檢測、關鍵詞使用頻率和權重等技術指標，將關鍵詞歸類，給出正式的關鍵詞作為一個統一使用概念，并建立這個概念詞匯與其對應的關鍵詞之間的聯系，同時建立同義詞詞庫與概念索引庫的動態聯系，保持關鍵詞和概念之間的關聯，保證檢索的一致性。

3 數據表示和存儲

目前對于關聯數據的存儲方式主要有純文本方式、專門存儲程序和關系數據庫方式3種:

1）純文本存儲。純文本（如.OWL文件）的方式，按某種方式直觀地表示語義之間的關聯，符合詞匯的語義特性，易于理解，適用于直接表示和存儲。但文本形式較簡單，當關聯的概念和實例較多時，效率較低，不適合大規模的詞匯和概念的語義關聯的管理。

2）專門的管理工具存儲。如OMM等軟件，支持對RDF、OWL等類型文件的存儲管理，并提供各種接口，可使用查詢語言對語義關聯關系進行查詢，但這些軟件工具技術上尚不夠成熟，達不到關系數據庫存儲的效率。

3）關系數據庫存儲。關系數據庫技術相對成熟，適合大規模數據的存儲，存儲效率高，易管理且便于查找數據。在當前支持語義信息存儲的技術尚未成熟的時候，對于海量數據本體的存儲和管理，關系數據庫是最佳選擇。

這里采用第3種關系數據庫存儲形式，數據的存儲采用與應用分離的設計，對于以后擴展和維護系統都具有較好的靈活性。存儲視頻語義關聯信息主要包括4個表，視頻-關鍵詞表、視頻-分類表，關鍵詞-概念詞表，分類表。此外，為了記錄完整的視頻、詞匯和分類數據，還至少需要建立視頻元數據相關的表、詞匯說明表和類說明表。表1、表2分別定義了詞匯表的主要字段和屬性，視頻-分類表和分類表與此類似。

表1 視頻-關鍵詞表

表2 詞匯-概念表

數據采用基于關系數據庫技術存儲和組織語義關聯信息，可以充分利用數據庫管理系統（Data Base Manage?ment System，DBMS）提供的各類數據定義、維護和檢索操作，采用結構化查詢語言（SQL）實現語義關聯數據的管理，圖2是一個簡化的利用關聯語義信息檢索的過程，并利用數據庫管理系統的功能，保證數據的一致性和完整性。

4 小結

數字視頻內容管理的一個關鍵問題是視頻內容的智能檢索和推薦。直接在非結構化的視頻數據中理解視頻內容十分困難，在媒體資產（MAM）等內容管理系統中，是通過視頻數據對應的元數據對視頻進行組織和檢索等操作，本文在分析了視頻元數據中關鍵詞在自然語言理解上的特點，引入“概念”，利用關鍵詞和概念之間語義上的關聯，建立視頻數據、關鍵詞和概念之間的語義關聯網絡，并根據視頻可能涉及的時間、地點、人物和屬性進行分類，最后給出了在關系數據庫中存儲語義關聯信息的方法，利用關聯信息可以改善視頻檢索的智能化程度。計算機對詞匯在語義的理解上需要充分的語義“知識”，本文提出的語義關聯是這種知識的其中一個部分，要進一步提高計算機視頻數據管理的智能程度，另一個關鍵的知識是概念間的語義聯系，如何對概念之間的語義聯系進行細分，并建立概念之間的語義關聯模型是本文后續研究的一個方面。

[1]蘇偉峰，李紹滋.一個基于概念的中文文本分類模型[J].計算機工程與應用，2002，38（6）:193-195.

[2]KARAM O，HAMAD A，ATTIA M.Exploring the sem antic gap in content-based image retrieval:with application to Lung CT[EB/OL].[2010-01-03].http://www.icgst.com/GVIP05/papers/P1150535241.pdf.

[3]沈玉利，郭雷，耿苑.一種新型圖像檢索語義網絡構建方法[J].計算機應用研究，2005，2（5），148-151.