視頻檔案資源多層級語義標注框架構建研究*

呂元智

（上海師范大學人文學院，上海 200234）

視頻檔案資源是一種以直觀的視覺形式記錄和存儲社會歷史活動信息的第一手資源，它在社會活動多維記錄、歷史原貌真實再現等方面具有不可替代的優勢。進入“聲屏閱讀”時代[1]以后，視頻檔案資源以其信息接收體驗的優勢日益受到用戶的關注和喜愛。然而，視頻檔案資源不同于一般的文本型檔案資源，它具有非結構化、語義特征難以識別等特性，給管理和利用工作帶來了不少困難和挑戰。如何有效地揭示和標注視頻檔案資源為用戶提供恰當的服務已成為當前檔案服務部門亟待解決的現實問題。為此，國內外研究者展開了相關研究。在國外，早在20世紀90年代就有學者開始這一領域的探索，如1991年Sugita[2]探討了日本國立民族學博物館多媒體數據庫系統的建設與利用問題。進入21世紀后，尤其是隨著語義網、多媒體檢索技術的發展，相關研究更是引起了專家學者的關注。例如：2002年Zhou等[3]研究了視頻和音頻內容分析、特征提取和聚類技術在視頻語義概念分類中的應用，并利用視頻自動分割、注釋和摘要技術等構建了一種基于規則監督的視頻分類系統；2010年Shibata[4]通過分析視頻制作原始備忘錄的描述風格，構建了視頻信息描述模型，并將其應用于視頻數據庫建設；2017年Muehling等[5]基于深度學習方法開發出了一款集視覺概念檢測、相似性搜索、人臉識別等于一體的多媒體信息處理工具，以實現視頻資源的有效標注和檢查。在國內，隨著數字檔案館工程建設的推進，視頻檔案資源的語義識別與描述問題也引起了專家學者的注意。例如：2001年黃偉紅等[6]在整合教學視頻資源時首次提出了基于RDF的元數據描述，將教學視頻數據分為整體視頻、分割視頻和多媒體對象3個層次，并定義相應的特征類和典型特征；2003年李學朝[7]將體育視頻元數據描述為通用外部信息和結構信息及其基于語義層次的對象信息；2013年王清等[8]認為聲像文件的編目可建立三級目錄；2018年張美芳[9]認為，音視頻檔案可以根據實際情況靈活選擇著錄結構層級，既可嚴格按文件層、片段層、場景層、鏡頭層逐層著錄，也可跳過任意中間層直接進行下位層的著錄；2019年蔡夢玲[10]以OAIS參考模型為基礎，從音視頻文件處理流程視角和對元數據內容需求的視角構建了音視頻數據庫的分層元數據描述模型。以上這些研究為視頻檔案資源的內容揭示和語義標注提供了理論與方法支持。然而，這些研究大多是從檔案實體管理的角度來探究視頻檔案資源描述問題，卻較少從內容管理與用戶利用的視角來考量視頻檔案的標注。基于此，本文根據視頻檔案資源記錄呈現的特性，構建多層級視頻檔案資源語義標注框架，以期解決視頻檔案資源不同層級粒度的語義揭示與標注問題，為我國視頻檔案精細化服務工作提供借鑒和參考。

1 視頻檔案資源多層級語義標注的含義

視頻檔案資源多層級語義標注是指根據視頻檔案資源記錄呈現特點，在邏輯上將視頻檔案資源劃分為不同層級的描述粒度（如視頻文件、視頻片斷、活動單元等），并逐一進行語義概念析出和標注的信息處理行為。其目的在于將非結構化的視頻檔案資源內容轉化為人與計算機能方便理解的結構化語義信息，并為不同層次需求的視頻檔案利用提供相對應的描述信息支持，將視頻檔案資源轉化為可以利用的檔案知識資源。從本質上來看，視頻檔案資源多層級語義標注是在視頻檔案資源結構分析的基礎上，根據視頻檔案記錄內容的邏輯界線，將視頻檔案資源劃分成不同級別的（宏觀、中觀、微觀等）描述粒度，進而對其承載的信息（如主體、時間、地點、活動、背景、主題等）進行深度提取，并完成對應的語義關系標注，為視頻檔案資源深度聚合[11]奠定基礎。具體來講，它包含以下四層含義。

其一，它是視頻檔案資源邏輯單元劃分基礎上的分層標注。視頻檔案資源是社會活動的第一手記錄材料，而具體的社會活動往往具有一定的程序性，在邏輯層面上可以將其分解成不同層級的活動單元。相對應的視頻檔案資源，也可以劃分為不同顆粒度的視頻片斷或單元。在具體標注工作中，它既要將視頻檔案資源解構成相對獨立的視頻單元片斷（如對一個人的一次演講、一道工藝流程等）進行標注，又需要將整體的視頻檔案文件或部分（如一個活動環節等）的視頻片斷作為描述對象進行宏觀或中觀描述。即視頻檔案資源多層級語義標注既有細粒度層面的深度標注，也有粗粒度和中粒度層面的宏觀和中觀描述。

其二，它是視頻檔案資源從宏觀到微觀的多級組合標注。在具體標注工作中，它需要處理好視頻檔案資源語義標注的整體與部分關系問題，注意整體宏觀描述與微觀單元揭示的結合，而不只是單一的視頻檔案文件宏觀描述或視頻檔案單元的細粒度標注。即具體視頻檔案資源語義標注工作，既要保障視頻檔案資源描述的系統性和全面性，又要注意視頻檔案資源內容和內在邏輯關系的深度揭示和展現，實現視頻檔案資源標注的宏觀與微觀統一。

其三，它是對視頻檔案資源內容和語義關系的標注。視頻檔案資源多層級語義標注不僅要對視頻檔案資源內容進行多層級描述，而且要對視頻檔案資源間的關系進行深度揭示。除了從宏觀、中觀、微觀等層面揭示視頻檔案資源特征外，它還需要在各視頻單元間以及不同層級描述對象之間建立關聯關系，為后續的視頻檔案資源的語義組織與檢索等工作奠定基礎。

其四，它的目標是將非結構化的視頻檔案資源轉化為結構化的視頻檔案知識資源，并在不同粒度層級上進行表示，構建起與不同層次利用需求相適應的視頻檔案資源揭示與內容呈現體系。

視頻檔案資源多層級語義標注是對視頻檔案資源語義特征和內在邏輯關系進行深度揭示和描述的具體構建過程，它是視頻檔案資源能否有效被精準化管理和利用的基礎和前提，也是關系到視頻檔案資源能否被深度開發利用的保障。在當前視頻檔案資源管理工作中，開展多層級語義標注工作具有重要的現實意義。一方面，它可以將非結構化的視頻檔案資源轉化為結構化的視頻檔案知識資源，有利于降低計算機對視頻檔案資源內容理解和識別的難度，從而真正高效地提升視頻檔案資源管理與利用效率。通過視頻檔案資源多層級語義標注，構建起與視頻檔案文件記錄敘事內涵結構相對應的文本型描述體系，有效地彌補了當前視頻語義檢索技術的缺陷，能提高計算機對視頻檔案內容理解和識別的效率和精度。另一方面，通過多層級語義標注將視頻檔案資源內容進行不同粒度級的揭示和描述，有利于將視頻檔案資源內容充分地展示出來，為后續的視頻檔案資源檢索利用提供盡可能多的標識，為其精準化利用奠定基礎。同時，通過語義關系標注將視頻檔案資源間的各類關系揭示出來，有利于豐富檔案資源間的各類語義關聯關系，為視頻檔案資源知識挖掘創造條件，從而真正促進視頻檔案資源開發利用工作向智能化方向發展。

2 視頻檔案資源多層級語義標注框架設計

鑒于上述視頻檔案資源多層級語義標注內涵的分析，現結合視頻語義標注方法使用情況，本文采用基于本體的語義標注方法[12]來完成視頻檔案資源多層級語義標注工作。為了便于理解，設計多層級語義標注框架來進一步闡釋視頻檔案資源多層級語義標注實現問題。具體框架由視頻檔案資源語義信息描述、視頻檔案資源語義標注領域本體模型構建以及視頻檔案資源語義標注實現3個模塊構成，如圖1[13-14]所示。其中，視頻檔案資源語義信息描述模塊的功能是在邏輯層面將視頻檔案文件從宏觀到微觀劃分為不同級別的描述粒度，并通過多維語義信息提取模板建立起相對應的視頻資源庫，為視頻檔案資源語義標注實現模塊提供具體的標注對象；視頻檔案資源語義標注領域本體模型構建模塊的功能主要是為視頻檔案語義標注提供領域概念詞匯和本體概念關系，為視頻檔案資源語義標注提供規范；視頻檔案資源語義標注實現模塊在視頻檔案資源語義標注領域本體模型構建模塊的支持下，利用映射模型對視頻檔案資源語義信息描述模塊提供的標注對象進行映射和語義標注，形成語義標注文件并存儲，從而完成視頻檔案資源多層級語義標注任務。

圖1 視頻檔案資源多層級語義標注框架

2.1 視頻檔案資源語義信息描述

視頻檔案資源是社會活動的連續記錄，具有線性結構特性，對其進行揭示需要采取分層多維解構的方式來實現。視頻檔案資源語義信息描述的任務就是在對視頻內容進行識別和理解的基礎上，從中抽取出視頻所包含的可被人類和計算機理解的高層語義概念。在具體操作中，它需要做好兩個方面的工作。

其一，視頻檔案資源描述層級劃分。基于視頻檔案的利用要求和標注成本考慮，本文從宏觀、中觀和微觀等層次來劃分視頻檔案資源描述層級，它分別對應視頻文件、視頻片斷、視頻單元和關鍵幀。其中，第一層級是以視頻檔案文件為對象的粗粒度描述。從內容揭示上來看，它主要以標題、摘要等形式來揭示視頻檔案資源內容，體現的是視頻檔案所承載的活動整體概況。第二層級是以視頻片斷為對象的中粒度描述。它主要承載的是場景或內容相同、相近的活動內容，如一場會議的開幕式、專題報告或會議總結等。第三層級是以視頻單元為對象的細粒度描述。這里的視頻單元是指記錄具有相對獨立意義的社會活動場景內容的最小視頻單位，它有可能是一個鏡頭或幾個鏡頭的組合，如一場20分鐘專家學術報告等。需要說明的是，在大多數視頻文件分割的操作中，往往采用鏡頭為單元進行分割。目前這一做法雖然便于計算機自動處理，但是它容易將視頻檔案所記錄的活動分解成過多的碎片，容易破壞社會活動記錄的連續性和完整性，且大幅度增加了視頻檔案資源描述和標注的成本。第四層級是以關鍵幀為對象的圖像描述。它是在視頻單元為對象描述的基礎上，從每個鏡頭中選取有效關鍵幀，并對其進行描述以供視頻索引之用。通過上述層級劃分，從宏觀、中觀和微觀層面將視頻檔案資源進行不同粒度的分解，構建一個基于包含與被包含關系的多層級的視頻檔案資源描述對象體系。

其二，視頻檔案資源多維語義信息提取。在上述視頻檔案資源描述層級劃分的基礎上，為了規范視頻檔案資源語義信息提取，構建多維語義信息提取模板來完成具體的語義信息提取工作，具體模板描述維度和要素如表1[15-16]所示。具體的語義信息提取工作，可以利用這一框架，從形式特征、版權特征、內容特征和語義關聯維度根據“描述要素”提取相關內容，完成具體描述工作。需要說明的是，上述不同層級的視頻檔案資源描述對象，其語義信息提取的要求也不一樣。鑒于實踐操作的可行性和成本問題，本文建議具體視頻檔案語義信息提取以視頻單元為重點，盡可能詳細地提取視頻單元的各類語義信息，視頻檔案文件、視頻片斷等層級的描述可以根據實際需要適當簡略，以降低實踐操作成本。

表1 視頻檔案資源多維語義信息提取維度與描述要素

通過視頻檔案資源層級劃分和多維語義信息描述，將不同層級（粒度）的視頻檔案標注對象分別歸入視頻文件庫、視頻片斷庫、視頻單元庫和關鍵幀庫等，為多層級語義標注工作做好準備。

2.2 視頻檔案資源語義標注領域本體構建

本體是知識組織與管理的最基本工具之一，目前它在信息資源管理領域得到了較為廣泛的應用。領域本體（Domain Ontology）是專業性的本體，它是對特定領域的概念模型的明確的、形式化的、可共享的規范說明[17]，其目標是確定該領域內共同認可的詞匯，提供該領域特定的概念定義和概念之間的關系，實現該領域知識的共同理解[18]，達到促進知識交流、共享、互操作、重用等目的。為此，為了推進視頻檔案資源語義標注的規范和效率，本文在借鑒相關研究成果[19-22]的基礎上，結合Ontology for Media Resource 1.0[23]及視頻檔案資源的特性，構建視頻檔案語義標注領域本體模型。基于檔案記錄的5W1H要素原則[24]，本文定義了主體、時間、地點、方式、活動、背景、主題概念7個核心類及其之間的相互關系，如圖2[25]所示。

圖2 視頻檔案資源語義標注領域本體模型

其中，主體類是視頻檔案內容所涉及的個人、群體、組織機構等的總稱，是視頻檔案所記錄社會活動的實施主體，如報告人、項目組、承擔單位等；時間類主要是描述具體社會活動在時間維度發展的階段，如活動的某個具體環節（如會議總結、活動持續的時間段等）；地點類主要表征社會活動維度的呈現情況，如活動發生的場所、地域范圍等；方式類是物類主體在具體活動中所采用的方式和手段，如現場演示、致辭、口述等；活動類是指活動主體在具體活動中通過方式類表現出來的具體內容，如實驗流程、課程內容、工作報告等。活動類是視頻檔案資源語義標注的重點，本文設計的語義標注框架是基于活動不同層級（粒度）分解而進行的多重標注。以一次學術會議的視頻檔案文件為例，“視頻文件”用于記錄整個會議活動，“視頻片斷”記錄會議的一個階段或環節如會議的總結等，“視頻單元”記錄會議中某個最小單位的微觀事件如某個專家具體的學術報告等，“關鍵幀”記錄的是最小微觀事件中的一幅畫面如專家報告的照片等。背景類主要是用來反映或揭示社會活動開展的動因是什么，如新文科建設、科技創新、“一帶一路”等；主題類是視頻檔案資源描述所需的術語表和主題概念詞匯，主要用來表達視頻檔案資源的主題概念。

語義標注領域本體模型是開展視頻檔案資源語義標注工作的重要工具和指南。它不僅能為視頻檔案資源語義概念標注提供規范的術語表和詞匯，還能為不同層級視頻檔案描述對象以及描述要素間的關聯提供規范和豐富的語義關系。通過構建語義標注領域本體模型，為下一步視頻檔案資源語義標注實現做好準備。

2.3 視頻檔案資源語義標注實現

視頻檔案資源語義標注的任務是將上述描述的各類視頻檔案資源對象在語義標注領域本體的作用下，轉化為含有語義信息的、規范的視頻檔案知識資源并進行存儲。具體來講，就是將多層多維描述的視頻檔案資源（視頻文件、視頻片斷、視頻單元、關鍵幀）與領域本體提供的語義概念集進行映射，進而利用RDF/XML賦予其語義，并對形成的RDF語義關系進行存儲。

其一，將視頻檔案資源與語義概念進行映射，賦予視頻檔案對象屬性及各類關系。具體工作主要有：一是利用領域本體模型將多層多維描述的信息轉化為規范的、可以共同理解的語義信息，并體現出各對象之間的關聯關系，為高層語義信息推理奠定基礎；二是解決視頻檔案資源對象不同層次之間的關系問題。這一方面可以通過映射模型[26]在視頻文件、視頻片斷、視頻單元、關鍵幀間建立語義關系，將這些不同層級的對象關聯成一個相互連接的視頻檔案資源整體，以方便用戶的關聯瀏覽利用等。

其二，利用RDF對視頻檔案資源各類描述對象進行標注，并對形成的RDF語義關系進行存儲。在對各層級的視頻檔案資源對象提取的形式特征、版權特征、內容特征、語義關聯進行概念映射基礎上，利用RDF描述框架將具體對象如視頻單元、主體、背景等描述成一個由主謂賓結構來表示的三元組，并生成命名圖，賦予唯一的、可識別的資源標識符（URI）。利用RDF三元組對視頻檔案資源語義信息描述條目進行一一描述，形成對應的RDF文件并存儲，最終完成視頻檔案資源多層級語義標注工作。

3 視頻檔案資源多層級語義標注應用實例與建議

3.1 語義標注應用實例

在不同層級上對視頻檔案資源進行語義標注是賦予其豐富語義的基礎性工作。為了驗證本文設計的合理性，結合現有實驗條件，采用手動的方式以“新文科與大數據專題研討會”的視頻檔案文件為例進行部分語義標注。具體步驟如下。

第一，對視頻檔案文件進行不同層級描述粒度的劃分。根據視頻檔案文件所記錄的活動內容，首先將視頻文件作為一個完整的描述對象；再按活動發展的時間順序，將視頻文件切分為“開幕與致辭”“議題1：新文科與數字人文”“議題2：新文科數據基礎設施”“議題3：新時期的學科交融”“會議總結”等視頻片斷；最后將視頻片斷劃分為最小獨立意義的視頻單元，如劉煒做的學術報告“數字人文能給新文科帶來什么？”等，并從各個視頻單元中抽取關鍵幀。考慮到描述的成本，一般一個鏡頭抽取一幅關鍵幀。如果活動單元中含有多個鏡頭，則一一抽取關鍵幀。

第二，利用視頻檔案資源多維語義信息提取框架對不同層級的視頻檔案描述對象進行相關語義信息提取，并利用領域概念集進行映射處理，形成規范表述的語義信息。如“議題1：新文科與數字人文”視頻片斷中的劉煒學術報告“數字人文能給新文科帶來什么？”視頻單元就可以提取“劉煒”“數字人文”“新文科”“華東師范大學科技園”“2021.1.15”“學術報告”等語義信息。其他維度和層級的語義信息提取同理處理。

第三，利用視頻檔案資源語義標注領域本體概念之間的關系和RDF標注框架對具體對象一一進行語義標注，并將標注后的視頻檔案資源對象進行聚類和關聯處理。通過對“新文科與大數據專題研討會”視頻檔案資源各類對象進行多層級語義標注，將其變成一個個相互關聯的語義對象。例如，劉煒學術報告“數字人文能給新文科帶來什么？”視頻單元經過語義標注處理后，就形成一張如圖3所示的語義關聯網絡。它表達的主要內容是：2021年1月15日劉煒在華東師范大學科技園舉辦的新文科與大數據專題研討會上作了“數字人文能給新學文科建設帶了什么？”學術報告，它屬會議“議題1：新文科與數字人文”部分。

圖3 視頻檔案資源多層級語義標注示例（部分）

第四，將上述語義標注結果進行校驗，并以文件為單位進行存儲，將同一文件的RDF三元組保存為一個RDF文件，從而完成該視頻檔案資源的多層級語義標注任務。

3.2 應用建議

通過上述實例表明，多層級語義標注框架從多層面、多維度來揭示和標注視頻檔案資源語義信息，是切實可行的，并能較為全面、詳細地揭示視頻檔案資源所承載的語義信息，體現了視頻檔案資源宏觀描述與微觀標注的統一，能適應視頻檔案資源管理與利用需求。然而，這一框架的實施是一項較為系統的復雜工程，它需要檔案工作部門做好以下工作。

其一，做好視頻檔案文件標注預處理工作。一是要加強視頻檔案文件形成的前端控制工作，盡可能按一件一活動的原則來形成視頻源文件。為了便于更加高效地揭示和標注視頻檔案資源，在實踐操作中，要盡可能形成活動邊界分明、主題聚焦的小視頻文件，避免給后續的視頻檔案文件切割造成困難。二是要事先了解視頻檔案所記錄的活動內容，根據具體的社會活動程序和場景特點等來劃分視頻檔案資源描述層級。這一方面，鑒于視頻自動切割技術實現的限制，具體的視頻檔案描述層級劃分尤其是視頻片斷和視頻單元的劃分，現階段采用人工處理的方式為宜。另外，在具體操作上，在視頻文件編輯加工階段就可以有意識地植入相關操作，如在具體視頻文件中加入相關邊界標識符等。三是根據實際需要和描述成本，合理安排不同層級視頻檔案資源描述詳略級別。本文設計的多層級語義標注框架涉及視頻文件、視頻片斷、視頻單元以及關鍵幀的描述，考慮到描述與標注的成本，在具體工作中需要根據實際情況作出詳略選擇。視頻單元是最基本的視頻檔案資源描述對象（細粒度），它是視頻檔案資源內容深入揭示的關鍵，為此建議將視頻單元層級的描述作為視頻檔案資源描述的重點。而視頻文件、視頻片斷屬粗粒度和中粒度的描述對象，在具體描述工作中可以概要式地描述，突出核心要素即可。關鍵幀是視頻檔案資源揭示和描述的最小微粒，但它事實上只是具體鏡頭中一幅代表性的照片，往往只用作視頻檔案資源索引之用，故此在視頻檔案資源描述中也可以適當簡略。

其二，不斷完善視頻檔案領域主題詞匯集。眾所周知，視頻檔案資源來源多樣，構成復雜，涉及領域較多，主題概念詞匯集的形成是一件復雜和不斷優化的工作。主題概念是視頻檔案資源語義標注領域本體模型構建的關鍵，它是關系到視頻檔案資源能否有效交流、共享、互操作、重用的基礎。目前，具體的視頻檔案領域主題詞匯集完善和優化工作可以從以下三方面入手。一是參考和借鑒已有的詞表工具書如《中國檔案主題詞表》《漢語主題詞表》等來豐富和完善視頻檔案領域主題詞匯集。另外，針對一些特殊領域形成的視頻檔案資源描述需要，具體工作還需要參考和借鑒該領域的主題詞表如《醫學主題詞表》《航空科技資料主題詞表》等。二是引導社會力量參與視頻檔案領域主題詞匯集建設工作。一方面要發揮領域專家的作用，聘請領域專家完成相關詞匯的選擇、編制與評價工作；另一方面要聚合眾智力量，引導社會一般用戶尤其是視頻檔案利用用戶參與到具體的詞匯集建設工作中來。三是定期對視頻檔案資源領域主題詞匯集進行修訂和補充，以適應視頻檔案資源語義標注工作不斷發展的需要。

其三，建立用戶參與式的視頻語義標注工作體系。視頻檔案資源多層級語義標注是一項任務量極大的工作，完全依賴檔案工作部門來完成是不切實際的。為了更好地應用本框架，建議建立用戶參與式的語義標注工作體系。在用戶利用視頻檔案資源時，賦予用戶一定的資源描述和標注的權限，在預定的規則和框架內，鼓勵用戶利用自己的知識和經驗對視頻檔案資源進行描述和語義標注。當然，用戶參與也會帶來一定風險，如描述錯誤、標注無意義等。為了規避用戶參與有可能帶來的風險，具體工作可以借鑒社會化標注[27]、聯合開發[28]的一些經驗，將用戶形成的描述內容和標注結果獨立于原有的描述和標注體系之外，并定期進行審計等。在當前，建立用戶參與的模式是有積極意義的，它不僅可以緩解檔案工作部門視頻檔案資源語義標注的壓力，而且可以激發用戶參與視頻檔案資源建設的積極性，為視頻檔案資源建設與利用營造良好的社會生態環境。

4 結語

視頻檔案資源是語義最為豐富的檔案資源，對其進行多層級、多維度語義揭示和標注是視頻檔案資源被深度利用的基礎和前提。本文設計了多層級的視頻檔案資源語義標注框架，其目的在于為目前計算機難以直接識別和理解的視頻檔案資源，構建一個與之內在語義邏輯相對應的文本型信息建構，為具體的視頻檔案資源語義揭示與標注工作提供可操作的思路和實現框架。然而，視頻檔案資源構成復雜，具體的語義標注工作還需要在實踐中不斷優化，它需要做好視頻檔案資源語義描述預處理、描述級次詳略選擇、領域主題詞匯完善以及語義標注工作體系的合理設計與安排等工作。