基于內容的視頻檢索技術教學應用研究

【摘要】首先指出了傳統視頻檢索的局限和不足，闡述了基于內容的視頻檢索過程；以視頻教材為結合點，總結了基于內容的視頻檢索技術在教學中應用的思想和方法，思考了該技術對視頻教材開發的啟示；并針對提高視頻教材交互性的問題，提出了自己的觀點。

【關鍵詞】基于內容的視頻檢索；視頻教材；交互性；關鍵幀；學生支持服務

【中圖分類號】G431 【文獻標識碼】A 【論文編號】1009—8097 (2008) 07—0101—03

一 引 言

隨著多媒體、網絡和計算機技術的發展，特別是海量存儲技術和流媒體傳輸技術的成熟和完善，數字視頻已經成為教育教學中重要的資源類型。如何快速有效的檢索視頻資源，如何提高視頻教材的交互性，成為其能否在教育教學中充分利用的關鍵因素。

數字環境下，傳統的電視教材經過數字化編碼以后，可以通過網絡傳播，利用計算機硬盤、光盤存儲，通過計算機播放呈現內容，已經突破了以往僅通過電視傳播和呈現的單一方式。因此，傳統電視教材的概念已經不能完全涵蓋數字環境下電視教材的內涵。基于此，本文把數字環境下的電視教材稱作視頻教材。

視頻信息通常包括兩部分：一部分是底層的視覺信息，如：顏色、紋理、主體形狀和運動特征等；另一部分是高層的語義信息。視頻數據本身只能表達視覺信息，而不能表達其語義信息，因此視頻的語義信息具有多樣性和模糊性，不同的人對同一段視頻可能會有不同的解釋，加上視頻信息數據量大、數據結構復雜， 這就決定了對視頻的檢索要更復雜、更困難。視頻檢索就是從大量的視頻數據中找到所需的視頻片段。傳統的視頻檢索基于關鍵詞描述(Keyword-based Video Retrieval，KBVR)，其描述能力有限、主觀性強、需要手工標注，視頻數據庫建設成本高、周期長，檢索的單位只局限于電影或整場比賽，對于更小的視頻片段，如一個場景或鏡頭的檢索，只能依靠傳統的快進、快退等手段進行人工查找。費時、費力且不能滿足用戶對視頻內容檢索的要求[1]。基于內容的視頻檢索既能向用戶提供基于顏色、紋理、形狀及運動特征等視覺信息的檢索，又能提供基于高級語義信息的檢索，具有在鏡頭、場景、情節等不同層次上進行檢索的功能，能滿足用戶基于例子和特征描述的檢索要求。

二 基于內容的視頻檢索過程分析

鏡頭是視頻數據的基本單元，所以基于內容檢索的視頻處理，首先必須將視頻序列分割為鏡頭，再對每個鏡頭進行特征提取，得到一個盡可能反映鏡頭內容的特征空間，作為鏡頭聚合的依據。鏡頭特征包括靜態視覺特征和動態特征兩個方面。靜態特征主要指顏色、紋理及主體形狀特征等。靜態特征的提取是通過對鏡頭關鍵幀特征提取實現的。關鍵幀是從鏡頭中抽取出來的，能反映鏡頭內容的一組靜態圖像。動態特征的提取是在對鏡頭運動分析的基礎上進行的，運動分析主要是針對目標運動軌跡的變化、目標大小的變化、鏡頭運動的變化（如：推、拉、搖、移、跟等），所采用的方法主要有基于塊的方法、像素遞歸方法、貝葉斯方法和基于光流方程的方法等。所提取的特征被存入特征庫中，并以此進行索引。在鏡頭的基礎上，根據鏡頭特征進一步進行鏡頭聚類，形成情節，然后提取情節的代表幀 ，并進行描述后存入視頻數據庫。最后根據用戶提交的查詢按照一定的特征進行視頻檢索 ，將檢索結果按相似程度提交給用戶，這樣用戶就可以方便的瀏覽和檢索視頻。基于內容的視頻分析如圖1所示[2]。

基于內容的視頻信息檢索系統一般由索引、查詢、檢索三大模塊組成。索引模塊中，運用鏡頭分割、關鍵幀選取、特征提取等技術對視頻數據進行預處理， 并實現視頻特征索引的建立；查詢模塊是實現人機交互的重要接口， 通過該模塊用戶可以容易地實現交互信息查詢， 即方便地向系統提交自己的各項特征要求，并可把檢索結果作為進一步查詢的輸入，實現更精確的檢索；檢索模塊主要完成視頻特征索引與用戶提交的各項特征的相似度計算、特征匹配，并根據相關度進行結果排序后提交給用戶。基于內容的視頻檢索系統整體模塊圖如圖2所示[3]。

基于內容的視頻檢索的關鍵技術主要有鏡頭檢測技術、鏡頭聚類技術、視頻數據庫組織和索引技術、視頻語義分析技術以及顯示和交互技術等。

三 教育教學應用

在教育教學方面，基于內容的視頻檢索技術主要是用來對視頻教學資源進行有效的檢索和管理，比如：靈活獲得所需視頻教學資源，學校圖書館的數字化，遠程視頻教學等方面。文章主要以視頻教材為結合點來研究基于內容的視頻檢索技術在教育教學中的應用。

1 視頻教材交互性研究

受傳統教育的影響，我國的學習者特別鐘情于視頻教材。但由于傳統電視教材大都以整節課為單位開發的，具有整體性、封閉性等特點，因此幾乎不具備交互性。而交互是學習的靈魂，交互的缺乏，將嚴重影響學習效果。建構主義學習理論認為學習不是靠灌輸知識而完成的，而是學習者對知識意義建構的過程，這種對知識意義的建構無處不體現著交互。

（1） 交互的概念

交互即教學交互，是指在學習過程中，以學習者對學習內容產生正確意義建構為目的，學習者與學習環境之間的相互交流與相互作用。而交互性是反映媒體支持教與學相互作用的能力或特性，是教學交互發生的前提[4]。穆爾把教學交互分為三種類型：學習者與學習內容的交互、學習者與教師的交互和學習者與學習者的交互（Moore，1989）。Hillman在1994年提出了第四種交互即學習者與媒體界面的交互（Hillman，1994）。我們這里所談的交互，是把視頻教材作為與學習者交互的實體，即學習者與媒體界面的操作交互，也是學習者與學習內容產生交互的基礎。

為了實現視頻教材的交互，我們有必要將其分為兩種：一種是視頻教材的內部交互；另一種是視頻教材的外部交互。前者是指在拍攝制作視頻教材的過程中教師根據教學設計所組織的教師和學生及學生與學生之間的交互；后者則是指視頻教材在使用的過程中能夠根據使用者的需求動態調整所呈現的內容而實現的交互。

由于傳統的電視教材是完全按時間的順序連續播放的，因此只存在內部交互，并且，一旦開發制作完成，其內部交互就不會再改變，很難適應不同的使用者。

在數字環境下，我們可以從較微觀的角度開發視頻積件素材，即以知識點為單位開發；利用流媒體傳輸技術、SMIL技術及基于內容的檢索技術等充分的共享和使用視頻積件素材；再根據自己的需要，組合成視頻教材，并增加控制組件，以實現視頻教材的外部交互。

（2） 交互的實現及交互模型

在教和學的過程中，教師和學生均可利用基于內容的視頻檢索平臺，檢索所需的視頻積件素材，如果是通過網絡檢索，根據需要下載到本機，或利用流媒體技術實時播放。

一方面，教師可根據實際教學需要，利用積件組合平臺（可以是非線性編輯工具，如：Premier、Video studio等，也可以是多媒體編著工具，如：PowerPoint、Authorware、Flash等，還可以是自行開發的多媒體組合平臺）將視頻積件素材組織成能適應不同教學情景的視頻教材，并加入交互控件。教師在利用視頻教材授課的過程中，可以靈活安排教學進程，并根據學生的反應和教學需要動態的改變播放內容及播放順序以實現與視頻教材的交互。另一方面，學生既可以利用教師的視頻教材進行自學，并根據自己的實際情況，來選擇不同的視頻內容，實現與視頻教材的交互；也可以從視頻積件庫中直接檢索所需視頻積件素材，組合成適合自己的視頻教材，并在學習過程中靈活的與其完成交互。通過對視頻教材的交互，可以有效的實現教師教和學生學的個性化。數字環境下視頻教材交互模型如圖4-2所示。

2 視頻教材的應用

（1） 在課堂教學中的應用

在課堂教學中，教師既可以根據教學需要，完全依靠視頻教材來講解課程內容，然后做強調總結，這主要適合于體育、實驗等操作性較強的課程；也可以利用插播型視頻教材，利用電視的形象性，突破重點、難點，在播放的同時，觀察學生的反應，遇到困難的地方可以停下來，重點解釋或讓學生互相討論，這樣既增強了教材的教學性，又提高了使用的靈活性，既有利于發揮教師的主導作用，又能充分調動學生的積極性，實現了教師講授與視頻教材的密切配合[5]；還可以檢索選擇合適的視頻積件素材，利用非線性編輯工具或多媒體編著工具，制作成符合教學要求的視頻教材或把視頻素材整合到多媒體課件中，進行多媒體教學。

（2） 在遠程教育中的應用

① 作為遠程學習者重要的學習材料

在遠程教育中，學習者主要是利用遠程教育機構事先開發出來的學習材料自學。遠程學習者大多是成人，個體差異較大，這就要求在遠程教育中要綜合使用多種媒體以適應不同層次、不同需求的學習者的選擇。受傳統教育的影響，中國的遠程學習者對教師的依賴性較強，而在遠程學習中教師和學生是時空分離的，教師和學生在通常的情況下不能面對面的交流，這樣就使能夠傳播教師影像和聲音的視頻教材成為中國遠程學習者的主要學習媒體[6]。

在遠程教育中，可充分利用電視的形象直觀性，提供豐富具體的直觀材料，合理利用思維、記憶和注意等認識規律，最大限度的調動學習者的積極性，從而突破教學中的重點、難點；利用電視手段，把宏觀和微觀的自然現象和事物發展過程進行濃縮和擴展，形象的展現在學習者面前，特別是對于實驗教學，通過電視的縮放、旋轉等技巧，使學生更清楚的觀察實驗現象，更深刻的理解實驗過程；也可利用視頻教材為學習者提供模擬的語言環境和操作環境，將所學知識與現實操作有機地結合起來，幫助學生提高技能。

② 為遠程學習者提供學習支持服務

遠程教育實踐證明，為了保證學生順利完成學業，提高遠程教育的質量，遠程教育機構除了為學生提供優質的課程學習材料之外，還需提供完善的學生學習支持服務即要給予遠程學生持續關注，只有這樣才能了解不同學生在學習過程中遇到的各種問題，并及時給予支持和幫助。

目前，遠程教育逐漸成為人們終身教育的首要選擇，基于資源的學習成為遠程學習的一種重要形式。因此，在學生支持服務中，資源服務成為一種重要的服務形式，而圖書館服務又是資源服務中最重要的服務。在遠程教學中，圖書館不僅僅是傳統的藏書庫、出納臺和閱覽室，其形式也隨著網絡技術、多媒體數據庫技術在遠程教育中的應用發生了變化，其電子化、數字化趨勢日益顯著。在數字化、網絡化環境下，資源庫的建設成為制約圖書館服務質量的關鍵因素。而視頻教材是資源庫中的主要資源形式。大量的視聽資料在網絡技術和多媒體技術的支持下，可以像書籍一樣，讓學習者自由索取閱覽，學習者可以在任何時間、任何地點進行學習，從而得到完善的資源服務。

四 結束語

基于內容的視頻檢索至今也只有十多年的歷史，仍屬于一個新興研究領域，經過眾多相關工作者的探索和研究，取得了一定的進展，開發出了一些實驗檢索平臺，在數字博物館、數字圖書館、遠程醫療、服裝設計、建筑設計及公安偵破等領域得到了成功運用。但目前仍處于實驗研究階段，尚沒有一個完善的商用平臺。隨著研究的深入和技術的成熟，基于內容的視頻檢索技術將進一步促進課堂教學和遠程教育的發展。

參考文獻

[1] 李建生.遠程教育中基于內容的視頻檢索研究[J].中國遠程教育，2005，(3).

[2] 張繼東，陳都.基于內容的視頻檢索技術[J].電視技術，2002，(8).

[3] 黃知義，周寧.基于內容視頻檢索的關鍵技術研究[J].現代情報，2005，(10).

[4] 陳麗.術語“教學交互”的本質及其相關概念的辨析[J].中國遠程教育，2004，(3).

[5] 張婷.插播型電視教材的應用及其數字化[J].濟寧師范專科學校學報，2007，28(3).

[6] 陳麗.遠程教育基礎[M].北京:高等教育出版社，2004: 114-115.

Research on Instructional Application of Content-Based Video Retrieval Technology

GAO Hong-qing1 FENG Yun-sheng2

(1.Department of Educational Technology， Henan Normal University， Xinxiang， Henan， 453007， China;

2. College of Chinese Literature， Luoyang Normal University， Luoyang， Henan， 471022， China)

Abstract: This paper presents the limitation and shortage of traditional video-retrieval. And the course of content-based video retrieval is described. This paper combines video teaching material to summarize the idea and approach of applying content-based video retrieval to education and instruction. And this paper considers application of content-based video retrieval technology to develop video teaching material. And for the question of improving interactivity of video teaching material， this paper puts forward own opinion.

Keywords: Content-based Video Retrieval; Video Teaching Material; Interactivity; Key Frame; Learner Support Service