基于知識注釋的MOOC 視頻快速檢索系統研究

許鄧艷，盧民榮，王 瑩

（1. 福建工程學院 應用技術學院，福建 福州 350118；2. 福建江夏學院 會計學院 福建省社科研究基地財務與會計研究中心，福建 福州 350108）

MOOC 在國外由來已久，截至2020 年2 月，在中國大學MOOC、學習通（含超星學銀在線）、智慧樹等的注冊人數已經超1 億[1]。MOOC 平臺教學主要包括老師制作發布課程、知識點（knowledge）設計、課程拍攝、錄制剪輯及課件試題資源等，而學習者主要通過觀看視頻、參與討論、提交作業等實現在線學習。因此，MOOC 視頻是MOOC 平臺的關鍵資源，亦是課程核心競爭力，視頻內容、質量直接影響著學生的學習積極性和學習效果[2]。當前，MOOC 視頻還存在一些不足，如視頻內容無法檢索、回放定位輔助操作不清楚、知識點與視頻幀無關聯等，這些不足是由于視頻自身的“封閉性”造成知識點在視頻中的“隱蔽性”，從而不利于知識信息在視頻中的注入和檢索生成[3-4]。國外已經開發了一些視頻分割標注工具，如VAST、 VITAL、 VAT 等，主要應用于教學反思，無法解決對MOOC 視頻內容注釋不足的問題，大部分僅是對視頻的標題和內容（有些研究用主題、摘要）作關聯說明，視頻內容的檢索技術未得到有效的應用。因此，基于注釋的MOOC 視頻快速檢索系統顯得非常有必要，該研究主要運用視頻分割、關鍵幀提取設計MOOC 視頻注釋系統；基于注釋、知識結構、課件關聯等多重注釋設計檢索系統。該系統可以提升MOOC視頻注釋效率和檢索需求，從而提升知識點視頻幀定位和學習資源的交互維度，更加方便MOOC 視頻學習，提高溫習效率和學習熱情等。

1 相關工作

1.1 MOOC 視頻檢索研究

當前國內MOOC 平臺擁有大量名校、名師講課視頻資源，有許多國家級、省級精品課程，各大平臺已經進入比較穩定運營狀態。MOOC 平臺如何利用已有的資源擴展個性化服務、提升信息化管理的便捷性，MOOC 視頻檢索技術是關鍵。國外在視頻檢索上比較注重檢索效率的研究，如設計了視頻編碼快速搜索算法、加入了搜索排序進行視頻內容的檢索[5-6]。國內有部分學者使用關鍵詞提取、內容檢索、深度學習等方法進行MOOC 視頻檢索研究，這些主要應用在分類上，也有另一些基于圖像比對、特征融合的研究，這部分研究側重圖像識別的應用，以上這些研究對于MOOC 視頻內容如何與教學知識點關聯并不明顯[7-9]；另一些學者對MOOC 視頻的標注、批注、注釋等進行研究[10-11]，但與MOOC 視頻檢索技術關聯不明顯。

1.2 視頻分割、檢索方法

在百度學術、中國知網上對MOOC 視頻分段、視頻分割進行檢索，并沒有發現相關學者的研究；而對MOOC 視頻檢索方法已經有二十幾項研究，已有研究主要停留在視頻的主題、摘要、介紹等檢索[4]，并非視頻中的內容檢索（視頻幀定位），如基于視頻摘要的視頻檢索系統、基于人工標注的視頻檢索系統。對于視頻分割、檢索方法已有一些成熟的研究，并成功應用于關鍵人物、車輛識別、視頻監控等，取得比較理想效果的語義匹配的視頻分割，其分割處理方法有特征提取、視頻聚類、邊界檢測、片段檢測、關鍵幀提取等關鍵技術[12]。相應的視頻檢索方法也比較多，有基于內容檢索、顏色檢索、形狀檢索、紋理檢索等的視頻檢索方法[13-14]。現有研究方法可借鑒性比較廣，除傳統的基于閾值的、區域的、邊界檢測圖像分割外，還有基于小波分析和變換的、遺傳算法的、馬爾科夫模型以及人工智能的神經網絡、聚類的分割與檢索方法[15-17]。基于注釋的MOOC 視頻快速檢索系統的研究主要建立在已有視頻分割基礎上，根據MOOC 教學視頻易聚類特點，對已有MOOC 視頻進行快速分割，并將分割后的視頻首頁，以第一幀和關鍵幀提取出主圖像和若干個輔助圖像，輔助視頻維護人員的注釋。

1.3 視頻注釋輔助系統

視頻注釋也稱視頻標注、視頻批注，在視頻剪輯、視頻監控和字幕制作等應用十分廣泛，而相應的模型和算法則不像視頻鏡頭分割與關鍵幀提取那么普遍。目前流行的注釋工具有： LabelImg 、 Labelme 、RectLabel、CVAT（OpenCV）、VOTT 等，這些工具在區域批注比較成熟，包括人工注釋和自動數據注入。基于本體和規則學習的視頻注釋與檢索開啟了MOOC 視頻注釋的研究，后續有上下文的圖像和視頻標注結合、擴展視頻注釋，以及后來視頻標注中提出異構域自適應方法都對視頻標注進行比較深入研究[18-21]。在國內，MOOC 視頻教學主要是為方便教學者對視頻內容進行教學補充，而這些標注一旦被工具封裝后就無法被外部檢索，因此不能有效起到輔助MOOC 視頻內容的檢索。近兩年，對視頻注釋的算法、模型等的研究，大部分依賴于人工智能算法，有利于數據標注行業應用， 但沒有涉及 MOOC 視頻檢索[22-24]。文獻[11,25—26]對于MOOC 視頻的教學標注和復合視頻信息組織模型在MOOC 視頻注釋輔助系統中的應用有一定的探索。因此，使用視頻分割結合視頻標注功能，從而發揮其內部注釋輔助系統作用，該工作對視頻內容檢索技術研究和MOOC 視頻教學應用有著十分重要的現實意義。

2 MOOC 視頻注釋系統設計

2.1 框架

MOOC 視頻注釋系統設計是快速檢索的關鍵環節，因此，設計時首先要充分利用MOOC 平臺中的教學視頻存在錄制、展示與知識結構、授課課件關聯的特殊性，進而提出MOOC 視頻注釋框架，如圖1所示[27]。MOOC 教學視頻的錄制主要有兩大類型，一是教學課件的展示和解說，這種以屏幕分享模式為主，有一部分也配合攝像頭錄制教師行為（也稱專業錄播）；另一類是具有電子教室場景，這種以攝錄教師教學行為為主。但總體上MOOC 教學視頻有知識點靜態特質即當一個知識點在講解時，視頻中主要區域是靜止不變的，而知識點切換時則視頻中畫面變化是比較大的。

圖1 MOOC 視頻注釋框架

在圖1 框架中，首先捕獲視頻頁的變化，分割出子視頻集合，然后提取子視頻的關鍵幀，并進行圖像識別，定位視頻對應的知識點和課件信息，提升視頻注釋效率。最后，通過教學者確認關聯，形成視頻注釋集，后續研究也可以通過作業、答疑等其他學習資源的關聯，進一步擴展視頻注釋功能。

2.2 算法

MOOC 平臺視頻錄制來自不同教學設計者，其視頻碼率、分辨率、圖像質量都不統一，因此本研究基于感知哈希信息的視頻分割方法[27-28]，該方法涉及關鍵幀提取、圖像識別等技術。核心思路提取指定間隔兩個視頻幀，將任意大小幀圖像轉換為固定大小輸出，運用圖像哈希函數比較圖像相似度，以確定視頻分割的邊界。圖像哈希函數因其實現簡單，在視頻分割方面可以大大提升計算速度，如遇到分割不理想的視頻則可以調節相似度比較參數，從而適應不同的視頻分割。具體實現過程如下。

2.2.1 視頻分割步驟

Step 1. 獲取指定間隔兩幀（step 表示幀間距，本算法取值240），并進行圖像縮放尺寸為16×16（太大不利于計算速度）的兩張圖X和Y。

Step 2. 圖像灰度化和均值計算。

分別采用平均值法對圖像X和Y計算灰度值，計算灰度方法如下：

式中，i,j分別代表圖像中的像素位置，R,G,B 分別代表圖像顏色值。

Step 3. 比較像素的灰度。

將每個像素的灰度，與平均值進行比較，大于或等于平均值記為1，小于平均值記為0。以圖像X為例，計算如下公式：

Step 4. 哈希組合計算差值（有些研究使用直接幀差法，在本研究嘗試中發現雖然時間效率幀差法比較高，但準確率低于均值法）。

將兩張圖像像素的灰度組合在一起，就構成了一個16×16 位的整數，然后進行哈希計算差值，即：

Step 5. 確定視頻分割邊界。

如果Hash/(16 × 1 6)大于系統設置的圖像相似度參數（一般設置為0.7）則視頻幀Framen+step并不是分割邊界，繼續取下一幀比較，回到Step 1，直到出現分割邊界；反之則為分割邊界，即可明確視頻分割邊界起始幀、結束幀和所對應的時間點等信息。

2.2.2 邊界分割點代碼實現

本系統實現是以Python 和C#相結合，此處分割點識別代碼為 Python 實現過程，C#主要實現視頻檢索，如圖2 所示。

2.3 功能

MOOC 視頻注釋系統最核心設計就是將教學視頻如何跟知識點、課件（PPT）等教學資源進行有效關聯，如圖3 所示，形成比較完整的注釋集，這是檢索系統設計成敗的關鍵。以MOOC 教學視頻分割為基礎，將視頻分割為各子視頻集（Video），VID 表示視頻的唯一識別碼，VB、VE 分別代表子視頻相對于原分割前視頻的分割開始、結束幀，VC 表示視頻注釋內容（C 表示內容Context 的簡稱，下同）。

圖2 邊界分割點代碼實現

圖3 MOOC 視頻注釋集的知識關聯

2.3.1 關聯知識點

由于知識點具有樹型結構，FID 表示父節點，KID表示知識點的唯一識別碼，用0 表示根節點，節點結構由知識體系決定，KC、KP 代表知識注釋和知識點；分割視頻和知識點關聯關系為多對多，其中NC 表示關聯后的知識注釋。

2.3.2 關聯課件

由于課件具有頁數關聯強特點，視頻分割數與課件頁數有最為直接關聯，對于分割與課件頁無效關聯仍然需要人為調節；分割視頻和課件關系為多對多，其中PID 表示PPT 的唯一識別碼，PNUM 表示PPT 頁碼。

根據分割算法和注釋輔助功能的配合，可以產生系統推薦關聯注釋，注釋的關聯生效由教學設計者進行人工確認。當系統對視頻情境與知識關聯不確定時，尤其需要教學設計者審慎操作，重新匹配關聯。關聯后的注釋將產生比較完整的注釋集，把視頻內容、知識結構、課件等教學資源按關聯規則呈現給用戶。

3 MOOC 視頻檢索系統設計

3.1 基于注釋的檢索設計

在注釋系統設計中已經包含了MOOC 視頻分割后各子視頻的注釋集，關聯的知識注釋、課件注釋，以及關聯后的注釋。由于視頻注釋（VC）關聯后的注釋（NC）是教學設計者關聯時確認的，在檢索時優先被查找，然后才是知識注釋（KC）和課件注釋（PC）。本檢索路徑為：

1）VC→VB、VE。

這種方式效率最高，直接從子視頻注釋快速檢索視頻注釋集的播放開始位置VB 和結束位置VE。

2）NC→VID→VB、VE。

設計關聯后的注釋，主要是為了與分割后子視頻注釋有直接關聯，這樣可方便快速定位到視頻的VB和VE。為了讓關聯查詢更有效，系統檢索均采用左查詢方式，以檢索條件過濾表為主表進行查詢。

3）多表關聯檢索KC→KID→VID→VB、VE 和PC→KID→VID→VB、VE。

課件、知識點注釋進行查詢需要跨多表，以課件檢索視頻為例：①C#程序調用查找關鍵字；②SQL 關聯查詢代碼SELECT VID,VB,VE FROM PPT LEFT OUTER JOIN NOTE ON PPT.PID=NOTE.PID LEFT OUTER JOIN VIDEO ON NOTE.VID= VIDEO.VID WHERE PC LIKE ‘%關鍵字%’。

然而作為學習者進行檢索條件設置時，并不會以教學設計者的角度進行設置，有些檢索結果并不如意，需要后期持續維護注釋集。

3.2 基于知識結構的檢索設計

MOOC 教學視頻內容的知識結構往往都具有樹型結構特點，即知識樹。以視頻的教學主題為知識頂點或若干平行知識序列為頂點，知識結構如圖1 中的知識樹所示。而所屬知識點作為知識學習脈絡具有很強的知識聯系，因此，基于知識結構的檢索設計路徑為：

1）KP→KID→VID→VB、VE

這種做法類似于基于注釋的檢索設計中的3），以知識點進行查詢，同樣需要跨多表方式，仍然以左查詢的方式。若KID 不為0 則需要增加以下2）、3）兩種檢索。

2）KP→KID，FID→ KID′(一) →VID→VB、VE

通過知識點獲得父節點（上一級的知識點），再由父節點與視頻關聯，KID′表示父節點對應的ID，由于知識點查找時知識關聯非常重要，很可能查詢的知識點在其上級或下級3）中，實際上也是如此。

3）KP→KID，FID →KID″(多) →VID→VB、VE

在查找下級知識點關聯時，把當前定位的知識點作為父節點進行查詢（即查詢時把父節點等于當前節點），此查詢結果會出現多個子節點即一個知識會有多個知識點組成，KID″表示所有的子節點對應的ID。

3.3 基于大學英語的教學案例

以大學英語的Unit 1 Section A（《新視野大學英語(2)(第二版)》，外語教學與研究出版社）單元完整MOOC 教學視頻和新型冠狀病毒肺炎疫情知識的微課視頻為例進行分析，兩個視頻為不同的英語老師，首先，各自根據系統分割完成視頻注釋和測試檢索，然后，兩個老師對換測試檢索，最后，公布各自設計的知識樹再進行檢索測試。實驗硬件配置為CPU：i5 4300 2.5 G（雙核四線程），內存：8 G，實驗結果分別如下。

3.3.1 MOOC 教學單元視頻

該視頻長45 min，課件36 頁（封面和最后致謝各1 頁，最后5 頁為擴展內容和作業要求，實際涉及視頻內容為29 頁），知識結構設計以單元主題為頂點，下設5 個一級節點，其中4 個有二級節點，有一個節點有三級節點兩個。知識結構設計、視頻注釋均以課件內容為主，作簡單擴展。具體時間消耗和效果評價見表1—2。

表1 MOOC 教學單元視頻注釋與檢索

3.3.2 知識點的微課視頻

該視頻長20 min，課件12 頁（與MOOC 教學視頻制作不太一樣的風格，作業1 頁，作業布置說明在視頻中也體現），知識結構設計以引言、問題（下設三個問題節點）、介紹（下設原理、防護兩個節點）、病毒知識延伸（下設相關病毒知識、鼓勵、學習反思三個節點），無三級節點。知識結構設計、視頻注釋同樣均以課件內容為主。具體時間消耗和效果評價見表3—4。

表2 MOOC 檢索評價（未公布知識結構互換）

表3 MOOC 教學單元視頻注釋與檢索

表4 MOOC 檢索評價（未公布知識結構互換）

3.3.3 小結

從表1—4 的數據可以簡要得出三個結論：①效率可行：一個教學視頻注釋需要10 min 左右，檢索時間短（由于沒有在各大MOOC 平臺大容量下測試，查詢響應0.001 s 的性能并不準確）。②檢索有一定依賴性：知識結構的檢索相關性非常大，由于檢索方不知道教學設計者的知識結構設計意圖時，不容易檢索出所需要的結果，同時也反映了注釋還有一些后期維護工作。③滿足檢索需求：以上實際案例操作表明本系統可以實現快速檢索的需求，有助于MOOC 平臺的視頻內容輔助檢索，教學視頻與知識結構關聯的深入研究切實可行，而且具有現實效益。

4 結語

在知識時代中任意一個技術問題都可以影響學習者的學習積極性，減少學習者獲取知識的時間和降低教學者設計工作量便是提升學習、工作效率。國內目前成熟的MOOC 平臺已經有二十多個，每個平臺的課程量都很大，如截至2020 年2 月，學銀在線2219 門、愛課程5034 門、智慧樹3958 門，等等。其視頻檢索功能大部分基于視頻主題、摘要的檢索，盡管檢索可以獲得相對準確的視頻結果，然而每次在視頻中尋找知識點或疑惑的視頻頁并不容易，而且這種操作比較耗時。因此，研究中采用關鍵幀提取后運用圖像哈希函數比較圖像相似度來快速分割視頻，實驗表明該分割方法對MOOC 教學視頻有較強適用性，經過微調即可完成較好的分割效果，相對現有許多復雜的分割算法，反而本算法的效率有一定的優勢。實驗還檢驗了知識關聯的視頻注釋輔助系統對視頻內容檢索有著很高的檢索效率。

目前，通過深度學習、神經網絡等訓練方式的視頻分割比較熱門，由于其效率不高和存在參數不通用，尤其教學設計差異的視頻在聚類上也不明顯，導致該方法未得到普及。后續針對視頻的注釋、內容檢索，仍然需要研究深度學習在課件、視頻、知識生成的應用，以便減少當前分割系統中的關聯調節，同時也能減少視頻注釋的工作量。