基于學科核心素養的多模態教學知識圖譜構建研究

茶思月 張秀 李紅

摘? 要：多模態教學知識圖譜是促進智慧教育的主要手段之一。文章根據學科核心素養發展理念，通過梳理多模態知識圖譜的研究現狀，以高中“信息技術”課程為例，收集了圖片、音頻、視頻等形式的關于高中信息技術課程的多模態教學資源，設計基于學科核心素養的多模態教學知識圖譜構建框架，使用Neo4j圖數據庫構建了關于高中信息技術課程的多模態教學知識圖譜模式。

關鍵詞：學科核心素養；多模態教學知識圖譜；構建

中圖分類號：TP391.1；G42? ? 文獻標識碼：A 文章編號：2096-4706（2023）01-0173-06

Research on the Construction of Multi-Modal Teaching Knowledge Graph

Based on the Discipline Core Literacy

CHA Siyue， ZHANG Xiu， LI Hong

（School of Information Science and Technology， Yunnan Normal University， Kunming? 650500， China）

Abstract： Multi-modal teaching knowledge graph is one of the main method to promote Smart Education. Based on the development concept of subject core literacy， this paper combs the current research status of multi-modal knowledge graph， takes the high school “Information Technology” course as an example， and collects multi-modal teaching resources about high school information technology courses in the form of pictures， audios， videos， and other forms. It designs a multi-modal teaching knowledge graph construction framework based on discipline core literacy， and constructs a multi-modal teaching knowledge graph model for high school information technology courses by using the Neo4j graph database.

Keywords： discipline core literacy; multi-modal teaching knowledge graph; construction

0? 引? 言

文件《中國學生發展核心素養》提出了“學科核心素養”，目的是促進核心素養在各學科中的落實[1]。2022年3月25日，教育部關于印發義務教育課程方案和課程標準（2022版），“讓核心素養落地”，是本次課程標準修訂的重點工作。這次新課標強調對課程內容要用結構化的方式進行組織，即既要注重學科知識結構，還要關注在這樣的結構中學生活動及其方式的結構化，為課程內容的生活化、動態化、教學活動的綜合性和實踐性提供基礎。本次課程修訂有利于引導教師主動變革教學實踐，注重教學的關聯性、整體性。

目前，關于知識圖譜在教學中的應用研究逐漸增加。楊宏偉嘗試將知識圖譜應用于旅游管理學科的課程教學中[2]，建立的教學模式具有應用范圍廣、便于規范、檢查與操作等特點，幫助學生對系統的專業知識進行建構[3]。戈其平等人提出了一種基于數學教學的知識圖譜構建方法，并進行了知識圖譜可視化，能夠將離散與碎片化的數學知識進行結構化與完整化。崔京菁、馬寧等人構建了以協同知識建構和生成性教學理念為核心的基于知識圖譜的翻轉課堂教學模式，驗證了知識圖譜良好的學習效果[5]。陸星兒、曾嘉靈等人采用共詞分析法和社會網絡分析法建立基于課程知識點的知識圖譜，使在線學習模式發生了改變[6]。清華大學研究員利用知識圖譜技術，構造出基礎教育知識圖譜eduKG，并將其應用智慧課堂中[7]。

為此，本次研究的目標是基于學科核心素養構建出多模態教學知識圖譜，并將其應用到信息技術課堂教學實踐，提高教學知識圖譜的趣味性及實用性。

1? 多模態知識圖譜研究現狀

1.1? 多模態知識圖譜研究綜述

在中國知網數據庫中以主題為“多模態知識圖譜”進行檢索，結果顯示共有176篇文獻，如圖1所示。

從圖中可以發現，關于多模態知識圖譜的研究從2014年開始，并呈現逐年遞增的趨勢，其中2022年的發文量截至目前只有67篇，說明多模態知識圖譜目前還處于研究的初期，研究工作還比較少。該方向的研究工作主要圍繞在可視化分析、深度學習、推薦系統上。

文獻[8]從多關系鏈接預測和實體匹配任務的角度定義多模態知識圖譜，其中包括全部實體的數字特征和（鏈接到的）圖像以及多個知識圖譜對之間的實體對齊方式。文獻[9]中通過向維基數據中的文本實體分發足夠多樣的圖像來提供全面的多模態知識圖譜。還根據維基百科中的超鏈接和描述在圖像實體之間設置RDF鏈接。文獻[10]將多模態知識圖譜定義為：包括音頻、視頻以及圖像、文本等各種數據類型的知識圖譜[11]。它將圖像或文本作為實體或實體屬性。該研究提出了多模態知識圖譜注意網絡（MKGAT）以通過利用多模態知識更好地增強推薦系統。根據現有的研究，對于多模態知識圖譜的認識一般較為簡單，可以看作它擁有很多包含視覺、聽覺等多模態數據的多模態實體和屬性的知識圖譜，對語義理解和可解釋推理有促進作用[8，12]。如圖2所示，是一個簡單的關于電影多模態知識圖譜實例。

目前，多模態知識圖譜構建的實質是將傳統KG中的符號知識（包括實體、概念、關系等）與相應的圖像相關聯[13]，其方法主要有基于圖數據庫視角和基于知識圖譜視角的構建，構建過程中使用的技術主要有三種：模態信息提取、多模態表示學習和多模態實體鏈接[11]。

1.2? 多模態知識圖譜應用

多模態知識圖譜應用主要從多模態知識圖譜的內應用和外應用，如表1所示。其中外應用是指不受MMKGs邊界的限制，但是可以得到MMKGs輔助的下游應用。

多模態知識圖譜的應用與知識圖譜的應用（如圖3所示）主要區別在于：傳統知識圖譜主要集中研究文本和數據庫的實體和關系，在傳統知識圖譜的基礎上，多模態知識圖譜構建了多模態（如視覺模態）下的實體[11]，以及多模態實體之間的多模態語義關系[14]。

2? 多模態課程知識圖譜相關工作

2.1? 開源多模態知識圖譜

2.1.1? DBpedia

DBpedia[15]作為近十年來語義網研究的中心領域，其豐富的語義信息也將成為未來多模態知識圖譜的鏈接端點，其完整的本體結構為構建多模態知識圖譜提供了極大的便利。DBpedia它是一個旨在從維基百科全書中提取結構化信息并在網絡上提供的社區。DBpedia構成了Web上鏈接開放數據的主要資源，目前大約有2.28億個實體，對于每個實體，DBpedia定義唯一的全局標識符[11]，可以在網絡引用RDF描述的實體。DBpedia與其他資源形成關系的語言章節約有20種。在過去的幾年里，越來越多的數據發布者開始建立數據集鏈接到DBpedia資源，使DBpedia成為新數據Web互聯中心。

2.1.2? Wikidata

Wikidata[16]中也存在大量的多模態資源，收集了越來越多的結構化數據，包括數字，日期，坐標和許多類型的關系。活動的SPARQL端點、常規的RDF轉儲和鏈接數據API是目前Wikidata核心技術，Wikidata目標是通過創建維基百科全球管理數據的新方法來克服數據的不一致性。Wikidata主要成就包括：Wikidata提供免費的合作知識庫，每個人都可以共享；越來越多的網站瀏覽頁面通過從Wikidata中獲取內容資源，以此提高大數據的可見性和實用性。

2.1.3? IMGpedia

IMGpedia[17]是一個大規模的鏈接數據集，它包含了維基共享資源數據集中圖像的視覺信息。它匯集了1 500萬張圖像的視覺內容描述符以及這些圖像之間的4.5億視覺相似關系，指向DBPEDIA COMMONS的圖像元數據的鏈接，以及與單個圖像相關的DBPEDIA資源的鏈接。IMGpedia旨在從維基百科發布的圖片中提取相關視覺信息，收集所有詞條的圖片和多模態數據并為每個圖像生成相應的圖像描述符。IMGpedia是多模態知識圖譜的一個先例。將語義知識圖譜與多模態數據相結合，在各種任務下面臨著挑戰和機遇。IMGpedia使用能夠公開引用和實現的四種圖像描述符進行基準測試。IMGpedia提供了維基數據的鏈接，旨在提供更好的語義搜索平臺。IMGpedia在多模態方向是一個很好的先例，存在的問題有：關系類型稀疏、關系數量少、圖像分類不清晰等[11]。

2.1.4? MMKG

MMKG[8]以傳統的文字知識圖譜Freebase為基礎，使用常用的子集Freebase15k作為構建的基礎，構建的多模態知識圖譜是三個知識圖譜的集合，匯集了所有實體的數字特征和（鏈接到）圖像以及還有三個知識圖譜之間的實體對齊（通過sameAs進行鏈接）[11]，也通過實驗證明了MMKG在相同鏈路預測任務中的有效性。MMKG是用于鏈路預測和實體匹配研究，包含了所有實體的數字特征和圖像。主要貢獻如下：依據Freebase15k構建了DBpedia15k和YAGO15k，通過sameAs鏈接將Freebase中的實體與DBpedia、YAGO中的實體連接起來，同時三個知識圖譜都含有豐富的數字文字和圖像信息，以及鏈接這些知識圖譜隊之間的sameAs謂詞、數字文字和實體的圖像鏈接，證明了知識圖譜的補全問題可以從受益于多模態數據中。

2.2? 多模態知識圖譜技術架構

數據來源的多樣性導致了不同的知識圖譜構建過程，知識圖譜的構建主體主要是知識獲取、知識融合、知識加工和知識[18]更新這四個方面。知識圖譜的構建方法主要有兩種，一種是自底向上的構建方法（如圖4所示）；一種是自頂下的構建方法[19]。自底向上的構造方法從openurl中的數據源提取實體、屬性和關系，并添加到知識圖譜的數據層。然后將這些知識元素進行歸納整理，逐步抽象成概念，最后形成模式層。自頂向下與此相反。

3? 基于學科核心素養的多模態教學知識圖譜構建

3.1? 基于學科核心素養的多模態教學知識圖譜構建框架

首先，基于學科核心素養，分析了多模態教學知識圖譜的教育目標價值取向和應用需求分析，明確了其構建目標以及具體的應用范圍；其次，根據教學的基本原則，對多模態教學知識圖譜的總體目標定位，并逐級細化其應用范圍[20]；最后，根據教學原則，定義了實體類型、實體屬性和實體關系。基于此，本文提出了以學科核心素質為導向的多模態教學知識圖譜，構建框架如圖5所示。

3.2? 學科核心素養發展導向下的多模態教學知識圖譜模式構建案例

本次研究構建了面向高中信息技術學科多模態知識圖譜模式，選取“信息系統與社會”模塊給出了高中信息技術學科知識圖譜的構建結果示例。進行高中信息技術的學科知識分析，提取知識單元之間的聯系，并利用圖像、視頻、音頻、文字來表現知識單元之間的網絡結構和交叉、演化、衍生等關系[21]。并以文本、圖片、視頻、音頻等多種形式結合靈活的教學方法在教學過程中呈現出來，以此幫助教育者規劃教學路徑、使學習者提高學習效率[22]、建立知識結構關系。

3.2.1? 高中信息技術學科知識圖譜實體屬性定義

從信息技術課程的學科核心素養、教學培養目標和教學大綱出發，對高中信息技術教材的知識點進行整理，獲得教學知識圖譜的框架結構，構建出知識圖譜的知識點體系實體屬性表（如表2所示）。此外，需預定義好知識點的一些必有屬性，比如：序號、名稱、概念、難易程度等。

綜合以上信息，獲得信息技術課程知識點和預定義的相關屬性。在之后進行屬性值的抽取和多模態教學資源收集的過程中，就可以充分利用這些數據。

3.2.2? 知識抽取和多模態教學資源的收集

本文以“高中信息技術”這門課為例，其多模態教學資源可以包括：（1）純文本知識資源。這種類型的資源主要從課程大綱、教材等書籍資料以及網絡平臺中獲取。（2）教程類資源。對于這門課來講，在學習信息系統的開發過程、通信網絡、計算機與移動終端等知識點時需要相應的網絡教程。（3）其他多模態教學資源，主要包括圖像、聲音、視頻等相關資源。這類資源可以在現有的環境中獲取，以及在網絡平臺獲取具體的信息資源，并加以整理和分類，提高資源的使用效率。

3.2.3? 實體關系挖掘

根據高中信息技術課程知識內容，使用Python爬取實體及實體間的關系，并把爬取到的內容進行整理，形成實體文件、實體間關系文件，如表3和表4所示。

3.2.4? 利用Neo4j創建知識圖譜

把創建好的實體文件（表3）、實體間關系文件（表4）導入到Neo4j Desktop中，并運行，得到相應的知識圖譜如圖6所示。

使用Neo4j圖數據庫，對高中信息技術課程知識子領域圖譜進行可視化。如圖6所示，共有71個實體和67條關系。

3.2.5? 多模態教學知識圖譜展示

根據上述步驟，最終得到一個完整的多模態教學知識圖譜。圖7是以“高中信息技術（信息系統與社會）”課程為對象，構建的多模態知識圖譜的一部分展示。

該圖譜主要為了實現知識點的檢索與可視化，并可以基于圖譜獲取知識點相關的各類多模態資源，讓教師可以借助多模態知識圖譜，系統把握信息技術課程的主題內容和知識結構，根據推薦的最佳課程內容開展教學活動；此外，學生可以根據多模態教學知識圖譜中的知識內容和組織關系，完成對信息技術課程知識點的梳理，及時查漏補缺。其次，可以為學生推薦合適的個性化學習資源，規劃本課程的學習路徑，在一定程度上提高學生的學習質量和效率。

4? 結? 論

本文希望能夠基于學科核心素養構建出高中信息技術課程的多模態教學知識圖譜，豐富傳統教學知識圖譜的內容，使得信息技術課程的教學知識圖譜具有實用性、趣味性、創新性。本文構建的多模態教學知識圖譜不是單一的文字形式，而是融合了多模態的資源，如視頻、音頻、圖像、聲音等，使得教學知識更加的豐富。在教學過程中，豐富的教學內容和知識能夠激發學生的學習興趣。本文嘗試將多模態知識圖譜應用于信息技術課程教學中，構建多模態教學知識圖譜，并應用于課堂教學實踐，提高教學效率和質量。

參考文獻：

[1] 核心素養研究課題組.中國學生發展核心素養 [J].中國教育學刊，2016（10）：1-3.

[2] 楊宏偉.“知識圖譜”在旅游管理學科課程教學中的系統應用 [J].經濟師，2013（4）：147-148.

[3] 史宇坤，許姝藝，董少春.基于知識圖譜的增強型混合式學習的教學實踐與思考 [J].高校地質學報，2022，28（3）：387-393.

[4] 戈其平，鐘艷如.基于數學教學的知識圖譜構建 [J].計算機技術與發展，2019，29（3）：187-189.

[5] 崔京菁，馬寧，余勝泉.基于知識圖譜的翻轉課堂教學模式及其應用——以小學語文古詩詞教學為例 [J].現代教育技術，2018，28（7）：44-50.

[6] 陸星兒，曾嘉靈，章夢瑤，等.知識圖譜視角下的MOOC教學優化研究 [J].中國遠程教育，2016（7）：5-9+79.

[7] LIU Y，LI H，GARCIA-DURAN A，et al. MMKG：Multi-Modal Knowledge Graphs [C]//European Semantic Web Conference.Cham：Springer，2019：459-474.

[8] LIU Y，LI H，GARCIA-DURAN A，et al. MMKG：multi-modal knowledge graphs [C]//European Semantic Web Conference.Cham：Springer，2019：459-474.

[9] WANG M，QI G，WANG H F，et al. Richpedia：a comprehensive multi-modal knowledge graph [C]//Joint International Semantic Technology Conference. Cham：Springer，2019：130-145.

[10] SUN R，CAO X，ZHAO Y，et al. Multi-modal knowledge graphs for recommender systems [C]//Proceedings of the 29th ACM international conference on information & knowledge management.New York：ACM 2020：1405-1414.

[11] 董曉曉，周東岱，黃雪嬌，等.學科核心素養發展導向下教育領域知識圖譜模式構建方法研究 [J].電化教育研究，2022，43（5）：76-83.

[12] O?ORO-RUBIO D，NIEPERT M，GARC?A-DUR?N A，et al. Answering visual-relational queries in web-extracted knowledge graphs [J/OL].arXiv：1709.02314 [cs.LG].（2017-09-07）.https：//arxiv.org/abs/1709.02314v6.

[13] ZHU X，LI Z，WANG X，et al. Multi-Modal Knowledge Graph Construction and Application：A Survey [J/OL].IEEE Transactions on Knowledge and Data Engineering（Early Access），2022：1-20（2022-11-23）.https：//ieeexplore.ieee.org/document/9961954.

[14] 朱佳，黃昌勤，韓中美，等.多模態知識圖譜的實體對齊方法、裝置及存儲介質與流程：202110686557 [P].2021-09-07.

[15] AUER S，BIZER C，KOBILAROV G，et al. Dbpedia：A nucleus for a web of open data [M]//The semantic web.Berlin：Springer，2007：722-735.

[16] VRANDECIC D，KROTZSCH M. Wikidata：a free collaborative knowledgebase [J].Communications of the ACM，2014，57（10）：78-85

[17] FERRADA S，BUSTOS B，HOGAN A. IMGpedia：a linked dataset with content-based analysis of Wikimedia images [C]//International Semantic Web Conference. Cham：Springer，2017：84-93.

[18] 朱明超.證券知識圖譜構建系統的設計與實現 [D].上海：東華大學，2021.

[19] 劉嶠，李楊，段宏，等.知識圖譜構建技術綜述 [J].計算機研究與發展，2016，53（3）：582-600.

[20] 陳燁，周剛，盧記倉.多模態知識圖譜構建與應用研究綜述 [J].計算機應用研究，2021，38（12）：3535-3543.

[21] 邱禎君，李晨光，李雯欣，等.基于科學知識圖譜的創新網絡研究熱點與前沿分析 [J].現代管理，2021，11（8）：894-904.

[22] 杜丙新.基于知識地圖的網絡課程資源導航設計研究 [J].創新教育研究，2020，8：388.

作者簡介：茶思月（1997—），女，彝族，云南大理人，碩士在讀，研究方向：教育技術應用研究；張秀（1998—），女，漢族，云南昆明人，碩士在讀，研究方向：教育技術應用研究;通訊作者：李紅（1970—），女，回族，云南昆明人，就業處處長，博士，研究方向：教育技術學應用。

收稿日期：2022-09-20