基于多模態信息相關度計算的計算機教育領域實體鏈接

郭 沛，王會勇，張曉明

（河北科技大學 信息科學與工程學院，河北 石家莊 050018）

0 引言

人工智能為教育智能化創造了機遇，特別是以知識圖譜為核心的技術，能將學科中的知識體系聯系起來構建知識圖譜。但在學科教育中，其知識體系并不是一成不變的，因此學科知識圖譜［1］的更新已成為研究熱點和趨勢，而實體鏈接作為更新知識圖譜的關鍵技術顯得尤為重要。在計算機學科領域，將與概念有關的圖片關聯到知識圖譜對應實體上，可增強知識圖譜的表達性，提高知識圖譜［2］可用性。

目前，實體鏈接方法主要是針對文本和視覺兩種模態。特定領域中，一些實體含義需要通過上下文語義確定，一詞多義或多詞一義等現象比較普遍［3］，因而一些由單詞拼接的領域實體較難識別，故僅使用文本的實體鏈接有一定局限性。多模態實體鏈接則是結合多種模態信息完成鏈接，多模態知識表示學習［4］則將圖像特征和文本特征一起嵌入到統一低維空間［5-7］，計算實體之間的相似性以尋找最佳鏈接點。但在多模態知識表示學習的訓練過程中，能夠實現對齊的多模態實體全部用人工標注，會造成巨大的浪費［7］。Zhang 等［8］設計了一個兩階段機制，首先確定圖像和文本之間的關系，以消除噪聲圖像的負面影響，然后執行消歧。Gan 等［9］分別消除了視覺提及和文本提及的歧義，然后使用圖形匹配探索模式、提及之間的可能關系。但這些模型泛化能力和其應用數據集中的實體類型都比較受限。

本文面向計算機學科領域提出一種實體鏈接方法，將圖像及其文本描述分別轉化成圖像視覺實體和三元組以幫助圖像完成鏈接。圖像和文本屬于兩種不同的模態，如何有效地將兩者結合以完成實體鏈接是一項關鍵挑戰。本文主要貢獻如下：①面向計算機學科領域提出一種從圖像的文本描述中提取并篩選三元組的策略，先抽取圖像文本描述中的三元組，過濾低置信度的三元組，再通過計算圖像視覺實體和三元組頭尾實體的相關度之和對集合中的三元組進行排序，最后得到與圖像相關度最強的三元組，用于圖像鏈接到多模態知識圖譜后的擴展任務；②面向計算機學科領域提出一種實體鏈接規則（Visual Entity Linking Rules，VELR），該規則依次利用圖像視覺實體、與圖像視覺實體相關度最強三元組中的頭或尾實體以尋找最佳鏈接點；找到鏈接點之后，利用不同的鏈接策略，通過圖像視覺實體替換與圖像相關度最強的三元組中頭或尾實體形成的新三元組，對鏈接后的圖像或文本進行擴展。

1 相關工作

早在2013 年，Chen 等［10］手動框出圖像中的實體并打上標簽，通過標簽內容完成鏈接。但是人工注釋成本不僅高，而且會造成巨大的人力物力浪費［11］。因此，Alberts等［12］直接計算輸入圖像和多模態知識圖譜中所有圖像的余弦相似性，將相似度最高節點作為其最佳鏈接點。但是單模態下，該方法有一定局限性，如信息量少、語義不夠豐富等，會影響最終鏈接效果。

多模態實體鏈接則聚合了多模態信息。Moon 等［13］首先解決多模態實體鏈接任務，他們在社交媒體帖子中提取實體鏈接的文本、視覺和詞匯信息，并利用社交平臺上文字所附照片提供視覺背景輔助消歧。Wang 等［14］提出一個多模態實體鏈接數據集WIKIDiverse，并基于WIKIDiverse實現了一系列具有模態內和模態間注意力的多模態實體鏈接模型。Gan 等［9］則重新定義了多模態實體鏈接，先分別做文本和視覺實體鏈接，之后將文本提及和視覺提及的對齊建模為二部圖匹配問題以完成多模態聯合消歧。但這些多模態實體鏈接方法是基于自己數據集而提出，應用到特定領域的效果可能并不理想。還有在多模態實體鏈接中利用聯合知識表示學習［15-16］，將其轉化為向量平移問題。由于圖像和文本是不同屬性的對象，需要通過矩陣乘法嵌入統一空間，因此計算量較大。Li等［17］先確定圖像中的實體，然后在Web 上檢索實體的鏈接，最后通過鏈接中的實體在知識圖譜中檢索圖像的鏈接點。檢測文本中的實體依賴于領域性詞典的完整性，因而這些方法很難應用或遷移到計算機學科領域。

為了找到一種適用于計算機學科領域、計算量小且不需要大量標注數據的多模態實體鏈接方法，本文基于Li等［17］的思想，將圖像和文本描述相結合，面向計算機學科領域提出一種簡單有效的實體鏈接方法。與上述所有方法不同的是，對圖像和其文本描述分別進行處理，首先識別出圖像中的視覺實體，并將其文本描述處理成實體和關系較為明確的結構化三元組，最后按照提出的實體鏈接規則完成最后的鏈接和擴展。

2 問題描述與概念定義

圖1 為任務描述圖，將其分為3 個步驟：①輸入：圖像及其文本描述；②圖文處理：檢測圖像視覺實體，提取并篩選文本描述中的三元組；③完成鏈接：將圖像鏈接到知識圖譜中，并利用視覺實體和三元組對圖像進行擴展。

Fig.1 Task description圖1 任務描述

對本文需要用到的概念和符號進行定義如下：

定義1多模態知識圖譜。根據Zhu 等［18］思想將多模態知識圖譜定義為G，G=｛E，R，A，V，T｝，其中E、R、A、V是實體、關系、屬性和屬性的集合，T為三元組集合。

定義2待鏈接圖像、圖像的文本描述和待鏈接三元組。待鏈接圖像是要鏈接到G 中的圖像，用p表示。ep表示p的視覺實體。m表示圖像文本描述，ImgDesTriple表示從m中抽取的三元組集合。表示待鏈接三元組，是ImgDesTriple中與圖像視覺實體相關度最高的。

定義3最佳鏈接點。實體鏈接的目標是將文本中的實體提及指向知識庫中的特定實體，定義這個特定實體是實體提及的最佳鏈接點。

根據所定義的概念和符號將問題的形式化表述為式（1），其中f函數表示根據p和m返回一個找到最佳鏈接點且包含圖像的三元組，整體含義為在多模態知識圖譜G的三元組集合T中增加了一條新三元組，T發生了變化。

3 視覺實體鏈接

3.1 系統總體架構

圖2 為系統總體架構圖，用戶輸入待鏈接圖像及其文本描述，首先通過檢測圖像中的視覺實體并從文本描述中提取并篩選出待鏈接三元組，然后根據領域特性設計實體鏈接規則，最后將圖像視覺實體和待鏈接三元組鏈接到知識庫中。

Fig.2 Overall system architecture圖2 系統總體架構

3.2 總體方法描述

總體方法描述如圖3所示。

Fig.3 Overall approach description圖3 總體方法描述

Step1：p和m的信息抽取。利用YOLOV5 檢測p中的視覺實體ep，抽取并篩選m中的三元組，確定一個置信度高且與ep相關度最高的三元組。

Step2：首先計算ep和頭尾實體相關度。當ep和頭實體相關度最高，ep將其替換，形成；當ep和尾實體相關度最高時，亦如此。

Step3：用ep在G 中尋找p的最佳鏈接點，如果找到，則將ep替換為p；如果沒有找到ep的最佳鏈接點，則用待鏈接三元組中hs或ts尋找最佳鏈接點，如果找到，p與待鏈接三元組一起鏈接，p作為ep的屬性值。

3.2.1 圖像及其文本處理

視覺實體識別是對用戶輸入圖像中的實體進行識別，利用YOLOV5 訓練計算機學科領域的視覺實體識別模型，數據集使用CE-Detection。YOLOV5 對圖像的視覺實體識別結果如表1所示。

Table 1 Visual entity recognition results of images表1 圖像的視覺實體識別結果

為了獲得準確且與圖像相關度較高的三元組，針對計算機學科領域設計了一種從圖像文本抽取并篩選三元組的規則。

（1）過濾低置信度的三元組。用OpenIE［19］、OLLIE［20］工具對圖像文本進行抽取，得到兩個三元組集合Open（h，r，t）和Oll（h，r，t）中。如式（2）所示，一個三元組同時存在于兩個集合中，則存放在ImgDesTriple，取兩個集合的平均置信度作為三元組新置信度。其余三元組合并到ImgDesTriple，選取一個置信度閾值對ImgDesTriple中的三元組進行篩選，過濾低于閾值的三元組。

（2）利用圖像視覺實體對過濾后ImgDesTriple中的三元組進行排序。在計算機學科領域中，許多術語實體是由詞綴拼接而成［21］，但基于字符串相似性的特征有局限性，沒有考慮實體間結構語義相似性，因此基于WML 模型［22］計算三元組中的實體和ep語義相關度r（ep，a），利用SMOA算法［23］的Comm方法計算三元組中的實體和ep字符串相似度Comm（ep，a），再采用張曉明等［21］實體過濾的思想將基于結構的語義相關度r（ep，a）和基于字符串的相似度Comm（ep，a）相加作為ep和a的相關度Sim。最后由本文提出的式（6）計算ep和ImgDesTriple中三元組相關度。

式（3）中，I、J 分別是鏈接到候選實體ep和a的維基百科的超鏈接集合，W 是維基百科中實體的集合，r（ep，a）表示兩個實體間的相關度。式（4）中，分子為兩個字符串的最大公共子串的兩倍，分母為兩個字符串的長度之和。式（5）中，Sim（ep，a）表示ep與實體a之間相關度。式（6）中，h、t分別表示三元組中頭、尾實體，Reltation（ep，）表示ep和三元組的相關度。

將ImgDesTriple中三元組按此相關度為依據由大到小排序，與視覺實體相關度最高的三元組為。如式（7）所示，RelationFirst（x，）用式（6）計算得x與相關度最高，IsSpecific（，）表示這個特殊的是。

3.2.2 計算機學科領域實體鏈接規則

VELR 中將ep和作為輸入，利用TALN［24］方法在G 中尋找ep或hs，ts的最佳鏈接點。TALN 中基于Babel-Net 的SENSEMBED 模型［25］將其轉化為向量，尋找候選實體集C。本文選其RunHeads映射在C 中尋找最佳鏈接點。

Rule 1視覺實體鏈接規則。利用ep尋找最佳鏈接點，首先計算ep和中頭尾實體的相關度，替換相關度最高的實體。由于尾實體的鏈接方法相同，因而用ep替換hs的鏈接過程加以說明。如圖4 所示，在候選實體集C中找到ep的最佳鏈接點ei，ep替換成與其相關度最高的hs形成三元組，鏈接時將ep換成p。p作為ei的屬性值，關系為hasImage。公式表達如下：

Fig.4 Visual entity link extension rules圖4 視覺實體鏈接擴展規則

式（8）中，isVisualEntity（ep，p）表示ep是p的視覺實體，beLinkTriple（）表示是待鏈接三元組，SimMax（x，y）表示式（5）計算的x和y相關度最高，Run-HeadsMapfromC（x，y）表示TALN 中RunHeads 映射在候選實體集C 中找到x的鏈接點y。

如圖5 所示，輸入圖像及其文本描述，首先通過領域實體識別得到圖像視覺實體‘AVL tree’，提取文本描述中的三元組，篩選排序得到與視覺實體相關度排名最高的三元組，然后利用視覺實體在知識庫中找到其最佳鏈接點‘AVL tree’，最后圖像替換三元組中與視覺實體相關度最高的頭實體bintree，形成新的三元組鏈接到知識庫中。

Fig.5 An example of rule 1圖5 Rule 1實例

Rule 2待鏈接三元組頭尾實體鏈接規則。是頭、尾實體與ep相關度之和篩選的，ep在G 中找不到最佳鏈接點，則與它相關度最高的頭或尾實體可能也找不到，故利用與ep相關度不高的另一個實體進行尋找。由于尾實體鏈接過程相同，因此用尾實體鏈接加以說明：

如圖6 所示，當ep在G 中無法找到最佳鏈接點，并且中hs和ep相關度最高，因而用中的ts在G中尋找最佳鏈接點ei。ep替換hs形成三元組，鏈接到ei上，p為ep的屬性值，關系為hasImage。公式表達如下：

Fig.6 Tail entity link圖6 尾實體鏈接

式（10）表示ep在G中沒有找到最佳鏈接點，且ep與三元組中的頭實體hs相似度最高，此時ep替換hs，用ts尋找最佳鏈接點鏈接。式（11）表示ep在G中沒有找到最佳鏈接點，且ep與三元組中的尾實體ts相似度最高，此時ep替換ts，用hs尋找最佳鏈接點鏈接。

4 實驗與結果分析

4.1 數據集構建

實驗中構建了一個包含圖像和圖像標簽的數據集CE-Detection，用于計算機學科領域的圖像實體識別。CE-Detection 中12 個類別的圖像來自于CSDQA［26］，由計算機相關專業的研究生手動繪制邊界框并打上標簽，確保標簽內容的一致性，其中80%作為訓練集，20%作為驗證集。同時，構建了一個包含圖像和文本的多模態數據集CS-IMG，該數據集中的圖像來自于CSDQA［26］和Wikipedia，文本包括圖像的文本描述和圖像中實體對應的文本。CSDQA 中圖像的文本由5 名計算機專業研究生根據CSDQA 中的圖像內容和相應的圖像問答對進行總結得到，從Wikipedia 上搜集的圖像的文本也是由5 名計算機專業研究生根據圖像所在網頁中的文字信息總結而來。表2 為使用數據集的信息，CMMKG 是課題組Zhang 等［21］利用領域實體抽取方法構建的計算機學科領域多模態知識圖譜。本文的任務是在CMMKG 中完成實體鏈接。

Table 2 Data sets表2 數據集

4.2 計算機領域圖像實體識別

4.2.1 評價標準

驗證YOLOV5 在計算機學科領域中圖像視覺實體的識別效果，選擇COCO128 數據集作為對比。實驗的評測指標為P、R、mAP@0.5 和mAP@0.5：.95。mAP@0.5 表示將IoU 設為0.5 時，每個類所有圖片AP 的平均值。mAP@0.5：.95 表示在不同IoU 閾值（從0.5 到0.95，步長為0.05）上的平均mAP。

4.2.2 實驗結果與分析

表3 中，本文隨機從CE-Detection 中選取了6 個類別進行實驗，Images 列代表每個類別圖像的總數。12 種圖像的P和R均在0.8 以上，且在每個值上的表現都與COCO128 相差不大，可以證明YOLOV5 在CE-Detection 上有良好表現，可用于計算機學科領域中圖像視覺實體識別。

Table 3 Entity recognition results in images表3 圖像中實體識別結果

4.3 三元組置信度閾值選擇

4.3.1 評價依據

隨機選取500條圖像的文本描述，按照3.2節所述方法加以處理，得到3 000 條三元組存放在TotalTriple集合中。將TotalTriple中的三元組隨機平均分成3 組，設置不同的閾值并篩選，觀察剩余三元組數量平均占比和閾值之間的關系。

4.3.2 結果與分析

如圖7 所示，圖中實線表示隨著置信度閾值的增加剩余三元組的數量占比也在下降，虛線則為實線的趨勢線。從兩條線的趨勢看，當閾值增加時，集合中剩余的三元組數量在減少，這是因為三元組的置信度反映的是三元組的準確率，置信度越高，三元組的準確率越高，但置信度越高，集合中剩余的三元組數量會越少。當閾值大于0.79時，集合中三元組的數量減少迅速。但是當閾值選擇0.95時，與0.79 相比相差10%左右。因此，可以選擇0.79 以上的置信度閾值對三元組進行篩選。

Fig.7 Threshold selection圖7 閾值選擇

應確保每個圖像的ImgDesTriple中至少剩余兩個三元組。選0.79 以上的閾值對ImgDesTriple，觀察集合中剩余三元組，統計500 組圖像的ImgDesTriple中剩余三元組的數量。

如表4 所示，當閾值選擇在0.85 及以下時，500 組圖像的ImgDesTriple中沒有出現少于兩個三元組的集合。當閾值為0.87 時，有10%圖像的ImgDesTriple集合中會少于2個三元組，不符合設定的篩選規則，因此最終將閾值限定為0.85。

Table 4 The proportion of the set of different remaining triples to the total表4 剩余不同數量三元組的集合占總數的比例（%）

4.4 實體鏈接

4.4.1 評價標準

TALN［24］和VCU［27］是在小規模知識圖譜融合中表現很好的系統，具有較高的召回率，選擇VCU 作為TALN 的對比實驗，測試兩個系統在計算機學科領域中尋找實體提及最佳鏈接點的性能。數據集選擇CMMKG 和CS-IMG 中除圖像外的全部數據，隨機分成訓練集和測試集。評價指標為WuP、R、F1。WuP 為相似度度量，用來計算兩個詞的語義相似度。式（12）中，s1、s2表示兩個詞，lcs表示連接s1和s2的最短路徑。

4.4.2 結果與分析

由表5實驗結果可知，TALN 的R和F1值均比VCU 高，可能是因為VCU 在閾值的設定上有些不足，低于設定閾值即為下位詞，這就導致一些分數極低的噪聲插入圖譜。雖然TALN 和VCU 中以實體、其詞性和文本描述作為輸入，但是TALN 將實體和其所有輸入轉化成向量之后，更多的考慮了句法、詞性和短語之間的聯系。而TALN-RunHeads的WuP 值更高，說明在計算機學科領域中TALN-Run-Heads映射方法相對表現更好。

Table 5 The results of two model test表5 兩個模型測試的結果

4.5 三元組分類任務評測實體鏈接規則

4.5.1 評價標準

為了驗證在鏈接過程中是否出現噪聲，使用三元組分類任務對結果進行評測。三元組分類任務目的是判定三元組（h，r，t）是否正確，其本質是一個二分類的任務。實驗采用張曉明等［28］提出的可信度得分，通過其定義公式（13）和公式（14）計算能量函數后轉化為三元組的可信度得分，得到［0，1］區間的數值作為其可信度得分，0.5 以上的分數被分為正確三元組。式（13）中，E（h，r，t）表示能量函數；R（h，t）表示實體之間關聯強度；T（h，r，t）表示實體類型評估結果；RRP（h，r，t）表示基于多步路徑信息計算的結果；λ1、λ2為超參數。

向數據集CMMKG 中添加VELR 規則產生的0，100，300個三元組，分別表示為CMMKG、CMMKG-100、CMMKG-300。采用PTransE［29］、CKRL［30］、TransE［31］模型對進行三元組分類實驗。通過對比實驗結果，驗證添加的三元組中是否存在噪聲以及是否會對整體準確率產生影響。

在此之前，需驗證在三元組中摻雜噪聲會對分類準確率的影響有多大。在CMMKG-100 和CMMKG-300 的訓練集中加入噪聲，其中噪聲比分別設置為新增數據的10%、30%、50%。

4.5.2 結果與分析

如表6 所示，當在CMMKG-100 和CMMKG-300 加入10%噪聲時，分類準確率沒有變化。說明3 個模型在分類任務上存在少量噪聲可能不會影響整體分類準確率。但是，當加入30%噪聲和50%噪聲時，準確率都略有下降。這說明隨著噪聲的增加，3 個模型在分類的準確率上會有所下降，同樣也證明了3 個模型在檢測噪聲方面有一定的能力和適用性。

Table 6 Classification results of adding noise to CMMGG-100 and CMMGG-300表6 在CMMKG-100和 CMMKG-300中加入噪聲的分類結果

如表7 所示，CKRL 在三元組分類任務上的表現最好，是因為CKRL 中路徑信息的使用方法優于PTransE，而TransE 在學習過程中沒有用到路徑之間的關系。但是3個模型對加入100 三元組的數據集進行三元組分類實驗，準確率沒有變化，可能是因為少量的數據變化不會影響3 個模型分類的準確率，該結論在上述實驗中也被證明。而PTransE 和CKRL 在加入300 個后準確率會提高0.1，是因為PTransE 和CKRL 在分類時采用了知識庫中豐富的內部結構信息，在加入較多三元組后路徑會更豐富，因此準確率也相應提高。由以上結論可以證明，使用提出的鏈接方法增加新三元組對整體三元組分類的準確性沒有影響，從側面證明本文方法的有效性。

Table 7 Triplet classification results表7 三元組分類結果

選取由Sun 等［32］提出的視覺實體鏈接模型中的一個子任務：視覺到視覺實體的鏈接（Visual to Visual Entity Linking，V2VEL）作為基線模型。在與上述實驗相同的數據集和相同實驗設置下，用V2VEL 完成圖像到CMMKG 的鏈接，之后用三元組分類任務對結果進行評測并與本文方法進行比較。

如表8 所示，本文所提方法在計算學科領域的實體鏈接表現結果比Baseline-V2VEL 好。可能是因為V2VEL 中僅用圖像視覺特征鏈接，此時會出現找不到最佳鏈接點或者最佳鏈接點與其相關性低的問題，進而影響鏈接準確性。而本文方法考慮到該情況，為不同鏈接點設置了不同的鏈接規則，提高了鏈接準確率。還可能是因為V2VEL更專注于視覺人物數據集，面對計算機學科領域中一些概念性的圖像時，視覺特征提取效果不好從而導致視覺實體鏈接效果表現不佳。由此結論表明，本文所提方法更適用于計算機學科領多模態實體鏈接。

Table 8 Method comparison表8 方法比較

4.6 結果展示

如圖8 所示，虛線框對應VELR 規則中的Rule 1、Rule 2。Rule 1中，AVL tree 的圖像鏈接到對應實體，擴展了balancing search tree 實體。在Rule 2 中，實體ordered sequence鏈接到知識圖譜中的實體Array，圖像作為ordered sequence的屬性值。

Fig.8 Results presentation圖8 結果展示

5 結語

面向計算機學科領域提出了一種視覺實體鏈接規則VELR。在理論價值方面，為特定領域的實體鏈接提供了一種新思路。首先識別出圖像中的實體，然后對其文本描述進行抽取篩選，最后利用提出的VELR 完成圖像鏈接和知識擴展。對鏈接后產生的新知識進行評測，實驗結果表明，通過對比有無噪音實驗結果，證明了VELR 的有效性。在應用價值方面，VELR 對計算機學科領域知識圖譜的更新和演化提供了一種新的有效方法，提高了計算機學科領域知識圖譜的可用性，對其他學科領域也具有借鑒意義。

識別圖像視覺實體時，YOLOV5 雖是一個準確的輕量模型，但模型對標注數據有依賴性，使其可能不具有泛化能力。為了解決該問題，后續工作將從如下幾點入手：①嘗試融合多種目標檢測模型，使其能識別多類別圖像，增加模型泛化能力；②研究更加高效的圖像視覺實體識別模型，嘗試結合圖像文本描述準確定位圖像中的目標實體，提高目標檢測精度，降低目標檢測任務復雜性；③考慮包含多實體圖像的鏈接規則，增加多模態實體鏈接系統的功能。