結合外部知識庫與適應性推理的場景圖生成模型

王旖旎，高永彬，萬衛兵，楊淑群，郭茹燕

（上海工程技術大學電子電氣工程學院，上海 201600）

0 概述

場景圖［1］是圖像內容的結構化表示，不僅可以表示圖像中所有的實體，而且可以表示不同實體對之間的關系信息，由一系列有序的主語-謂語-賓語三元組來表達圖像中的語義、空間和從屬信息。一個完整的場景圖能夠代表一個場景數據集的詳細語義，場景圖的相關研究極大促進了人們對于計算機視覺［2-3］、自然語言處理［4］及其跨領域任務［5］的理解。場景圖生成（Scene Graph Generation，SGG）任務相比于目標檢測［6］、對象交互［7］、活動識別［8］等任務不僅需要檢測場景中物體的類別和位置，還需要推理這些組件之間的復雜關系，因此場景圖生成成為近年來計算機視覺領域的研究熱點。

現有的場景圖生成方法通常依賴檢測模型或者引入上下文信息輔助對象識別。文獻［9］利用目標檢測模型對圖像中的物體進行檢測與分類，并分別對物體和關系進行建模。文獻［10］提出圖區域卷積神經網絡

（Graph Region Convolutional Neural Network，Graph RCNN），利用注意力機制的圖卷積神經網絡捕捉上下文信息以更好地進行信息傳遞，優化邊的連接。文獻［11］引入一種端到端模型，該模型通過基于循環神經網絡（Recurrent Neural Network，RNN）的消息傳遞來迭代完善關系和實體預測。文獻［12］將實體和謂詞映射到一個低維的嵌入向量空間，其中謂詞為主體和客體的聯合框的嵌入特征之間的翻譯向量，這種關系被建模為一個簡單的向量轉換，即主語+謂語≈賓語，極大改善了場景圖中的視覺關系。文獻［13］對Visual Genome（VG）數據集［14］上的關系和實體對之間的統計共現進行分析，通過統計實體對及其子結構（MOTIFS）的共現頻率，設計一種基于長短期記憶（Long Short-Term Memory，LSTM）網絡［15］的上下文信息傳遞模型，對實體和關系的全局上下文信息進行編碼從而大幅改善了關系之間的特征表示。文獻［16］以結構圖的形式表示數據集中的統計學知識，并以此作為額外知識納入深度傳播網絡，有效規范了可能的關系分布，改善了預測的模糊性。

場景圖中的結構化表示由實體及其關系構成，隨著實體數量的增長，場景圖生成模型的計算量大幅增加。除此之外，現實世界中關系分布嚴重不均，視覺關系長尾分布導致關系推理模型發生過擬合。事實上，實體在視覺圖像中并不是孤立存在的，實體和關系被放置在一個彼此共同變化的視覺環境中。根據先驗知識推理規范化語義空間，將特定布局中的實體相連接，建立圖像中實體間的關系進行高層次推理。例如，“person”與“horse”，根據常識知識推理，它們的關系應該是“person riding horse”，而不僅是“person on horse”。基于此，本文構建一種結合外部知識庫與適應性推理的場景圖生成模型，簡稱為EASG，主要包括目標檢測、上下文信息提取和適應性推理3 個模塊。

1 相關工作

1.1 目標檢測

目標檢測是計算機視覺領域的研究重點，同時也是視覺理解的基礎任務。文獻［17］將具有自主學習能力且魯棒性較強的卷積神經網絡（Convolution Neural Network，CNN）引入目標檢測領域，之后便利用多種基于CNN的目標檢測算法來提高物體檢測準確率。YOLO系列［18-20］和SSD［21］作為一段式的代表模型，主要思想是將物體分類與定位在一個階段內完成，但YOLO 模型目標位置精度不足，SSD 模型結構冗雜。兩段式的代表模型Faster-RCNN［6］通過設計一個區域候選網絡（Region Proposal Network，RPN）來代替傳統的選擇性搜索算法，大大減少了目標候選框的數量，具有較好的目標檢測效率。Mask-RCNN［22］在Faster-RCNN 的基礎上引入ROI Align 代替原本的ROI Pooling，使得目標檢測精度進一步提高，因此本文采用Mask-RCNN 作為模型的底層檢測器。

1.2 場景圖生成中的先驗知識

場景圖可以將圖像中有意義的信息表示為圖形節點和連線，具體細節如圖1 所示（彩色效果見《計算機工程》官網HTML 版）。語言先驗通常使用從外部知識庫嵌入語義詞的信息來微調關系預測，從而提高視覺關系檢測的準確性。語言先驗可以通過對語義相關物體的觀察來幫助視覺關系的識別。例如，“horse”和“elephant”可能被安排在語義相似的環境中，盡管“person”和“elephant”共同出現在訓練集中并不常見，但通過引入語言先驗知識和研究“person riding horse”，模型就能學習到“person riding elephant”。對場景圖生成而言，關系是對象的連接，它的語義空間比對象的語義空間更寬。由于關系分布的空間大及其長尾性質，因此僅使用訓練集中的注釋是不夠的，并且研究人員也很難收集到足夠數量的標記的訓練數據。

圖1 場景圖結構示例Fig.1 Example of scene graph structure

研究人員對語言先驗知識的引入進行了大量研究并取得了一定的研究成果。文獻［9］同時訓練一個視覺外觀模塊和一個語言模塊，語言模塊將語義關系投射到一個嵌入空間，然后結合這兩個模塊來推斷圖像中的視覺關系。文獻［23］從網絡公開的文本收集外部語言知識，提取語義信息，通過統計人類用來描述對象對之間的關系的詞匯和表達方式來實現外部知識庫的嵌入。文獻［24］使用詞嵌入來獲得語義圖，同時構建一個空間場景圖來編碼圖像中的全局上下文信息之間的相互依賴關系，通過結合先前的語義和視覺場景有效地學習視覺關系的潛在表征。

本文建立基于外部知識庫與適應性推理的場景圖生成模型。首先，設計結合外部知識庫（Wikipedia）的目標檢測模塊，利用GloVe 算法［25］對外部知識庫中的語言先驗進行編碼，為模型提供推斷關系的語言先驗知識，提高視覺關系預測的準確性。然后，構建基于Transformer［26］的上下文信息提取模塊（簡稱為TRSG），利用兩個Transformer編碼層結構對圖像中的候選框和實體對關系進行處理，并分階段進行上下文信息的合并，以此得到全局上下文信息，并由解碼層對實體對之間的關系進行預測，通過捕捉圖像中的上下文信息來推理圖結構中的結構化信息，得到更重要的全局上下文表達和圖像中的場景信息。最后，建立特征特殊融合的適應性推理模塊，通過對數據集中的關系頻率分布進行軟化，并根據每個實體對的視覺外觀適應性推理其關系頻率分布來有效降低數據集中的長尾分布影響，提升模型推理能力。

2 基于外部知識庫與適應性推理的場景圖生成模型

場景圖是圖像中內容信息的拓撲結構表示。給定一幅圖像I，通過場景圖生成模型可得到一幅由圖像中各個實體的類別和位置以及每個實體對之間的關系組成的關系圖，可將其定義為關系三元組：

1）Β={b1,b2,…,bi,…,bn}表示一系列目標候選框的集合，其中bi表示第i個區域的邊界框。

2）O={o1,o2,…,oi,…,on}表示一系列和候選框Β對應的實體集合，其中oi表示和bi區域對應的實體。

3）R={r1→2,r1→3,…,ri→j,…,rn→n-1}表示對應的實體對之間的關系標簽，其中ri→j表示(bi,oi)和(bj,oj)之間的關系。

因此，場景圖p(G|I)的概率分布可以分解如下：

本文提出的結合外部知識庫與適應性推理的場景圖生成模型的整體框架和物體邊界框及對應實體細節圖分別如圖2 和圖3 所示（彩色效果見《計算機工程》官網HTML 版）。首先，在給定的一幅圖像中，通過目標檢測模塊生成物體邊界框和物體的類別分類概率。然后，在Transformer 的上下文捕捉模塊中，輸出包含上下文信息的實體類別標簽以及謂語關系的上下文信息表示。最后，將得到的關系上下文信息表示進行特殊的特征融合，并且利用融合處理過的頻率偏差進行實體對的關系預測。

圖2 結合外部知識庫與適應性推理的場景圖生成模型框架Fig.2 Framework of scene graph generation model combined with external knowledge base and adaptive reasoning

圖3 物體邊界框及對應實體細節圖Fig.3 Object bounding box and corresponding entity detail map

2.1 結合外部知識庫的目標檢測

使用以ResNeXt-101-FPN［27-28］為主干網絡的Mask-RCNN 架構作為模型的基礎目標檢測器。對于給定的一幅圖像I，檢測器會生成一組候選框集合Β={b1,b2,…,bi,…,bn}表示圖像中每個實體的空間信息，并且提取通過ROI Align 層輸出的候選框bi對應的特征向量以及實體標簽概率的向量L=，同時引入類似Wikipedia的外部知識庫以此提供推斷關系的語言先驗信息，采用GloVe 算法對語言先驗進行編碼，使用整個Wikipedia 進行訓練。

2.2 基于Transformer 的上下文提取

該模塊通過2 個Transformer 架構進行上下文信息提取。第1 個是實體上下文特征計算，第2 個是關系上下文特征計算。Transformer 架構分為編碼器和解碼器部分，其中編碼器部分由多個注意力層組成，由于本文只涉及編碼器部分，因此解碼器部分在此不再贅述。注意力機制可以使深度學習模型關注特征向量的特征圖中的重要部分，并忽略其余冗雜信息。編碼器中的自注意力層作用于Q、K、V這3 組向量，并根據q和k向量之間的相似度分布對v向量進行加權求和，計算公式如下：

其中：Q、K、V分別表示nq、nk和nq向量的矩陣表達，各矩陣維度相同；d表示維度。

1）實體上下文特征計算。基于候選區域Β的集合，構造一個用于實體標簽預測的上下文表示。首先將候選框中得到的每一個向量構造成一個線性序列，如式（3）所示。然后送入Transformer 結構中進行編碼，如式（4）和式（5）所示。

將經過自注意力層和殘差操作后的S(X)送入解碼層，對每一個候選區域進行解碼即可得到包含上下文信息的實體類別標簽：

其中：? 表示進行線性變換操作；C表示常量。

2）關系上下文特征計算。在該模塊中，為實體對關系預測構建另一個Transformer結構。將結合上下文信息后的 實體標簽送入Transformer 以構建候選框Β和實體O的上下文表達，如式（7）所示：

其中：D=(d1,d2,…,dn)，di代表每一個候選區域的邊上下文特征；W是對應的參數映射矩陣。

2.3 特征特殊融合的適應性推理模塊

在獲得先驗語言知識和實體上下文信息后，進一步提出一個用于關系分類的特征特殊融合的自適應推理模塊（簡稱為ARE），主要包括數據集頻率軟化、特征特殊融合和實體對偏差適應。

1）采用數據集中關系頻率的先驗信息改善關系分類性能。由于MOTIFS 中提出的頻率（FREQ）基線方法受數據集長尾分布的影響，幾乎無法識別低頻關系，因此采用一個LogSoftmax 函數來穩定數據的方差，保持原始長尾分布在經過Log變換后接近于正態分布，即：

其中：Pi→j∈R 代表數據集中關系的原始頻率分布；代表線性化的原始頻率分布。

2）為衡量中間狀態之間的距離，引入一種特殊的特征融合方式，通過中間狀態之間的歐幾里得距離來調整包含了上下文信息的關系特征ui,j［29］，即DIST：x*y=ReLU(x+y) -(x-y)2。將包含了上下文信息的關系特征進行特殊融合，如式（9）所示：

其中：hi,j∈R4096；Wg、Wl∈R4096×150分別代表該實體對中的主語特征和賓語特征構成的矩陣；ui,j表示實體i和j所在區 域bi、bj的并集對應特 征。

3）為使每個實體對的頻率先驗可以根據不同實體對進行調整，引入一種選擇性注意力機制。該機制可以根據實體對的視覺外觀特征修改先驗知識，如式（10）所示。因為場景圖中關系都是成對存在的，所以對于每一個可能存在關系的邊，計算其關系概率，如式（11）所示。

其中：Rpr?表示關系頻率偏差向量；Wr表示實體對并集特征所對應的矩陣。

3 實驗結果與分析

本節EASG 模型的實驗細節和參數設置，在公開VG［14］數據集上與現有場景圖生成模型進行對比實驗和消融實驗。為驗證EASG 模型的場景圖生成性能，在VG 數據集的謂詞分類（Predicate Classification，PredCls）、場景圖分類（Scene Graph Classification，SGCls）、場景圖生成（Scene Graph Generation，SGGen）這3 個子任務和Top-K召回率（Recall@K，R@K）、平均Top-K召回率（mean Recall@K，mR@K）這2 類指標下進行性能評價。最后對EASG 模型在關系類別標簽上的分布情況進行可視化展示。

3.1 數據集與評估標準

采用VG 數據集訓練和評估EASG 模型。VG 數據集包含108 077 張圖片，共有75 000 種實體類別和37 000種關系類別，平均每張圖片包含38個實體和22個關系標注。根據文獻［11］提出的VG 拆分子集，其中包含了最頻繁的150 種實體類別和50 種關系類別（不包含背景標簽），每張圖片平均有11.6 個目標和6.2 個關系，出現頻率最高的10 種關系（on、has、wearing、of、in、near、with、behind、holding、above）幾乎占據所有數據的90%，而剩余的40 類關系（others）僅占10%，如圖4 所示（彩色效果見《計算機工程》官網HTML 版）。整個數據集分別按照70%和30%分成訓練集和測試集，還按照MOTIFS 從訓練集中隨機采樣5 000 張圖片作為驗證集調整超參數。

圖4 關系類別標簽在VG 數據集中的占比Fig.4 Proportion of relationship category labels in the VG dataset

場景圖生成任務的目標是輸出實體的位置及其類別標簽，并以此為條件預測實體對之間的關系，最終預測主語-謂語-賓語類似三元組。因此，在以下3 個子任務上評估場景圖生成模型：1）PredCls，給定一組具有真實注釋的實體類別標簽和邊界框預測實體對的關系類別；2）SGCls，給定一組具有真實注釋的實體邊界框，預測實體的類別標簽以及實體對的關系類別；3）SGGen，給定一張圖像，預測圖像中的實體邊界框位置、實體類別標簽以及實體對關系類別。

因為不可能對圖像中所有關系進行注釋，所以使用R@K作為場景圖生成的評價指標，即前K個預測中預測正確的比率。但在傳統召回率計算中，一對物體只能有一個關系參與最終的排序計算，約束給定實體對僅能獲取一種關系，因此采用由MOTIFS［13］提出的無關系約束的召回率，該指標允許一對實體的所有關系都參與排序計算。另外，考慮到VG 數據集的長尾效應，不同關系的分布嚴重不均，傳統召回率通常只需學會“on”、“has”和“near”等主要的關系類別，即使忽視大部分關系類別也能獲得很好的結果，因此還采用mR@K［16］作為評價指標，該指標將所有謂語類別的召回率單獨計算再求平均值，使得所有類別的重要性相同。

3.2 實驗設置

與文獻［11，13］中的場景圖生成模型類似，本文在實驗中采用以ResNeXt-101-FPN 為主干網絡的Mask-RCNN 作為EASG 模型的底層檢測器，檢測器用于檢測圖像中的目標候選框。在4 個GeForce RTX 1080Ti 上使用動量為0.9 的SGD 來訓練底層檢測器的模型參數，批次大小為8，每個批次中每張圖采樣256 個ROIs，其中75%為背景圖。初始學習率為8×10-3，每經過一個批次學習率修改為原本的1/10。檢測器閾值為0.5，最終在VG 數據集上的平均精度均值（Mean Average Precision，mAP）為28.49。

使用SGD 算法在VG 數據集上訓練EASG 模型。PredCls 和SGCls 這2 個任務的批次大小為16，初始學習率為0.001，SGGen 任務的批次大小和初始學習率分別為12 和0.001。對于SGGen，每張圖采樣80 個ROIs，并在實體類別預測中使用交并比（Intersection over Union，IoU）為0.5 的非極大值抑制（Non-Maximum Suppression，NMS）［30］。使用GloVe 預訓練向量作為詞向量表征，GloVe 是由包含400 000 個詞匯的Wikipedia語料庫組成的預訓練模型。

3.3 與現有模型的比較

EASG 模型與視覺關系檢測（Visual Relationships Detection，VRD）［9］、消息迭代傳遞（Iterative Message Passing，IMP）［11］、關聯式嵌入（Associative Embedding，AE）［31］、FREQ［13］、Graph-RCNN［10］、MOTIFS［13］、知識嵌入路由網絡（Knowledge-Embedded Routing Network，KERN）［16］、GPS-Net［32］、UVTransE［33］等模型在VG 數據集的3 個子任務設置下進行性能比較。

表1給出不同場景圖生成模型在VG 數據集的3 個子任務上的R@K，其中K設置為20、50、100，最優指標值用加粗字體標示。為了有效區分語義相近情況下場景圖生成的性能變化，實驗根據生成場景圖是否有關系約束［13，16］將實驗結果劃分為實體對只有一種關系（constraint）和實體對可以有多種關系（unconstraint）兩類。

表1 VG 數據集上不同場景圖生成模型的R@K 實驗結果Table 1 R@K experimental results of different scene graph generation models on the VG dataset %

由表1可以看出，EASG 模型在3 個子任務的R@20、R@50、R@100 指標上均優于對比模型。FREQ 模型對于預測給定實體和標簽之間的頻繁關系，性能表現較好，這表明了實體對及其關系之間的統計相關性和其他線索（如上下文信息）具有同等重要的作用。MOTIFS 模型通過使用Bi-LSTM 對全局上下文編碼隱式地捕獲數據相關性，在3 個子任務上均取得了顯著進步。KERN 模型通過知識圖顯示地統計了實體及其關系之間的相關性，進一步提高了在3 個子任務上的性能表現。EASG 模型因為利用了外部知識信息和Transformer 編碼結構以及適應性推理，進一步改善了場景圖生成任務的性能，平均值相較于MOTIFS 模型和UVTransE 模型分別提高了3.8 和0.7 個百分點。

由于VG中類別不平衡問題，已有研究通常在頻率較低的類別中性能較差。為了與現有模型進行更全面的比較，在表2的VG 數據集的3個任務上給出了mR@50和mR@100的結果。由表2可以看出，在constraint和unconstraint 兩種情況下，EASG 模型的平均值分別為12.3%和27.3%，相比于MOTIFS模型提升了3.3和6.7個百分點，相比于KERN模型提升了0.6和0.8個百分點。

表2 VG 數據集上不同場景圖生成模型的mR@K 實驗結果Table 2 mR@K experimental results of different scene graph generation models on the VG dataset %

由以上討論和比較可以看出，EASG模型在mR@K和R@K指標方面均有所改善，但因為R@K指標只關注圖像中的關系是否被完全預測而不關注不同關系標簽之間的預測情況，所以為更直接地比較性能改善情況和樣本數量之間的關系，對不同關系標簽的R@K指標進行比較。圖5 給出了在SGGen 子任務上MOTIFS和EASG 模型的R@50 實驗結果。由圖5 可以看出：MOTIFS 模型對于“on”、“has”、“wearing”等高頻關系的預測表現較好，但是對于“part of”、“to”、“made of”等樣本較少的關系整體表現不佳，導致R@50 指標數值較低，幾乎不可避免地偏向了更高頻的關系標簽。EASG模型不僅利用Transformer的自注意力機制分階段進行上下文信息合并，從而得到更有意義的全局上下文信息，而且利用外部知識庫提供先驗信息，同時通過整合外部知識庫和視覺圖像中的上下文信息來明確規范化語義空間，并且利用適應性推理去預測關系標簽，從而引導模型更好地學習樣本數量較少的低頻關系標簽，這樣就可以較好地解決關系分配不均的問題。由此可見，EASG 模型不僅在高頻關系標簽表現較好，而且在中低頻關系標簽預測上也得到了大幅度的性能提升，在一定程度上緩解了數據關系分布不平衡的問題。

圖5 MOTIFS 和EASG 模型在不同關系類別標簽下的R@50 實驗結果Fig.5 R@50 experimental results of MOTIFS and EASG models under different relationship category labels

3.4 消融實驗結果分析

通過設置消融實驗驗證EASG 模型中各個組件對場景圖生成的具體貢獻。表3 給出了消融實驗結果。將結合類似Wikipedia 的外部知識庫的目標檢測模塊、基于Transformer 的上下文提取模塊（TRSG）和特征特殊融合的適應性推理模塊（ARE）逐一添加到MOTIFS基線模型中，驗證引入外部知識庫對場景圖生成的影響。在MOTIFS 基線模型基礎上將實體預測到的詞向量替換為Wikipedia 外部知識庫的詞向量嵌入，3 個子任務相對于MOTIFS 基線模型均有不同程度的提升，其中SGCls 子任務平均提升了0.7 個百分點。對于MOTIFS 基線模型中的Bi-LSTM，將其替換為兩個Transformer結構以此提取視覺中的上下文信息，TRSG中的自注意力機制極大地提升了場景圖生成性能，各項指標均得到了大幅度提升，其中SGGen 子任務平均提升了5.4 個百分點。在此基礎上，本文在關系預測階段加入適應性推理模塊，雖然該模塊在SGGen和SGCls子任務提升效果微弱，但在PredCls 子任務上相比于MOTIFS 基線模型得到了平均1.5 個百分點的大幅提升。最后，將所有組件進行聯合，性能得到大幅度提升。這表明每個組件在實體標簽及其成對關系預測中均具有關鍵作用。

表3 消融實驗結果Table 3 Ablation experiment results %

3.5 定性分析

為更直觀地展示EASG 模型的場景圖生成效果，圖6 給出了部分可視化結果，為每幅圖像選擇了SGCls子任務下的前10 個關系，其中，虛線表示檢測到的實體或謂詞被正確預測并且與真實情況重疊，實線表示正確的預測但在數據集中未被標記，點直線表示被錯誤分類的謂詞。由圖6 可以看出，EASG 模型對于常見錯誤類型具有更好的預測性能，例如：在圖6（a）中，EASG模型預測了比原本標注的“near”更合適的“in front of”；在圖6（b）中，由于謂詞的模糊性（“wears”與“wearing”），因此數據標注是“man wears shirt”，但EASG 模型預測為“man wearing shirt”；在圖6（c）中，數據標注是“cup in window”，但EASG 模型預測為“cup behind window”。由此可見，EASG 模型比定量分析結果更好，可預測許多看似正確的關系類別，而這些關系類別在原始數據標注中并不存在。

圖6 基于EASG 模型的場景圖生成可視化結果Fig.6 Visualization results of scene graph generation based on EASG model

4 結束語

本文提出一種結合外部知識庫和適應性推理的場景圖生成模型（EASG）。鑒于先驗知識已被證明可以顯著提高場景圖的生成質量，設計結合外部知識庫的目標檢測模塊來獲取額外的語義信息。利用改進的Transformer 架構對圖像中的全局上下文信息進行編碼并分段實現信息合并，增強關系標簽的信息量，規范化場景圖的語義空間。應用特征特殊融合的適應性推理模塊，緩解了數據集關系頻率受長尾分布的影響。通過在VG 數據集上的對比實驗和消融實驗結果證明了EASG 模型相比于其他模型具有更優的場景圖生成性能。后續將針對SGG 任務的數據不平衡現象，引入因果推理解決數據集偏置問題，進一步提高場景圖生成的準確性。