場內外特征融合的殘缺圖像精細修復

徐 濤，周紀勇，張國梁，蔡 磊

（1.河南科技學院 人工智能學院，河南 新鄉453003；2.河南科技學院 機電學院，河南 新鄉453003；3.國家電網全球能源互聯網研究院有限公司，北京102209）

1 引 言

圖像修復是將因遮擋、模糊、傳輸干擾等各種因素造成信息缺失或損壞的圖片，利用圖像缺失部分鄰域的信息和圖像整體的結構等信息，并按照一定的信息復原技術對圖像的缺失或損壞的區域進行修復［1-2］。圖像修復技術具有獨特的功能，已被應用到許多圖像處理的場景中，例如刪除圖像中不需要的物體，去除目標物上的遮擋物體，修復損壞等。圖像修復的核心技術是圖像修復區域既要保持全局語義結構，又要保證生成逼真的紋理細節［3-5］。

傳統的修復方法大多數是基于紋理合成和基于結構來實現圖像信息的復原。基于紋理合成的技術通常利用低級特征的區域匹配和補丁來修復圖像的缺失像素［6-9］，例如：彩色特征（RGB）值的均方差或尺度不變特征變換（SIFT）特征值［10］。此類方法對靜態紋理的合成效果較好，但并不適應于圖像結構復雜的場景。基于結構的圖像修復方法常常依據圖像信息的結構性原則，采用逐步擴散的方式修復圖像，該類方法普遍適用于修復小范圍缺失的圖像［11-13］，當待修復目標信息大量缺失時修復效果就會明顯下降。

深度學習方法的快速發展為圖像修復模型開辟了一條新的路徑。基于深度學習的圖像修復模型是將一個深度神經網絡通過在數據集中經過大量的訓練，學習到圖像更多深層次的特征信息，從而得到更加逼真的圖像修復效果［14-16］。近年來，生成式對抗網絡（GAN）作為一種無監督的深度學習模型被應用于圖像修復領域［17，28］，使得基于深度學習的圖像修復得到了進一步的發展，其通過編碼器完成圖像修復，并借助判別器對修復圖像的真實性進行評價，從而有效提高了圖像的修復質量。

真實環境中普遍存在遮擋、模糊、傳輸干擾等因素，極易造成目標特征的嚴重缺失，現有圖像修復方法難以充分利用完整區域預測缺失區域特征，造成修復區域存在著特征不連續、細節紋理模糊等問題。基于此，本文提出一種基于場內外特征（External Features and Image Features，EFIF）融合的殘缺圖像精細修復方法，將從知識庫中提取關于待修復目標的文本描述定義為場外特征，并將待修復目標完整區域的信息定義為場內特征，其修復結果如圖1所示。首先，通過編碼器將場外特征編碼到神經網絡模型中，利用改進的動態記憶網絡（DMN+）算法［18-20］對待修復目標一致的場外特征進行檢索，并實現與場內特征的融合，生成包含場內外特征的殘缺圖像優化圖，從而解決目標信息不足的問題。其次，構建帶有梯度懲罰約束條件的生成式對抗網絡（WGAN-GP）［21-22］，指導生成器對優化后的殘缺圖像進行粗修復，獲得待修復目標的粗修復圖。最終利用相關特征連貫的思想改進WGAN-GP的網絡結構，得到特征連續、細節紋理清晰的精細修復圖。

圖1 本文所提出修復模型的修復結果Fig.1 Restoration results of the proposed restoration model in this paper

2 相關工作

2.1 外部知識與情景記憶

自然知識有助于提高深度學習模型的理解能力，因此，人們越來越傾向于利用場外知識庫改進數據驅動模型。現有的人工智能知識庫是通過人工構建的［23］，因此將知識庫中的常識性知識提煉到深度神經網絡是一個重要的研究領域。Wu等人［24］將提取到常識性知識編碼為向量，并將其輸入到神經網絡中，與視覺特征結合起來為推理提供了額外的線索。Kumar等人［25］提出了基于情景記憶的網絡模型，該模型將注意條件作為輸入并經過網絡進行推理從而輸出結果。然而該模型是否能夠直接應用于圖像領域還是未知的，為了解決這一問題，Xiong等人［20］在DMN模型的基礎上改進了其存儲和輸入層，在輸入融合層采用雙向的門循環單元（Gate Recurrent Unit，GRU），并提出了一種能夠回答視覺問題的圖像輸入模型。

2.2 圖像修復

目前的圖像修復方法主要分為兩類，一類是非學習的圖像修復方法，一類是基于學習的圖像修復方法。前者是傳統的基于補丁的修復方法，后者是學習圖像的深度特征，通過訓練基于深度學習的修復模型最終推斷缺失區域的特征信息，從而實現殘缺圖像的修復。非學習的方法主要是通過擴散鄰近信息或復制背景最相關區域的信息來填補缺失區域［10，15］。這類方法面對缺失區域小的圖像可以產生平滑和逼真的結果，然而對于缺失區域較大的圖像即使采用高計算成本仍不能獲得逼真結果。為了解決這一問題，Barnes等人［26］提出了一種快速最鄰計算的圖像修復方法，大幅度的提高了計算速度，且能得到一個高質量的修復效果。盡管非學習方法對于表面紋理合成非常有效，但這些模型面對大面積缺失的圖像具有一定的局限性。

基于學習的圖像修復方法通常是利用深度學習和GAN策略實現殘缺圖像的修復。Deepak等人［27］提出了一種基于上下特征預測的圖像修復方法，該方法通過上下文編碼器提取整個圖像的深度特征，并對缺失部分的生成做出合理假設。同時利用像素損失函數，使生成的結果更加清晰。然而，它在生成精細紋理時的效果并不理想。為了解決這一問題，Yu等人［29］提出了一種基于上下文注意的生成式圖像修復。該模型包含一個上下文注意層，其原理是將已知補丁的特征信息作為卷積處理器，通過卷積設計將生成的補丁和已知的上下文補丁進行匹配，從而得到具有精細紋理的修復效果，但是該方法未考慮殘缺區域的語義相關性和特征連續性問題。為了解決這一問題，Liu等人［22］提出了基于精細化深度學習的圖像修復模型。該方法采用一種新的連貫語義層，并通過連貫語義層保留上下文語義情景結構，使其推測出來的殘缺部分更加合理。

總體來看，現有修復方法僅是對場景內的特征進行深度卷積學習，在面對特征信息不足的殘缺圖像時，現有修復模型就會呈現出不能有效修復或修復效果精細紋理缺失的現象。因此本文結合自然知識，提出了基于場內外特征融合的殘缺圖像精細修復方法，其原理結構如圖2所示。

圖2 本文所提出修復模型的原理圖Fig.2 Schematic diagram of the proposed repair model in this paper

3 場內外特征融合圖像修復算法

3.1 常識性知識的檢索和嵌入

當圖像目標特征嚴重缺失，造成數據嚴重不足時，現有的修復模型難以實現對其有效的修復。本文利用知識庫中的常識性知識彌補原圖像目標信息不足的問題。圖像中目標是殘缺的，由于特征信息的不足無法實現對其準確地修復。通過檢測圖像背景中存在的目標β，根據知識庫中相應的常識性知識，推測出與目標β具有高度相關性的目標集合，定義為{α1，α2，…，αk}，該目標集合中的有效信息對整體缺失區域修復工作構成直接的引導作用。將依據常識性知識獲取待修復區域高相似度目標集合的過程表示為：

目標集合{α1，α2，...，αk}是僅依據知識庫中單一相似性對目標β的初步推理描述，知識庫中還包含著大量對目標集合中每個元素αk的細節語義特征描述信息，這些細節語義信息的有效獲取將極大彌補待修復目標信息不足的問題。在保證提取過程中目標特征描述與知識庫中相應語義實體相匹配的基礎上，本文對每個元素αk細節語義特征描述信息的嵌入過程表示為：

其中，{m1，m2，...，mn}是從知識庫中檢索到的對目標αk細節常識性描述。為了對檢測到的常識性知識進行編碼，本文將這些常識性描述{m1，m2，...，mn} 轉 換 成 單 詞 序 列{M1，M2，...，M n}，并且通過mt=w e M t的映射關系將句子中的每一個單詞映射到一個連續的向量空間中。然后通過基于循環神經網絡（RNN）的編碼器對這些向量進行編碼：

其中：x ti表示檢索到的關于物體αk的第i句特征描述中第j個單詞的映射向量，X t-1i表示編碼器的隱藏狀態。同時將雙向門控循環單元（GRU）引入到編碼過程中，最終編碼器的隱藏狀態hti表示第j個特征描述的句子的向量重現。同時將這些文本向量定義為場外特征X E。

3.2 特征融合

從知識庫中得到的常識性知識存儲到知識存儲單元的內存槽中，用于推理和知識的更新。將外部知識融入到目標特征提取的過程中，用來彌補原目標物特征的不足。將k個對象在知識庫相對應特征的語義描述編碼到神經網絡，那么存儲空間中就含有k×n個相關的特征向量。但是，伴隨儲存空間特征向量的幾何式增長，將極大增加從候選知識中提取有用信息的難度。為了解決這一問題，本文通過改進的DMN+算法實現基于情景問答的場外知識檢索，獲取最具相關性的待修復目標特征描述，其原理如圖3所示。

圖3 場外特征的檢索與獲取Fig.3 Retrieval and acquisition of external features

采用改進的DMN+算法對檢索場外特征X E進行推理，以獲取其特征的描述集合{x E}。利用DMN+模型的注意機制生成場內外特征融合的相關性約束。為保證模型對上下文信息的理解和原始輸入的記憶，對DMN+的輸入層進行改進，將殘缺圖像Igt輸入到模型中，并有效的提取目標特征信息oˉ作為DMN+模型的第一層輸入，第二層及以上層的輸入為原始輸入oˉi+1和前一層輸出i的總和，如公式（4）所示：

通過對上下文的學習，使提取到的特征之間進行信息交互，以獲取更多的與目標信息相關的場外特征信息，更有利于實現圖像的修復。將目標特征向量輸入到全連層，其處理過程的具體公式如下：

其中：q表示目標αk映射后的目標向量，Wq，bq表示映射參數。zt表示相關的場外特征XE、模型情景記憶mt-1和被映射的目標向量q之間的交互作用，°表示元素相乘的運算符號，|?|表示元素的絕對值，[：]表示是多個元素交互運算。值得說明的是，模型情景記憶mt-1和被映射的目標向量q需要先通過復制擴展達到具有相同維度，才能與場外特征XE進行交互運算。ft表示softmax層的輸 出，W1，W2，b2和b1表 示 的 學 習 參 數。AGRU(?)表示DMN+模型的注意機制，其機理是將GRU中的更新門用事實K的輸出權重f t k代替：

其中：g tn用來表示當所有對目標β的特征描述都被查看后的GRU狀態。并通過注意力機制利用當前的狀態和DMN+模型的情景記憶更新儲存器的記憶狀態，如公式（10）所示：

其中，mt表示更新后的情景記憶狀態，通過記憶有用的知識信息來彌補原目標數據的不足。利用最終情景記憶挑選與目標信息相關的場外特征信息，如下所示：

其中：Wc和dc表示學習參數，Xf表示目標融合后的特征。從而利用外部知識豐富了殘缺圖像原有的特征信息，解決了缺失目標物特征信息不足的問題。

3.3 修復模型構建

本文所設計的殘缺圖像精細修復模型由三部分網絡構成，即：場內外特征融合網絡，粗修復網絡和精細修復網絡，其總體網絡結構如圖4所示。將信息殘缺的圖像Iin輸入到場內外特征融合網絡，得到一個特征信息更加豐富的輸出結果，并將其輸入到粗修復網絡，獲取粗修復圖像Ir。將待修復的圖像Iin和粗修復圖像Ir同時輸入精細修復網絡，通過提取疊加區域的有效特征信息，生成最終的精細修復圖像Im，從而實現對殘缺圖像的精細修復。下面將著重描述粗修復網絡和精細修復網絡的模型構建過程。

圖4 本文所提殘缺圖像精細修復方法的網絡模型Fig.4 Network model of the proposed method for fine restoration of incomplete images

3.3.1 粗修復網絡設計

本文所設計的粗修復網絡是基于對抗神經網絡策略的修復模型。它是將編碼器的每一層都與解碼器的對應層特征相關聯。利用編碼器生成待修復圖像的深度特征表示，并通過解碼器預測出缺失區域信息。在圖像修復模型中損失要優于現有的GAN損失，且與重建損失函數結合時會產生一個更好的效果。基于WGAN-GP網絡獲取生成數據和原始數據之間的Wasser?stein-1分布比較距離。其目標函數為：

其中：L表示1-Lipschitz函數的集合，Pg表示隱含xˉ=G(z)中的模型分布，z表示生成器的輸入。

引入梯度懲罰約束條件，將梯度與輸入掩膜相乘，其原理如下：

其中：∏(Pr，Pg)表示Pr和Pg采樣點分布集合的γ(x，y)的邊際。通過對以像素為單位測量距離進行損耗評估，并利用梯度懲罰約束條件訓練和優化原始WGAN-GP網絡的生成器，使其更易學習并匹配出待修復區域的有效信息，提升粗修復網絡模型的穩定性。

3.3.2 精細修復網絡設計

將待修復的圖像Iin和粗修復圖像Ir同時輸入到精細修復網絡中，以促使網絡更快的捕獲圖像中有效的特征信息，極大地提高了修復網絡的修復效果。精細修復模型的網絡結構與粗修復模型的相似，不同的是為了增強殘缺區域的語義相關性和特征連續性，提出了一種新的相關特征連貫層，并通過特征相關性對上下語義情景結構進行保留，使其推測出來的殘缺部分更加合理，如圖5所示。

圖5 相關特征連貫原理圖Fig.5 Coherent schematic diagram of related features

特征相關性分為搜索和生成兩個階段。對于修復區域N生成每一個補丁ni（i∈(1，k)，k表示小補丁的個數），通過相關特征連貫層搜索與圖像信息完整區域最匹配的補丁nˉi，用于初始化ni。并將nˉi作為主要的特征信息，與已經生成的補丁ni-1融合，最終反向還原出ni作為有效的修復補丁。補丁間的相關度判斷如下式所示。

其中：D ai表示這個鄰近補丁之間的相似性，Dmaxi表示最匹配的補丁nˉi和完整區域補丁ni之間的相似性。將D ai和Dmaxi視為生成補丁的權重，這樣每一個補丁都包含著先前補丁的信息。最終生成的補丁信息表示如下：

由于補丁的生成過程是一個迭代過程，每一個補丁在迭代的過程中均獲得了更多的背景信息，且與之前生成的所有補丁（n1～ni-1）和nˉi都具有相關性。將Nˉ中提取的補丁用作反卷積濾波器對N進行重建，從而獲取更加逼真的修復結果。

為進一步提高圖像修復的效果，本文引入特征修復識別器，通過識別器區分原始圖像和已修復圖像，并根據修復特征信息，計算出對抗損失函數D M和D R，將D M用于精細修復網絡，D R用于粗修復網絡。如式（19）所示：

其中：D代表鑒別器，E Io表示所有真實取平均值的操作，E Im表示所有修復結果取平均值的操作。

3.4 修復模型的損失函數

為提高場內外特征融合網絡檢索相關場外特征的能力和優化注意機制參數，在采用改進的DMN+網絡進行場內外特征融合時定義一個優化損失函數，如下式所示：

其中：SO(?)表示情景記憶和場外特征之間的匹配度，SR(?)表示場內特征和場外特征之間的匹配度。

在修復網絡構建的過程中，現有的圖像修復模型通常利用知覺損失提高圖像修復網絡的識別能力。但是，知覺損失容易誤導相關語義連貫層的訓練過程，本文引入一致性損失函數對現有損失函數的構建進行了改進。通過經預訓練的VGG-16網絡［30］提取原始圖像的深度特征。并將殘缺區域的原始深度特征設定為相關語義連貫層及其編碼器對應層的目標，并計算出訓練網絡的一致性損失函數L c，如下式所示：

其中：φm表示經預訓練的VGG-16網絡參數。W(?)表示編碼器中相關特征連貫層的深度特征，W d(?)是解碼器中相關特征連貫層對應層的深度特征。

將Wasserstein-1距離作為判斷條件，構建出修復網絡的損失函數如下式所示：

將式（19）～式（22）所構建的特征融合優化損失函數、訓練網絡一致性損失函數、修復網絡損失函數和粗修復網絡對抗損失函數進行加權平均，獲取所提殘缺圖像精細修復模型的總體損失函數L g，如下式所示：

其中：αd，αc，αr，αR分別為優化損失、一致性損失、修復損失、對抗損失的權衡參數。

4 實驗結果及分析

為驗證所提殘缺圖像精細修復模型的有效性，分 別 基 于Places2［31］，Real-world Underwater Image Enhancement［32］和Underwater Target數 據集與現有的方法進行了定性和定量的對比實驗，具體實驗結果及分析如下。

4.1 實驗設置

本文設計的實驗基于Places2，Real-world Underwater Image Enhancement（RUIE）和Un?derwater Target三個數據集。在實驗中不使用任何數據標簽。為了模擬圖像缺失的現象，本文將采用方形掩模對圖像目標區域進行遮掩。同時對三個數據集的原始數據進行訓練。學習率設置為2×10-4和β=0.05。權衡參數設置為αd=0.1，αc=0.1，αr=1，αR=0.001。將本文所提EFIF算 法 與SH（Shift-net）［3］，GLCI［15］，CSA［22］三個代表性算法模型進行對比。實驗的硬 件 配 置 為：CPU為Intel（R）Core（TM）i7-8700K@3.70 GHz，GPU為RTX 2080 Ti。內存為64 G。運行環境為Python3.7，模型采用Py?Torch庫編寫，操作系統為Ubuntu-16.04。

4.2 定性評價實驗

4.2.1 Places2數據集實驗結果

Places2數據集是由麻省理工大學負責維護的場景圖像數據集。數據集涉及400多個場景，共包含1千萬張圖片。該數據集是圖像修復領域廣為應用的數據集之一。本文從數據集中選取大量的建筑、風景圖片，用于訓練和實驗。

在Places2數據集中的仿真結果如圖6所示。最左邊的一列為經過掩模處理后的輸入圖像，最右邊一列是原始圖像，中間分別為SH，GLCI，CSA和EFIF修復模型的修復結果。實驗（a）～（c）為建筑圖像的修復，實驗（d）～（e）為風景圖像修復。從實驗結果可以得出本文提出的圖像修復結果比其他修復模型的修復結果更能有效的修復目標的特征。同時在紋理重建方面也更加合理。

圖6 現有修復模型與本文修復模型在Place2數據集中比較，從右到左依次為輸入圖像，SH、GLCI、CSA、粗修復、EFIF及原圖Fig.6 Comparison of the existing restoration model and the restoration model in this paper in the Place2 database，from right to left，the input images，SH，GLCI，CSA，roughly repaired image，EFIF，and the original image

4.2.2 RUIE數據集實驗結果

RUIE數據集是由大連理工大學—立命館大學國際信息與軟件學院提出的一個針對水下圖像研究的數據集，具有圖像數據量大，圖像場景、色彩多樣，檢測目標豐富等特點。其常用于水下目標的檢測與識別、水下圖像的增強與復原。本文從RUIE數據集選取大量的水下雕塑，汽車殘骸等進行仿真實驗。與SH，GLCI和CSA圖像修復模型作對比，其仿真結果如圖7所示。

圖7 現有修復模型與本文修復模型在RUIE數據集中比較，從右到左依次為輸入圖像，SH、GLCI、CSA、粗修復、EFIF，及原圖Fig.7 Comparison of the existing restoration model and the restoration model in this paper in the RUIE database，from right to left，the input images，SH，GLCI，CSA，roughly repaired image，EFIF，and the original image

從仿真結果來看實驗（a）、實驗（b）、實驗（c）表示輕微模糊的場景實驗。實驗（d）、實驗（e）和實驗（f）表示嚴重模糊的場景實驗。實驗（b）中，SH模型的修復結果存在著目標丟失的現象。SH，GLCI和CSA修復模型在實驗（a）、實驗（b）、實驗（e）、實驗（f）的修復中均存在著修復區域模糊，并不能有效地修復缺失區域的紋理。實驗（b）、實驗（d）、實驗（e）對應粗修復圖像的修復區域紋理模糊現象。本文所提出的修復結果能夠有效的修復缺失區域特征，且能夠生成合理的圖像紋理。如實驗（c）、實驗（e）所示修復的結果與原圖十分接近。

4.2.3 Underwater Target數據集實驗結果

Underwater Target數據集是本文研究團隊針對水下圖像所建立的數據集。主要用于水下復雜場景中特征提取、目標檢測與識別、場景理解，為自主式水下航行器（Autonomous Underwa?ter Vehicle，AUV）實現自主航行能力、目標識別與跟蹤、自主規劃路線和協同控制提供重要保障。在水下圖像處理領域的研究中有著重要意義。其中包括魚雷、潛艇、蛙人、AUV等類別。本文從Underwater Target數據集中選取大量的魚雷、潛艇、AUV圖像進行實驗，與SH、GLCI和CSA圖像修復模型對比。如圖8所示。從仿真結果來看實驗（a）、實驗（b）為不同場景下的魚雷修復。其中實驗（a）表清晰的場景，實驗（b）表模糊的場景，實驗（c）表示模糊的場景AUV的修復實驗。實驗（d）、實驗（e）分別表示清晰、模糊場景下的潛艇的修復。實驗（b）中，SH，GLCI模型修復的結果存在特征丟失現象。實驗（a）、實驗（d）中，粗修復圖像存在修復區域紋理模糊的現象。本文模型能夠更好的修復殘缺區域，同時注重修復區域的紋理，如實驗（b）、實驗（c）本文修復結果接近于原圖像。從而說明了本文模型更注重于結構和紋理的修復能力。

圖8 現有修復模型與本文修復模型在Underwater Target數據集中比較，從右到左依次為輸入圖像，SH、GLCI、CSA、粗修復、EFIF，及原圖Fig.8 Comparison of the existing restoration model and the restoration model in this paper in the Underwater Target data?base，from right to left，the input images，SH，GLCI，CSA，roughly repaired image，EFIF，and the original im?age

4.3 定量評價實驗

4.3.1 定量評價指標

由于個體的差異、喜好等主觀因素的影響，對實驗結果的評價會在一定程度上存在片面性。為了獲取更準確的修復結果的質量評價。在上述式（22）修復網絡的損失函數單一定量評價指標的基礎上，本文引入峰值信噪比PSNR［33］和結構相似性SSIM［34］兩個評價指標，對修復結果進行更加客觀的定量評價。峰值信噪比是通過兩張圖像對應的像素點的誤差評價圖像的質量。其值越大表示圖像的修復結果越好，如下式所示：

其中：m，n表示圖像尺寸的大小，MSE表示張圖像之間的均方差。MAX x2表示圖像中所取的最大值。

SSIM指標從圖像的亮度、對比度以及結構信息衡量圖像的結構相似性，從而評價圖像的失真程度，其值越大說明失真越小，修復圖像越接近于原始圖像，如下式所示：

其中：σx和σy分別為原圖像和修復圖像的平均值，σx2和σy2分別表示原圖像和修復圖像的方差，δxy表示協方差，C1，C2為用來維持穩定的常數。

4.3.2 定量評價實驗結果

本文使用PSNR，SSIM和L r損失作為定量評價的衡量指標，其中PSNR和SSIM能客觀的反映模型修復殘缺圖像的性能。L r用來測量修復圖像和真實圖像間的距離。本文修復模型與對比修復模型在Place2、RUIE和Underwater Target數據集中的PSNR，SSIM和L r損失值，如表1所示。從表中可以看出本文修復模型在Place2、RUIE和Underwater Target數據集取得了最優結果，PSNR值和SSIM值是最大的，L r損失是最低的。本文模型圖像修復結果的PSNR值最高為35.98，相比CSA算法提高了2.17%。SSIM值最高為0.983，相比提高了1.08%。L r損失最低為0.71，相對降低了6.96%。

表1 Place2、RUIE和Underwater Target數據集各修復結果的客觀數據Tab.1 Objective data for restoration results in Place2，RUIE and Underwater Target database

Underwater Target數據集主要用于模糊、復雜水下場景中危險性目標的識別與重構。其特征提取難度極大，對修復算法有效性的挑戰最為顯著，本文將圖8每個仿真結果的PSNR、SSIM用柱狀圖的形式直觀的展現出來，用以更加客觀的展現所提修復模型面對復雜環境的修復效果，如圖9所示Underwater Targe數據集中本文所提算法PSNR最高為26.75，相比CSA算法提高了1.44。SSIM最高為0.935，相比CSA算法提高了0.006。從而可以得出所提算法的修復結果一致優于現有對比模型。

圖9 Underwater Target數據集中本文修復模型和對比修復模型修復結果PSNR、SSIM值的柱狀圖Fig.9 Histograms of PSNR and SSIM values for restoration results from this restoration model and comparative restora?tion models in the Underwater Targe dataset.

5 結 論

本文提出一種基于場內外特征融合的殘缺圖像精細修復方法。首先，通過改進的DMN+算法實現與目標相關外部知識和圖像特征的融合；其次，將融合后的特征輸入到帶有梯度懲罰約束條件的對抗生成網絡生成粗修復圖像；最后，利用相關特征連貫層對粗修復圖進一步優化，獲取紋理清晰、特征連貫的精細修復圖像。在三個復雜程度不同的數據集中進行實驗驗證。本算法在視覺定性對比和客觀定量兩方面均優于現有對比修復模型。圖像修復結果的PSNR值最高為35.98，SSIM值最高為0.983。

伴隨殘缺區域的增大，所提算法修復效果衰減較為明顯，在后續研究中將探索場內外特征自主加權融合策略，針對不同修復任務自適應決策場內外特征所占百分比，并將進一步深入研究所提修復算法在水下場景感知領域的應用。