基于Swin Transformer和Style-based Generator的盲人臉修復

向澤林 樓旭東 李旭偉

盲人臉修復任務是從低質量的圖像（例如模糊、噪聲和壓縮圖像）中恢復高質量的圖像.由于事先不知道低質量圖像的退化類型和退化參數，因此盲人臉修復是一個高度病態的問題，在修復過程中嚴重依賴各種先驗指導.然而，由于面部成分和面部標志等面部先驗通常是從低質量圖像中提取或估計的，可能存在不準確的情況，這直接影響最終的修復性能，因此難以有效利用這些先驗知識.此外，目前的主流方法基本都是依賴ConvNets進行特征提取，沒有很好地考慮長距離特征，導致最終結果缺乏連續一致性.本文提出了一種改進的StyleGAN模型，命名為SwinStyleGAN，應用在高級視覺任務上表現出色的Swin Transformer來提取長距離特征，并通過改進后的類StyleGAN合成網絡逐步生成圖像.本文設計了一個空間注意力轉換模塊SAT來重新分配每個階段特征的像素權重，以進一步約束生成器.大量實驗表明，本文提出的方法具有更好的盲人臉修復性能.

盲人臉修復； ConvNets； Swin Transformer； StyleGAN； 空間注意力轉換模塊

TP391A2023.032003

收稿日期： 2023-02-16

基金項目： 國家重點研發項目（2020YFC0832404）

作者簡介： 向澤林（1975-）， 男， 四川資陽安岳人， 講師， 主要研究領域為圖像處理、故障診斷.E-mail： xiangzelin@cisisu.edu.cn

通訊作者： 李旭偉.E-mail： lixuwei@scu.edu.cn

Blind face restoration based on Swin Transformer and? Style-Based Generator

XIANG Ze-Lin1， LOU Xu-Dong2， LI Xu-Wei2

（1.Chengdu Institute Sichuan International Studies University， Dujiangyan 611844， China;

2.College of Computer Science， Sichuan University， Chengdu 610065， China）

Blind face restoration is the process of restoring a high-quality image from a low-quality image （e.g.， blurred， noisy， or compressed image）. Since the degradation type and degradation parameters of the low-quality image are unknown， blind face restoration is a highly ill-posed problem that heavily relies on various facial prior such as facial components and facial landmarks during the restoration process. However， these facial priors are typically extracted or estimated from low-quality images， which may be inaccurate， directly affecting the final restoration performance. The current mainstream methods mostly use ConNets for feature extraction and do not consider long-distance features， resulting in a lack of continuous consistency in the final results.The authors propose an improved StyleGAN model named SwinStyleGAN， which uses Swin Transformer to extract long-distance features and gradually generates images through an improved StyleGAN synthesis network.Addtionally， the authors design a Spatial Attention Transformation （SAT） module to reassign pixel weights of each stage feature to further constrain the generator. Experiments show that the proposed SwinStyleGAN in this paper has better blind face restoration performance.

Blind face restoration; ConvNets; Swin Transformer; StyleGAN; Spatial attention transformation

1 引 言圖像修復是計算機視覺中一項至關重要且具有挑戰性的任務，其主要目的是從低質量退化圖像重建高質量清晰圖像，如圖像修復［1，2］、圖像去模糊［3，4］、圖像重構［5，6］、圖像去噪和圖像超分辨率（SR）［7，8］等任務.

現有的圖像修復方法大多是基于卷……