基于多權自適應交互的運動模糊圖像復原

摘要 針對運動場景拍攝的圖像出現(xiàn)不均勻模糊現(xiàn)象，導致工業(yè)環(huán)境下的機器視覺任務處理效率低下的問題，提出一種基于多權自適應交互的運動模糊圖像復原算法.首先，采用多策略特征提取模塊，從模糊圖像中提取出淺層和關鍵的紋理信息并平滑噪聲，同時構建殘差語義塊，深入挖掘圖像的深層語義信息.然后，提出雙通道自適應權重提取模塊，從退化圖像中捕獲空間及像素的權重信息，并逐步將這些信息補償?shù)骄W(wǎng)絡中.最后，設計出一種權重特征融合模塊，融合網(wǎng)絡所提取的多空間權重特征，并結合多項損失函數(shù)，進一步改善圖像質(zhì)量.所提算法在標準數(shù)據(jù)集下的主客觀及消融實驗結果顯示，在標準數(shù)據(jù)集下的SSIM（結構相似性）和PSNR（峰值信噪比）指標分別達到0.93和31.89，各模塊可以較好協(xié)調(diào)，在復原運動場景下的非均勻模糊圖像方面具有顯著優(yōu)勢.關鍵詞模糊圖像復原;深度學習;非均勻模糊;自適應學習

中圖分類號 TP391.4

文獻標志碼A

0 引言

隨著人工智能技術的迅猛發(fā)展，視頻圖像已逐漸演變成現(xiàn)代化工業(yè)中信息傳遞的核心載體.在下游機器視覺任務中，視頻圖像被廣泛應用于交通監(jiān)控、信號檢測等實際工作場景^[1].然而在圖像捕獲過程中，由于成像設備或目標物體的快速移動，常會導致圖像出現(xiàn)模糊現(xiàn)象，不僅減少了圖像所承載的信息量，還對后續(xù)的機器視覺任務，如圖像分類、目標檢測和目標跟蹤等產(chǎn)生不良影響，降低其工作效率^[2].因此，解決運動模糊圖像的復原問題具有現(xiàn)實意義.

傳統(tǒng)的運動模糊圖像復原方法通過對模糊圖像的形成過程進行數(shù)學建模，進而計算出清晰圖像^[3]，該建模過程可表示為B=IK+N，其中，B、I分別表示模糊圖像和待估計的清晰圖像，K為模糊核，通過每行都包含一個作用于清晰圖像的局部模糊核來計算模糊像素，并輸出一個稀疏矩陣，N表示圖像噪聲，為卷積操作.例如：Sun等^[4]提出一種基于補丁的盲反卷積核估計策略，即對模糊圖像的邊緣等特征設計相關補丁先驗，并計算退化圖像“可信”子集的方式輸出清晰圖像;郭政等^[5]提出一種給予運動偏移信息估計的圖像去模糊算法，從模糊圖像中提取多個時間點的運動像素偏移量，并對其運動方式進行建模，實現(xiàn)端對端圖像去模糊;侯慶璐等^[6]提出一種基于結構稀疏通道先驗算法，該算法通過正則化模型計算模糊核，并使用反卷積方法恢復圖像;Xu等^[7]通過改進基于空間先驗迭代支持檢測核，提出一種核估計方法，并使用反卷積模型對參數(shù)進行變量替換抑制噪聲，增強魯棒性;Li等^[8]提出一種稀疏數(shù)學表達式來復原運動模糊圖像，該方法在優(yōu)化過程中不需要額外的濾波，并且使用少量迭代即可使其收斂.雖然結合模糊建模的方法具有良好的解釋性，但找到每個像素模糊核是一個不適定問題，使得上述算法只能應對簡單的平移或旋轉(zhuǎn)模糊問題，且計算過程復雜、時間消耗長，難以應用于現(xiàn)實運動模糊場景.

近年來，深度學習技術被廣泛地應用于圖像處理領域并取得良好的效果，相較于傳統(tǒng)方法，其強大的特征學習能力更適用于模糊圖像等非線性退化問題.例如：陳清江等^[9]提出一種雙分支的特征提取及循環(huán)網(wǎng)絡，通過細化輸入模糊圖像的深層特征，并循環(huán)增強來復原圖像;張艷珠等^[10]通過改進多尺度U-Net網(wǎng)絡來恢復紅外模糊圖像，即在原網(wǎng)絡中引入對偶注意力機制，并加入傅里葉操作增強高低頻信息處理能力，達到增強模糊圖像目的;Ren等^[11]提出一種基于深度卷積神經(jīng)網(wǎng)絡的圖像去模糊算法，該算法可以在統(tǒng)一的框架內(nèi)處理不同的內(nèi)核和飽和像素來捕獲圖像退化的固有屬性，并使用可分離濾波器初始化網(wǎng)絡中的卷積參數(shù);Wang等^[12]提出一種基于Transformer的圖像恢復架構，并構建分層編碼-解碼器結構捕獲局部上下文信息，可顯著降低高分辨率特征圖的計算復雜度，提高算法效率;張玉波等^[13]提出一種非對稱的輕量級的圖像盲去模糊網(wǎng)絡，可以實現(xiàn)高質(zhì)量的夜間照片去模糊.已有深度學習算法可以較好地處理運動模糊問題，但主要通過對圖像整體處理實現(xiàn)圖像復原，忽略了現(xiàn)實場景下的不均勻模糊問題，穩(wěn)定性較差.

針對上述問題，本文提出一種基于多頭自適應融合的不均勻模糊圖像復原算法，主要貢獻如下：

1）采用多策略特征提取模塊直接從模糊圖像中精確提取有效特征，結合殘差語義塊進一步學習圖像的非線性特征，提高對模糊圖像復原的穩(wěn)定性;

2）提出一種雙通道自適應權重提取模塊，即使用并行的注意力機制來提取空間和像素兩個維度的權重信息，并逐步補償?shù)骄W(wǎng)絡中，提高其對不均勻模糊區(qū)域的敏感程度;

3）設計了一種權重特征融合模塊，通過分別處理網(wǎng)絡提取出的多空間權重特征來保留關鍵信息，逐步進行融合以構建更完整的圖像表示，結合多項損失函數(shù)進行網(wǎng)絡優(yōu)化，提高其魯棒性.

1 相關理論

在機器視覺領域，注意力機制的主要作用在于使模型能夠更加專注于關鍵特征處理，并抑制不相關的信息，使得模型可以更好地感知和處理圖像中的重要區(qū)域^[14].在實踐中，像素注意力和通道注意力是兩種應用廣泛的注意力機制.

通道注意力機制SENet模型^[15]通過對退化圖像的通道權重進行建模來提高網(wǎng)絡對空間特征的表示能力，結構如圖1所示，主要包括擠壓（squeeze）、激勵（excitation）和注意（scale）操作.

1）擠壓：當特征圖像輸入到網(wǎng)絡時，為使模塊可以關注計算圖像的通道間的權重聯(lián)系，該操作使用一個全局平均池化來聚合跨空間維度，將其從H×W×C壓縮為1×1×C，并將全局空間信息壓縮到通道描述符中，供后續(xù)層操作，輸出可表示為

Zc=Fsq（Uc）=1H×W∑Hi=1∑Wj=1Uc（i，j）.（1）

其中：Uc為輸入特征;H、W分別表示輸入特征的高和寬;Zc為輸出特征，大小為1×1×C.

2）激勵：為了從壓縮的全局空間信息中獲取通道間的權重關聯(lián)，excitation通過“基于通道依賴”的自選門機制來學習每個通道的特征權重樣本，進而使網(wǎng)絡學會如何利用全局信息，提高重要特征的權重分配、抑制無用特征，并在輸出前使用Sigmoid激活函數(shù)限制模型的復雜性，輸出可表示為

Ec=Fex（Sc，W）=σ（g（Sc，W））=σ（W2δ（W1Sc））.（2）

其中：σ（·）、δ（·）分別表示Sigmoid和ReLU激活函數(shù);W1∈R^Cr×C用來降低維度，W2∈R^C×Cr用于維度遞增，r為簡化參數(shù)，用于減少全連接層維度，降低網(wǎng)絡復雜度.

3）注意：獲取不同通道權重后，scale使用元素相乘將得到權重重新分配到輸入特征中，可表示為

Sc=Fsc（Uc，Zc）=Uc（i，j）Zc（i，j）.（3）

其中：表示元素相乘操作.

像素注意力機制^[16]通過對特征圖像像素的權重進行建模，使網(wǎng)絡注重像素的處理.具有代表性的包括FFA-Net^[17]，其結構如圖2所示.該模塊的操作原理與通道注意力機制^[18]相似.首先，使用通道下采樣使圖像大小從H×W×C變成H×W×1，壓縮圖像通道數(shù)量，將全局空間信息壓縮到像素描述符中;然后，使用1×1卷積單元提取圖像的像素特征，并計算每個像素特征權重;最后，使用Sigmoid激活函數(shù)輸出，并使用元素相乘法將提取到的像素權重重新分配到輸入圖像中.

2 本文方法

針對現(xiàn)存模糊圖像復原方法難以穩(wěn)定應用在非均勻模糊場景的問題，本文提出一種基于多權自適應交互的運動模糊圖像復原算法，結構如圖3所示，主要包括多策略特征提取模塊（Multi-Strategy feature extraction Module，MSM）、雙通道自適應權重提取模塊（Dual-Channel adaptive weight extraction Module，DCM）、殘差語義塊（Residual Semantic Block，RSB）、權重特征融合模塊（Weight Feature Fusion Module，WFFM）、自適應多分支融合模塊（Adaptive Multi-branch Fusion Module，AMFM）.主干網(wǎng)絡采用MSM和RSB對輸入圖像進行初步處理，準確提取其核心語義信息，而分支網(wǎng)絡則主要通過DCM獲取輸入圖像的像素（I1）和空間（I2）權重特征，并逐步補償?shù)街鞲删W(wǎng)絡中，輔助其對不均勻模糊區(qū)域調(diào)整處理策略.最后，通過AMFM分別處理上述權重信息，并進行有效融合，從而顯著提升其學習能力.

2.1 結構內(nèi)部模塊

主干網(wǎng)絡通過提出多策略特征提取模塊、語義殘差塊結構來保證網(wǎng)絡準確提取輸入模糊圖像的空間特征.多策略特征提取模塊結構如圖4a所示.當運動模糊的圖像輸入到網(wǎng)絡中時，該模塊首先會通過3×3大小的卷積單元來提取其淺層特征，然后分別采用最大池化和平均池化操作來增強圖像.其中：最大池化能夠計算鄰域內(nèi)的像素最大值，從而增強圖像的紋理細節(jié)等特征;平均池化則會計算鄰域內(nèi)的像素平均值，起到平滑像素的作用，減少噪聲影響^[19].最后將得到的增強權重使用元素相乘添加到淺層信息中，并將兩種權重特征通過全連接層進行拼接，輸出有效的特征信息.此外，為保持主干網(wǎng)絡獲取更完整的圖像空間信息，還引入語義殘差塊^[20]，結構如圖4b所示.首先通過兩個3×3大小的卷積單元來提取圖像的深層語義信息，并采用跳躍連接組成殘差結構來保持空間特征權重的傳輸程度.然后使用1×1卷積單元來降低特征維度，進而降低網(wǎng)絡學習難度.最后再通過一層殘差塊，對特征進行進一步提取，以獲取更豐富的空間信息.

在分支網(wǎng)絡中，本文設計了一種雙通道自適應權重提取模塊，主要功能為從輸入圖像中自適應地提取空間和像素級的特征權重，有助于更準確地描述圖像中各個特征的重要程度.然后構建權重特征融合模塊，將提取到的權重與主干網(wǎng)絡進行融合，以增強網(wǎng)絡的特征學習能力.雙通道自適應權重提取模塊的結構如圖5a所示.該模塊首先通過一個殘差塊提取模糊圖像的特征來保留原始特征的權重信息.然后，通過下采樣操作將圖像的尺寸減半，并利用通道注意力機制來提取空間權重，再將所得權重與原始權重進行元素相乘的操作，得到I1.最后，為了提高網(wǎng)絡對像素單元的敏感度，將圖像的尺寸擴大1倍后，利用像素注意力機制來提取像素權重，同樣與原始權重進行元素相乘，得到I2.該模塊結合了Sigmoid和ReLU激活函數(shù)進行權重轉(zhuǎn)移，目的是緩解模糊圖像中的無用信息對網(wǎng)絡產(chǎn)生不良影響.

權重特征融合模塊結構如圖5b所示.首先使用兩個卷積單元提取得到的權重，以增強其穩(wěn)定性.然后通過元素相乘的方式進行初步的融合操作，再將初步融合的結果與原始權重進行元素相加，實現(xiàn)再次融合.最終將分支網(wǎng)絡的權重通過全連接操作融合到主干網(wǎng)絡中.經(jīng)過上述模塊處理后，使得網(wǎng)絡能夠有效地提取和處理模糊圖像的特征信息，從而在圖像增強任務中取得更好的效果.

在逐步添加空間和像素權重復原模糊圖像過程中，隨著網(wǎng)絡深度的增加易出現(xiàn)信息丟失等問題，故提出一種自適應多分支融合模塊，以自動補充網(wǎng)絡中丟失的信息，提升圖像增強算法的性能和魯棒性，其結構如圖6所示.受多種注意力機制啟發(fā)，該模塊以模糊圖像的原始特征為主要權重，首先通過元素相加對像素和空間特征進行初步疊加.然后采用平均池化對攜帶多種權重的特征圖像進行平滑處理，以緩解無用特征的影響，再使用1×1卷積單元對特征圖像以像素為單位進行處理，提高其利用程度.

為了實現(xiàn)不同權重的有效融合，還設計了以參數(shù)為主控因素的權重轉(zhuǎn)移方式.為此，本文通過多次訓練，并以結構相似性指標（Structural Similarity Index Measure，SSIM）為標準來確定最優(yōu)權重轉(zhuǎn)移量，完成對丟失信息的補充，經(jīng)過大量實驗，得出最優(yōu)參數(shù)熱力圖（圖7），最終將α和β分別設置為3.5和6.3.

2.2 損失函數(shù)

綜合分析模糊圖像的退化問題及本文網(wǎng)絡結構，采用的損失函數(shù)主要如下：

1）L1損失

由于運動背景下獲取的模糊圖像會丟失紋理、細節(jié)等信息，因此首先使用L1損失函數(shù)^[21]來提升網(wǎng)絡對圖像內(nèi)容的增強能力，公式如下：

L1=∑Ni=11ti‖i－Si‖1.（4）

其中：i和Si分別表示網(wǎng)絡輸出與對應的真值圖像;N代表像素數(shù)量;i的取值范圍為[1，n];ti為當前像素數(shù)量.

2）SSIM損失

在圖像增強和恢復任務中，使特征空間中輸入和輸出之間的距離最小化的輔助損失項應用廣泛且效果良好^[22].為此，本文還使用多尺度頻率重建（Multi-Scale Frequency Reconstruction，MSFR）損失函數(shù)^[23].該損失函數(shù)可在頻域內(nèi)測量地面真實圖像和網(wǎng)絡輸出圖像之間的L1距離，定義如下：

LMSFR=∑Ni=11ti‖F(xiàn)（i）－F（Si）‖1.（5）

其中：F表示將圖像信號傳輸?shù)筋l域的快速傅里葉變換.

網(wǎng)絡的最終損失函數(shù)如下：

Ltotal=L1+0.1×LMSFR.（6）

3 實驗結果與分析

下面使用主觀視覺和客觀指標評價來驗證多權自適應交互的不均勻模糊圖像復原算法的優(yōu)越性.

3.1 數(shù)據(jù)集與訓練準備

實驗環(huán)境如表1所示，優(yōu)化器為Adam，批量大?。˙atch Size）設置為2，共訓練120個epoch.

3.2 主觀評價

為了驗證所提出算法在處理運動模糊環(huán)境下拍攝圖像的有效性，本文選用GOPRO作為實驗數(shù)據(jù)集^[24]，并與DBGAN算法^[25]、DMPHN算法^[26]、MRN算法^[27]進行對比，結果如圖8所示，各分圖左上角紅色字體顯示了該圖像與清晰圖像的結構相似性（SSIM）^[28]指標大小，右上角綠色字體顯示的是峰值信噪比（Peak Signal-to-Noise Ratio，PSNR）^[29]，兩個指標越大表示越接近清晰圖像.

由圖8可以觀察到，DBGAN算法在處理運動模糊環(huán)境下的圖像退化問題時，雖然表現(xiàn)出一定的改善能力，但在處理動態(tài)場景中的人臉時，恢復結果缺乏穩(wěn)定性.此外，對于運動中的車輛，DBGAN算法處理圖像出現(xiàn)了嚴重的偽影，不僅影響視覺效果，還可能對后續(xù)的圖像處理和分析造成干擾.DMPHN算法的恢復結果較差，無論是在人臉圖像的恢復還是在運動車輛偽影的處理上，難以有效應對運動模糊和偽影等挑戰(zhàn).MRN算法總體性能較遜，無論是在人臉圖像的恢復還是在運動車輛偽影的抑制方面，均未能達到理想的效果.本文提出的算法不僅能夠有效緩解運動模糊對圖像質(zhì)量的影響，而且在人臉恢復程度上表現(xiàn)較好.特別是在處理運動中的車輛時，本文算法能夠有效抑制偽影現(xiàn)象的發(fā)生，使得恢復后的圖像更加清晰自然.

圖9為不同算法在處理運動模糊圖像時的細節(jié)表現(xiàn).通過對比可以發(fā)現(xiàn)，DBGAN和MRN算法處理的圖像中，車牌號的清晰度明顯不足，運動中的車輛上的文字也顯得模糊，不僅影響圖像的整體視覺效果，還可能嚴重阻礙后續(xù)車牌識別、交通監(jiān)控等機器視覺任務的順利進行.DMPHN算法在某些方面較DBGAN和MRN有所改進，但在處理第2張圖像時，遠處文字出現(xiàn)少量模糊現(xiàn)象.相比之下，本文提出的算法在細節(jié)恢復方面展現(xiàn)出更為出色的性能，不僅能夠更穩(wěn)定地恢復車牌號碼的圖像，對于運動中車輛上的數(shù)字以及遠處的文字，也能夠?qū)崿F(xiàn)更為精準的恢復，在視覺效果上更加接近真實清晰的圖像，可為后續(xù)的機器視覺任務提供更為可靠的數(shù)據(jù)基礎.

3.3 客觀評價

為了客觀且全面地展現(xiàn)本文算法在恢復運動模糊圖像方面的優(yōu)越性能，選用PSNR和SSIM兩項指標對實驗結果進行定量評估.同時，還將模糊問題細分為3個等級進行測試（測試數(shù)據(jù)為各100張720×1 280×3大小的圖像），以便更加精確地評估算法在各種模糊程度下的恢復效果，確保其在實際應用中具有廣泛的適用性和出色的可靠性.

1）Level1：使用處于運動中的拍攝設備來捕捉靜止物體;

2）Level2：使用處于靜止時的拍攝設備來捕捉運動物體;

3）Level3：使用處于運動中的拍攝設備來捕捉運動物體.

各算法的測試結果如表2所示.可以看出，本文提出的算法在不同模糊程度的圖像下，其綜合指標數(shù)值優(yōu)于所對比的其他算法.

在Level 1中，由于使用運動中的拍攝設備捕捉靜止物體，所得圖像的模糊現(xiàn)象較為均勻，各算法的PSNR和SSIM指標分別達到30及0.9以上.值得一提的是，DBGAN算法因廣泛采用大尺度卷積單元處理，使得其在該等級中的SSIM指標優(yōu)于本文算法.在Level 2中，采用靜止的拍攝設備來捕捉運動圖像，由于物體運動程度的不同，所獲取的圖像呈現(xiàn)出局部不均勻的模糊現(xiàn)象.相較于Level 1，各算法指標均有所下降，但本文算法表現(xiàn)最優(yōu).在Level 3中，使用運動中的拍攝設備捕捉運動物體，這使得獲取的圖像在原本就均勻的模糊現(xiàn)象上疊加了更為復雜的不均勻模糊，因此，其對比更能檢驗算法的穩(wěn)定性.本文算法在Level 3中的PSNR和SSIM分別達27.85和0.80，表現(xiàn)出更強的魯棒性，更適用于真實的圖像去模糊任務.此外，盡管本文算法運行時間（0.137 s/張）并未達到最短，但當考慮PSNR和SSIM指標后，本文算法顯示出了較為優(yōu)越的綜合性能.

3.4 消融實驗

為驗證所提算法中各模塊的有效性，隨機挑選100張模糊圖像對所提結構進行消融實驗，實驗結果如表3所示.

由表3可知：在Net1中，由于移除了多策略特征提取模塊（MSM），導致網(wǎng)絡難以提取足夠的空間信息供后續(xù)模塊使用，盡管其PSNR值達25.32 dB，但其SSIM值卻偏低，這意味著盡管在像素級別上，輸出圖像與原始圖像的差距不大，但在結構、對比度等更高層次的視覺信息上，兩者存在明顯的不同;對于Net2，由于缺少雙通道自適應權重提取模塊（DCM），網(wǎng)絡在融合權重信息時面臨挑戰(zhàn)，導致輸出圖像的噪聲增加;Net3的輸出圖像在PSNR和SSIM方面表現(xiàn)不佳，這主要是因為去除殘差語義塊（RSB）影響了網(wǎng)絡對特征的重構能力;在Net4中，由于移除了權重特征融合模塊（WFFM），網(wǎng)絡難以有效地融合圖像特征;本文算法由于完整地保留了所有設計的模塊，因此在PSNR和SSIM方面均表現(xiàn)最優(yōu).這充分證明了本文設計的模塊不僅能夠完成預期的任務，而且網(wǎng)絡模塊之間的協(xié)調(diào)性也非常出色，展現(xiàn)出了強大的魯棒性.

3.5 應用實驗

下面通過邊緣檢測、特征匹配以及目標檢測實驗，進一步驗證所提算法在實際應用中的可靠性.采用基于Canny算子^[30]的邊緣檢測方法對原始模糊圖像經(jīng)所提算法處理后的輸出結果進行實驗，其目的不僅是為了驗證所提算法在邊緣檢測方面的性能，更重要的是為了檢驗算法能否在實際應用中準確地提取出圖像中的關鍵信息.在實驗過程中，使用包括車輛、路邊景物以及行人等多種不同的圖像，以全面評估算法的性能.圖10顯示，經(jīng)過所提算法的處理，不僅車輛的車牌數(shù)字被清楚地展示出來，路邊景物的顯著性也得到提升.此外，該算法還增加了對行人的紋理特征檢測量，表明所提算法不僅可以增強模糊圖像的紋理信息，而且可以為后續(xù)的特征匹配、目標識別等圖像處理任務提供更為準確的數(shù)據(jù)支持.

特征匹配^[31]實驗結果如圖11所示，各分圖左上方標注了該圖像匹配到的特征點數(shù)量.可以看出，在經(jīng)過本文所提算法的處理后，特征點匹配數(shù)量有所增加，表明所提算法能夠有效地增加圖像承載的信息量，關鍵信息和細節(jié)可以得到更全面的捕捉和提取.

為了全面評估本文算法對實際應用場景中的目標識別性能的影響，采用基于YOLOv7的識別算法^[32]對模糊圖像和經(jīng)過本文算法處理的輸出圖像進行檢測.實驗結果如圖12所示.從紅框中可以看出，經(jīng)過本文算法處理的圖像相較于原始模糊圖像，不僅在目標識別概率上有顯著提升，還能夠增加識別到的目標數(shù)量.實驗結果充分表明，本文算法不僅能夠改善圖像質(zhì)量，還能顯著提高目標識別的準確性和效率，可以進一步提高實際應用場景中的視頻監(jiān)控、自動駕駛、人臉識別等任務的穩(wěn)定性與可靠性.

4 結束語

為提高運動場景模糊圖像在機器視覺任務中的利用效率，提出一種基于多權自適應交互的運動模糊圖像復原算法.該算法所提出的多策略特征提取模塊可以有效地獲取模糊圖像的空間特征，并提高后續(xù)模塊的處理能力;構建的雙通道自適應權重提取模塊和殘差語義模塊可以進一步提取并重構非均勻空間及像素特征，提升網(wǎng)絡的靈活性;權重特征融合模塊則可以將不同權重特征進行融合，從而保證輸出圖像的完整性，提升信息承載能力.主客觀及相關應用實驗結果進一步證明了所提算法不僅可以為后續(xù)高級視覺提供大量數(shù)據(jù)支撐，還可以提高其工作效率，為模糊圖像復原領域提供新的解決方案.未來將致力于提高算法的運行速度以及在非均勻模糊圖像下的魯棒性，進一步提高其在真實應用場景下的工作效率.

參考文獻References

［1］姚鎮(zhèn)海，周建平，邱新法.基于高速公路視頻圖像的能見度計算[J].南京信息工程大學學報（自然科學版），2019，11（1）：85-90YAO Zhenhai，ZHOU Jianping，QIU Xinfa.Visibility calculation algorithm based on highway video image[J].Journal of Nanjing University of Information Science amp; Technology （Natural Science Edition），2019，11（1）：85-90

[2] 成麗波，董倫，李喆，等.基于NSST與稀疏先驗的遙感圖像去模糊方法[J].吉林大學學報（理學版），2024，62（1）：106-115CHENG Libo，DONG Lun，LI Zhe，et al.Remote sensing image deblurring method based on NSST and sparse prior[J].Journal of Jilin University （Science Edition），2024，62（1）：106-115

[3] 楊瓊，況姍蕓，馮義東.基于全變差模型與卷積神經(jīng)網(wǎng)絡的模糊圖像恢復[J].南京理工大學學報，2022，46（3）：277-283YANG Qiong，KUANG Shanyun，F(xiàn)ENG Yidong.Fuzzy image restoration based on TV model and CNN[J].Journal of Nanjing University of Science and Technology，2022，46（3）：277-283

[4] Sun J，Cao W F，Xu Z B，et al.Learning a convolutional neural network for non-uniform motion blur removal[C]//2015 IEEE Conference on Computer Vision and Pattern Recognition （CVPR）.June 7-12，2015，Boston，MA，USA.IEEE，2015：769-777

[5] 郭政，嚴偉，吳志祥，等.基于運動偏移信息估計的圖像去運動模糊算法[J].彈箭與制導學報，2024，44（1）：25-33GUO Zheng，YAN Wei，WU Zhixiang，et al.Image motion blur removal algorithm based on motion offset information estimation[J].Journal of Projectiles，Rockets，Missiles and Guidance，2024，44（1）：25-33

[6] 侯慶璐，高銀，王茂華，等.結構稀疏通道先驗盲圖像去模糊方法[J].電子測量與儀器學報，2023，37（12）：107-116HOU Qinglu，GAO Yin，WANG Maohua，et al.Blind image deblurring method with structural sparse channel prior[J].Journal of Electronic Measurement and Instrumentation，2023，37（12）：107-116

[7] Xu X Y，Pan J S，Zhang Y J，et al.Motion blur kernel estimation via deep learning[J].IEEE Transactions on Image Processing：a Publication of the IEEE Signal Processing Society，2018，27（1）：194-205

[8] Li X，Zheng S C，Jia J Y.Unnatural L0 sparse representation for natural image deblurring[C]//2013 IEEE Conference on Computer Vision and Pattern Recognition （CVPR）.June 23-27，2013，Portland，OR，USA.IEEE，2013：1107-1114

[9] 陳清江，王巧瑩.雙分支特征提取與循環(huán)細化的動態(tài)場景去模糊[J].光電子·激光，2024，35（6）：580-587CHEN Qingjiang，WANG Qiaoying.Dynamic scene deblurring with two-branch feature extraction and cyclic refinement[J].Journal of Optoelectronics·Laser，2024，35（6）：580-587

[10] 張艷珠，趙赫，劉義杰.改進多尺度U型網(wǎng)絡的紅外圖像去模糊方法[J].沈陽理工大學學報，2024，43（1）：55-60ZHANG Yanzhu，ZHAO He，LIU Yijie.Infrared image deblurring method based on improved multi-scale U-shaped network[J].Journal of Shenyang Ligong University，2024，43（1）：55-60

[11] Ren W Q，Zhang J W，Pan J S，et al.Deblurring dynamic scenes via spatially varying recurrent neural networks[J].IEEE Transactions on Pattern Analysis and Machine Intelligence，2022，44（8）：3974-3987

[12] Wang Z D，Cun X D，Bao J M，et al.Uformer：a general U-shaped transformer for image restoration[C]//2022 IEEE/CVF Conference on Computer Vision and Pattern Recognition （CVPR）.June 19-24，2022，New Orleans，LA，USA.IEEE，2022：17662-17672

[13] 張玉波，王建陽，韓爽，等.一種非對稱的輕量級圖像盲去模糊網(wǎng)絡[J].吉林大學學報（理學版），2023，61（2）：362-370ZHANG Yubo，WANG Jianyang，HAN Shuang，et al.An asymmetric lightweight image blind deblurring network[J].Journal of Jilin University （Science Edition），2023，61（2）：362-370

[14] 劉忠洋，周杰，陸加新，等.基于注意力機制的多尺度特征融合圖像去雨方法[J].南京信息工程大學學報（自然科學版），2023，15（5）：505-513LIU Zhongyang，ZHOU Jie，LU Jiaxin，et al.Image rain removal via multi-scale feature fusion based on attention mechanism[J].Journal of Nanjing University of Information Science amp; Technology （Natural Science Edition），2023，15（5）：505-513

[15] Hu J，Shen L，Sun G.Squeeze-and-excitation networks[C]//2018 IEEE/CVF Conference on Computer Vision and Pattern Recognition （CVPR）.June 18-22，2018，Salt Lake City，UT，USA.IEEE，2018：7132-7141

[16] Zhao H Y，Kong X T，He J W，et al.Efficient image super-resolution using pixel attention[M]//Computer Vision-ECCV 2020 Workshops.Cham：Springer International Publishing，2020：56-72

[17] Qin X，Wang Z L，Bai Y C，et al.FFA-net：feature fusion attention network for single image dehazing[J].Proceedings of the AAAI Conference on Artificial Intelligence，2020，34（7）：11908-11915

[18] Qin Z Q，Zhang P Y，Wu F，et al.FcaNet：frequency channel attention networks[C]//2021 IEEE/CVF International Conference on Computer Vision （ICCV）.October 11-17，2021，Montreal，QC，Canada.IEEE，2021：763-772

[19] 陳棟，李明，李莉，等.基于雙池化注意力機制的高光譜圖像分類算法[J].南京信息工程大學學報（自然科學版），2023，15（4）：393-402CHEN Dong，LI Ming，LI Li，et al.Hyperspectral image classification based on double pool attention mechanism[J].Journal of Nanjing University of Information Science amp; Technology （Natural Science Edition），2023，15（4）：393-402

[20] Zhong F，He K Q，Ji M Q，et al.Optimizing vitiligo diagnosis with ResNet and Swin transformer deep learning models：a study on performance and interpretability[J].Scientific Reports，2024，14：9127

[21] 杜洪波，袁雪豐，劉雪莉，等.基于擴散過程的生成對抗網(wǎng)絡圖像修復算法[J].南京信息工程大學學報，2024，16（6）：751-759

DU Hongbo，YUAN Xuefeng，LIU Xueli，et al.Generative adversarial network image inpainting based on diffusion process[J].Journal of Nanjing University of Information Science amp; Technology，2024，16（6）：751-759

[22] Gao X L，F(xiàn)ang Y X.A note on the generalized degrees of freedom under the L1 loss function[J].Journal of Statistical Planning and Inference，2011，141（2）：677-686

[23] Zuo Y F，Wu Q，F(xiàn)ang Y M，et al.Multi-scale frequency reconstruction for guided depth map super-resolution via deep residual network[J].IEEE Transactions on Circuits and Systems for Video Technology，2020，30（2）：297-306

[24] Abubakar A B，Kumam P，Mohammad H，et al.A Barzilai-Borwein gradient projection method for sparse signal and blurred image restoration[J].Journal of the Franklin Institute，2020，357（11）：7266-7285

[25] Zhang K H，Luo W H，Zhong Y R，et al.Deblurring by realistic blurring[C]//2020 IEEE/CVF Conference on Computer Vision and Pattern Recognition （CVPR）.June 13-19，2020，Seattle，WA，USA.IEEE，2020：2734-2743

[26] Zhang H G，Dai Y C，Li H D，et al.Deep stacked hierarchical multi-patch network for image deblurring[C]//2019 IEEE/CVF Conference on Computer Vision and Pattern Recognition （CVPR）.June 16-20，2019，Long Beach，CA，USA.IEEE，2019：5971-5979

[27] Park D，Kang D U，Kim J，et al.Multi-temporal recurrent neural networks for progressive non-uniform single imagedeblurring with incremental temporal training[C]//Vedaldi A，Bischof H，Brox T，et al.European Conference on Computer Vision.Cham：Springer，2020：327-343

[28] Sara U，Akter M，Uddin M S.Image quality assessment through FSIM，SSIM，MSE and PSNR—a comparative study[J].Journal of Computer and Communications，2019，7（3）：8-18

[29] Tanchenko A.Visual-PSNR measure of image quality[J].Journal of Visual Communication and Image Representation，2014，25（5）：874-878

[30] Feng Y G，Han B，Wang X C，et al.Self-supervised transformers for unsupervised SAR complex interference detection using canny edge detector[J].Remote Sensing，2024，16（2）：306

[31] Lindenberger P，Sarlin P E，Pollefeys M.LightGlue：local feature matching at light speed[C]//2023 IEEE/CVF International Conference on Computer Vision （ICCV）.October 2-3，2023，Paris，F(xiàn)rance.IEEE，2023：17581-17592

[32] Wang C Y，Bochkovskiy A，Liao H Y M.YOLOv7：trainable bag-of-freebies sets new state-of-the-art for real-time object detectors[C]//2023 IEEE/CVF Conference on Computer Vision and Pattern Recognition （CVPR）.June 19-21，2023，Vancouver，BC，Canada.IEEE，2023：7464-7475

Motion blurred image restoration based on

multi-weight adaptive interaction

ZHU Lizhong¹ CAO Xuqi¹ LI Jun²

1School of Automation and Electrical Engineering，Shenyang Ligong University，Shenyang 110159，China

2Shenyang Microcyber Co. Ltd.，Shenyang，110179，China

Abstract To address the issue of inefficient processing of machine vision tasks in industrial environments caused by non-uniform blur in images captured in moving scenes，this paper proposes a motion blurred image restoration approach based on multi-weight adaptive interaction.Firstly，a multi-strategy feature extraction module is employed to extract shallow and critical texture information from blurred images while smoothing noise.Meanwhile，a residual semantic block is constructed to deeply mine the deep semantic information of the images.Secondly，a dual-channel adaptive weight extraction module is introduced to capture spatial and pixel weight information from degraded images and gradually incorporate these information into the network.Finally，a weighted feature fusion module is designed to fuse the multi-spatial weighted features extracted by the network，and multiple loss functions are combined to further improve image quality.The subjective，objective and ablation experimental results of the proposed approach on standard datasets show that the SSIM and PSNR indices reach 0.93 and 31.89，respectively.The modules work well in coordination，exhibiting significant advantages in restoring non-uniform blurred images in moving scenes.

Key words blurred image restoration;deep learning;non-uniform blur;adaptive learning

資助項目國家重點研發(fā)計劃（2017YFC0821001-2）

作者簡介朱立忠，男，博士，教授，研究方向為深度學習、機器視覺.zlz2686312@sina.com